内存初创公司d-Matrix声称其3D堆叠内存的速度将比HBM快10倍，并且运行速度也将高达HBM的10倍。d-Matrix的3D数字内存内计算（3DIMC）技术是该公司为AI推理专门设计的内存类型解决方案。

HBM（高带宽内存）已成为AI和高性能计算的重要组成部分。HBM内存通过将内存模块堆叠在一起，更高效地连接内存芯片并实现更高的内存性能。然而，尽管HBM在AI训练中至关重要，受欢迎程度和使用范围不断扩大，但可能并非所有计算任务的最佳解决方案，比如在AI推理中。

鉴于此，d-Matrix刚刚在实验室中启动了其d-Matrix Pavehawk 3DIMC。目前的数字内存内计算硬件看起来像是带有DIMC芯片的LPDDR5内存芯片，通过中介层连接。这种设置允许DIMC硬件在内存本身内执行计算。DIMC逻辑芯片针对矩阵-向量乘法进行了优化，这是基于Transformer的AI模型在运行中常用的计算。

d-Matrix创始人兼首席执行官Sid Sheth表示，“我们相信，AI推理的未来不仅取决于重新思考计算，还取决于重新思考内存本身。AI推理的瓶颈在于内存，而不仅仅是浮点运算。模型增长迅速，传统的HBM内存系统变得成本高昂、耗电且带宽受限。3DIMC改变了游戏规则。通过在三维空间中堆叠内存并将其与计算更紧密地集成，我们显著降低了延迟，提高了带宽，并解锁了新的效率提升。”

随着Pavehawk在d-Matrix的实验室中运行，该公司已经在展望其下一代产品Raptor。该公司声称，这款下一代产品也将基于芯片模型构建，将在推理任务中超越HBM 10倍，同时仅使用90%的功率。

d-Matrix的DIMC项目遵循了最近在初创公司和技术理论家中看到的一种模式：主张特定的计算任务，如AI训练与推理，应该有专门设计的硬件来高效地处理这些任务。d-Matrix认为，AI推理现在占到一些超大规模数据中心AI工作负载的50%，与训练相比，这是一个足够不同的任务，值得为其设计专门的内存类型。

另一方面，HBM的替代品也很有吸引力。HBM仅由少数几家公司生产，包括SK海力士、三星和美光，其价格并不便宜。SK海力士最近估计，HBM市场将每年增长30%，直到2030年，价格也将随着需求上升。这种巨头的替代品可能会吸引节俭的AI买家——尽管专门为某些工作流程和计算设计的内存，对于担心泡沫的潜在客户来说，可能看起来有点目光短浅。