大模型推理时，真正消耗时间和能耗的不是计算，而是数据搬运。
一次矩阵乘法，GPU可能只需要几个纳秒，但把权重从内存搬到计算单元，需要几百纳秒，能耗是计算本身的几十倍。这就是所谓的"内存墙"：计算越来越快，内存带宽跟不上，处理器大部分时间在等数据。
存内计算（Processing-in-Memory，PIM）的思路很直接：既然搬数据太贵，那就把计算单元放进内存里，让数据不用出门。
为什么会出现PIM这种架构？
传统冯诺依曼架构中，内存只负责存储，计算全部交给CPU或GPU。数据在内存和处理器之间来回搬运，构成了AI推理最大的能耗开销。研究表明，推理任务中60%到70%的能耗消耗在从DRAM读取神经网络权重上。
PIM把算术逻辑单元直接集成到内存芯片内部，在数据所在的位置完成乘加运算。权重不需要搬出内存，只有最终的计算结果才通过外部接口输出。数据移动距离从厘米级缩短到微米级，带宽和能效随之数量级提升。
冯诺依曼架构 vs 近内存计算 vs 存内计算架构对比
PIM不是新概念，早在1990年代就有学术研究。但直到AI大模型爆发，内存墙成为真正的瓶颈，PIM才从实验室走向量产。
三星LPDDR5X-PIM：首款量产存内计算
9月初的Hot Chips 2026上，三星详细披露了LPDDR5X-PIM的技术架构，这是全球首款量产的低功耗存内计算内存。
核心设计是在内存的16个Bank中各集成一个PIM计算单元。每个PIM单元包含MAC（乘加）树和ALU（算术逻辑单元），支持浮点和整数多精度运算。16个Bank的PIM单元并行工作，合计内部带宽达到614GB/s。
作为对比，普通LPDDR5X-9600通过外部接口的带宽只有76.8GB/s。PIM没有加宽外部总线，而是利用内存内部的高带宽，把计算放在数据旁边，实现了8倍的有效带宽提升。
规格上，LPDDR5X-PIM采用JEDEC标准561-ball封装，单rank集成4颗die，总容量16GB，兼容标准LPDDR5X内存控制器，不需要更换主板硬件。
实测数据更有说服力。在边缘AI加速器上运行Llama 3.1 8B模型，普通LPDDR5X每秒生成27个token，LPDDR5X-PIM达到81.3个token/s，推理速度提升2.28倍，token吞吐量提升3.01倍。
三星LPDDR5X-PIM官方架构图（Hot Chips 2026）
大模型推理的核心操作是矩阵向量乘法（GEMV），每生成一个token都要从内存读取完整的权重矩阵。外部带宽76.8GB/s的天花板下，处理器大部分时间在等待数据。PIM把计算放进内存，直接利用614GB/s的内部带宽，瓶颈被彻底打开。
PIM的三条技术路线
PIM按存储介质分为三条路线，适用场景不同。
SRAM-PIM集成在处理器缓存中，延迟最低（1到8纳秒），但容量小、成本高，适合做片上加速和超低延迟推理。模拟交叉阵列是SRAM-PIM的一个分支，利用欧姆定律和基尔霍夫定律在阵列中直接完成矩阵乘法，能效极高，但精度和可靠性是挑战。
DRAM-PIM就是三星LPDDR5X-PIM这条路线，容量大、带宽高，适合大模型推理和边缘AI计算。除了三星，SK海力士在HBM-PIM上布局更早，美光也在推进相关研发。DRAM-PIM的难点在于计算逻辑和DRAM工艺的兼容，以及软件生态的适配。
NAND-PIM利用闪存的大容量特性，适合超大规模模型的存储和近数据计算，但闪存读写延迟高（微秒级）、耐久性有限，目前更多停留在研究阶段。
SRAM/DRAM/NAND三种存储单元结构对比
三条路线不是互相替代，而是分层协同：SRAM-PIM做片上低延迟计算，DRAM-PIM做主存高带宽推理，NAND-PIM做大规模模型存储和近存预处理。
真正的瓶颈在软件
PIM的硬件已经量产，但大规模应用还面临软件适配的挑战。
传统编译器和操作系统假设内存只做存储，计算全部交给处理器。PIM引入后，需要编译器能识别哪些计算适合下推到内存执行，需要操作系统管理PIM的计算资源调度，需要应用框架做相应改造。缓存、预取、多任务切换、线程调度等机制都可能受到影响。
三星的方案是保持标准内存控制器兼容，通过配置寄存器切换PIM模式，降低硬件门槛。但软件栈的完善仍需要时间。
应用场景上，PIM最先落地的是边缘AI和端侧推理。这些场景算力受限、功耗敏感，PIM的能效优势最明显。数据中心大模型训练对计算精度和灵活性要求高，PIM短期内更多是辅助加速，不会替代GPU。
长期看，随着HBM-PIM、3D堆叠PIM的成熟，存内计算有可能成为AI算力架构的标准组件，和GPU、专用加速器形成分层协同。
—
免责声明：本文仅为产业研究与信息分享，不构成任何投资建议或投资参考。市场有风险，投资需谨慎。文中数据与观点基于公开信息整理，可能存在滞后或偏差，请以官方披露为准。
张星河zen
每天一份高质量产业研报：芯片半导体、AI基础设施、AI智能硬件、具身智能、光通信等硬件科技方面的行业研究、产业链分析和技术拆解。 作者：张星河，AI科技公司创始人，前华为资深架构师、产品战略规划师，20年行业老兵。
