MindCapitalAI logoMindCapitalAI
美股投资

AI 时代的"内存墙":HBM 技术原理,一篇讲透

📚 AI 存储深度系列 · 本文是该系列的第 1 篇(共 8 篇) · 查看系列目录 →

✍️ 作者:八发金豆

美光那篇时我留了个尾巴:"下次专门写一下高带宽内存的科普。"今天还愿——而且一次写个系列。这个系列覆盖 AI 存储的两大支柱:前 4 篇讲 HBM(技术原理、三巨头格局、中国进展、供需判断),第 5-7 篇讲 NAND 闪存。第一篇先解决最基础的问题:HBM 到底是什么,为什么 AI 离了它不行?

先懂问题:内存墙

一个反直觉的事实:训练和运行 AI 大模型时,昂贵的 GPU 芯片有相当一部分时间在等待——等数据从内存搬过来。

计算机的分工是:内存存数据,处理器算数据。过去几十年,处理器的算力按摩尔定律狂奔,但数据在内存和处理器之间搬运的速度(带宽)增长得慢得多。两条增长曲线的裂口越来越大,这就是计算机体系结构里著名的"内存墙(Memory Wall)"。

内存墙:算力与带宽的剪刀差

大模型把这个问题推向极端:AI 计算的本质是海量参数(权重)和数据反复进出处理器。模型动辄几千亿参数,每生成一个词都要把大量参数从内存里搬一遍——搬运量大到离谱,算力再强,数据喂不进来就只能空转。所以你才会听到陈立武(那篇专访)说内存短缺比芯片短缺更棘手——AI 真正的瓶颈,在墙这边。

HBM 的解法:盖高楼,搬到隔壁

HBM(High Bandwidth Memory,高带宽内存)用两个朴素的思想撞开了内存墙:

从平房到高层:HBM 的两个核心思想

第一招:把内存竖着堆起来(3D 堆叠)。传统内存条是"平房"——芯片平铺在电路板上,占地大、彼此距离远。HBM 把 8 层、12 层甚至 16 层 DRAM 芯片像盖楼一样垂直摞起来,再用一种叫 TSV(硅通孔)的工艺,在芯片上打出成千上万个微米级的垂直孔道,让电信号像坐电梯一样直接穿透整栋楼——不用绕楼梯,层与层之间的通信距离缩短到极致。

第二招:把内存搬到 GPU 隔壁(先进封装)。普通内存条插在主板上,离处理器有几厘米"路程"。HBM 则通过一块硅中介层(Interposer)和 GPU 焊在同一块基板上,物理距离缩短到毫米级,中间可以铺设上千条并行数据通道。这道工序就是常听到的先进封装(台积电的 CoWoS 是代表),它和 DRAM 堆叠本身同等重要——这个伏笔第 2 篇会展开。

两招合在一起的效果:普通内存条的数据通道是 64 位宽,一颗 HBM 是 1024 位起步——用修路打比方,从双车道县道直接升级成上千车道的高速公路。目前最新一代产品,单颗带宽已经超过每秒 1TB,一块旗舰 AI 芯片周围贴 6-8 颗,总带宽是传统方案的几十倍。

代价也很直白:贵,而且难造。上千个 TSV 孔道打穿十几层薄如纸的芯片,任何一层出问题整颗报废——良率是 HBM 制造的生死线,也是只有极少数厂商玩得起的原因(第 2 篇的核心话题)。这也是为什么 HBM 只用在 AI 芯片、高端服务器上,你的电脑手机里用的还是便宜的 DDR 和 LPDDR。

三种内存,各司其职

类型 用在哪 特点
DDR/LPDDR 电脑、手机主内存 便宜、容量大、带宽一般
GDDR 游戏显卡 带宽较高、成本适中
HBM AI 芯片、超算 带宽极高、容量密度高、极贵

记住一个定位:HBM 不是"更好的内存",是"专为喂饱 AI 芯片而生的内存"——用制造难度和成本,换极致带宽。

从 HBM1 到 HBM4:代际演进

  • HBM1(2015 年前后):概念落地,AMD 显卡首发,性能有限,叫好不叫座;
  • HBM2 / HBM2E:进入数据中心和超算,AI 训练开始起量;
  • HBM3(2022 起):搭上大模型爆发的东风,英伟达 H100 的标配——HBM 从配角变成 AI 芯片的核心部件;
  • HBM3E:当前(2026 年)出货主力,约占三分之二;12 层堆叠普及,单颗带宽破 1TB/s;
  • HBM4(2026 年起爬坡):数据通道再翻倍到 2048 位,堆叠走向 16 层,并首次把底层的"基础裸片"交给逻辑工艺代工——内存厂和台积电的合作进入深水区,竞争规则也随之改变(第 2 篇细讲)。

每一代的规律很稳定:层数更高、通道更宽、和先进封装绑得更深、单价更贵。AI 芯片对 HBM 的用量也在同步狂奔——下一代旗舰平台单颗 GPU 的 HBM 容量正奔着数百 GB 去,内存在 AI 硬件成本里的占比只会越来越高。

金豆划重点

  • AI 的真瓶颈是内存墙:算力增长快、数据搬运慢,GPU 常在等数据;
  • HBM 两招破墙:3D 堆叠 + TSV(盖高楼)、先进封装(搬到 GPU 隔壁),带宽从"双车道"升级为"千车道";
  • 代价是贵和难造,良率是生死线——这决定了它是极少数玩家的游戏;
  • HBM3E 是当下主力,HBM4 正在爬坡,代际越新、越离不开先进封装。

下一篇进入牌桌:SK海力士、三星、美光的三国杀——为什么老二反超了老大、美光凭什么后来居上,以及藏在三家背后的隐形玩家台积电。

内容参考:TrendForce HBM 市场研究SK hynix 2026 市场展望等公开资料整理。本文不构成任何投资建议,市场有风险,入市需谨慎。

— 金豆

相关阅读

📮 订阅更新

新文章发布时第一时间发到你的邮箱,随时可退订。

© MindCapitalAI · 版权所有,转载请注明出处并附原文链接