HBM（High Bandwidth Memory，高带宽存储器）和 DRAM（Dynamic Random Access Memory，动态随机存储器）并不是互相竞争的两种技术，而是包含与被包含的关系。

一句话概括：

HBM 本质上就是一种特殊封装、特殊架构的 DRAM。

可以理解为：

DRAM 是一个大家族，HBM 是 DRAM 家族中的高端成员。

下面我从技术原理、架构、性能、成本、应用等多个角度详细介绍。

---

一、先理解什么是 DRAM

DRAM（Dynamic RAM）

DRAM 是目前世界上最主流的内存。

几乎所有：

• PC 内存条
• 服务器内存
• GPU 显存
• 手机 LPDDR

底层都是 DRAM。

所谓 Dynamic（动态），是因为：

DRAM 一个 bit 数据靠一个电容保存。

1 bit

  晶体管
      |
      |
    电容

由于电容会漏电，

所以必须：

每隔几十毫秒刷新一次（Refresh）。

因此叫 Dynamic RAM。

---

DRAM 根据用途又分很多种：

DRAM
│
├── DDR
│     ├── DDR3
│     ├── DDR4
│     ├── DDR5
│
├── LPDDR
│     ├── LPDDR4
│     ├── LPDDR5
│     ├── LPDDR5X
│
├── GDDR
│     ├── GDDR5
│     ├── GDDR6
│     ├── GDDR7
│
└── HBM
      ├── HBM
      ├── HBM2
      ├── HBM2E
      ├── HBM3
      └── HBM4（逐步商用）

所以：

HBM 和 DDR、LPDDR、GDDR 是平级关系。

它们都是 DRAM。

---

二、HBM 为什么诞生？

传统 DRAM 最大的问题：

带宽越来越跟不上 GPU。

举个例子：

GPU 每秒需要读取：

AI计算：

矩阵乘法

A × B

需要不停读取：

Tensor

Weight

Activation

如果内存带宽不够：

GPU 就会：

GPU：

██████████ 100%

Memory：

███

GPU一直等待数据

GPU 算力浪费。

所以：

AI 时代真正限制 GPU 的：

不是 FLOPS。

而是：

Memory Bandwidth（内存带宽）。

---

因此，业界提出：

不要让内存离 GPU 那么远。

传统：

GPU ---------- PCB ---------- GDDR

距离：

几厘米。

信号要跑：

PCB 走线。

速度有限。

---

HBM：

GPU

↑↓

HBM

放在同一个封装里面

距离：

只有几毫米。

于是：

速度暴涨。

---

三、HBM 和普通 DRAM 最大区别

最大的区别只有一句话：

HBM 使用 3D 堆叠 + TSV + 超宽总线。

这是 HBM 的核心。

---

普通 DDR/GDDR

传统 DRAM：

Memory Chip

□□□□□□□□

都是平铺。

一颗就是一颗。

---

HBM：

Memory Die

□□□□

□□□□

□□□□

□□□□

□□□□

一层一层堆起来。

所以：

HBM 又叫：

3D DRAM。

---

四、HBM 的 TSV 技术

普通芯片：

不能上下通信。

HBM 引入：

TSV

Through Silicon Via（硅通孔）

就是：

把硅打孔。

像电梯井。

□□□□□
│ │ │
□□□□□
│ │ │
□□□□□
│ │ │
□□□□□

上下层：

直接通信。

不用绕线。

---

优点：

距离极短。

速度极快。

功耗更低。

---

五、HBM 为什么带宽高？

关键：

不是频率。

而是：

总线宽度。

传统 DDR：

64 bit

GDDR：

32 bit

HBM：

1024 bit

甚至：

2048 bit。

举例：

假设：

每条车道：

100 km/h。

普通：

4车道

HBM：

1024车道

即使速度一样：

总吞吐量：

完全不是一个量级。

---

六、封装方式不同

普通 DRAM：

CPU

↓

主板

↓

DIMM

↓

DDR

距离：

很远。

---

HBM：

GPU

↓

Interposer（硅中介层）

↓

HBM Stack

全部放一起。

如下：

HBM      GPU      HBM

□□□□    ████    □□□□

======================
Silicon Interposer

因此：

信号延迟：

极低。

---

七、容量组成不同

DDR：

一条：

16GB

里面：

很多 DRAM Chip。

---

HBM：

一颗 Stack：

例如：

12 Layer

↓

24GB

GPU：

可以放：

8 Stack

总容量：

24 × 8

=

192GB

---

八、性能比较

指标	DDR5	GDDR7	HBM3E
类型	通用内存	GPU 显存	高端 AI 显存
是否属于 DRAM	是	是	是
带宽	数十 GB/s	数百 GB/s	上千 GB/s（单堆栈）
总线宽度	64 bit	32 bit	1024 bit+
封装	DIMM	GPU 周围	与 GPU 共封装
功耗	中	较高	单位带宽能耗更低
成本	最低	中	最高
容量扩展	容易	一般	受封装限制
典型应用	PC、服务器	游戏 GPU	AI GPU、HPC

---

九、HBM 为什么这么贵？

主要有四个原因：

① TSV 制造复杂

硅片要：

打几十万个孔。

---

② 3D 堆叠

一层层贴。

良率下降。

---

③ Hybrid Bonding

先进键合。

要求：

亚微米精度。

---

④ CoWoS 等先进封装

GPU：

不是简单焊接。

而是：

GPU + HBM 一起封装。

目前先进封装产能一度成为 AI 芯片供应链的重要瓶颈。

---

十、AI 为什么离不开 HBM？

以大语言模型推理为例。

假设：

模型：

70B 参数。

FP16：

70B × 2 Byte

≈140GB

GPU：

每秒需要：

不断读取：

Weight

↓

HBM

↓

Tensor Core

↓

HBM

如果带宽不足：

GPU：

Tensor Core

等待数据

例如，高端 AI GPU（如 NVIDIA H100 Tensor Core GPU、NVIDIA B200）之所以能够支撑大模型训练和推理，一个关键原因就是集成了多堆栈 HBM，提供远高于传统显存方案的总内存带宽。

因此：

AI 时代：

算力 = GPU + HBM。

很多时候：

真正限制 AI 芯片产量的，

不是 GPU，

而是：

HBM 和先进封装。

---

十一、未来发展趋势

当前 HBM 正在向更高层数、更高带宽、更大容量演进：

技术	特点	典型应用方向
HBM3	AI 训练主流	大模型训练、HPC
HBM3E	更高带宽、更大容量	下一代 AI 加速卡
HBM4	更宽接口、更高 I/O 密度，并与先进封装协同设计	超大规模 AI 集群、推理服务器

与此同时，DDR、LPDDR 和 GDDR 也会持续发展，因此未来不会出现 HBM 完全替代其他 DRAM 的情况，而是形成分工明确的生态：

• DDR：服务器和 PC 主内存，追求容量与成本平衡。
• LPDDR：手机、平板和轻薄设备，强调低功耗。
• GDDR：游戏 GPU 和图形工作站，兼顾成本与带宽。
• HBM：AI、超级计算、高性能计算（HPC）等极致带宽需求场景。

总结：HBM 与 DRAM 的关系

可以用一个家族关系图来理解：

                    DRAM
                      │
      ┌───────────────┼────────────────┐
      │               │                │
    DDR系列         LPDDR系列       图形显存
      │               │                │
   DDR4/DDR5      LPDDR5/5X      ┌─────┴─────┐
                                 │           │
                              GDDR      HBM（3D堆叠）
                                 │           │
                            GDDR6/GDDR7  HBM2→HBM3→HBM3E→HBM4

核心结论可以归纳为三点：

1. HBM 本质上是一种 DRAM，与 DDR、LPDDR、GDDR 同属于 DRAM 家族，只是针对极高带宽进行了专门优化。
2. HBM 的性能优势主要来自架构创新，而非存储单元创新。它仍然使用 DRAM 存储单元，但通过 3D 堆叠、TSV（硅通孔）、硅中介层（Interposer）和超宽总线，实现了远高于传统 DRAM 的带宽和更高的能效。
3. HBM 与普通 DRAM 并非替代关系，而是互补关系。未来服务器、PC、手机仍将大量采用 DDR/LPDDR，而 AI 训练、高性能计算等对内存带宽极其敏感的场景，则越来越依赖 HBM。可以说，在大模型时代，HBM 已经成为与 GPU 算力同等重要的核心基础资源。