ChatGPT已经从下游AI应用“火”到了上游芯片领域，在将GPU等AI芯片推向高峰之外，也极大带动了市场对新一代内存芯片HBM（高带宽内存)的需求。据悉，2023年开年以来三星、SK海力士的HBM订单就快速增加，价格也水涨船高。有市场人士透露近期HBM3规格DRAM价格上涨了5倍。这也为寒冬中的存储器市场带来了一抹春色。

ChatGPT爆红提升HBM需求

近日，韩媒报道2023年开年后三星、SK海力士两家存储大厂HBM订单快速增加，价格也水涨船高，市场人士透露近期HBM3规格DRAM价格上涨5倍。

业界认为，ChatGPT的出现使得HBM市场需求提升，这有望为存储器市场带来了新的发展机会。

资料显示，HBM（High Bandwidth Memory，高带宽存储器）是一种可以实现高带宽的高附加值DRAM产品，与普通DRAM相比，HBM以堆叠方式实现更大带宽，带宽是指在特定单位时间内可以传输的数据量，基于该特性，HBM主要应用于高性能计算场景中，比如超级计算机、AI加速器、高性能服务器领域。

HBM在与CPU及GPU协同工作中，可以提高机器学习和计算性能。目前ChatGPT的火热发展已令英伟达等GPU厂商受益——ChatGPT使用了1万多个英伟达的“A100”GPU学习了庞大的文档数据。而HBM可以安装在GPU中，通过高速数据处理，不断完善ChatGTP服务体验，英伟达“A100”就最高配备了80GB HBM2内存。

此外，媒体报道英伟达已经要求存储厂商生产最新的HBM3内存，搭配英伟达的A100 GPU供ChatGPT使用。


巨头领跑，HBM3时代来临

据了解，HBM主要是通过硅通孔（Through Silicon Via, 简称“TSV”）技术进行芯片堆叠，以增加吞吐量并克服单一封装内带宽的限制，将数个DRAM裸片像楼层一样垂直堆叠。

SK海力士表示，TSV是在DRAM芯片上搭上数千个细微孔并通过垂直贯通的电极连接上下芯片的技术。该技术在缓冲芯片上将数个DRAM芯片堆叠起来，并通过贯通所有芯片层的柱状通道传输信号、指令、电流。相较传统封装方式，该技术能够缩减30%体积，并降低50%能耗。

凭借TSV方式，HBM大幅提高了容量和数据传输速率。与传统内存技术相比，HBM具有更高带宽、更多I/O数量、更低功耗、更小尺寸。随着存储数据量激增，市场对于HBM的需求将有望大幅提升。

HBM的高带宽离不开各种基础技术和先进设计工艺的支持。由于HBM是在3D结构中将一个逻辑die与4-16个DRAM die堆叠在一起，因此开发过程极为复杂。鉴于技术上的复杂性，HBM是公认最能够展示厂商技术实力的旗舰产品。

2013年，SK海力士将TSV技术应用于DRAM，在业界首次成功研发出HBM。

HBM1的工作频率约为1600 Mbps，漏极电源电压为1.2V，芯片密度为2Gb（4-hi）。HBM1的带宽高于DDR4和GDDR5产品，同时以较小的外形尺寸消耗较低的功率，更能满足GPU等带宽需求较高的处理器。

随后，SK海力士、三星、美光等存储巨头在HBM领域展开了升级竞赛。

2016年1月，三星宣布开始量产4GB HBM2 DRAM，并在同一年内生产8GB HBM2 DRAM；2017年下半年，被三星赶超的SK海力士开始量产HBM2；2018年1月，三星宣布开始量产第二代8GB HBM2“Aquabolt”。

2018年末，JEDEC推出HBM2E规范，以支持增加的带宽和容量。当传输速率上升到每管脚3.6Gbps时，HBM2E可以实现每堆栈461GB/s的内存带宽。此外，HBM2E支持最多12个DRAM的堆栈，内存容量高达每堆栈24GB。与HBM2相比，HBM2E具有技术更先进、应用范围更广泛、速度更快、容量更大等特点。

2019年8月，SK海力士宣布成功研发出新一代“HBM2E”；2020年2月，三星也正式宣布推出其16GB HBM2E产品“Flashbolt”，于2020年上半年开始量产。

据三星介绍，其16GB HBM2E Flashbolt通过垂直堆叠8层10纳米级16GB DRAM晶片，能够提供高达410GB/s的内存带宽级别和每引脚3.2 GB/s的数据传输速度。

SK海力士的HBM2E以每个引脚3.6Gbps的处理速度，每秒能处理超过460GB的数据，包含1024个数据I/O。通过TSV技术垂直堆叠8个16GB芯片，其HBM2E单颗容量16GB。

2020年，另一家存储巨头美光宣布加入到这一赛场中来。

美光在当时的财报会议上表示，将开始提供HBM2内存/显存，用于高性能显卡，服务器处理器产品，并预计下一代HBMNext将在2022年底面世。但截止目前尚未看到美光相关产品动态。

2022年1月，JEDEC组织正式发布了新一代高带宽内存HBM3的标准规范，继续在存储密度、带宽、通道、可靠性、能效等各个层面进行扩充升级，具体包括：

•主接口使用0.4V低摆幅调制，运行电压降低至1.1V，进一步提升能效表现。

•传输数据率在HBM2基础上再次翻番，每个引脚的传输率为6.4Gbps，配合1024-bit位宽，单颗最高带宽可达819GB/s。

•如果使用四颗，总带宽就是3.2TB/s，六颗则可达4.8TB/s。

•独立通道数从8个翻番到16个，再加上虚拟通道，单颗支持32通道。

•支持4层、8层和12层TSV堆栈，并为未来扩展至16层TSV堆栈做好准备。

•每个存储层容量8/16/32Gb，单颗容量起步4GB(8Gb 4-high)、最大容量64GB(32Gb 16-high)。

•支持平台级RAS可靠性，集成ECC校验纠错，支持实时错误报告与透明度。

JEDEC表示，HBM3是一种创新的方法，是更高带宽、更低功耗和单位面积容量的解决方案，对于高数据处理速率要求的应用场景来说至关重要，比如图形处理和高性能计算的服务器。

SK海力士早在2021年10月就开发出全球首款HBM3，2022年6月量产了HBM3 DRAM芯片，并将供货英伟达，持续巩固其市场领先地位。随着英伟达使用HBM3 DRAM，数据中心或将迎来新一轮的性能革命。

根据此前的资料介绍，SK海力士提供了两种容量产品，一个是12层硅通孔技术垂直堆叠的24GB（196Gb），另一个则是8层堆叠的16GB（128Gb），均提供819 GB/s的带宽，前者的芯片高度也仅为30微米。相比上一代HBM2E的460 GB/s带宽，HBM3的带宽提高了78%。此外，HBM3内存还内置了片上纠错技术，提高了产品的可靠性。

SK海力士对于HBM的研发一直非常积极，为了满足客户不断增加的期望，打破现有框架进行新技术开发势在必行。SK海力士还在与HBM生态系统中的参与者（客户、代工厂和IP公司等）通力合作，以提升生态系统等级。商业模式的转变同样是大势所趋。作为HBM领军企业，SK海力士将致力于在计算技术领域不断取得进步，全力实现HBM的长期发展。

三星也在积极跟进，在2022年技术发布会上发布的内存技术发展路线图中，三星展示了涵盖不同领域的内存接口演进的速度。首先，在云端高性能服务器领域，HBM已经成为了高端GPU的标配，这也是三星在重点投资的领域之一。HBM的特点是使用高级封装技术，使用多层堆叠实现超高IO接口宽度，同时配合较高速的接口传输速率，从而实现高能效比的超高带宽。

在三星发布的路线图中，2022年HBM3技术已经量产，其单芯片接口宽度可达1024bit，接口传输速率可达6.4Gbps，相比上一代提升1.8倍，从而实现单芯片接口带宽819GB/s，如果使用6层堆叠可以实现4.8TB/s的总带宽。

2024年预计将实现接口速度高达7.2Gbps的HBM3p，从而将数据传输率相比这一代进一步提升10%，从而将堆叠的总带宽提升到5TB/s以上。另外，这里的计算还没有考虑到高级封装技术带来的高多层堆叠和内存宽度提升，预计2024年HBM3p单芯片和堆叠芯片都将实现更多的总带宽提升。而这也将会成为人工智能应用的重要推动力，预计在2025年之后的新一代云端旗舰GPU中看到HBM3p的使用，从而进一步加强云端人工智能的算力。

从HBM1到HBM3，SK海力士和三星一直是HBM行业的领军企业。

上下游发力抢占先机

与HBM相关的上下游企业也在发力，以期抢占先机。AMD在HBM的诞生与发展过程中功不可没。最早是AMD意识到DDR的局限性并产生开发堆叠内存的想法，其后与SK海力士联手研发了HBM，并在其Fury显卡采用全球首款HBM。ISSCC 2023国际固态电路大会上的消息，AMD考虑在Instinct系列加速卡已经整合封装HBM高带宽内存的基础上，在后者之上继续堆叠DRAM内存，可以在一些关键算法内核可以直接在整合内存内执行，而不必在CPU和独立内存之间往复通信传输，从而提升AI处理的性能，并降低功耗。

英伟达同样重视处理器与内存间的协同，一直在要求SK海力士提供最新的HBM3内存芯片。据悉，目前已经有超过25000块英伟达计算卡加入到了深度学习的训练中。如果所有的互联网企业都在搜索引擎中加入ChatGPT这样的机器人，那么计算卡以及相应的服务器的需求量将会达到50万块，也将连同带动HBM的需求量大幅增长。

IP厂商亦已先行布局HBM3。去年，Synopsys推出首个完整的HBM3 IP解决方案，包括用于2.5D多芯片封装系统的控制器、PHY（物理层芯片）和验证IP。HBM3 PHY IP基于5nm制程打造，每个引脚的速率可达7200 Mbps，内存带宽最高可提升至921GB/s。Rambus也推出支持HBM3的内存接口子系统，内含完全集成的PHY和数字控制器，数据传输速率达8.4 Gbps，可提供超过1TB/s的带宽。

Rambus IP核产品营销高级总监Frank Ferro此前在接受采访时指出，HBM现在依旧处于相对早期的阶段，其未来还有很长的一段路要走。而可预见的是，随着越来越多的厂商在AI和机器学习等领域不断发力，内存产品设计的复杂性正在快速上升，并对带宽提出了更高的要求，不断上升的宽带需求将持续驱动HBM发展。