旗下微信矩阵:

巨头抢夺战,HBM被彻底引爆

随着人工智能的兴起,HBM成为巨头们抢占的高地。三星、SK海力士、美光等存储巨头纷纷将HBM视为重点生产产品之一。
2024-07-10 17:41 · 微信公众号:半导体产业纵横 丰宁

在英伟达一步步站稳万亿市值脚根的道路上,少不了两项关键技术支持,其中之一是由台积电主导的CoWoS先进封装,另一个便是席卷当下的HBM(高带宽存储)。

英伟达H200是首次采用HBM3E存储器规格的AI加速卡。借助内存速度更快、容量更大的HBM3e,英伟达H200以每秒4.8TB的速度提供141GB的内存,与A100相比,容量几乎是其两倍,带宽也提升了43%,从而加速生成式AI和大语言模型,提高高性能计算(HPC)的工作负载。

随着人工智能的兴起,HBM成为巨头们抢占的高地。三星、SK海力士、美光等存储巨头纷纷将HBM视为重点生产产品之一。

HBM的火热,给市场掀起巨大波澜。一起看看HBM这股热潮给市场带来了哪些转折?

HBM走红,带来三大影响

HBM成为力挽行业下行的关键词之一

数个季度的持续低迷下,头部存储厂商相继展现出季度收入环比增长趋势,其中以SK海力士的表现最为亮眼,背后就离不开由HBM拉动对DRAM的需求提升。

今年Q1,SK海力士收入创历史同期新高,营业利润也创下了市况*的2018年以来同期第二高,公司将其视为摆脱了长时间的低迷期,开始转向了全面复苏期。 SK海力士表示:“凭借HBM等面向AI的存储器技术领导力,公司提升了面向AI服务器的产品销量,同时持续实施以盈利为主的经营活动,从而实现了营业利润环比增长734%的业绩。”

三星电子曾表示生成式AI市场应用将带来HBM等支持大规模数据处理的内存产品需求快速增长,公司接到了大量客户需求。预计2024年HBM的需求可能出现陡峭增长。

美光表示,AI服务器的DRAM容量是普通服务器的6倍到8倍,NAND容量是普通服务器的3倍。英伟达DGX GH200所需的DRAM容量是普通服务器的数百倍。

通用DRAM恐缺货涨价

通用型DRAM内存芯片面临的供应短缺,主要源于业界对HBM等类型的DRAM进行了大量的投资,而通用型DRAM的产能利用率相对较低。目前,三星和SK海力士的产能利用率仅为80%到90%,远低于NAND闪存的全速生产状态。

自2024年初以来,通用型DRAM的产能仅提升了大约10%,但智能手机、PC和服务器市场的增长率预计仅为2%到3%。全球云计算和科技公司在AI基础设施上的投资削减,并未能显著推动DRAM需求的复苏。

然而,在同一时期内,企业级固态硬盘(eSSD)的需求却因人工智能的普及而激增。因此,三星、SK海力士等主要制造商在第二季度满负荷运行其NAND生产线。此外,铠侠也在市场条件改善后结束了减产,NAND产能利用率恢复至100%。

由于通用DRAM内存芯片在消费市场,如个人电脑和移动终端等领域发挥着巨大作用,而随着市场需求的放大,可能会出现大范围的短缺。根据摩根士丹利最新报告,全球内存市场在2025年将迎来一次前所未有的供需失衡,2025年HBM的供应不足率将达到-11%,而整个DRAM市场的供应不足率将高达-23%。

争夺战,不只是技术

存储巨头在HBM技术领域的争夺战日益激烈,从HBM1到HBM2、HBM3,再到最新的HBM3e,每一代技术的演进都标志着存储性能的显著提升和市场竞争的加剧。

HBM1最早于2014年由AMD与SK海力士共同推出,作为GDDR竞品,为4层die堆叠,提供128GB/s带宽,4GB内存,显著优于同期GDDR5。

HBM2于2016年发布,2018年正式推出,为4层DRAMdie,现在多为8层die,提供256GB/s带宽,2.4Gbps传输速度,和8GB内存。

HBM2E于2018年发布,于2020年正式提出,在传输速度和内存等方面均有较大提升,提供3.6Gbps传输速度,和16GB内存。

HBM3于2020年发布,2022年正式推出,堆叠层数及管理通道数均有增加,提供6.4Gbps传输速度,传输速度最高可达819GB/s,和16GB内存。

HBM3E由SK海力士发布HBM3的增强版,提供高达8Gbps的传输速度,24GB容量,2024年开始大规模量产。

然而这不仅仅是一场单纯的技术较量,更是一场激烈无比的产能竞赛。

根据存储三巨头表示,今年的HBM供应能力已全部耗尽,明年的产能也已经大部分售罄。据专业机构分析,今明两年HBM需求的动态缺口约为产能的5.5%和3.5%。因此,三大厂商纷纷开启产能冲刺竞赛。比如SK海力士正在大幅扩产第5代1b DRAM,以应对HBM与DDR5 DRAM的需求增加。按照晶圆投入量看,公司计划将1b DRAM月产能从今年一季度的1万片增加到年末的9万片,到明年上半年进一步提升至14万-15万片,是今年一季度产能的14-15倍。三星3月底曾表示,预计今年HBM产能将增至去年的2.9倍。美光正在美国建设先进的HBM测试生产线,并考虑首次在马来西亚生产HBM,以抓住AI热潮带来的更多需求。

相比GDDR,HBM强在哪儿?

根据产品分类,DRAM 可以分为 DDR、LPDDR、GDDR、HBM。前三类产品主要用于传统周期领域,HBM 则主要是 AI 市场的带动。其中 DDR 主要用于消费电子、服务器、PC 领域;LPDDR主要用于移动设备、手机及汽车领域;GDDR 主要用于图像处理方面的 GPU 等。

随着数据量越发庞大加之AI芯片的加速发展,冯氏计算架构问题凸显:“存”“算”之间性能失配,使得计算机的计算能力增长遇到瓶颈,虽然多核并行加速技术可以提高算力,但存储带宽的限制仍对计算系统的算力提升产生了制约。GDDR是目前应用较为广泛的显存技术,但在AI计算领域GDDR也难堪重任,于是制造商将目光投向HBM技术。

HBM具备高带宽的优势。通过多层堆叠,HBM能达到更高的I/O数量,使得显存位宽达到1024位,几乎是GDDR的32倍,显存带宽显著提升。显存带宽显著提升解决了过去AI计算“内存墙”的问题,HBM逐步提高在中高端数据中心GPU中的渗透比率。

HBM具备高密度、小体积等优势。相比传统DRAM,HBM在相同的物理空间内能够容纳更多的存储单元,从而提供更高的存储容量。这对于存储千亿参数乃至更大规模的大模型至关重要。此外,HBM通过3D封装工艺实现DRAM die的垂直方向堆叠封装,可以较大程度节约存储芯片在片上占据的面积。HBM芯片的尺寸比传统的DDR4芯片小20%,比GDDR5芯片节省了94%的表面积。根据三星电子的统计,3D TSV工艺较传统POP封装形式节省了35%的封装尺寸。

受构造影响,GDDR的总带宽上限低于HBM。总带宽=I/O数据速率(Gb/s)*位宽/8。为解决DDR带宽较低的问题,本质上需要对单I/O的数据速率和位宽(I/O数*单I/O位宽)进行提升,可分为GDDR单体式方案和HBM堆叠式方案。单体式GDDR采取大幅提升单I/O数据速率的手段来改善总带宽,GDDR5和GDDR6的单I/O数据速率已达到7 Gb/s到16Gb/s,超过HBM3的6.4 Gb/s。HBM利用TSV技术提升I/O数和单I/O位宽,从而大幅提升位宽,虽然维持较低的单I/O数据速率,但总带宽远优于GDDR。

HBM的综合功耗也低于GDDR。HBM通过增加I/O引脚数量来降低总线频率,从而实现更低的功耗。尽管片上分布的大量缓存能提供足够的计算带宽,但由于存储结构和工艺制约,片上缓存占用了大部分的芯片面积(通常为1/3至2/3),限制了算力提升。

如今,HBM已经成为超级计算机、数据中心等核心设施中不可或缺的关键组件,为大规模并行计算提供了坚实的内存基础。尤其在图形处理领域,HBM的高带宽特性使得GPU能够更快速地访问和处理图像数据,从而为用户带来更加流畅、逼真的视觉体验。

即便是业界*的英伟达,也对这一产品展现出了高度的依赖性。据悉,英伟达近几年发布的多款旗舰产品(如A100、H100、H200)均搭配了不同数量的HBM。HBM已然是英伟达AI芯片的必备搭档。然而全球约九成的HBM市场被SK海力士和三星两家韩系企业垄断。

2024年末,HBM是持续短缺?还是供过于求?

在存储三巨头的竞争中,由于海力士HBM3产品性能*,率先拿下英伟达订单,成为其服务器GPU的主要供应商。

三星主攻一些云端客户的订单,美光则直接跳过了HBM3,将主要精力放在了HBM3E产品上。仅从当下来看,美光的市场占有率和前面两个玩家有一些差距。

但不管怎样,三位存储芯片的大佬都在扩产能上不留余力。比如海力士已经放下豪言壮语,计划到2028年投资高达748亿美元,其中80%将用于HBM的研发和生产,而且将下一代HBM4芯片的量产时间提前到2025年。

据专业机构分析,今明两年HBM需求的动态缺口约为产能的5.5%和3.5%。

不过根据海豚投研的数据显示,HBM有望从2023年末的“供不应求”转为2024年末的“供大于求”。

海豚投研比较了2023—2024年HBM的供需关系情况。 从需求端来看,结合云服务厂商的资本开支和AI出货量情况,市场对HBM的需求有望从2023年的284MGB提升至512MGB; 从供给端来看,结合存储主流厂商的产能计划,HBM的供给端更可能从2023年的147MGB快速提升至1000MGB以上。

在此供需关系中,2023年供给端仅能满足需求的1/2,严重供不应求。供不应求的局面,推动各家厂商大幅提升产能计划。如果产能规划如实落地,2024年的HBM供需关系可能会出现明显反转,供给端反而会超出整体的市场需求。

对于HBM的价格,当前由于供给仍相对紧张,因此整体价格在2024年将有所上涨。但随着三星产品通过认证和产能端的释放,HBM的产品价格也可能出现回落。

国产厂商加速突破

随着AIGC技术应用的快速发展,AI服务器和高端GPU的需求持续增长,将进一步推动HBM市场的高速增长。据预计,到2025年,中国HBM的需求量规模有望超过100万颗。

而中国,在这一赛道还属于后来者。

不久前,国家集成电路产业投资基金三期横空出世。大基金三期注册资本高达3440亿元,这一规模远超前两期基金,显示出国家对集成电路产业的重视和大力支持。如此庞大的资金注入,无疑将为集成电路产业的发展提供强大的动力。

目前,大基金三期对外投资重点还未正式披露。据悉,大基金三期有望增加覆盖人工智能芯片环节,在HBM产业链扶持大型晶圆厂。

今年3月,武汉新芯发布了《高带宽存储芯粒先进封装技术研发和产线建设》招标项目,这一行动标志着该公司正式进军HBM市场。通过利用三维集成多晶圆堆叠技术,武汉新芯旨在打造更高容量、更大带宽、更小功耗的存储解决方案,以满足市场对高性能存储芯片的需求。面对海外大厂对于 HBM3E 的量产,国内存储厂商也在 HBM 技术上进行着加速突破,有望在 AI 大浪潮的需求下提升竞争实力。

面对海外大厂对于 HBM3E 的量产,国内存储厂商也在 HBM 技术上进行着加速突破,有望在 AI 大浪潮的需求下提升竞争实力。

封测龙头长电科技在投资者互动中表示,其XDFOI高密度扇出封装解决方案也同样适用于HBM的Chip to Wafer 和Chip to Chip TSV堆叠应用;通富微电此前表示,南通通富工厂先进封装生产线建成后,公司将成为国内*进的2.5D/3D先进封装研发及量产基地,实现国内在HBM(高带宽内存)高性能封装技术领域的突破,对于国家在集成电路封测领域具有重要意义。

中国主要的存储芯片公司也在与封测厂商通富微电合作开展HBM相关项目。

然而总体来看,国内厂商在HBM技术上的发展仍处于早期阶段。尽管国际上已经有了更先进的HBM3和HBM3E产品,但国内存储厂商目前还处于HBM2的研发和产业化阶段。

面对海外大厂在HBM3E等先进技术上的量产优势,国内厂商仍需加快追赶步伐,克服技术壁垒,实现从技术跟随到技术引领的转变。在此过程中,客户对于AI服务器性能、内存带宽及内存大小的持续高要求,既是对HBM技术的巨大挑战,也是推动其不断前行的动力源泉。

值得注意的是,尽管HBM在带宽性能上占据优势地位,但其高昂的成本与功耗也促使行业探索更多元化的解决方案。GDDR、LPDDR等内存技术的快速发展,为AI处理器提供了更多选择,尤其是在成本、性能与功耗之间寻求*平衡点的应用场景中。例如,GDDR7的推出不仅显著提升了内存容量与数据传输率,还因其相对较低的复杂度成为部分AI应用的理想之选。

综上所述,随着AI技术的不断演进与市场需求的日益多样化,HBM作为高性能存储技术的代表,将继续在特定领域发挥关键作用。同时,国内厂商需紧抓机遇,加速技术创新与产业升级,以更加灵活多样的内存解决方案,满足AI时代对高性能计算的多元化需求。

【本文由投资界合作伙伴微信公众号:半导体产业纵横授权发布,本平台仅提供信息存储服务。】如有任何疑问,请联系(editor@zero2ipo.com.cn)投资界处理。