作为生成式AI、图形显示和元宇宙基础设施领域的“狠角色”，全球图显兼AI计算霸主NVIDIA（英伟达）接下来会放出哪些重磅“核弹”，已经预定了科技圈的焦点。

北京时间昨夜，在计算机图形年会SIGGRAPH上，NVIDIA创始人兼CEO黄仁勋一如既往穿着经典的皮衣登场，并一连亮出多款硬件。

在黄仁勋眼中，生成式AI是AI的“iPhone时刻”。他谈道，人类语言是新的编程语言，我们已经使计算机科学民主化，现在每个人都可以成为程序员。

在随后大约1小时20分钟的演讲中，黄仁勋宣布全球首发HBM3e内存——推出下一代GH200 Grace Hopper超级芯片。黄仁勋将它称作“加速计算和生成式AI时代的处理器”。

还有5款硬件新品同期重磅发布，分别是搭载全新L40S Ada GPU的新款OVX服务器、搭载RTX 6000 Ada GPU的全新RTX工作站，以及3款高端桌面工作站GPU。


配备全球最快内存的超级芯片来了！

黄仁勋宣布推出面向加速计算和生成式AI的新一代NVIDIA GH200 Grace Hopper超级芯片。

GH200由72核Grace CPU和4PFLOPS Hopper GPU组成，在全球最快内存HBM3e的“助攻”下，内存容量高达141GB，提供每秒5TB的带宽。其每个GPU的容量达到NVIDIA H100 GPU的1.7倍，带宽达到H100的1.55倍。

该超级芯片可以用于任何大型语言模型，降低推理成本。

与当前一代产品相比，新的双GH200系统共有144个Grace CPU核心、8PFLOPS计算性能的GPU、282GB HBM3e内存，内存容量达3.5倍，带宽达3倍。如果将连接到CPU的LPDDR内存包括在内，那么总共集成了1.2TB超快内存。

GH200将在新的服务器设计中提供，黄仁勋还放出了一段动画视频，展示组装面向生成式AI时代的Grace Hopper AI超级计算机的完整过程。

首先是一块Grace Hopper，用高速互连的CPU-GPU Link将CPU和GPU“粘”在一起，通信速率比PCIe Gen5快7倍。

一个Grace Hopper机架装上NVIDIA BlueField-3和ConnectX-7网卡、8通道4.6TB高速内存，用NVLink Switch实现GPU之间的高速通信，再加上NVLink Cable Cartridge，组成了NVIDA DGX GH200构建块。

NVIDA DGX GH200由16个Grace Hopper机架，通过NVLink Switch系统连成集群，能让256块GPU组成的系统像一块巨型GPU一样工作。由256块GH200组成的NVIDIA DGX GH200 SuperPod，拥有高达1EFLOPS的算力和144TB高速内存。

NVIDIA Quantum-2 InfiniBand Switch可用高速、低延时的网络连接多个DGX SuperPod，进而搭建出面向生成式AI时代的Grace Hopper AI超级计算机。

这带来的主要优势是，实现同等算力的情况下，用更少卡、省更多电、花更少钱。

黄仁勋抛出一个问题：花1亿美元能买什么？

过去，1亿美元能买8800块x86 CPU组成的数据中心，功耗是5MW。

如今，1亿美元能买2500块GH200组成的Iso-Budget数据中心，功耗是3MW，AI推理性能达到上述CPU系统的12倍，能效达20倍。

如果达到跟x86 CPU数据中心相同的AI推理性能，Iso-Troughput数据中心只需用到210块GH200，功耗是0.26MW，成本只有CPU数据中心的1/12，仅800万美元。

“买得越多，省得越多。”黄仁勋再度用这句讲过很多遍的“导购金句”总结。

为方便GH200应用，GH200与今年早些时候在COMPUTEX上推出的NVIDIA MGX服务器规范完全兼容。因此系统制造商可以快速且经济高效地将GH200添加到其服务器版本中。

新GH200预计将于明年第二季度投产。


数据中心迎来新变革

大模型浪潮来袭，催生各种AI原生应用，带动算力需求激增，专为应对数据密集型人工智能应用的数据中心市场正迅速崛起。

分析师们指出，随着老牌云计算供应商竞相为数据中心改装先进芯片和进行其他升级，以满足人工智能软件的需求，一些新兴的建设者看到了从零开发新设施的机会。

数据中心类似于一个大型仓库，配备了多架服务器、网络和存储设备，用于存储和处理数据。与传统数据中心相比，AI数据中心拥有更多使用高性能芯片的服务器，因此AI数据中心服务器每个机架的平均耗电量可达50千瓦或更多，而传统数据中心每个机架的耗电量大约为7千瓦。

这意味着AI数据中心需要增建能够提供更高功率的基础设施，由于额外的用电量会产生更多的热量，AI数据中心还需要其他冷却方法，如液体冷却系统，以防止设备过热。

服务和咨询公司Unisys高级副总裁Manju Naglapur指出：专门建造的人工智能数据中心可容纳利用人工智能芯片（如英伟达的GPU）的服务器，在人工智能应用筛选庞大的数据存储时，可同时运行多个计算。这些数据中心还配备了光纤网络和更高效的存储设备，以支持大规模的人工智能模型。

AI数据中心是高度专业化的建筑，需要投入大量的资金和时间。研究公司Data Bridge Market Research数据显示，到2029年，全球人工智能基础设施市场的支出预计将达到4225.5 亿美元，未来六年的复合年增长率将达到44%。

DataBank首席执行官Raul Martynek表示，人工智能的部署速度很可能会导致数据中心容量在未来12到24个月内出现短缺。


AMD也有应对之法

在人工智能领域，英伟达一直是无可争议的领导者，其 GPU 在深度学习、机器学习、计算机视觉等领域都有广泛的应用。然而，在 2023 年，AMD 用一款超级 AI 芯片向英伟达发起了挑战。

这款超级 AI 芯片就是 AMD 在 6 月 14 日发布的最先进的人工智能图形处理器（GPU）MI300X，它采用了 AMD RDNA 3 架构和小芯片设计，可以用于生成式对抗网络（GAN）等复杂的 AI 应用。AMD 称之为「生成式 AI 加速器」，它可以实现高效的图像、视频、音频、文本等多模态数据的生成、编辑、转换、增强等功能。

AMD MI300X 的性能非常惊人，它拥有 256 个计算单元（CU），每个 CU 包含 64 个流处理器（SP），共计 16384 个 SP。它的峰值单精度浮点运算性能达到了 66.56 TFLOPS，而英伟达最新的 Ampere A100 GPU 的峰值单精度浮点运算性能只有 19.5 TFLOPS。它还支持 PCIe 5.0 和 CXL 2.0 协议，可以实现高速的数据传输和内存共享。

AMD MI300X 的目标市场是数据中心和云计算领域，它可以为各种行业和领域提供强大的 AI 解决方案，比如医疗、教育、娱乐、金融、安全等。AMD 已经与多家合作伙伴和客户建立了关系，比如谷歌、亚马逊、微软、Facebook、腾讯、阿里巴巴等。


最后

AI风潮丝毫没有减缓之势，未来对算力的需求只会越来越多，AI芯片这片蛋糕将不再是英伟达一家独有，国产企业也将加入抢蛋糕的行列，让我们拭目以待吧！