过去十年中,云计算以每年20%的增幅高速增长,并迅速发展成为一个万亿美元的产业。IDC预测称,到2025年,云将超过本地基础设施,成为65%的企业组织存储、管理和分析运营数据的主要方式。但与之前相比,企业更关注云计算带来的运营成本效益,已经迁移到云端的客户开始关注平台和软件服务。
DGX Cloud:随时随地将AI带给每家公司
NVIDIA在GTC 2023上描绘了为全球客户构建数据中心和AI基础设施的蓝图,并推出了全新的DGX 计算机, 搭载了8颗NVIDIA GPU。
其实早在2016年,NVIDIA创始人兼首席执行官黄仁勋先生就亲手向OpenAI交付了第一台NVIDIA DGX超级计算机。此后数年里,NVIDIA DGX从最初被用作AI技术的研究设备,逐步被企业扩展至数据优化和AI处理,据称财富前100强公司中约有半数采用了DGX。进入2023年后,随着ChatGPT的走红,部署像ChatGPT这样的大型语言模型(LLM)正在成为DGX越来越重要的一项工作。
而为了加快把DGX能力带给初创企业和其他各类企业,以助力其快速打造新产品和制定AI战略,NVIDIA最新发布了NVIDIA DGX Cloud。通过与微软Azure、Google Cloud和Oracle Cloud Infrastructure合作,“从浏览器上”即可实现将NVIDIA DGX AI超级计算机“带给每家公司”的愿景。这一模式也被称之为Training-as-a-Service,或者Model Making-as-a-Service。
实际上,这并不是英伟达第一次公布DGX Cloud。此前在英伟达2022财年四季度财报发布时,黄仁勋先生就向外界透露说英伟达将与云服务厂商展开合作,让客户以使用网页浏览器的方式,就能通过NVIDIA DGX Cloud来使用DGX计算机,从而训练和部署大型语言模型或完成其他AI工作负载。
简单而言,DGX Cloud可提供 NVIDIA DGX AI超级计算专用集群,并配以NVIDIA AI Enterprise软件推动AI端到端开发和部署。每个企业都可以通过一个简单的网络浏览器访问自己的AI超级计算机,免除了购置、部署和管理本地基础设施的复杂性。同时,企业可按月租用DGX Cloud集群,以便能够快速、轻松地扩展大型多节点训练工作负载的开发,而无须等待需求量通常很大的加速计算资源。
目前,NVIDIA正在与领先的云服务商联合托管DGX Cloud基础设施,Oracle Cloud Infrastructure(OCI)将首当其冲,通过其OCI超级集群,提供专门构建的RDMA网络、裸金属计算以及高性能本地块存储,可扩展到超过32,000个GPU所组成的超级集群。微软Azure预计将在下个季度开始托管DGX Cloud,该服务将很快扩展到Google Cloud等。
赋能生成式AI
为了加速企业使用生成式AI的工作,NVIDIA发布的另一项重磅消息则是推出NVIDIA AI Foundations云服务系列,为需要构建、完善和运行自定义大型语言模型及生成式 AI的客户提供服务,他们通常使用专有数据进行训练并完成特定领域的任务。
AI Foundations服务包括三类:NVIDIA NeMo,用于构建自定义语言文本-文本转换生成模型;Picasso视觉语言模型制作服务,适用于想要构建使用授权或专有内容训练而成的自定义模型的客户;以及BioNeMo,助力2万亿美元规模的药物研发行业的研究人员。
NeMo和Picasso服务运行在可通过浏览器访问的NVIDIA DGX Cloud上。开发人员可以通过简单的应用编程接口(API)使用每项服务上提供的模型。一旦模型可以部署,企业就能够使用NVIDIA AI Foundations云服务大规模地运行推理工作负载。
每项云服务都包含六个要素:预训练模型、数据处理框架、矢量数据库和个性化服务、经过优化的推理引擎、各种API、以及NVIDIA专家提供的支持,可帮助企业针对其自定义用例调整模型。
从已公布的用户案例来看:
Adobe正与NVIDIA共同开发新一代先进的生成式AI模型,侧重于将生成式AI深度集成到全球顶尖创作者和营销人员所使用的应用中。
Shutterstock正在与NVIDIA一起训练一个生成式文本-3D转换基础模型,创作时间可从数小时缩短至数分钟。通过使用NVIDIA Picasso生成式AI云服务构建自定义模型,Shutterstock将帮助3D艺术家创建物体形状、帮助展开物体、生成纹理和材质,甚至为非3D内容创作者制作可直接用于各种应用和平台的完整3D模型。
Getty Images正在与NVIDIA一起训练负责任的生成式文本-图像,以及文本-视频转换基础模型。这些模型将使用简单的文本提示创建图像和视频,并将在Getty Images完全授权的资产上进行训练。Getty Images将根据这些模型所产生的收入向艺术家支付版权费。
生物技术公司安进(Amgen)使用其专有的抗体专利数据对BioNeMo ESM模型架构进行了预训练和微调。该公司将在DGX Cloud上训练五个用于分子筛选和优化的自定义模型,所需要的时间从三个月缩短到了几周。
与此同时,加速生成式AI模型的快速部署也是NVIDIA关心的重点。为此,黄仁勋先生发布了用于AI视频、图像生成、大型语言模型部署和推荐器推理的推理平台,这些平台将NVIDIA的全套推理软件与最新的NVIDIA Ada、Hopper和Grace Hopper处理器相结合,包括同时在最近推出的NVIDIA L4 Tensor Core GPU和NVIDIA NVL GPU。
用于AI视频的NVIDIA L4可提供比CPU高出120倍的由AI支持的视频性能,同时提高99%的能效。
用于图像生成的NVIDIA L40针对图形以及AI赋能的2D视频和3D图像生成进行了优化。
用于大型语言模型部署的NVIDIA NVL是规模化部署ChatGPT等大型语言模型的理想选择。
用于推荐模型的NVIDIA Grace Hopper是图形推荐模型、矢量数据库和图形神经网络的理想选择。
Google Cloud是首家支持L4 Tensor Core GPU的云服务提供商,该公司已推出新的G2虚拟机并在近日提供私人预览版。此外,谷歌还将L4 GPU集成到其Vertex AI模型商店中。资料显示,L4 GPU是一款适用于几乎所有工作负载的通用GPU,具有更加强大的AI视频功能,可提供比CPU高120倍的AI视频性能,同时能效提高了99%。
BlueField-3 DPU提升数据中心的性能、效率和安全性
据IDC统计,全球算力的需求每3.5个月就会翻一倍,远远超过了当前算力的增长速度。在此驱动下,全球计算、存储和网络基础设施也在发生根本转变,一些复杂的工作负载,在通用的CPU上不能很好的处理,为减轻CPU/GPU内核的负担,很多一级云服务提供商开始考虑如何在单芯片DPU上就可实现网络、存储、安全等关键任务的加速工作。
2020年10月,英伟达将基于Mellanox的SmartNIC技术推出 BlueField DPU(数据处理器),并将CPU、GPU、DPU称之为组成“未来计算的三大支柱”。作为面向数据中心的专用处理器,DPU新增了AI、安全、存储和网络等各种加速功能,能够对性能敏感且通用的基础设施工作负载进行加速,从而更好地支撑CPU、GPU的上层业务,成为整个网络的中心节点。
有行业人士表示,未来,用于数据中心的DPU量级将达到和数据中心服务器等量的级别。“每台服务器可能没有GPU,但一定会有一块或者几块DPU卡,这将是一个千亿量级的市场。”
本届GTC 2023上,NVIDIA宣布Oracle云基础设施(OCI)已选择 NVIDIA BlueField-3 DPU作为其网络堆栈的最新部分,从而为其客户提供一个强大的新选项,用于从CPU卸载数据中心基础设施任务。
BlueField-3 DPU是NVIDIA第三代数据处理器,与上一代BlueField DPU相比,BlueField-3 DPU支持高达400Gbps的以太网和InfiniBand网络连接,提供了4倍的计算能力、4倍的加密加速性能、2倍的存储处理性能和4倍的内存带宽。测试显示,与未使用DPU的服务器相比,使用NVIDIA BlueField DPU的服务器可降低高达24%的功耗。
通过NVIDIA DOCA软件框架,BlueField DPU可完全向后兼容。NVIDIA DOCA为开发者提供先进的零信任安全功能,使开发者能够创建用于控制资源访问的计量云服务、验证每个应用程序和用户、隔离可能被入侵的机器,并帮助保护数据免遭破坏和盗窃。
结语
在计算机科学界,没有人会相信近十年间,与训练模型和数据(从AlexNet训练到现在)相关的计算量会扩大100万倍。而在生成式AI需求爆发式增长的背景下,行业更需要进行充分的供应链准备,以满足全球对AI的需求。这也解释了黄仁勋之所以多次强调加速计算的原因所在,毕竟,通过执行这样的全栈操作,不但可以将计算性能显著提升,更可以有效节省计算时间,从而节约能源,助推可持续发展。