近日,工业和信息化部、教育部、科技部、交通运输部、文化和旅游部、国务院国资委、中国科学院等七部门近日联合印发《关于推动未来产业创新发展的实施意见》(以下简称“《意见》”)。
《意见》提出,到2025年,我国未来产业技术创新、产业培育、安全治理等全面发展,部分领域达到国际先进水平,产业规模稳步提升。建设一批未来产业孵化器和先导区,突破百项前沿关键核心技术,形成百项标志性产品,初步形成符合我国实际的未来产业发展模式。到2027年,未来产业综合实力显著提升,部分领域实现全球引领。关键核心技术取得重大突破,一批新技术、新产品、新业态、新模式得到普遍应用,形成可持续发展的长效机制,成为世界未来产业重要策源地。
《意见》从全面布局未来产业、加快技术创新和产业化、打造标志性产品、壮大产业主体、丰富应用场景、优化产业支撑体系六个方面规划重点任务。
在全面布局未来产业方面,《意见》提出要加强前瞻谋划部署。把握全球科技创新和产业发展趋势,重点推进未来制造、未来信息、未来材料、未来能源、未来空间和未来健康六大方向产业发展。实施意见列举了包括人形机器人、脑机接口、超大规模新型智算中心、第三代互联网等创新标志性产品。其中,关于超大规模新型智算中心部分提到,加快突破GPU芯片、集群低时延互连网络、异构资源管理等技术,建设超大规模智算中心,满足大模型迭代训练和应用推理需求。
人工智能与GPU互相成就
最初,并不是GPU选择了人工智能,而是人工智能的研究者选择了GPU,进而成就了GPU:2012年Alex Krizhevsky(前谷歌计算机科学家)利用深度学习+GPU的方案,一举赢得Image Net LSVRC-2010 图像识别大赛,并奇迹般地将识别成功率从74%提升到85%。
NVIDIA敏锐地洞察到了这一趋势,于是耗费巨大的人力物力优化基于自家GPU的CUDA深度学习生态系统,在三年时间里将GPU性能提升了65倍,并提供基于其GPU的从后端模型训练到前端推理应用的全套深度学习解决方案,使得一般的开发人员都可以非常容易地使用GPU进行深度学习开发或高性能运算,从而奠定了其目前的王者之位。
GPU是AI时代的算力核心,但AI算力的构成不仅仅只是GPU加速芯片,还需要构建包括网络互联、操作系统、深度学习框架及相应 SDK、算法与应用程序等,形成一个完整的计算生态系统。
可以说,是人工智能和GPU互相成就了对方:人工智能算法促进GPU的发展,而GPU也让算法更加简单。
大语言模型助推 GPU 算力需求增长
市场对 3D 图像处理和 AI 深度学习计算等需求不断增加,GPU 市场保持高增 速。据 Global Market Insights 的数据,全球 GPU 市场预计将以 CAGR 25.9%持 续增长,至 2030 年达到 4000 亿美元规模。在 GPU 市场中,NVIDIA 依靠在深 度学习、人工智能等领域布局的先发优势并凭借其优异产品性能以及成熟的生态 平台长期处于领导地位,根据 JPR 数据,2022 年 Q1,NVIDIA 的在独显市场份 额约为 78%。
大语言模型有望拉动 GPU 需求增量,我们测算 23/24/25 年大模型有望贡献 GPU 市场增量 69.88/166.2/209.95 亿美元。具体假设测算如下: 训练端,近年来各大厂商陆续发布大模型,我们假设 23/24/25 年新增 5/10/15 个 大模型,根据 OpenAI 团队于 2020 发表的论文《Scaling Laws for Neural Language Models》提出的计算方法,对于以 Transformer 为基础的模型,假设模 型参数量为 N,单 Token 所需的训练算力约为 6N。参考 OpenAI 团队 2020 同年 发表的论文《Language Models are Few-Shot Learners》,GPT-3 模型参数量约为 1750 亿个,Token 数量约为 3000 亿个,近年发布的模型均在千亿级参数级别, 因此我们中性假设 23 年新增大模型平均参数量约为 2000 亿个,Token 数量约为 3000 亿个,两者后续每年以 20%增速增加。另外假设单次训练耗时约 30 天,算 力效率为 30%,后续伴随算法精进,算力效率预计逐渐提升。以目前主流的训练 端 GPU 英伟达 A100 测算,假设 ASP 为 1 万美元,23/24/25 年全球训练端 GPU 需求市场规模预计分别为 0.74/2.00/4.07 亿美元。
推理端,基于训练端的假设,根据论文《Scaling Laws for Neural Language Models》,单 Token 所需的推理算力开销约为 2N。则对于 GPT-3 模型,其单 Token 所需的推理算力开销为 3500 亿 FLOPs-S。假设单次最大查询 Tokens 数为 1000(对应汉字约 300-500 字,英文约 750 词),每人每天查询 20 次。在并发用 户数的估计上,我们参考国际主流社交媒体日活用户数进行测算,根据 Dustin Stout 统计,Facebook、WhatsApp、Instagram 全球日活用户数分别为 16 亿、10 亿、6 亿,考虑到目前(类) GPT 平台仍处于发展早期,我们预计全球大模型日活 用户数在 23/24/25 分别为 2/6/10 亿,按照所有用户平均分布于 24 小时,并以 10 倍计算峰值并发数量。以目前英伟达用于推理端计算的 A10 测算,假设 ASP 为 2800 美元,23/24/25 年全球推理端 GPU 需求市场规模预计分别为 69.14/164.2/205.88 亿美元。
英伟达GPU遇冷,国产芯片崛起
AI芯片市场格局迎来逆转。英伟达GPU曾备受追捧,但如今却遭遇冷遇。腾讯、阿里等国内巨头纷纷转向国产芯片,国产芯片厂商迎来春天。
原因在于,英伟达GPU价格高昂,且存在性能过剩问题。国产芯片性价比更高,且更适合国内应用场景。随着国产芯片技术的不断成熟,其性能已足以满足主流应用需求。
这一转变标志着国产芯片产业的崛起,也预示着AI芯片市场格局的深刻变化。“英伟达“阉割版”GPU遇冷,腾讯、阿里等转头拥抱国产?”,AI芯片战局似乎迎来逆转!此前每次英伟达的显卡一经推出,无不受到国内各大公司争抢,但现如今,情况似乎发生了逆转:
中国科技巨头,如百度、阿里巴巴、腾讯和字节跳动,正在削减对英伟达芯片订单,转向国产芯片供应商或内部自研芯片。显卡大户中国的决定,对英伟达收入的影响不容忽视,这占英伟达1/5的营收。此举也反映出中国企业在芯片供应链自主可控的战略考量。1/5收入的中国科技公司,包括百度、阿巴、腾讯和字节等公司正在开始减少英伟达芯片的订单量,转向国内芯片制造商或者公司内部自研芯片。
显而易见,这“得益于”漂亮国的对华AI芯片禁售政策。
随着美国收紧芯片管制,中国云计算企业将减少对英伟达的依赖,转向本土芯片供应商。 TrendForce 分析师 Frank Kung 表示,中国云计算企业目前约 80% 的高端人工智能芯片来自 Nvidia,未来五年这一比例可能会下降至 50%-60%。他补充说,未来美国收紧芯片管制将对英伟达在中国的销售造成额外压力。
在AI芯片领域,国内供应商能否满足需求方的实际应用需求尚待验证。国内云计算厂家的转单决心也仍不明确。因此,在短期内,自建算力仍将是企业的主要选择。
国内AI芯片与需求方实际应用需求之间存在差距,导致企业转单意愿不强。而云计算厂家的转单决心也受到多种因素的影响,包括成本、性能、兼容性等。在这些问题得到解决之前,企业自建算力仍将是大势所趋。,目前在国内培养本土供应链的呼声显然更高。不过,愿望和实际操作是两回事,当前国内的AI芯片能满足需求方们实际应用的需求吗?国内云计算厂家的转单决心又有多坚定,还有待考验。