根据市场研究公司 Gartner 的最新预测，2023 年全球用于 AI 的硬件销售收入预计将同比增长 20.9%，达到 534 亿美元（当前约 3887.52 亿元人民币）。

Gartner 表示，生成式 AI 的发展和各种基于 AI 的应用在数据中心、边缘基础设施和端点设备中的广泛使用，需要部署 GPU 和“优化的半导体设备”，这将推动 AI 芯片的生产和部署。

Gartner 预计，AI 半导体收入将在预测期内继续保持两位数增长，2024 年将增长 25.6%，达到 671 亿美元（IT之家备注：当前约 4884.88 亿元人民币），到 2027 年，AI 芯片收入预计将比 2023 年的市场规模增长一倍以上，达到 1194 亿美元（当前约 8692.32 亿元人民币）。

Gartner 表示，随着企业中 AI 工作负载使用的成熟，许多更多的行业和 IT 组织将部署包含 AI 芯片的系统。消费电子市场方面，Gartner 估计，到 2023 年底，用于设备的 AI 启用的应用处理器的价值将达到 12 亿美元（当前约 87.36 亿元人民币），而 2022 年为 5.58 亿美元（当前约 40.62 亿元人民币）。


ChatGPT催生算力新机遇

云边端AI芯片热战大模型

ChatGPT掀起生成式AI热潮后，大算力芯片迎来前所未有的发展机遇，新的挑战也接踵而来。

高通AI产品技术中国区负责人万卫星分享了高通对生成式AI未来发展趋势的观察：随着云端处理生成式AI的成本不断提升，未来云经济将难以支撑生成式AI的规模化发展。此外，基础模型正在向多模态扩展，模型能力越来越强大，而垂直领域模型的参数量也正在变得越来越小。未来，丰富的生成式AI模型将在终端侧运行，让大众享受到生成式AI带给生活、工作、娱乐上的变革。

NVIDIA解决方案与架构技术总监张瑞华认为：“生成式AI和大模型是人工智能目前最重要的领域，也是对算力资源需求最高的人工智能应用。由于模型的训练和推理的计算范式都发生了变革，所以现实算力资源和模型发展所需要的理想算力资源之间还有很大的差距。随着用户空间的巨量增长，还需考虑成本、实时性等问题。这是生成式AI和大模型时代所面临的计算挑战。”

芯片巨头AMD在MI Instinct GPU方面拥有大量的技术积累以及基于CDNA3的架构创新。AMD人工智能事业部高级总监王宏强谈道，AMD在单个GPU能做到上千T的浮点算力规模，通过多节点横向扩展，更是能达到每秒百亿亿次浮点计算能力（EFLOPS），并提供额外的超大内存容量及带宽，可实现700亿参数级大模型在单个GPU上的部署，并达到更高的TCO（总拥有成本）。

王宏强也特别强调了易用AI软件以及强大的开放软件生态的重要性，它是释放这些创新硬件性能的关键。AMD通过统一AI软件实现跨平台AI部署，以开放和模块化的方式构建软件解决方案，从而拥抱更高层次的抽象，并与最重要的生态系统（PyTorch, ONNX, Triton HuggingFace等）合作对接推动开箱即用的用户体验。

云端AI芯片独角兽企业燧原科技也在积极备战大模型算力需求。其创始人兼COO张亚林谈道，参数量高达数千亿的大模型，依赖分布式计算、更大的内存容量和带宽、更高算力、更实惠的成本或性价比，对AI芯片生态提出更高要求。

他打了一个形象的比喻：Transformer正通过统一的大模型，浓缩出一个“大树型”的AIGC平台生态，算力是“树根”，大模型是“树干”，行业模型库是“树枝”，应用是“树叶”。相比原来碎片化的CV、NLP中小模型，大模型的“大树型”生态的算力需求更加明确和聚焦。对此，他倡导联合生态伙伴，通过统一的大模型技术生态栈解决算力瓶颈问题。

奎芯科技联合创始人兼副总裁王晓阳谈道，大模型推理的关键瓶颈在于内存带宽，目前主流的AI大算力芯片均采用HBM作为内存首选，采用HBM离不开先进封装，在散热、工艺、产能等方面均受到一定限制。据他分享，采用基于UCle接口的AI大算力芯片架构可突破HBM的互联的局限。

作为存算一体AI大算力芯片企业的代表，亿铸科技的创始人、董事长兼CEO熊大鹏分享道，AI应用进入2.0时代， 一大突出问题是大模型带来巨量数据搬运，大算力芯片的竞争核心会逐渐转向破除“存储墙”，存算一体超异构成为“换道超车”的可行路径。

端侧和边缘侧的芯片企业同样看到大模型的机遇与需求。面向日益增长的算力需求，在边缘和中心侧，鲲云科技用可重构数据流技术路径来解决大模型算力需求攀升的问题，通过芯片底层架构革新，将芯片利用率大幅提升，这种方法能满足架构内海量数据的计算需求，提供高性能、高性价比、低延时的实时处理。

高通万卫星谈道，与云端相比，终端侧跑大模型拥有诸多优势，包括成本、能耗、可靠性、时延和性能、隐私和安全，以及个性化等。而终端侧AI与云端AI相互配合的混合AI架构，是让生成式AI实现全球规模化扩展的关键。“目前我们能够支持参数超过10亿的模型在终端上运行，未来几个月内超过100亿参数的模型将有望在终端侧运行。”他分享说，高通不断提升端侧AI能力，从而提高终端支持大模型的参数阈值，让更多云端生成式AI用例向边缘侧和端侧迁移，这将真正释放生成式AI的潜力。


IC大厂加速布局AI芯片

有初创公司表示，已感受到来自联发科、联咏和瑞昱等IC设计厂商的压力，这些厂商均在加紧开发AI芯片。消息人士称，AI处理器针对不同的应用有不同的等级，边缘AI芯片的性能要求已能够与中高端智能手机AP（应用处理器）相媲美。

意法半导体（ST）推出了边缘AI加速微处理器——第二代STM32 MPU。该处理器提高了工业和物联网边缘应用的性能和安全性，预计将于2024上半年批量生产。

意法半导体执行副总裁Ricardo De Sa Earp表示：“新的微处理器进一步加大了公司在应用处理器方面的投资，将64位内核与边缘AI加速、高级多媒体功能、图形处理和数字连接相结合。”

同样瞄准边缘AI芯片领域的大厂还有英飞凌。日前，英飞凌宣布收购初创公司Imagimob，后者是一家边缘设备机器学习解决方案提供商，专注于边缘AI市场。公告提到，通过此次收购，英飞凌将显著补强其AI产品。

除了芯片端，大模型玩家也在加速布局移动/边缘端的相关应用。日前举办的谷歌I/O大会上，谷歌宣布其PaLM2大模型的最轻量化版本Gecko可在移动端运行，开拓了AI模型在边缘侧推理的场景。对此，民生证券表示，在边缘侧推理的轻量化大语言模型有望带动边缘AI计算成长，加速边缘硬件市场更新迭代。

事实上，随着以ChatGPT为代表的AI大模型的衍生应用不断推出，许多终端开始实现智能化体验的升级，从而产生了海量的终端数据分析处理需求。在此背景下，边缘端AI应运而生。此外，边缘算力还具备低时延、高安全、隐私性较好等优势，符合未来AIGC时代，对于AI创作所有权及隐私权的要求。

在本月初DIGITIMES的相关报道中，有业内人士指出，AI应用的关键在于边缘化。ChatGPT等文本大模型以及MidJourney、Stable Diffusion等文生图大模型的相关功能，如果能够直接在边缘运算中实现，其带来的芯片商机就会非常庞大。


国产边缘SoC芯片即将量产

8月28日，在“第三届滴水湖中国RISC-V产业论坛”上，国内知名人工智能技术厂商云天励飞介绍了其新一代边缘大算力AP级边缘SoC芯片Edge10V，目前已经接近量产状态。

作为国内首批人工智能（AI）技术厂商，成立于2014年的云天励飞最初是主攻AI算法，通过摄像头、端云协同的架构来做海量图片的分析与处理，因此算法的泛化能力相对较弱，所以对于设备的调试要求就比较高，需要到各地去帮助客户调试，这在当时耗费了云天励飞很大的一部分精力。这也促使了云天励飞开始来做自研芯片，将自己的AI算法芯片化。

2018年，云天励飞就成功推出了自研的第一代面向嵌入式端的边缘AI芯片DeepEye1000，并且在当年8月一次性流片成功，在2019年正式商用。DeepEye1000基于国产高性能RISC-V CPU内核IP，内置了自主产权的神经网络处理器，支持灵活可编程计算流，搭载云天励飞自主研发的深度定制指令集，可以实现高性能、低功耗的CNN网络模型推理计算加速，满足视觉AI算法实时性处理的性能要求。

从2015年至今，云天励飞已经完成了三代指令集架构，4代神经网络处理器架构的研发。2022年，云天励飞自研的新一代边缘AI SoC芯片——Edge10V流片成功，今年开始在做产品化相关的工作，目前已经接近准量产状态。

据介绍，Edge10V是一款采用自主可控的纯国产工艺，内置国产RISC-V内核（主频1.2GHz），内置云天励飞第四代自主知识产权 NPU NNP400T（int8算力可达12Tops）的AI SoC芯片，其中还包括GPU和MM，支持双显等各类外设，支持边缘CV大模型的推理部署,因而可以独立完成各边缘计算场景的任务。

“ Edge10V的芯片实际上是系列化的芯片。有两大特色：1、支持Chiplet多芯粒扩展、支持大算力。作为国内首颗D2D高速互联Chiplet商用芯片，满足国产Chiplet UCIE标准。2、纯国产AI芯片。我们采用了国产的工艺、国产的封装，由国内工厂完成国内生产制造交付。作为一款AP级边缘AI SoC，Edge10V不仅可以支持AI计算，也可以支持双千兆网口，支持不同传感器的接入。另外，我们是有X8 PCle3.0接口可以支持不同的外设扩展。在CPU的部分，我们也是选择了带矢量处理器的这么一个RISC-V CPU。”云天励飞芯片BD总监张福林进一步解释道。

另外，云天励飞也为Edge10V配套了相对应的软件栈，其中核心的一个部分就是与异构的芯片架构有匹配的软件设计，可以很好的去做一些调度。另外，对于计算资源，也能通过合理的分配到不同的硬件加速器里面去运行。同时，Edge10V还有比较丰富的中间件的支持。包括：机器人行业用的比较多的ROS、ROS2等相关的东西。可以支持比较好的面向不同场景的边缘计算应用，以及低速自动驾驶方向的机器人应用。

在AI工具链、模型的支持方面，Edge10V可以支持Pytorch/Onnx/Caffe等主流模型框架，支持CNN/RNN/Transformer/GNN等深度学习网络模型。

在商业模式方面，云天励飞不仅可以直接对外提供Edge10V芯片，同时也可以对外提供一些列的模组产品，包括针对嵌入式设备的Mini PCle加速卡，可广泛应用于AIoT边缘视频、移动机器人等场景。也可以应用到一些边缘服务器的产品，做一些高密视频的推理。