制约 AI 人工智能发展最大的桎梏是什么?如在几年前,这个答案可能五花八门。但在大模型盛行的当下,这个问题只有一个答案——算力不够!
或者,换句话说,英伟达专用的 AI 算力芯片不够。
谁控制了英伟达的 AI 芯片,谁就控制了 AI 的未来。
现在,有这么一家公司,手中掌握了成千上万块英伟达的 AI「算卡」,客户涵盖了 OpenAI、微软等众多 AI 巨头。
作为「AI 算力黄牛」,这家名为 CoreWeave 的公司,在 4 年时间就将公司估值做到了 80 亿美元。拿到英伟达的独家投资之外,CoreWeave 还以手中的英伟达芯片做抵押,从黑石 Blackstone、Coatue 等顶级机构获得了 23 亿美元的债务融资。
没什么能阻挡 CoreWeave 的疯狂扩张,它到底是怎么搞定英伟达、从一家加密币「挖矿」公司,摇身一变成为 AI「算力基建」巨头的?
从「矿卡」到「算卡」
CoreWeave 的初创团队由三人组成,分别是 Michael Intrator,Brian Venturo 和 Brannin McBee,三人最初在金融领域工作,经营过对冲基金、家族办公室。
当年他们还在纽约管理基金时,加密货币挖矿热潮还未消退,最初只是为了赚取额外收入,他们购买了第一块 GPU,随后越买越多,华尔街的办公桌上堆满了 GPU。
「2016 年,我们购买了我们的第一块 GPU,插上电源,将其放在了俯瞰东河的曼哈顿下城办公室的台球桌上,然后挖掘了以太坊网络上的第一个区块。」CoreWeave 首席执行官 Michael Intrator,在一篇 2021 年的博客文章中如此回忆道。
很快,在 2017 年,他们将副业正式变成了一家公司,公司名字最初与加密货币相关,后来才改名叫 CoreWeave。在选择告别华尔街时,如同硅谷大佬都喜欢在车库里创业那样,他们将 GPU 硬件搬进了一个车库,不过这个车库不在西海岸的硅谷,而是在东海岸的新泽西郊区,属于其中一名创始人的祖父。
在过去十年中,GPU 是加密货币、人工智能技术热潮的重要引擎。在 2018 年底,CoreWeave成为北美最大的以太坊矿工之一,手握超过五万块 GPU,占以太坊网络的 1% 以上。
期间,几人也开始了解到其他公司对 GPU 资源的渴求。他们同时认识到,在加密货币领域并无持久竞争优势,因为市场竞争激烈,受电力价格影响大。
当 2018 年和 2019 年加密货币价格暴跌时,他们决定多元化经营,进入其他领域,这些领域比较稳定,但也需要大量 GPU 计算。他们关注人工智能、媒体娱乐和生命科学三大领域,并从 2019 年起,专注于购买企业级 GPU 芯片组,构建专门的云基础设施,围绕英伟达的芯片调整业务。
随着新业务步入正轨,以太坊挖矿业务渐渐边缘化。转型的决定证明是正确且幸运的,几个创始人都没有料想到即将到来的 AI 浪潮之热,让 CoreWeave 逐渐从一个小办公室扩张成遍布全国的数据中心,以对应不断膨胀的 AI 市场需求。
据其中一名创始人披露,2022 年,CoreWeave 收入约有 3 千万美元,预计 2023 年将超过 5 亿美元,增长超 10 倍,并且已经签署了近 20 亿美元的合同。今年宣布在德州投资 16 亿美元建数据中心,并计划在年底前扩展至 14 个数据中心。
把英伟达芯片作为抵押物,CoreWeave 获得 23 亿美元融资
要论让 CoreWeave 迅速火起来的事件,必然是 ChatGPT 和大量生成式 AI 工具的落地,后者推动了整个行业对 GPU 的高需求,这也让 CoreWeave 成为很多公司眼中的”香饽饽“,因为 GPU 并行执行许多计算的能力使其非常适合训练当今最强大的模型。
与此同时,就 CoreWeave 公司自身而言,其提供了包括原生 Kubernetes 编排、对顶级 GPU 加速器的支持以及存储和网络功能,它完全可以满足包括 Inflection AI 在内的大型语言模型(LLM)公司的需求。
根据 Venturebeat 报道, 突然之间,所有人都在谈论 CoreWeave,这也为其带来了一场投资的“潮流转变”。
在今年 4 月,CoreWeave 获得了 2.21 亿美元的 B 轮融资,其中包括来自英伟达的投资。此举让 CoreWeave 公司估值达到了 20 亿美元。
5 月,CoreWeave 又获得了 2 亿美元。
8 月初,也就是在几天前,CoreWeave 再次获得了 23 亿美元的债务融资。
据路透社报道,和其他次融资有所不同的是,CoreWeave 是通过使用 NVIDIA 需求量很大的 H100 GPU 作为抵押品,才成功获得了 23 亿美元的融资。
此次是由现有投资者 Blackstone 和 Magnetar Capital 领投,Coatue、DigitalBridge Credit 以及 Pimco 和 Carlyle 管理的基金和账户参投了这笔信贷融资。
英伟达与微软的加持
令人感到十分惊奇的是,NVIDIA 的 H100 AI GPU 被用作“抵押”资产,这显示了这些 GPU 的重要性和价值。要知道,价值 23 亿美元的 H100 GPU 并不容易获得。
因此,CoreWeave 得以在 AI GPU 这条路”横行“的一个主要原因要归功于英伟达的支持,包括 H100 GPU 和 HGX H100 超级计算机。
据悉,CoreWeave 已经获得英伟达在提供最先进且供应短缺的芯片方面的"独家"支持。
外媒 Venturebeat 透露,尽管供应紧张,英伟达还是将其最新的 AI 服务器芯片大量分配给 CoreWeave,而不是 AWS 等顶级云提供商。这是因为后者那些大厂公司正在开发自己的 AI 芯片,试图减少对英伟达的依赖。
不过,在很多人看来,高度依赖某一家半导体公司,会有很强的风险存在。然而,CoreWeave 创始人之一的 McBee 则认为,「不自己研发芯片肯定不是劣势。我可以想象,这肯定有助于我们不断努力从英伟达获得更多 GPU,而牺牲我们同行的利益。」
同时,McBee 还指出,随着时间的推移,将会有一种由不同类型基础设施构成的矩阵,支撑不同类型的 AI 模型。不过,他认为 GPU 仍将是支持最前沿、计算密集型模型开发的基础设施——GPU 供应短缺的情况至少还需要两年甚至三年才能开始缓解。
所以,此时他们依赖于英伟达的 GPU 也是明智之举。
CoreWeave 联合创始人兼首席执行官 Michael Intrator 也分享了他的看法,其表示,债务融资将提供 "财务余地和灵活性",以实现 CoreWeave 在今年年底前建成 14 个数据中心的目标。
"[我们将把融资]全部用于购买和支付已与客户签订合同的硬件,并继续聘用业内最优秀的人才。没有人预料到对 GPU 计算的需求会达到如此高的水平,但我们为提高产能而进行的战略投资继续得到回报——我们正在提供其他公司无法提供的服务“, Intrator 说道。
值得庆贺的是,CoreWeave 与英伟达合作打造的世界上最快的人工智能超级计算机在上个月推出了。
除了有英伟达的加持之外,据 CNBC 在 6 月报道称,微软已同意在未来几年内向初创公司 CoreWeave 投资数十亿美元用于云计算基础设施,以确保运营 ChatGPT 聊天机器人的 OpenAI 未来拥有足够的计算能力。
英伟达才是人生赢家
英伟达成为生成性人工智能爆发式崛起的大赢家,这项技术有可能重塑各个行业,产生巨大的生产力收益,并取代数百万的工作岗位。
H100将加速这一技术飞跃,这种芯片基于被称为 Hopper "的新的Nvidia芯片架构,以美国编程先驱格雷斯·霍普的名字命名,成了硅谷最热门的商品。
"这整个事情就在我们开始生产Hopper的时候起飞了,"黄说,英伟达在ChatGPT首次亮相的几周前,就开始了大规模的生产。黄对未来收益的信心,部分源于能够与芯片制造商台积电合作,扩大H100的生产规模,以满足微软、亚马逊和谷歌等云供应商、Meta等互联网集团和企业客户的爆炸性需求。
H100被证明特别受微软和亚马逊等大型科技公司的欢迎,这些公司正在建立以人工智能工作负载为中心的整个数据中心,以及OpenAI、Anthropic、Stability AI和Inflection AI等生成性人工智能初创公司。这种芯片有更高的性能,可以加速产品的推出或随着时间的推移降低培训成本。
虽然H100的推出时机非常理想,但Nvidia在人工智能方面的突破,可以追溯到近二十年前的软件创新,而不是硅。
英伟达的Cuda软件创建于2006年,允许GPU作为加速器被重新用于图形以外的其他类型的工作负载。然后在2012年左右,巴克解释说,"人工智能找到了我们"。
加拿大研究人员意识到,GPU非常适合创建神经网络,这是一种受人脑中神经元互动方式启发的人工智能形式,当时正成为人工智能发展的一个新焦点。巴克说:"我们花了近20年时间才达到今天的水平。"
英伟达现在拥有比硬件工程师更多的软件工程师,能够支持随后几年出现的许多不同种类的人工智能框架,并使芯片在训练人工智能模型所需的统计计算方面更加高效。
Hopper是第一个针对“Transformer模型”进行优化的架构,这种方法是OpenAI的“生成式预训练变换(generative pre-trained transforme)”聊天机器人的基础。
英伟达与AI研究人员的紧密合作,使其能够在2017年发现Transformer模型的出现,并开始相应地调整其软件。"
"Transformers"在这里指的是一种机器学习模型,特别是在自然语言处理领域中广泛使用的模型。这种模型基于"注意力机制"(Attention Mechanism)工作,能够捕捉输入数据(如文本)中的复杂模式和依赖关系。
"英伟达可以说比其他人更早地看到了未来,他们的支点是使GPU可编程,"AI初创企业的投资者Air Street Capital的普通合伙人内森·贝奈奇说。"发现了一个机会,并下了大赌注,而且一直超过了竞争对手。"
贝奈奇估计,英伟达比竞争对手有两年的领先优势,但他也说:"英伟达的地位在硬件和软件方面都远非不可撼动。"
Stability AI的莫斯塔克也同意,"谷歌、英特尔和其他公司的下一代芯片正在迎头赶上,随着软件的标准化,即使是Cuda也变得不再是一道护城河。"
对人工智能行业的一些人来说,华尔街本周的热情看起来过于乐观了。然而,芯片咨询公司D2D咨询公司的创始人杰伊·戈德堡说,"就目前而言,还在半路上的人工智能市场,看起来仍将是属于英伟达的赢家通吃市场。"