随着公司寻求更便宜的GPU访问权限,替代云正在蓬勃发展

AI7号2024-05-05761

Chat中文版

对替代云的需求从未如此旺盛。

以核心Weave为例,这家GPU基础设施提供商最初是一家加密货币挖矿公司,本周从包括Coatue、Fidelity和Altimeter Capital在内的投资者那里筹集了11亿美元的新资金。 这一轮融资使其估值达到19亿美元,总计筹集了50亿美元的债务和股权资金-对于一家不到十年的公司来说,这是一个非常惊人的数字。

不仅仅是CoreWeave。

Lambda Labs在四月初获得了一个最高达5亿美元的“专用融资工具”,该公司还提供一系列云托管GPU实例。此前该公司在去年底结束的3.2亿美元C轮融资后,又获得了融资。由加密货币亿万富翁杰德·麦克凯勃支持的非营利组织Voltage Park去年十月宣布将向GPU支持的数据中心投资5亿美元。而云GPU托管服务商Together AI,还进行生成式人工智能研究,在今年三月成功获得了1.06亿美元的融资,由Salesforce领投。

那么,为什么对另类云空间如此热情并投入大量资金呢?

正如你所期待的那样,答案是生成式人工智能。

随着生成式人工智能蓬勃发展,对于大规模运行和训练生成式人工智能模型的硬件需求也在不断增加。从架构上来看,GPU是训练、微调和运行模型的合理选择,因为它们包含成千上万个核心,可以并行工作,执行构成生成式模型的线性代数方程。

但安装GPU很昂贵。因此,大多数开发人员和组织转而使用云计算。

云计算领域的现有企业,如亚马逊云服务(AWS)、谷歌云和微软Azure,提供了许多适用于生成式人工智能工作负载的GPU和特殊硬件实例。但至少对于一些模型和项目来说,其他云服务商可能更便宜,提供更好的可用性。

在CoreWeave上,租用一台Nvidia A100 40GB — 一种在模型训练和推理中很受欢迎的选择 — 每小时费用为2.39美元,相当于每月1200美元。在Azure上,相同的GPU每小时费用为3.40美元,或者每月2482美元;在Google Cloud上,每小时费用为3.67美元,或者每月2682美元。

鉴于生成式人工智能工作负载通常在一组GPU集群上运行,成本差额迅速增长。

加达纳(Gartner)的云服务与技术副总裁西德·纳格(Sid Nag)告诉科技媒体TechCrunch:“像CoreWeave这样的公司参与了我们称之为专业‘GPU即服务’云提供商的市场。”“鉴于对GPU的高需求,它们为超大规模云服务提供商提供了替代方案,他们采用了英伟达GPU,为市场开辟了另一条途径,并提供了对这些GPU的访问。”

Nag指出,即使一些大型科技公司也开始依赖替代云服务提供商,因为它们面临计算能力挑战。

去年六月,CNBC报道称微软与CoreWeave签署了一项价值数十亿美元的协议,以确保ChatGPT的制造商OpenAI,一个微软的亲密合作伙伴,能够拥有足够的计算能力来训练其生成式AI模型。Nvidia为CoreWeave提供大部分芯片,认为这是一个有利的趋势,也许是出于筹码的原因;据说它已经给予一些替代的云计算供应商优先访问其GPU。

Forrester的首席分析师李·苏斯塔(Lee Sustar)认为,像CoreWeave这样的云供应商成功的部分原因是因为他们没有现有供应商必须处理的基础设施“包袱”。

他说:“鉴于超大规模云服务提供商在整体公共云市场的主导地位,这需要大量投资于基础设施和服务范围,但这些投资几乎没有收入。像CoreWeave这样的挑战者有机会成功,因为他们专注于优质的人工智能服务,而不需要承担超大规模云服务提供商所需的投资负担。”

但这种增长能持续下去吗?

苏斯塔对此表示怀疑。他认为,替代云服务提供商的扩张将取决于他们是否能够继续大规模地投入GPU,并以有竞争力的低价格提供它们。

随着谷歌、微软和亚马逊等老牌公司加大对定制硬件用于运行和训练模型的投资,通过价格竞争可能会变得更具挑战性。谷歌推出了其TPUs;微软最近发布了两款定制芯片,Azure Maia和Azure Cobalt;亚马逊也推出了Trainium、Inferentia和Graviton。

Sustar表示:“超大规模数据中心将利用他们定制的芯片来减少对英伟达的依赖,而英伟达将寻求与CoreWeave等以GPU为中心的人工智能云合作。”

事实上,许多生成式人工智能工作负载在GPU上运行效果最佳,但并非所有工作负载都需要它们——尤其是对于不那么时间紧迫的工作负载。CPU可以运行必要的计算,但通常比GPU和定制硬件要慢。

在更为存在的层面上,生成式人工智能泡沫可能会破灭,这将导致供应商拥有大量的GPU,而需求几乎不足。但是在短期内,Sustar和Nag表示,未来看起来很乐观,他们预计会有持续的新兴云服务提供商。

"Sustar表示,以GPU为导向的云端初创公司将给现有公司带来很多竞争,特别是那些已经使用多云并且能够处理管理、安全、风险和合规性等多个云端服务的客户。这类云端客户如果发现新的人工智能云端服务具有可靠的领导力、稳固的财务支持和无需等待的GPU,他们将会很乐意尝试新的服务。"