編者按：本文來自微信公眾號 新智元，作者：新智元，創(chuàng)業(yè)邦經(jīng)授權(quán)轉(zhuǎn)載。

今年，馬斯克用全球最大AI超算Colossus轟動了整個世界。

這臺超算配備了10萬張英偉達(dá)H100/H200顯卡，并預(yù)計未來即將擴展到20萬張。

自此，AI巨頭們倍感壓力，數(shù)據(jù)中心大戰(zhàn)火上澆油。巨頭們紛紛醞釀著各自的建造計劃。

最近，LessWrong網(wǎng)站上發(fā)表了一篇博客，根據(jù)公開數(shù)據(jù)對英偉達(dá)芯片的產(chǎn)量、各個AI巨頭的GPU/TPU數(shù)量進(jìn)行了估計，并展望了芯片的未來。

Semianalysis在2023年底一篇報道中指出，谷歌是唯一一家擁有出色自研芯片的公司。

谷歌在低成本、高性能且可靠的大規(guī)模AI部署方面的能力幾乎無人能及，是全球算力最豐富的企業(yè)。

而且，谷歌在基礎(chǔ)設(shè)施上的投入，只會越來越多。2024年第三季度財報估計，AI支出為130億美元，「大部分」用在搭建技術(shù)基礎(chǔ)設(shè)施，其中其中60%是服務(wù)器（GPU/TPU）。

大部分或許意味著70-110億美元，其中在TPU/GPU服務(wù)器上預(yù)估耗資45-70億美元。

按照TPU對GPU支出2:1的估算，并保守假設(shè)TPU的每美元性能與微軟的GPU支出相當(dāng)，預(yù)計到2024年底谷歌將擁有相當(dāng)于100萬到150萬塊等效H100算力。

相比之下，亞馬遜內(nèi)部AI工作負(fù)載規(guī)模很可能小得多。

他們持有相當(dāng)數(shù)量的英偉達(dá)芯片，主要是為了滿足通過其云平臺提供的外部GPU需求，尤其是為Anthropic提供算力需求。

畢竟，亞馬遜和微軟一樣，都是金主爸爸，負(fù)責(zé)為OpenAI勁敵提供充足算力。

另一方面，亞馬遜雖也有自研的Trainium和Inferentia芯片，但他們在這方面的起步比谷歌的TPU晚得多。

這些芯片似乎遠(yuǎn)落后于業(yè)界最先進(jìn)水平，他們甚至提供高達(dá)1.1億美元的免費額度來吸引用戶嘗試，這表明目前的市場接受度并不理想。

不過，今年年中，亞馬遜定制芯片似乎出現(xiàn)了的轉(zhuǎn)機。

在2024年第三季度財報電話會議上，CEO Andy Jassy在談到Trainium2時表示，這些芯片獲得了巨大的市場興趣，我們已多次與制造合作伙伴協(xié)商，大幅提高原定的生產(chǎn)計劃。

Semianalysis報道指出，「根據(jù)我們已知數(shù)據(jù)，微軟和谷歌于2024年在AI基礎(chǔ)設(shè)施上的投資計劃，大幅領(lǐng)先亞馬遜部署的算力」。

這些芯片換算成等效H100并不明確，關(guān)于Trainium/Trainium2芯片的具體數(shù)量也難以獲得，僅知道在上述免費額度計劃中提供了4萬塊。

xAI

今年，xAI在基礎(chǔ)設(shè)施搭建中，最為標(biāo)志性事件便是——122天建成了10萬塊H100組成的世界最大超算。

而且，這一規(guī)模還在不斷擴展中。馬斯克預(yù)告了未來將擴展到20萬塊由H100/H200組成的超算。

據(jù)稱，xAI超算目前似乎在站點供電方面遇到了一些問題。

2025年Blackwell芯片預(yù)測

最新2024 AI現(xiàn)狀報告對Blackwell采購量進(jìn)行了估算：

大型云計算公司正在大規(guī)模采購GB200系統(tǒng)：微軟介于70萬到140萬塊之間，谷歌40萬塊，AWS 36萬塊。據(jù)傳OpenAI獨自擁有至少40萬塊GB200。

如果將微軟GB200預(yù)估值設(shè)為100萬塊，那么谷歌、AWS這些數(shù)字與它們在英偉達(dá)采購中，相對于微軟的比例是相符的。

這也使得微軟占英偉達(dá)總收入的12%，與2024年其在英偉達(dá)收入份額的小幅下降趨勢一致。

該報告雖然沒有給出Meta的具體估計數(shù)字，但Meta預(yù)計明年人工智能相關(guān)基礎(chǔ)設(shè)施支出將顯著加速，這表明其在英偉達(dá)支出中將繼續(xù)保持高份額。

lesswrong預(yù)計在2025年，Meta的支出規(guī)模將維持在微軟支出的約80%水平。

雖然沒有提及xAI，但馬斯克宣稱，將在2025年夏天部署一個有30萬塊Blackwell芯片的運算集群。

慮到馬斯克一貫的夸張風(fēng)格，更為合理的一個估計是，到2025年底他們可能實際擁有20萬—40萬塊芯片。

那么，一塊B200相當(dāng)于多少塊H100？這個問題對于評估算力增長至關(guān)重要。

就訓(xùn)練而言，性能預(yù)計飆升（截至2024年11月）2.2倍。英偉達(dá)發(fā)布當(dāng)天，給出的數(shù)據(jù)稱，兩個B200組成的GB200，其性能是H100的7倍，訓(xùn)練速度是H100的4倍。

對于谷歌，假設(shè)英偉達(dá)芯片繼續(xù)占其總邊際計算能力的三分之一。對于亞馬遜，這一比例假定為75%。

值得注意的是，仍有大量H100和GB200芯片未被計入上述統(tǒng)計中。

有些是未達(dá)到英偉達(dá)收入報告閾值的機構(gòu)，還有些是像甲骨文這樣的云服務(wù)提供商和其他中小型云服務(wù)提供商可能持有相當(dāng)數(shù)量的芯片。

此外，也包括一些英偉達(dá)重要的非美國客戶。

在全面了解各家手握多少GPU/TPU算力之后，下一個問題是，這些算力將用在哪？

巨頭們訓(xùn)練模型用了多少算力？

以上都討論的是關(guān)于各個AI巨頭總計算能力的推測，但許多人可能更關(guān)心最新前沿模型的訓(xùn)練使用了多少計算資源。

以下將討論OpenAI、谷歌、Anthropic、Meta和xAI的情況。

但由于這些公司要么是非上市企業(yè)，要么規(guī)模巨大無需披露具體成本明細(xì)（比如谷歌，AI訓(xùn)練成本目前只是其龐大業(yè)務(wù)的一小部分），因此以下分析帶有一定的推測性。

OpenAI和Anthropic

2024年OpenAI的訓(xùn)練成本預(yù)計達(dá)30億美元，推理成本為40億美元。

據(jù)稱，微軟向OpenAI提供了40萬塊GB200 GPU，用于支持其訓(xùn)練。這超越了AWS整體的GB200容量，使OpenAI的訓(xùn)練能力遠(yuǎn)超Anthropic。

另一方面，Anthropic 2024年預(yù)計虧損約20億美元，而收入僅為幾億美元。

考慮到Anthropic的收入主要來自API服務(wù)且應(yīng)該帶來正毛利，且推理成本應(yīng)該相對較低，這意味著20億美元中，大部分都用于模型訓(xùn)練。

保守估計其訓(xùn)練成本為15億美元，這大約是OpenAI的一半，但并不妨礙其在前沿模型上的競爭力。

這種差異也是可以理解的。Anthropic的主要云提供商是資源相對有限的AWS，AWS的資源通常少于為OpenAI提供算力支持的微軟。這可能限制了Anthropic的能力。

谷歌和Meta

谷歌的Gemini Ultra 1.0模型使用了約為GPT-4的2.5倍的計算資源，發(fā)布時間卻晚了9個月。其所用的計算資源比Meta的最新Llama模型高25%。

盡管谷歌可能擁有比其他公司更多的計算能力，但作為云服務(wù)巨頭，它面臨著更多樣的算力需求。與專注于模型訓(xùn)練的Anthropic或OpenAI不同，谷歌和Meta都需要支持大量其他內(nèi)部工作負(fù)載，如社交媒體產(chǎn)品的推薦算法等。

Llama 3所用計算資源比Gemini少，且發(fā)布時間晚8個月，這表明Meta分配給前沿模型的資源相較OpenAI和谷歌更少。

xAI

據(jù)報道，xAI使用了2萬塊H100訓(xùn)練Grok 2，并計劃用10萬塊H100訓(xùn)練Grok 3。

作為參考，GPT-4據(jù)稱使用2.5萬塊A100進(jìn)行了90-100天的訓(xùn)練。

考慮到H100的性能約為A100的2.25倍，Grok 2的訓(xùn)練計算量約為GPT-4的兩倍，而Grok 3則預(yù)計達(dá)到其5倍，處于計算資源利用的前沿水平。

此外，xAI并非完全依賴于自有芯片資源，部分資源來源于租賃——據(jù)估算，他們從Oracle云平臺租用了1.6萬塊H100。

如果xAI分配給訓(xùn)練的計算資源比例接近OpenAI或Anthropic，推測其訓(xùn)練規(guī)?？赡芘cAnthropic相當(dāng)，但低于OpenAI和谷歌的水平。

參考資料：

https://www.lesswrong.com/posts/bdQhzQsHjNrQp7cNS/estimates-of-gpu-or-equivalent-resources-of-large-ai-players

本文為專欄作者授權(quán)創(chuàng)業(yè)邦發(fā)表，版權(quán)歸原作者所有。文章系作者個人觀點，不代表創(chuàng)業(yè)邦立場，轉(zhuǎn)載請聯(lián)系原作者。如有任何疑問，請聯(lián)系editor@cyzone.cn。