太平洋科技要聞

奧特曼百萬年薪挖角谷歌TPU人才，欲砸7萬億實(shí)現(xiàn)「芯片自由」？OpenAI自研芯片最新進(jìn)展曝光

新智元整合編輯：太平洋科技發(fā)布于：2024-06-13 17:20

OpenAI在芯片方面的野心傳聞已久。

目睹了近年來PC和AI行業(yè)兩次重大的半導(dǎo)體供應(yīng)危機(jī)之后，Sam Altman似乎認(rèn)為臺(tái)積電、三星代工和英特爾代工這些傳統(tǒng)的芯片制造商沒有足夠的產(chǎn)能，不能滿足全球?qū)I芯片迅猛增長的需求。

不僅僅是OpenAI的算力需要減少對英偉達(dá)芯片的依賴，奧特曼甚至還希望建造更多的晶圓廠，可以穩(wěn)定供給其他公司。

根據(jù)華爾街日報(bào)的報(bào)道，今年2月，奧特曼會(huì)見軟銀CEO和臺(tái)積電的談判代表，討論合資事宜，計(jì)劃在未來幾年內(nèi)共同建造和運(yùn)營數(shù)十座芯片制造工廠。

TSMC在亞利桑那州的在建工廠

然而，造芯片要燒的錢相比訓(xùn)練大模型，只會(huì)少不會(huì)多。

根據(jù)奧特曼本人的估計(jì)，要建造新的半導(dǎo)體制造設(shè)備和相關(guān)基礎(chǔ)設(shè)施，成本可能高達(dá)5-7萬億美元。

由于傳統(tǒng)的私人風(fēng)投很難一下子拿出這么多資金，奧特曼曾經(jīng)找到美國商務(wù)部長討論，甚至遠(yuǎn)赴新加坡和阿聯(lián)酋會(huì)見當(dāng)?shù)毓賳T，想尋求國有資本的支持。

經(jīng)過了半年多的籌備和發(fā)酵，OpenAI的芯片事業(yè)似乎真的要起步了！

芯片人才大戰(zhàn)，谷歌 vs. OpenAI

據(jù)SemiAnalysis的最新報(bào)道，OpenAI最近開始大規(guī)模招募，計(jì)劃將只有幾個(gè)人的芯片團(tuán)隊(duì)擴(kuò)展到幾十個(gè)人。

而且，他們延續(xù)了招聘人才的一貫策略——挖角谷歌。

新近招募的幾乎所有研究人員，都是現(xiàn)任或前任的谷歌TPU團(tuán)隊(duì)成員。

不同于最初為圖形處理和實(shí)時(shí)渲染設(shè)計(jì)的GPU，TPU是谷歌從頭設(shè)計(jì)的，專門用于加速機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的計(jì)算，能夠更出色地解決張量運(yùn)算問題。

GPU以ALU（高級算術(shù)邏輯單元）作為核心組件，而TPU的核心是矩陣乘法器單元（MXU），能夠以很高的吞吐量執(zhí)行矩陣乘法和累加。

谷歌TPUv4

雖然TPU的任務(wù)通用性不如GPU，尤其是沒有CUDA這樣的編程接口，但在運(yùn)算性能和能源效率方面表現(xiàn)出色，尤其是那些經(jīng)過谷歌團(tuán)隊(duì)特別優(yōu)化的任務(wù)。

因此可以說，TPU是世界上性能/TCO（總體擁有成本）最優(yōu)的機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施。

雖然谷歌的TPU已經(jīng)有如此高的成就，但是OpenAI芯片團(tuán)隊(duì)的工作機(jī)會(huì)依舊有多方面的吸引力。

首先是大公司和創(chuàng)業(yè)公司在發(fā)展速度上的本質(zhì)差異。

TPU首次發(fā)布是在2013年，到今年5月最新推出的TPUv6，團(tuán)隊(duì)已經(jīng)有了十多年開發(fā)經(jīng)驗(yàn)。珠玉在前，系統(tǒng)設(shè)計(jì)和微架構(gòu)很難有較大變動(dòng)，更多的是迭代性、漸進(jìn)式的改進(jìn)。

加入OpenAI則不同，在從頭開始設(shè)計(jì)、開發(fā)的過程中，成員們有機(jī)會(huì)嘗試更創(chuàng)新、更激進(jìn)的方法。

而且OpenAI一向雄心勃勃，他們的目標(biāo)是構(gòu)建由數(shù)百萬個(gè)加速器組成的系統(tǒng)，這比GPT-4的訓(xùn)練還要大好幾個(gè)數(shù)量級。

此外，團(tuán)隊(duì)合作模式也有很大的區(qū)別。

在尾大不掉的谷歌，雖然TPU團(tuán)隊(duì)也會(huì)和DeepMind合作，但依舊會(huì)遇到不少非技術(shù)方面的障礙。

相比之下，OpenAI內(nèi)部的芯片和模型團(tuán)隊(duì)之間，交流與合作會(huì)更為緊密順暢。

除了這些，當(dāng)然也有薪酬的差異。

實(shí)際上，Google TPU團(tuán)隊(duì)已經(jīng)是半導(dǎo)體設(shè)計(jì)領(lǐng)域中薪酬最高的團(tuán)隊(duì)之一，工程師的平均收入遠(yuǎn)高于AMD、英特爾、高通等大多數(shù)半導(dǎo)體公司，能和行業(yè)龍頭英偉達(dá)比肩。

OpenAI的基本工資雖然沒那么豐厚，但作為未上市的創(chuàng)業(yè)團(tuán)隊(duì)，每年向高級工程師提供的價(jià)值數(shù)百萬美元的股權(quán)更加誘人。

有了這幾重因素的疊加，再加上CEO奧特曼本人親自參與了大部分的招聘工作，OpenAI招募到的人才質(zhì)量令人驚嘆。

GPT-4o和Sora模型發(fā)布時(shí)，團(tuán)隊(duì)成員背景、能力之強(qiáng)悍總能驚艷到網(wǎng)友。

SemiAnalysis的記者向同行打聽這些被挖角的TPU人才時(shí)，總能得到這樣的回答，「他們是我合作過的最好的工程師之一」。

OpenAI之所以瞄準(zhǔn)谷歌的TPU團(tuán)隊(duì)，既是希望得到最先進(jìn)的技術(shù)和人才，也同樣有商業(yè)競爭上的考量。

在硅谷的眾多科技巨頭中，只有谷歌研發(fā)的TPU能成功替代英偉達(dá)的芯片，并部署在公司內(nèi)部的云服務(wù)中。

Meta、亞馬遜和微軟等公司雖然也在自研芯片方面做了很多努力，但依舊嚴(yán)重依賴英偉達(dá)。

在未來相當(dāng)長的時(shí)間內(nèi)，AMD和英偉達(dá)等半導(dǎo)體公司將依舊是OpenAI的合作伙伴，因此輕易得罪不起。

只有面對天生的死對頭——谷歌，OpenAI才敢如此肆無忌憚地挖角。（連發(fā)布會(huì)都要搶在谷歌I/O大會(huì)前一天開）

雖然已經(jīng)獲得了如此強(qiáng)大的人才團(tuán)隊(duì)，但是芯片研發(fā)依舊需要付出巨大的努力。

預(yù)計(jì)要到2027年底，OpenAI才能推出第一代自研芯片。在那之前，他們依舊會(huì)完全依賴商用芯片。

與微軟關(guān)系逐漸微妙

OpenAI自研芯片的決策有些讓人摸不到頭腦。背靠微軟的資金和Azure云服務(wù)的強(qiáng)大算力，為什么要燒錢自研芯片？

實(shí)際上，OpenAI的與微軟之間的關(guān)系已經(jīng)愈發(fā)緊張，因?yàn)閷τ谖④浂�，OpenAI是一家結(jié)構(gòu)非常怪異的公司。

目前，它本質(zhì)上依舊是一家完全獨(dú)立的非營利組織，由OpenAI Nonprofit管理。微軟作為無投票權(quán)的董事會(huì)觀察員，幾乎無法控制OpenAI的發(fā)展走向。

如果因?yàn)锳GI安全問題，OpenAI董事會(huì)要求中止協(xié)議、收回模型的使用權(quán)，微軟就只能乖乖聽命，毫無還手之力。

AGI從所有的商業(yè)和知識(shí)產(chǎn)權(quán)許可協(xié)議中分割開來。

董事會(huì)決定我們何時(shí)實(shí)現(xiàn)AGI。再次強(qiáng)調(diào)，AGI指的是一種高度自治的系統(tǒng)，在最具經(jīng)濟(jì)價(jià)值的工作中優(yōu)于人類表現(xiàn)。此類系統(tǒng)不包括在與微軟簽訂的IP許可和其他商業(yè)條款中，這些條款僅適用于AGI之前的技術(shù)。

因此，兩方面都在施行自己的「脫鉤」計(jì)劃。

OpenAI需要在芯片和算力方面逐漸獨(dú)立，微軟在試圖減少對OpenAI模型的依賴。

比如微軟近期投資Inflection AI，以及自行組建團(tuán)隊(duì)開發(fā)Phi-3、MAI-1等模型，都是出于這方面的考量。

目前，許多企業(yè)用戶通過Azure使用OpenAI的技術(shù)，包括超過65%的《財(cái)富》500強(qiáng)公司。

微軟希望擁有自研的GPT-4級別LLM，以及滿足不同用戶需求的一系列模型，以便在Azure的推理服務(wù)中替換掉OpenAI。

對于OpenAI來說，想要在算力方面自給自足，購買英偉達(dá)芯片的成本過高，并不是最好的選擇。因此，自研芯片似乎是唯一出路。

實(shí)際上，不僅僅是OpenAI，Meta、微軟、谷歌和亞馬遜等公司也都在大力投資，開發(fā)自己的AI加速器。

這些AI巨頭一邊是英偉達(dá)最大的客戶，一邊也成為最有力的競爭對手。

畢竟，在模型訓(xùn)練的過程中，算力已經(jīng)成為占比最大的支出。如果能將購置芯片的資金轉(zhuǎn)變?yōu)閮?nèi)部投入，以制造成本部署GPU或TPU，模型的成本也將大幅下降。

參考資料：

https://www.semianalysis.com/p/openai-chip-team-is-now-serious

https://www.wevolver.com/article/tpu-vs-gpu-in-ai-a-comprehensive-guide-to-their-roles-and-impact-on-artificial-intelligence