開源的Grok-1是一個基于Transformer架構(gòu)的自回歸模型，參數(shù)規(guī)模達到3140億參數(shù)，是目前參數(shù)"/>
首頁 > 科技要聞 > 科技> 正文

馬斯克為何要作開源“秀”

虎嗅網(wǎng) 整合編輯：甘靈文 發(fā)布于：2024-03-24 23:27

3月11日周一，馬斯克發(fā)推文說要在一周內(nèi)開源Grok。眾多開發(fā)者等著盼著過了一周，到周日Grok才正式將代碼推到了開源社區(qū)。

開源的Grok-1是一個基于Transformer架構(gòu)的自回歸模型，參數(shù)規(guī)模達到3140億參數(shù)，是目前參數(shù)量最大的開源模型之一，Grok-1與主流開源大模型一樣免費可商用。

在開源之前，Grok最大的亮點是直接調(diào)用X中的實時數(shù)據(jù)和“幽默”。

但開源版本的Grok已經(jīng)打了折扣——在開發(fā)者手里，Grok不可能調(diào)取X的數(shù)據(jù)。從本次開源的信息來看，2023年11月Grok上線以后調(diào)用過的X數(shù)據(jù)，也沒有被作為訓練數(shù)據(jù)沉淀到Grok中。

除開源打折外，Grok本身的性能也并不占優(yōu)。剛上線時，Grok的評分就遠落后于當時的Palm 2、Claude 2和GPT-4。最典型的問題是，其支持的上下文長度只有8192個token。

Grok取得的關(guān)注（上線3天在GitHub收獲3.9萬Star）,似乎很大一部分都來自馬斯克本身的流量熱度。開源Grok被馬斯克說成是為了踐行“AI造福全人類”的目標，但在與OpenAI的官司期間開源，有觀點認為，Grok 開源的目的之一，就是為馬斯克起訴、聲討OpenAI提供的事實依據(jù)——這是一場由馬斯克親自操盤的“AI 大秀”。

開源Grok是作秀？

開源是一場讓企業(yè)與開發(fā)者跳雙人舞的“社區(qū)游戲”，但Grok這個“舞伴”，完全不是普通開發(fā)者所能掌控的。

在Grok-1之前，很多開源大語言模型（LLM）的參數(shù)量只有70億，LLaMA-2開源的最大參數(shù)量也只有700億。

而馬斯克直接開源了自家尺寸最大的3140億參數(shù)模型，據(jù)估計Grok-1需要約628 GB GPU內(nèi)存才能勉強運行，普通開發(fā)者幾乎不可能在本地嘗試Grok-1，對于云服務用戶來說，至少需要8張80GB顯存的A100或H100 GPU。

在Grok的GitHub討論區(qū)有用戶留言表示：谷歌云上80GB A100的4卡服務器每小時運行成本是20美元，這不適合我。（GCP instance with 4 A100 80GB; it cost around $20 per hour; this is not for me LOL.）

Grok開源之后，筆者也加入了一個關(guān)于Grok的開源討論群，但到了第二天，群內(nèi)的討論焦點，已經(jīng)轉(zhuǎn)向了只有40億參數(shù)的Qwen-1.5。

不過，Grok-1也支持8bit量化，一些開發(fā)者認為，如果模型可以量化到160GB，“可玩性”會大幅提高。算力不太寬裕的開發(fā)者，可以等到官方或者其他開發(fā)者發(fā)布量化版本后再嘗試。

至少從短期來看，開源Grok對普通開發(fā)者并不是很友好。那么開源對于Grok本身來說，有什么幫助呢？從傳統(tǒng)的開源視角來看，也很難說。

一些人認為開源模型可以匯聚更多開發(fā)者力量，幫助優(yōu)化模型。但今天的開源AI與傳統(tǒng)的開源軟件邏輯幾乎完全不同。代碼開源對于AI大模型的促進作用，并不像過去的開源軟件那樣明顯。

傳統(tǒng)軟件開發(fā)過程中，一款系統(tǒng)、工具或軟件開源以后，開發(fā)者可以基于共享代碼直接修復bug，優(yōu)化程序。然而今天的多數(shù)AI模型本身就是一個很大的黑盒，要從中找到問題，并對模型的底層算法進行訓練、調(diào)優(yōu)并不容易。

“AI大模型訓練是一個很‘集中’的工作。”生數(shù)科技CEO唐家渝表示，AI大模型很難通過“分布式”的開源來收集開發(fā)者的“貢獻”。閉源反而是更能集中包括智力的資源、算力的資源，去做不斷地迭代的。

一些開發(fā)者認為，對于開源AI模型的作者來說，最大的好處是打響知名度——以Grok目前的模型能力來看，只有吸引一批開發(fā)者、公司、機構(gòu)對模型進行試用、開發(fā)，逐步建立起對模型的認可，才能穩(wěn)固其在AI大模型領(lǐng)域的“江湖地位”，提高這款既不太新，也不太強的AI大模型的影響力。

閉源Grok把路走窄了？

從AI行業(yè)角度來看，Grok的受關(guān)注度不高。由于模型跑分不高，過去幾個月中發(fā)布的AI大模型，在對比評測數(shù)據(jù)集得分時，幾乎很少有人對標Grok。

從業(yè)務視角來看，Grok在X平臺中的表現(xiàn)也不理想。

Grok上線到X后，與ChatGPT Plus一樣采取訂閱制，但ChatGPT的GPT-3.5免費開放，而Grok則一刀切，只提供給X Premium會員。X Premium會員的訂閱費用是16美元包月，168美元包年。

由于一開始就設(shè)置了付費門檻，Grok沒有吃到X龐大用戶基礎(chǔ)的紅利。

數(shù)據(jù)網(wǎng)站SimilarWeb的統(tǒng)計顯示，2024年2月，x.com的總訪問量為1.04億次，平均訪問時長只有24秒。對比其他幾家主流閉源AI的同期流量，chat.openai.com訪問量為15.5億次，平均訪問時長是7分33秒；gemini.google.com訪問量為3.161億次，平均訪問時長6分22秒；相對小眾一些的claude.ai訪問量為2086萬次，平均訪問時間為5分48秒。

X與三款AI對話網(wǎng)站流量  數(shù)據(jù)來源|SimilarWeb

雖然影響網(wǎng)站流量的因素很多，且x.com網(wǎng)站的受眾、屬性與其他幾家也有明顯差異，直接對比流量并不能完全說明問題，但訪問時長的巨大差異，也側(cè)面反映了X用戶大概率沒有跟付費的Grok聊太多。

馬斯克最早給Grok的戰(zhàn)略定位，可能更多是考慮促進X的Premium會員銷售，以補貼X的廣告收入。然而，如今Grok在X中發(fā)揮的作用很可能并沒有達到馬斯克的預期。與其一直在X Premium中“躺平”，開源Grok或許能給馬斯克和x.AI打開新局面。

開源激起千層浪

在AI大模型熱潮中，靠開源大模型樹立行業(yè)地位的公司并不少見，包括MistralAI以及國內(nèi)的智譜，阿里的通義千問等。

深陷元宇宙泥潭的Meta更是依靠開源LLaMA模型打了一次翻身仗。在2023年中，全球市場最大的變數(shù)是AI大模型，而Meta最大的變數(shù)就是開源了一款AI大模型。

通過開源LLaMA，Meta展現(xiàn)了其在大型語言模型（LLM）領(lǐng)域的技術(shù)實力和開放創(chuàng)新的姿態(tài)，這在一定程度上幫助公司緩解了市場對其元宇宙戰(zhàn)略的擔憂。由此Meta的股價也在一年內(nèi)翻了幾番，市值從3155億美元漲到1.2萬億美元，漲出了19個京東。

LLaMA的開源，特別是其成本效益高的特點，對Meta而言具有戰(zhàn)略意義。與Google和Microsoft等競爭對手的AI大模型相比，LLaMA的小巧和高性能使得Meta能夠以較低成本部署高效的AI模型。這不僅提高了AI技術(shù)的普及率，也為Meta未來在各種應用和用例上的廣泛部署提供了可能。有分析人士認為，基于Meta的業(yè)務范圍，從聊天機器人到游戲，再到未來的生產(chǎn)力軟件，生成式AI預計將帶動一個價值超過500億美元的市場。

雖然LLaMA最初的開源一直被業(yè)界傳說是無意間的“泄露”，但其最終的結(jié)果卻為Meta在AI大模型行業(yè)奠定了技術(shù)和市場的領(lǐng)導地位。

“開源”的戰(zhàn)略邏輯，對于馬斯克來說并不陌生。

2014年，馬斯克開放了特斯拉的350多項電動車專利技術(shù)。當時馬斯克在接受采訪時表示，“特斯拉的首要目標是加速全世界向可持續(xù)能源轉(zhuǎn)變”。事實證明，馬斯克大公無私的“開源”，在后來使得他自己成為了最大的受益者。

特斯拉開放專利的做法，一舉將全球汽車市場的水攪渾。大量新能源車企借助特斯拉的專利異軍突起，直接激活了整個新能源汽車市場。而特斯拉作為行業(yè)領(lǐng)軍企業(yè)，則借助長期積累的行業(yè)口碑和技術(shù)開發(fā)實力，持續(xù)保持了行業(yè)的領(lǐng)先地位。

雖然開源Grok大概不會像特斯拉開放專利那一石激起千層浪，改變整個AI行業(yè)的格局，但對于目前的x.AI來說，應該也會產(chǎn)生一些積極的影響。

文章來源：虎嗅

 
馬斯克   Grok   開源
虎嗅網(wǎng)

網(wǎng)友評論

聚超值•精選

推薦 手機 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
    • 二維碼 回到頂部