太平洋科技要聞

小扎近期搞了個大新聞，想把大模型變成下一個“安卓”。

差評整合編輯：徐晶晶發(fā)布于：2023-08-07 16:49

距離 OpenAI 上次說考慮開源 GPT-3，已經(jīng)過去兩個多月了。

結(jié)果，GPT-3 開源的影子一點(diǎn)兒沒瞅著，反倒是一直熱衷于開源的 Meta 又帶著他們家的羊駝模型來上大分了，發(fā)布了一個進(jìn)階版的 Llama 2。

說起這 Llama 羊駝模型，估計大伙兒之前也見識過了，一經(jīng)問世，就在開源社區(qū)的各大榜單中刷屏。也是從 LLaMA 開始，什么斯坦福的 Alpaca、UCB 的 Vicuna。。。

各種基于 LLaMA 的小模型一個接著一個地蹦出來。別看這些二創(chuàng)的模型參數(shù)量小，和千億參數(shù)的 GPT 模型比起來，效果其實(shí)也還不錯。

前段時間網(wǎng)上不是發(fā)了一個大模型的排名嘛，第四名的 Vicuna 可沒比 GPT-3.5 遜色多少。

而這次的 Llama 2，又來了波升級。相比上一代 Llama，Llama 2 增加了 40% 預(yù)訓(xùn)練數(shù)據(jù)，Token 數(shù)翻了差不多一倍到2T，模型的參數(shù)量也擴(kuò)展到了 700 億。

在長文本的支持能力上，訓(xùn)練文本的窗口也從之前的 2048 擴(kuò)展到 4096 。而且還發(fā)布了一個微調(diào)之后的 Llama 2-Chat 模型，專門針對應(yīng)用場景的優(yōu)化。

也可以這么理解，升級過后的 Llama 2 初始屬性更強(qiáng)了，升級更快了，等級上限也更高了。不過，這些還都只是小菜。

Llama 2 最大的亮點(diǎn)，就是開源、免費(fèi)、可商用，而且還支持在高通的芯片上運(yùn)行。這跟上一代 Llama 源代碼泄露的“被開源”可不太一樣，之前即使允許二創(chuàng)，也只是停留在研究領(lǐng)域。

可以免費(fèi)商用，就相當(dāng)于拿到了 Meta 準(zhǔn)用許可的“免死金牌”，你拿去干啥都不用擔(dān)心回頭被告侵權(quán)。

當(dāng)然了，這許可也是有點(diǎn)限制的，要是產(chǎn)品的日活超過 7 億，那就還得去申請一下。

而在高通的芯片上運(yùn)行，也一反過去大模型受制于英偉達(dá)芯片的常態(tài)。

看來，Llama 2 這次，大有要一舉打破 OpenAI 和英偉達(dá)封鎖的意思啊。所以消息一出，很快就在網(wǎng)上引起了一波轟動。

有不明覺厲的吃瓜群眾跟風(fēng)夸贊的，還有人馬上用 Llama 2 做了個應(yīng)用程序出來。

甚至于，Meta 的首席 AI 科學(xué)家 Yann LeCun 楊立昆也在推特上為 Llama 2 站臺，說它將會“徹底改變大語言模型的行業(yè)格局”。

Llama 2 這次的升級當(dāng)真就有這么厲害嗎？本著求證的態(tài)度，差評君聯(lián)系到了在學(xué)術(shù)圈和開源社區(qū)，都頗具影響力的智源 AI 研究院，得到的答案是：這次 Llama 2 的升級，其實(shí)并不是重點(diǎn)，開源可商用才是。

而與開源的羊駝模型形成對比的 GPT，就因?yàn)殚]源（不開放源代碼）而備受吐槽。

當(dāng)然，關(guān)于這開源和閉源的爭論，其實(shí)從 PC 時代就已經(jīng)開始了。當(dāng)年的開放源碼運(yùn)動里，就誕生出了大家熟知的 Linux 系統(tǒng)。

因?yàn)殚_源之后，大伙們都能上手魔改代碼、移植應(yīng)用等等，基于 Linux 的開源生態(tài)也扎著根長出了枝葉。而如今的路由器、交換機(jī)、智能洗衣機(jī)、智能電飯煲、交換機(jī)、服務(wù)器等等設(shè)備上，幾乎搭載了各類 Linux 系統(tǒng)。

包括幾年前的美國火星車登錄成功，還把 Linux 帶上了火星。

而開源，也逐漸演變成為了一種“開放共享”的精神。如果沒有開源，紅帽、ubuntu 等桌面操作系統(tǒng)很大概率就不會出現(xiàn)，安卓也不會拿下如今智能手機(jī)近三分之二的市場份額。

歷史總是驚人的相似，現(xiàn)在開源與閉源的戰(zhàn)火很明顯已經(jīng)蔓延到AI領(lǐng)域。有意思的是，一直被詬病不太“ Open ”的 Open AI，其實(shí)在 GPT-3 之前，一直都是開源的，GPT-2 的代碼、框架還有論文都開放得很徹底。但到了 GPT-3，就只能看論文了。

也難怪馬斯克當(dāng)年執(zhí)意要退出 OpenAI，因?yàn)樗鼈兺耆`背了當(dāng)初要成立一家開源非營利組織的初衷。但即使頂著外部輿論壓力，GPT-3 和 GPT-4 仍然雷打不動的堅持閉源。

至于原因，根據(jù) OpenAI 官方的說法，是出于“安全”的考慮。

這也合理，作為目前最牛叉的大模型，GPT-4 要是真落入了壞人的手里，的確很麻煩。但差評君覺著，還有一個原因是，OpenAI 不想放棄現(xiàn)有的技術(shù)優(yōu)勢。

畢竟 GPT-4 跟前輩們相比，無論是在參數(shù)量還是性能上都有了大規(guī)模的提升，Open AI 不想讓自己的心血白給也可以理解。說白了，閉源更像是一種商業(yè)行為。但有一說一，閉源的王座并不會一直牢固。

因?yàn)閺牡谝淮?nbsp;Llama 開始，大模型開源的這把火就已經(jīng)被點(diǎn)燃了。開源模型的隊伍日漸壯大，AMD 也宣布要在明年開源 OLMo 大語言模型。隨著更多模型源代碼的開放，將會有越來越多的人參與到模型的迭代升級當(dāng)中，為開源的生態(tài)添磚加瓦。而技術(shù)壁壘在這個過程中，也會被慢慢拉平。而作為打響了羊駝模型開源第一槍的 Meta，也一直在暗戳戳地往里添柴。

當(dāng)初，為了請 AI 大拿楊立昆出山，扎克伯格可謂是煞費(fèi)苦心，不僅答應(yīng)了他諸多苛刻的要求，而且還立下了研究成果必須開源的規(guī)矩。

從 2015 年把 CNN 卷積神級網(wǎng)絡(luò)用到 GAN 上，提出了 DCGAN，到開源基于 Python 的深度學(xué)習(xí)框架 PyTorch，再到如今全網(wǎng)刷屏的 Llama。這么多年了，小扎承諾過的“開放”似乎從來就沒變過。

包括 Llama 之后，Meta 又陸續(xù)推出了一系列多模態(tài)大模型，像什么Imagebind、MusicGen，都是開源的。

而且，對于 OpenAI 口中，出于安全考慮的閉源理由，楊立昆也是不太認(rèn)同的。在他看來，使人工智能平臺安全、良善、實(shí)用的唯一方法就是開源。換句話說，技術(shù)掌握在少數(shù)人的手里是危險的，只有讓監(jiān)管 AI 的力量也同時進(jìn)化，才能盡可能地管住 AI。

這在目前看來，暫時只有開源能辦到。

而小扎這步棋，又或者說，當(dāng)年楊立昆堅持開源埋下的種子，或許很快就能看到收獲。比如在定制化的大模型上，開源會跑得比閉源更快。

不可否認(rèn)的是，OpenAI 大模型的能力的確很能打，但 OpenAI 的團(tuán)隊到底能不能根據(jù)具體的行業(yè)和應(yīng)用場景去做適配，還需要打個問號。

打個比方，一家服裝廠要用 GPT-4 來優(yōu)化貨物的調(diào)度流程，廠里原材料的運(yùn)送、存儲，成品的質(zhì)量檢測，里邊兒涉及到太多的行業(yè) Know-How，如果不是由企業(yè)自家的開發(fā)者來操作，OpenAI 最終交付出來的效果不一定能滿足企業(yè)的業(yè)務(wù)需求。畢竟，咱也不能指望一個搞 AI 的公司，突然就懂服裝了。。。

就算咱拋開質(zhì)量不談，算力成本一攤下來，中小企業(yè)也很難吃得消。更何況，有些企業(yè)的數(shù)據(jù)涉及商業(yè)機(jī)密，全都交由 OpenAI ，老板估計也不放心。

但開源的優(yōu)勢就在于，開發(fā)者可以在源代碼的基礎(chǔ)上，根據(jù)業(yè)務(wù)需求對模型進(jìn)行微調(diào)。

和從頭訓(xùn)練大模型相比，在開源的基礎(chǔ)上，運(yùn)用 LORA 這類低成本的微調(diào)方法去構(gòu)建一個適配下游任務(wù)的模型，顯然后者的性價比更高。當(dāng)開源大模型滲透到越來越多的行業(yè)以后，開發(fā)者反饋的業(yè)務(wù)需求越多，模型迭代的速度也會越快。

先占領(lǐng)市場，再用量變來催化質(zhì)變。當(dāng)然了，無論是開源，還是閉源，其實(shí)都沒有絕對的對錯之分。OpenAI、谷歌之流堅持閉源也無可厚非。

畢竟幾十億美元砸出來的優(yōu)勢擺在那，在模型層級、Token 長度、推理等等能力上，還是領(lǐng)先現(xiàn)在的開源模型不少。

但開源大模型現(xiàn)在勢頭正猛，搶先一步實(shí)現(xiàn)商業(yè)化也不無可能。就像不久前 Altman 說的那樣，AI 之后會分化，開源負(fù)責(zé)商業(yè)化落地，而閉源則負(fù)責(zé)研究超級智能。所以差評君大膽猜測，AI 大模型的行業(yè)格局，或許會是一兩家頭部閉源，其他開源模型建立起社區(qū)生態(tài)的局面。

而在開源推動下的商業(yè)化落地，也可能會很快地重塑生活的方方面面，說不定哪天你家的掃地機(jī)器人就能幫你遛狗了。差評君還是很期待，在開源的加持下，AI 究竟能給我們的生活帶來什么樣的變化。

文章來源：差評

OpenAI GPT Linux

差評

原創(chuàng)欄目