首頁(yè) > 科技要聞 > 科技> 正文

李飛飛、DeepSeek為何偏愛(ài)這個(gè)國(guó)產(chǎn)模型？

新智元 整合編輯：太平洋科技 發(fā)布于：2025-02-09 00:15

斯坦福李飛飛團(tuán)隊(duì)的一篇論文，近來(lái)在AI圈子掀起了一場(chǎng)颶風(fēng)。

他們僅用1000個(gè)樣本，在16塊H100上監(jiān)督微調(diào)26分鐘，訓(xùn)出的新模型s1-32B，竟取得了和OpenAI o1、DeepSeek R1等尖端推理模型相當(dāng)?shù)臄?shù)學(xué)和編碼能力！

團(tuán)隊(duì)也再次證明了測(cè)試時(shí)Scaling的威力。

就連AI大神Karpathy都為之驚嘆。

值得一提的是，研究人員是基于阿里通義千問(wèn)Qwen2.5-32B-Instruct，完成了推理模型的微調(diào)。

甚至，在競(jìng)賽數(shù)學(xué)問(wèn)題上，新模型竟將o1-preview甩在身后，領(lǐng)先27%。

這一爆炸性突破，讓全世界目光都聚焦在了，這個(gè)來(lái)自阿里云的大模型——通義千問(wèn)Qwen。

早在此之前，紅遍全網(wǎng)的DeepSeek便選擇的也是Qwen模型。

他們將DeepSeek-R1推理能力蒸餾6個(gè)模型開(kāi)源給社區(qū)，其中4個(gè)都是基于Qwen打造�；赒wen-32B蒸餾的模型，在多項(xiàng)能力上性能直追o1-mini。

再一次，通義千問(wèn)Qwen模型又在開(kāi)源社區(qū)火了。

有專家提出：也許，這是我們第一次認(rèn)真嘗試研究，推理中究竟發(fā)生了什么變化。

現(xiàn)在，我們有充分的理由去質(zhì)疑「涌現(xiàn)」的說(shuō)法，也有了更多動(dòng)力去理解，為什么Qwen-2.5-Math的基礎(chǔ)模型要比Llama 3.1好這么多。

的確，如今在業(yè)內(nèi)，這一現(xiàn)象越來(lái)越成為大家公認(rèn)的事實(shí)——

憑借強(qiáng)勁的性能，多樣化開(kāi)源尺寸，以及全球最大的衍生模型群，Qwen已經(jīng)取代Llama成為開(kāi)源AI社區(qū)最重要的標(biāo)桿基座模型。

站在巨人的肩膀上

自2023年8月以來(lái)，阿里云通義千問(wèn)掀起了一場(chǎng)開(kāi)源革命。

Qwen、Qwen1.5、Qwen2、Qwen2.5四代模型相繼開(kāi)源，覆蓋了大語(yǔ)言模型、多模態(tài)模型、數(shù)學(xué)模型和代碼模型等數(shù)十款。

在HuggingFace的Open LLM Leaderboard、Chatbot Arena大模型盲測(cè)榜單、司南OpenCompass等多個(gè)國(guó)內(nèi)外權(quán)威榜單中，Qwen性能全球領(lǐng)先，屢次斬獲「全球開(kāi)源冠軍」。

甚至，有業(yè)內(nèi)專家指出——

當(dāng)前AI領(lǐng)域的諸多突破性進(jìn)展，無(wú)論是微調(diào)、蒸餾，還是其他低成本創(chuàng)新技術(shù)，并非從0開(kāi)始訓(xùn)練，而是建立在Qwen等基礎(chǔ)模型的優(yōu)異性能之上。

Databricks研究科學(xué)家Omar Khattab稱，「更多關(guān)于Qwen的發(fā)現(xiàn)。我越來(lái)越確信這些論文似乎發(fā)現(xiàn)了一些關(guān)于Qwen模型的特性，而不一定涉及推理能力的突破」。

另一位來(lái)自滑鐵盧大學(xué)計(jì)算機(jī)系助理教授Wenhu Chen對(duì)此觀點(diǎn)表示極大地認(rèn)同。

他表示，這基本和s1的發(fā)現(xiàn)一樣，用大約1000個(gè)樣本就能得到類似的訓(xùn)練結(jié)果。

在別的模型上用同樣的數(shù)據(jù)訓(xùn)練，但卻完全沒(méi)成效，這是為何？

顯然，Qwen模型本身必然有一些神奇之處。

越來(lái)越多的人不約而同地發(fā)現(xiàn)，「我們幾乎什么都沒(méi)做，Qwen 2.5卻幾乎什么都能做了�！�

這就說(shuō)明，它的基礎(chǔ)模型一定性能超強(qiáng)，在基準(zhǔn)測(cè)試中非常領(lǐng)先。

因?yàn)�，這已經(jīng)完全不能用訓(xùn)練數(shù)據(jù)質(zhì)量來(lái)說(shuō)明了。

李飛飛團(tuán)隊(duì)s1模型用實(shí)踐證明，在特定條件下，低成本（不到50美金）訓(xùn)練確實(shí)能夠產(chǎn)生令人驚喜的結(jié)果。

這在很大程度上，要?dú)w功于它所依賴的基座模型——通義千問(wèn)Qwen。

如果沒(méi)有這樣強(qiáng)大的模型作為支撐，想要去實(shí)現(xiàn)同樣的效果，恐怕并非易事。

包括DeepSeek開(kāi)源蒸餾后四款Qwen模型，也是如此。

這也讓Qwen成為推動(dòng)前沿技術(shù)發(fā)展的又一重要案例。

全尺寸、全模態(tài)、多場(chǎng)景

可以說(shuō)，阿里云Qwen模型是業(yè)界率先實(shí)現(xiàn)「全尺寸、全模態(tài)、多場(chǎng)景」的開(kāi)源。

無(wú)論是1.5B、72B還是110B，Qwen開(kāi)源的模型尺寸和版本的覆蓋面都最廣，讓開(kāi)發(fā)者和企業(yè)有了更多選擇的余地。

從2024年開(kāi)始，Qwen就已經(jīng)在開(kāi)發(fā)者中擁有越來(lái)越高的影響力。

比如，在全球最知名的開(kāi)源社區(qū)HuggingFace數(shù)據(jù)統(tǒng)計(jì)中，2024年，僅Qwen2.5-1.5B-Instruct這款模型，就占到了全球模型下載量的26.6%，遠(yuǎn)高于第二名Llama-3.1-8B-Instruct-GGUF的6.44%。

而僅僅是視覺(jué)理解Qwen-VL及Qwen2-VL兩款模型，全球的下載量就突破了3200萬(wàn)次。

就在一周前，Qwen2.5-VL全新升級(jí)，又引發(fā)了新一輪的開(kāi)源社區(qū)狂熱。

如今，細(xì)數(shù)海內(nèi)外開(kāi)源社區(qū)，Qwen的衍生模型數(shù)量已突破9萬(wàn)，直接超越了Llama系列衍生模型。

DeepSeek和李飛飛的選擇，更是證明了Qwen系列的強(qiáng)大潛力。

在未來(lái)，它必將繼續(xù)創(chuàng)造新的奇跡。

參考資料：

https://x.com/WenhuChen/status/1887371348663579032

本文來(lái)源：新智元

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
    • 二維碼 回到頂部