這些天,硅谷徹底處于中國(guó)公司帶來(lái)的大地震余波中。 全美都在恐慌:是否全球人工智能的中心已經(jīng)轉(zhuǎn)移到了中國(guó)? 就在這當(dāng)口,全球復(fù)現(xiàn)DeepSeek的一波狂潮也來(lái)了。 誠(chéng)如LeCun所言:‘這一次,正是開源對(duì)閉源的勝利!’ 種種這些觀點(diǎn)和討論,讓人不禁懷疑:數(shù)百億美元支出,對(duì)這個(gè)行業(yè)真的必要嗎?甚至有人說(shuō),中國(guó)量化基金的一群天才,將導(dǎo)致納斯達(dá)克崩盤。 從此,大模型時(shí)代很可能會(huì)進(jìn)入一個(gè)分水嶺:超強(qiáng)性能的模型不再獨(dú)屬于算力巨頭,而是屬于每個(gè)人。 30美金,就能看到‘啊哈’時(shí)刻 來(lái)自UC伯克利博士生潘家怡和另兩位研究人員,在CountDown游戲中復(fù)現(xiàn)了DeepSeek R1-Zero。 他們表示,結(jié)果相當(dāng)出色! 實(shí)驗(yàn)中,團(tuán)隊(duì)驗(yàn)證了通過強(qiáng)化學(xué)習(xí)RL,3B的基礎(chǔ)語(yǔ)言模型也能夠自我驗(yàn)證和搜索。 更令人興奮的是,成本不到30美金(約217元),就可以親眼見證‘啊哈’時(shí)刻。 這個(gè)項(xiàng)目叫做TinyZero,采用了R1-Zero算法——給定一個(gè)基礎(chǔ)語(yǔ)言模型、提示和真實(shí)獎(jiǎng)勵(lì)信號(hào),運(yùn)行強(qiáng)化學(xué)習(xí)。 然后,團(tuán)隊(duì)將其應(yīng)用在CountDown游戲中(這是一個(gè)玩家使用基礎(chǔ)算術(shù)運(yùn)算,將數(shù)字組合以達(dá)到目標(biāo)數(shù)字的游戲)。 模型從最初的簡(jiǎn)單輸出開始,逐步進(jìn)化出自我糾正和搜索的策略。 在以下示例中,模型提出了解決方案,自我驗(yàn)證,并反復(fù)糾正,直到解決問題為止。 在消融實(shí)驗(yàn)中,研究人員運(yùn)行了Qwen-2.5-Base(0.5B、1.5B、3B、7B四種參數(shù)規(guī)模)。 結(jié)果發(fā)現(xiàn),0.5B模型僅僅是猜測(cè)一個(gè)解決方案然后停止。而從1.5B開始,模型學(xué)會(huì)了搜索、自我驗(yàn)證和修正其解決方案,從而能夠獲得更高的分?jǐn)?shù)。 他們認(rèn)為,在這個(gè)過程,基礎(chǔ)模型的是性能的關(guān)鍵。 他們還驗(yàn)證了,額外的指令微調(diào)(SFT)并非是必要的,這也印證了R1-Zero的設(shè)計(jì)決策。 這是首個(gè)驗(yàn)證LLM推理能力的實(shí)現(xiàn)可以純粹通過RL,無(wú)需監(jiān)督微調(diào)的開源研究 基礎(chǔ)模型和指令模型兩者區(qū)別: 此外,他們還發(fā)現(xiàn),具體的RL算法并不重要。PPO、GRPO、PRIME這些算法中,長(zhǎng)思維鏈(Long CoT)都能夠涌現(xiàn),且?guī)?lái)不錯(cuò)的性能表現(xiàn)。 而且,模型在推理行為中非常依賴于具體的任務(wù): 蘋果機(jī)器學(xué)習(xí)科學(xué)家Yizhe Zhang對(duì)此表示,太酷了,小到1.5B的模型,也能通過RL涌現(xiàn)出自我驗(yàn)證的能力。 7B模型復(fù)刻,結(jié)果令人驚訝 港科大助理教授何俊賢的團(tuán)隊(duì)(共同一作黃裕振、Weihao Zeng),只用了8K個(gè)樣本,就在7B模型上復(fù)刻出了DeepSeek-R1-Zero和DeepSeek-R1的訓(xùn)練。 結(jié)果令人驚喜——模型在復(fù)雜的數(shù)學(xué)推理上取得了十分強(qiáng)勁結(jié)果。 項(xiàng)目地址:https://github.com/hkust-nlp/simpleRL-reason 他們以Qwen2.5-Math-7B(基礎(chǔ)模型)為起點(diǎn),直接對(duì)其進(jìn)行強(qiáng)化學(xué)習(xí)。 整個(gè)過程中,沒有進(jìn)行監(jiān)督微調(diào)(SFT),也沒有使用獎(jiǎng)勵(lì)模型。 最終,模型在AIME基準(zhǔn)上實(shí)現(xiàn)了33.3%的準(zhǔn)確率,在AMC上為62.5%,在MATH上為77.2%。 這一表現(xiàn)不僅超越了Qwen2.5-Math-7B-Instruct,并且還可以和使用超過50倍數(shù)據(jù)量和更復(fù)雜組件的PRIME和rStar-MATH相媲美! 其中,Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基礎(chǔ)模型上僅使用純PPO方法訓(xùn)練的,僅采用了MATH數(shù)據(jù)集中的8K樣本。 Qwen2.5-7B-SimpleRL則首先通過Long CoT監(jiān)督微調(diào)(SFT)作為冷啟動(dòng),然后再進(jìn)行強(qiáng)化學(xué)習(xí)。 在這兩種方法中,團(tuán)隊(duì)都只使用了相同的8K MATH樣本,僅此而已。 大概在第44步的時(shí)候,‘啊哈時(shí)刻’出現(xiàn)了!模型的響應(yīng)中,出現(xiàn)了自我反思。 并且,在這個(gè)過程中,模型還顯現(xiàn)了更長(zhǎng)的CoT推理能力和自我反思能力。 在博客中,研究者詳細(xì)剖析了實(shí)驗(yàn)設(shè)置,以及在這個(gè)強(qiáng)化學(xué)習(xí)訓(xùn)練過程中所觀察到的現(xiàn)象,例如長(zhǎng)鏈?zhǔn)剿伎迹–oT)和自我反思機(jī)制的自發(fā)形成。 與DeepSeek R1類似,研究者的強(qiáng)化學(xué)習(xí)方案極其簡(jiǎn)單,沒有使用獎(jiǎng)勵(lì)模型或MCTS(蒙特卡洛樹搜索)類技術(shù)。 他們使用的是PPO算法,并采用基于規(guī)則的獎(jiǎng)勵(lì)函數(shù),根據(jù)生成輸出的格式和正確性分配獎(jiǎng)勵(lì): 該實(shí)現(xiàn)基于OpenRLHF。初步試驗(yàn)表明,這個(gè)獎(jiǎng)勵(lì)函數(shù)有助于策略模型快速收斂,產(chǎn)生符合期望格式的輸出。 第一部分:SimpleRL-Zero(從頭開始的強(qiáng)化學(xué)習(xí)) 接下來(lái),研究者為我們分享了訓(xùn)練過程動(dòng)態(tài)分析和一些有趣的涌現(xiàn)模式。 訓(xùn)練過程動(dòng)態(tài)分析 如下所示,所有基準(zhǔn)測(cè)試的準(zhǔn)確率在訓(xùn)練過程中都在穩(wěn)步提高,而輸出長(zhǎng)度則呈現(xiàn)先減少后逐漸增加的趨勢(shì)。 經(jīng)過進(jìn)一步調(diào)查,研究者發(fā)現(xiàn),Qwen2.5-Math-7B基礎(chǔ)模型在初始階段傾向于生成大量代碼,這可能源于模型原始訓(xùn)練數(shù)據(jù)的分布特征。 輸出長(zhǎng)度的首次下降,是因?yàn)閺?qiáng)化學(xué)習(xí)訓(xùn)練逐漸消除了這種代碼生成模式,轉(zhuǎn)而學(xué)會(huì)使用自然語(yǔ)言進(jìn)行推理。 隨后,生成長(zhǎng)度開始再次增加,此時(shí)出現(xiàn)了自我反思機(jī)制。 訓(xùn)練獎(jiǎng)勵(lì)和輸出長(zhǎng)度 基準(zhǔn)測(cè)試準(zhǔn)確率(pass@1)和輸出長(zhǎng)度 自我反思機(jī)制的涌現(xiàn) 在訓(xùn)練到第 40 步左右時(shí),研究者觀察到:模型開始形成自我反思模式,這正是DeepSeek-R1論文中所描述的‘aha moment’(頓悟時(shí)刻)。 第二部分:SimpleRL(基于模仿預(yù)熱的強(qiáng)化學(xué)習(xí)) 如前所述,研究者在進(jìn)行強(qiáng)化學(xué)習(xí)之前,先進(jìn)行了long CoT SFT預(yù)熱,使用了8,000個(gè)從QwQ-32B-Preview中提取的MATH示例響應(yīng)作為SFT數(shù)據(jù)集。 這種冷啟動(dòng)的潛在優(yōu)勢(shì)在于:模型在開始強(qiáng)化學(xué)習(xí)時(shí)已具備long CoT思維模式和自我反思能力,從而可能在強(qiáng)化學(xué)習(xí)階段實(shí)現(xiàn)更快更好的學(xué)習(xí)效果。 與RL訓(xùn)練前的模型(Qwen2.5-Math-7B-Base + 8K QwQ知識(shí)蒸餾版本)相比,Qwen2.5-7B-SimpleRL的平均性能顯著提升了6.9個(gè)百分點(diǎn)。 此外,Qwen2.5-7B-SimpleRL不僅持續(xù)優(yōu)于Eurus-2-7B-PRIME,還在5個(gè)基準(zhǔn)測(cè)試中的3個(gè)上超越了Qwen2.5-7B-SimpleRL-Zero。 基準(zhǔn)測(cè)試準(zhǔn)確率(pass@1)和輸出長(zhǎng)度 Qwen2.5-SimpleRL的訓(xùn)練動(dòng)態(tài)表現(xiàn)與Qwen2.5-SimpleRL-Zero相似。 有趣的是,盡管研究者先進(jìn)行了long CoT SFT,但在強(qiáng)化學(xué)習(xí)初期仍然觀察到輸出長(zhǎng)度減少的現(xiàn)象。 他們推測(cè),這可能是因?yàn)閺腝wQ提取的推理模式不適合小型策略模型,或超出了其能力范圍。 因此,模型選擇放棄這種模式,轉(zhuǎn)而自主發(fā)展新的長(zhǎng)鏈?zhǔn)酵评矸绞健?/span> 最后,研究者用達(dá)芬奇的一句話,對(duì)這項(xiàng)研究做了總結(jié)—— 簡(jiǎn)約,便是最終極的精致。 完全開源復(fù)刻,HuggingFace下場(chǎng)了 甚至,就連全球最大開源平臺(tái)HuggingFace團(tuán)隊(duì),今天官宣復(fù)刻DeepSeek R1所有pipeline。 復(fù)刻完成后,所有的訓(xùn)練數(shù)據(jù)、訓(xùn)練腳本等等,將全部開源。 這個(gè)項(xiàng)目叫做Open R1,當(dāng)前還在進(jìn)行中。發(fā)布到一天,星標(biāo)沖破1.9k,斬獲142個(gè)fork。 項(xiàng)目地址:https://github.com/huggingface/open-r1 研究團(tuán)隊(duì)以DeepSeek-R1技術(shù)報(bào)告為指導(dǎo),將整個(gè)復(fù)刻過程劃分為三個(gè)關(guān)鍵步驟。 從斯坦福到MIT,R1成為首選 一個(gè)副業(yè)項(xiàng)目,讓全世界科技大廠為之惶恐。 DeepSeek這波成功,也成為業(yè)界的神話,網(wǎng)友最新截圖顯示,這款應(yīng)用已經(jīng)在APP Store‘效率’應(yīng)用榜單中擠進(jìn)前三。 在Hugging Face中,R1下載量直接登頂,另外3個(gè)模型也霸占著熱榜。 a16z合伙人Anjney Midha稱,一夜之間,從斯坦福到MIT,DeepSeek R1已經(jīng)成為美國(guó)頂尖高校研究人員‘首選模型’。 還有研究人員表示,DeepSeek基本上取代了我用ChatGPT的需求。 中國(guó)AI,這一次真的震撼了世界。 文章來(lái)源:新智元 |
原創(chuàng)欄目
IT百科
網(wǎng)友評(píng)論
聚超值•精選
在經(jīng)歷了2018-2020年“蔚小理”的上市潮后,隨著國(guó)內(nèi)新能源汽車市場(chǎng)競(jìng)爭(zhēng)日益激烈,以及全球EV需求放緩,IPO的大門正在向造車新勢(shì)力們緩緩關(guān)閉。極氪的成功上市既是對(duì)新勢(shì)力的一次激勵(lì),也是一次警示——后來(lái)者必須面對(duì)越來(lái)越嚴(yán)苛的上市條件。留給哪吒汽車、廣汽埃安們的機(jī)會(huì)可能不多了。