首頁 > 科技要聞 > 科技> 正文

推理模型新路線開源!與DeepSeek截然不同,拋棄思維鏈不用人類語言思考

量子位 整合編輯:太平洋科技 發(fā)布于:2025-02-12 14:16

開源推理大模型新架構(gòu)來了,采用與Deepseek-R1/OpenAI o1截然不同的路線

拋棄長思維鏈和人類的語言,直接在連續(xù)的高維潛空間用隱藏狀態(tài)推理,可自適應(yīng)地花費(fèi)更多計(jì)算來思考更長時間。

例如問題:Claire每天早餐都會做一個3個雞蛋的煎蛋卷。她在4周內(nèi)會吃多少個雞蛋?

從新模型Huginn的思考軌跡可視化中,可以看到對數(shù)字3等重要token不斷旋轉(zhuǎn),最終收斂到正確答案對應(yīng)的位置,但在不關(guān)鍵的人物名字Cla-ire上沒有這個現(xiàn)象。

除旋轉(zhuǎn)之外還能觀察到更多豐富的幾何模式,研究團(tuán)隊(duì)認(rèn)為這表明該模型正在獨(dú)立學(xué)習(xí)利用潛空間的高維性質(zhì)以新的方式做推理。

由于不使用長思維鏈推理范式,新方法還有幾個額外優(yōu)勢:

不需要任何專門的訓(xùn)練數(shù)據(jù)

可以在很小的上下文窗口下工作

能捕捉到難以用語言表達(dá)的推理類型

研究來自馬克思普朗克研究所、馬里蘭大學(xué)等團(tuán)隊(duì),他們使用美國橡樹嶺實(shí)驗(yàn)室的Frontier超算完成訓(xùn)練實(shí)驗(yàn),用到8個AMD GPU節(jié)點(diǎn)(4096塊GPU),沒有使用英偉達(dá)體系。

新架構(gòu)給Transformer加入循環(huán)模塊

新架構(gòu)仍然圍繞Decoder-only的Transformer block構(gòu)建,但分為三段:

Prelude(前奏):使用多個transformer層將輸入數(shù)據(jù)嵌入到潛空間中

Recurrent Block(循環(huán)塊):循環(huán)計(jì)算單元,在潛在空間中修改狀態(tài)

Coda(尾聲):從潛空間解碼,并包含模型的預(yù)測頭

在訓(xùn)練期間為每個輸入序列分配隨機(jī)數(shù)量的迭代次數(shù)。同時為了在訓(xùn)練時保持較低的計(jì)算和內(nèi)存,只反向傳播循環(huán)單元的最后k次迭代。

研究中可視化了模型在潛在空間中的推理軌跡,發(fā)現(xiàn)了這些有趣現(xiàn)象:

對一些簡單token,模型的隱狀態(tài)會快速收斂到穩(wěn)定點(diǎn)

但對一些關(guān)鍵token,如數(shù)學(xué)問題中的數(shù)字”3”,隱狀態(tài)會形成復(fù)雜的圓形軌道

還有一些token的隱狀態(tài)會沿特定方向”滑動”,可能用于計(jì)數(shù)循環(huán)次數(shù)



論文一作Jonas Geiping透露,他們的算力只夠一次大規(guī)模訓(xùn)練,也就是最后發(fā)布的3.5B參數(shù)的Huginn模型,在800B tokens數(shù)據(jù)上預(yù)訓(xùn)練。

沒有post/mid-training過程,但可以與7B參數(shù)、在2-3T tokens數(shù)據(jù)上訓(xùn)練的開源模型能力相匹配。

另外算上循環(huán)模塊中的計(jì)算,3.5B參數(shù)的模型訓(xùn)練時的計(jì)算量相當(dāng)于傳統(tǒng)的32B模型。

有人猜測OpenAI o3使用了類似的方法,通過循環(huán)來達(dá)到近似無限上下文,并且控制高中低三種推理時間設(shè)置。

有OpenAI研究員已經(jīng)注意到這個工作,把論文讀完了還在線捉bug。

也已經(jīng)有人準(zhǔn)備根據(jù)DeepSeek-R1開源的方法嘗試新思路,同時保留潛空間思考的推理能力,和CoT思考的可讀性。

論文:
https://arxiv.org/abs/2502.05171
模型:
https://huggingface.co/tomg-group-umd/huginn-0125
代碼:
https://github.com/seal-rg/recurrent-pretraining

參考鏈接:
[1]https://x.com/tomgoldsteincs/status/1888980680790393085
[2]https://x.com/jonasgeiping/status/1888985929727037514

本文來源:量子位

網(wǎng)友評論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
  • 二維碼 回到頂部