首頁(yè) > 科技要聞 > 科技> 正文

讓SFT重新偉大！CMU等華人學(xué)者提出全新「批判式微調(diào)」，媲美復(fù)刻版DeepSeek

新智元 整合編輯：太平洋科技 發(fā)布于：2025-03-11 15:09

模仿是傳統(tǒng)語(yǔ)言模型訓(xùn)練的主要方式。LLM在解決現(xiàn)實(shí)世界問(wèn)題方面之所以表現(xiàn)出前所未有的性能，其中一項(xiàng)核心技術(shù)是監(jiān)督微調(diào)（SFT）。

在SFT的過(guò)程中，模型被要求模仿人類標(biāo)注或合成的高質(zhì)量回復(fù)，以增強(qiáng)通用指令遵循能力。這類SFT數(shù)據(jù)集通常使用Self-Instruct和Evol-Instruct等方法進(jìn)行構(gòu)建。

然而，這種方法存在明顯的局限性。隨著數(shù)據(jù)集規(guī)模和質(zhì)量的提升，SFT面臨著邊際收益遞減的問(wèn)題，尤其是在訓(xùn)練本身效果就不錯(cuò)的基礎(chǔ)模型時(shí)，使用SFT甚至可能會(huì)導(dǎo)致性能下降。

最近，CMU、滑鐵盧大學(xué)等機(jī)構(gòu)的3名華人學(xué)者就發(fā)表了一篇論文，針對(duì)SFT做出了更進(jìn)一步的改進(jìn)，提出批判式監(jiān)督微調(diào)方法（CFT，Critique Fine-Tuning），旨在讓模型更有效地模仿模仿數(shù)據(jù)集。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調(diào)：讓SFT重新偉大

CFT將重點(diǎn)從簡(jiǎn)單模仿轉(zhuǎn)向基于批判的學(xué)習(xí)，核心思想是讓模型學(xué)會(huì)批判，而不是簡(jiǎn)單地模仿，其靈感來(lái)源于人類的學(xué)習(xí)過(guò)程。

學(xué)霸們?cè)趯W(xué)習(xí)過(guò)程中，不僅僅是復(fù)制提供的答案，而是分析、批判和改進(jìn)它們。同樣，CFT數(shù)據(jù)集中為錯(cuò)誤響應(yīng)提供相應(yīng)的批評(píng)供模型學(xué)習(xí)，讓LLM能夠識(shí)別響應(yīng)中存在的缺陷，進(jìn)而提出改進(jìn)建議并驗(yàn)證正確性。

這種方法不僅能夠提升推理能力，還能使模型在面對(duì)復(fù)雜任務(wù)時(shí)表現(xiàn)出更強(qiáng)的適應(yīng)性和靈活性。

比如，針對(duì)這個(gè)問(wèn)題：在直角三角形的直角邊長(zhǎng)分別為3個(gè)單位和4個(gè)單位的情況下，構(gòu)造一個(gè)正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

在SFT模式下，模型會(huì)一步步的進(jìn)行運(yùn)算，先運(yùn)用勾股定理計(jì)算斜邊長(zhǎng)度為5，再計(jì)算正方形的面積為25，以及三角形面積6，之后模型給出回答25-6。

而在CFT模式下，會(huì)由模型對(duì)上述回答給出批評(píng)，指出錯(cuò)誤點(diǎn)是應(yīng)該加上而非減去三角形的面積，并給出正確答案31。

下圖展示了典型的SFT和CFT數(shù)據(jù)樣例。

SFT讓大模型直接模仿答案，CFT讓大模型模仿對(duì)錯(cuò)誤回答的批評(píng)

CFT的高訓(xùn)練效率

那么，如何獲得CFT訓(xùn)練所需的數(shù)據(jù)呢？

論文基于WebInstruct，構(gòu)建了一個(gè)50K個(gè)帶批評(píng)意見(jiàn)的問(wèn)答對(duì)作為訓(xùn)練數(shù)據(jù)集，其中的批評(píng)由GPT-4o等高級(jí)模型生成，上述的題目是其中一個(gè)例子。這些問(wèn)題主要聚焦數(shù)學(xué)領(lǐng)域（65%），也包括物理、化學(xué)、商業(yè)等主題。

CFT數(shù)據(jù)集與其他SFT數(shù)據(jù)集對(duì)比

之后在CFT數(shù)據(jù)集上訓(xùn)練7B大小的、沒(méi)有經(jīng)過(guò)指令微調(diào)的LLM，如DeepSeekMath-base、Qwen2.5和Qwen2.5-Math。

CFT方法的訓(xùn)練目標(biāo)相當(dāng)直接：將問(wèn)題x和錯(cuò)誤響應(yīng)y拼接為作為輸入，然后優(yōu)化模型參數(shù)以生成評(píng)論c ，相當(dāng)于訓(xùn)練模型學(xué)會(huì)批判性思維。

實(shí)驗(yàn)中，作者考察了LLM在經(jīng)過(guò)指令微調(diào)與批判性微調(diào)后，在數(shù)學(xué)相關(guān)基準(zhǔn)上的性能提升。結(jié)果顯示：CFT訓(xùn)練的模型可以持續(xù)優(yōu)于SFT訓(xùn)練的最佳模型。

相比SFT，CFT的準(zhǔn)確率平均高出4-10個(gè)百分點(diǎn)。不僅如此，訓(xùn)練效率也更高，能在更少的訓(xùn)練數(shù)據(jù)上實(shí)現(xiàn)更快的收斂，因此有望成為開(kāi)發(fā)數(shù)學(xué)推理模型的一種更有效的方法。

Qwen2.5-Math-7B在MATH和Minerva-Math上不同方法的訓(xùn)練動(dòng)態(tài)比較，包括CFT與兩種SFT變體，橫軸代表訓(xùn)練步數(shù)，縱軸顯示準(zhǔn)確率

在同樣是50k個(gè)樣本上時(shí)，不同的基座模型使用CFT和SFT訓(xùn)練后的性能提升

如果只聚焦于Qwen2.5-Math-7B這一個(gè)模型就可以看到，在各種數(shù)據(jù)集和任務(wù)上，CFT的訓(xùn)練效果都能全方位超越SFT。

論文將訓(xùn)練后的Qwen2.5-Math-7B-CFT與知名的Llama、GPT系列，以及尤其擅長(zhǎng)推理的Deepseek、Mathstral、Numina等系列模型進(jìn)行了對(duì)比，結(jié)果如下表所示。

Qwen2.5-Math-7B-CFT的平均性能（48.1%）甚至優(yōu)于參數(shù)量10倍的Llama-3.1-70B-Instruct（40.4%）和 NuminaMath-72B-CoT（39.1%），與Qwen2.5-Math-72B-Instruct（56.4%）相近。

此外，CFT訓(xùn)練的模型在性能上也能夠與使用140倍計(jì)算資源訓(xùn)練的SimpleRL模型（Deepseek R1的公開(kāi)復(fù)制版）相媲美，使用的GPU時(shí)長(zhǎng)降低到144分之一，相當(dāng)于大幅削減了計(jì)算成本。

研究人員還對(duì) CFT 的多個(gè)因素進(jìn)行了消融研究。結(jié)果表明，CFT對(duì)于數(shù)據(jù)集來(lái)源、噪聲響應(yīng)來(lái)源以及教師批判模型的選擇都具有較強(qiáng)的魯棒性。

例如，即使使用較弱的GPT-4o-mini模型生成批評(píng)意見(jiàn)，CFT仍然能夠取得顯著的性能提升。

局限與擴(kuò)展

CFT訓(xùn)練數(shù)據(jù)集中，作為gold standard的批評(píng)數(shù)據(jù)是由LLM生成的。作者手動(dòng)檢查其中50個(gè)后，發(fā)現(xiàn)其中20%的批評(píng)意見(jiàn)本身就包含錯(cuò)誤。這些錯(cuò)誤可能會(huì)對(duì)模型的訓(xùn)練產(chǎn)生一定的干擾，影響其最終性能。

此外，CFT訓(xùn)練的模型目前還無(wú)法進(jìn)行自我批評(píng)，因此尚未觀察到自我改進(jìn)的效果。

該研究使用的數(shù)據(jù)集也存在代表性不足的問(wèn)題，目前只是集中在數(shù)學(xué)問(wèn)題上，而在編程以及科學(xué)，甚至人文相關(guān)的推理問(wèn)題上，是否仍能采用類似的CFT模式進(jìn)行訓(xùn)練，有待研究。

CFT的優(yōu)勢(shì)在于其對(duì)模型推理能力的顯著提升以及對(duì)訓(xùn)練數(shù)據(jù)的高效利用。通過(guò)讓模型學(xué)會(huì)批判，等效于讓大模型進(jìn)行單次的強(qiáng)化學(xué)習(xí)。

與現(xiàn)有的自我修正（Self-Correction）、獎(jiǎng)勵(lì)模型（Reward Models）等方法相比，CFT的目標(biāo)是通過(guò)批判學(xué)習(xí)來(lái)提升模型對(duì)問(wèn)題的深入理解，而不是直接估計(jì)獎(jiǎng)勵(lì)分?jǐn)?shù)或進(jìn)行自我修正。這種方法在推理任務(wù)中表現(xiàn)出了更強(qiáng)的適應(yīng)性和靈活性。

更為關(guān)鍵的是，CFT的數(shù)據(jù)集構(gòu)建和訓(xùn)練過(guò)程相對(duì)簡(jiǎn)單，計(jì)算成本較低，因此在實(shí)際應(yīng)用中具有較高的可行性和經(jīng)濟(jì)性。未來(lái)的研究可能會(huì)在提升批判數(shù)據(jù)質(zhì)量和探索模型自我批判機(jī)制方面取得突破。

首先是開(kāi)發(fā)自動(dòng)驗(yàn)證工具或創(chuàng)建人類驗(yàn)證的批判數(shù)據(jù)集，提升批判數(shù)據(jù)的質(zhì)量；而要發(fā)展出自我批判和自我改進(jìn)的能力，則需要讓大模型通過(guò)用戶的反饋，實(shí)現(xiàn)模型的持續(xù)優(yōu)化。

進(jìn)一步的研究也可能包括將CFT與其他訓(xùn)練范式，如SFT和RL相結(jié)合，擴(kuò)展到多模態(tài)環(huán)境，并研究其理論基礎(chǔ)。

本文來(lái)源：新智元

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
  • 漢美馳李梟雄：擁抱AI浪潮，智能家居需求暴增勢(shì)不可擋
    漢美馳李梟雄：擁抱AI浪潮，智能家居需求暴增勢(shì)不可擋

    作為美國(guó)百年家電品牌，HamiltonBeach漢美馳在美國(guó)市場(chǎng)處于行業(yè)領(lǐng)導(dǎo)地位，在本屆AWE展會(huì)上，漢美馳與太平洋網(wǎng)絡(luò)合作，展出了他們的三個(gè)主打品類：破壁機(jī)、慢燉鍋和空氣炸鍋，其中，破壁機(jī)屬于攪拌類小家電，漢美馳是這個(gè)品類的開(kāi)創(chuàng)者；慢燉鍋是美國(guó)家庭的必需品，就像我們中國(guó)家庭的電飯煲一樣，漢美馳慢燉鍋累計(jì)在美國(guó)的銷量超過(guò)3000萬(wàn)臺(tái)，是這個(gè)品類的領(lǐng)導(dǎo)品牌；漢美馳的這款HALO空氣炸鍋剛剛獲得了全球頂級(jí)設(shè)計(jì)大獎(jiǎng)——iF設(shè)計(jì)獎(jiǎng)。 今年，漢美馳在國(guó)內(nèi)市場(chǎng)的動(dòng)作很多，包括：推出了家電行業(yè)第一款應(yīng)用chatGPT的AI牛排機(jī)，全球首發(fā)煙灶產(chǎn)品，全球首發(fā)中式廚電產(chǎn)品，自建抖音、淘寶直播間，與頭部主播烈兒寶貝等合作……這些經(jīng)營(yíng)動(dòng)作的背后，漢美馳有怎樣的戰(zhàn)略規(guī)劃？他們對(duì)中國(guó)市場(chǎng)有些什么樣的判斷？他們的優(yōu)勢(shì)有哪些？請(qǐng)看PConline獨(dú)家專訪漢美馳中國(guó)營(yíng)銷中心總經(jīng)理李梟雄先生。

    呼倫 呼倫 2023-05-05 00:03
  • 極氪“流血”上市，最急的是埃安、哪吒?jìng)?

    在經(jīng)歷了2018-2020年“蔚小理”的上市潮后，隨著國(guó)內(nèi)新能源汽車(chē)市場(chǎng)競(jìng)爭(zhēng)日益激烈，以及全球EV需求放緩，IPO的大門(mén)正在向造車(chē)新勢(shì)力們緩緩關(guān)閉。極氪的成功上市既是對(duì)新勢(shì)力的一次激勵(lì)，也是一次警示——后來(lái)者必須面對(duì)越來(lái)越嚴(yán)苛的上市條件。留給哪吒汽車(chē)、廣汽埃安們的機(jī)會(huì)可能不多了。

    劉凡 劉凡 2024-05-11 11:26
    極氪   吉利   哪吒   埃安
    • 二維碼 回到頂部