首頁(yè) > 科技要聞 > 科技> 正文

滾燙Deepseek一夜刀掉英偉達(dá)4萬億，除夕開源多模態(tài)新模型：7B超越DALL-E 3和StableDiffusion

量子位 整合編輯：吳利虹 發(fā)布于：2025-01-28 12:44

DeepSeek大爆出圈，現(xiàn)在連夜發(fā)布新模型——

多模態(tài)Janus-Pro-7B，發(fā)布即開源。

在GenEval和DPG-Bench基準(zhǔn)測(cè)試中擊敗了DALL-E 3和Stable Diffusion。

想必大家這幾天完全被DeepSeek刷屏了吧。

它長(zhǎng)時(shí)間霸榜熱搜第一，甚至AI第一股英偉達(dá)直接被干崩了——最大跌幅近17%，一夜蒸發(fā)5890億美元（約合人民幣4.24萬億元），創(chuàng)下美股單日跌幅最大紀(jì)錄。

而Deepseek神話還在繼續(xù)，春節(jié)假期中全國(guó)人民都開始體驗(yàn)了，Deepseek服務(wù)器還一度卡到宕機(jī)。

值得一提，同一夜，阿里旗下大模型通義千問Qwen也更新了自己的開源家族：

視覺語(yǔ)言模型Qwen2.5-VL，包括3B、7B 和 72B三種尺寸。

真~今夜杭州都不睡，起舞競(jìng)速大模型。

DeepSeek連夜發(fā)布新模型

先來看看DeepSeek新模型，這其實(shí)是此前Janus、JanusFlow的高級(jí)版本和延續(xù)。

一作為博士畢業(yè)于北大的陳小康。

具體來說，它基于DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base構(gòu)建的，是一個(gè)統(tǒng)一理解和生成的多模態(tài)大模型。整個(gè)模型采用自回歸框架。

它通過將視覺編碼解耦為單獨(dú)的路徑來解決以前方法的局限性，同時(shí)仍然使用單一、統(tǒng)一的轉(zhuǎn)換器架構(gòu)進(jìn)行處理。

這種解耦不僅緩解了視覺編碼器在理解和生成中的角色沖突，還增強(qiáng)了框架的靈活性。

對(duì)于多模態(tài)理解，它使用SigLIP-L作為視覺編碼器，支持 384 x 384 圖像輸入。對(duì)于圖像生成，Janus-Pro使用LIamaGen中的VQ標(biāo)記器，將圖像轉(zhuǎn)換為離散的ID，下采樣率為16。

ID序列被扁平化為一維后，他們使用生成適配器將每個(gè)ID對(duì)應(yīng)的代碼庫(kù)嵌入映射到 LLM 的輸入空間中。然后，將這些特征序列連接起來，形成一個(gè)多模態(tài)特征序列，隨后將其輸入 LLM 進(jìn)行處理。

除了 LLM 內(nèi)置的預(yù)測(cè)頭，還在視覺生成任務(wù)中使用隨機(jī)初始化的預(yù)測(cè)頭進(jìn)行圖像預(yù)測(cè)。

相較于前一個(gè)版本Janus的三個(gè)訓(xùn)練階段，團(tuán)隊(duì)發(fā)現(xiàn)這一訓(xùn)練策略并不理想，會(huì)大大降低計(jì)算效率。

對(duì)此，他們做了兩處大的修改。

第一階段Stage I的長(zhǎng)時(shí)間訓(xùn)練：增加了第一階段的訓(xùn)練步驟，以便在 ImageNet 數(shù)據(jù)集上進(jìn)行充分的訓(xùn)練。研究結(jié)果表明，即使在 LLM 參數(shù)固定的情況下，模型也能有效地模擬像素依賴性，并根據(jù)類別名稱生成合理的圖像。

第二階段Stage II:的集中訓(xùn)練：在第二階段，放棄了 ImageNet 數(shù)據(jù)，直接利用常規(guī)文本到圖像數(shù)據(jù)來訓(xùn)練模型，以生成基于密集描述的圖像。

此外在第三階段的監(jiān)督微調(diào)過程中，還調(diào)整了不同類型數(shù)據(jù)集的數(shù)據(jù)比例，將多模態(tài)數(shù)據(jù)、純文本數(shù)據(jù)和文本圖像數(shù)據(jù)的比例從 7:3:10 調(diào)整為 5:1:4。

通過略微降低文本到圖像數(shù)據(jù)的比例發(fā)現(xiàn)，這一調(diào)整可以讓在保持強(qiáng)大的視覺生成能力的同時(shí)，提高多模態(tài)理解性能。

最終結(jié)果顯示，實(shí)現(xiàn)了與現(xiàn)有視覺理解生成SOTA模型持平的水準(zhǔn)。


△GenEval基準(zhǔn)


△DPG-Bench基準(zhǔn)

與上一個(gè)版本 Janus相比，它可以為簡(jiǎn)短提示提供更穩(wěn)定的輸出，具有更好的視覺質(zhì)量、更豐富的細(xì)節(jié)以及生成簡(jiǎn)單文本的能力。

更多多模態(tài)理解和視覺生成能力的定性結(jié)果。

DeepSeek征服全球用戶

想必這兩天一定是被DeepSeek刷屏了——

是科技圈非科技圈、七大姑八大姨都擱那討論的程度。

像同為杭州六小龍的游戲科學(xué)，其創(chuàng)始人CEO、《黑神話：悟空》制作人也專門發(fā)微博支持：頂級(jí)科技成果，六大突破。

還有DeepSeek自稱MOSS，也被流浪地球?qū)а莨⒁獾搅恕?/span>

好好好，DeepSeek是不是直接預(yù)訂下一部主角了（Doge）。

而這故事的一開始，正是前幾天剛剛開源的推理模型R1，以其低廉的成本、免費(fèi)的使用以及完全不輸o1的性能，征服了全球用戶，直接引發(fā)行業(yè)地震。

僅僅花費(fèi)560萬美元訓(xùn)練的R1，相當(dāng)于Meta GenAI團(tuán)隊(duì)任一高管的薪資，在很多AI基準(zhǔn)測(cè)試中已經(jīng)達(dá)到甚至超越OpenAI o1模型。

而且DeepSeek是真的免費(fèi)，而ChatGPT雖然在免費(fèi)榜上，但要是想解鎖它的完全體，還是要掏上200美元。

于是乎，大家開始紛紛轉(zhuǎn)向DeepSeek來“構(gòu)建一切”，也就迅速登頂美區(qū)蘋果應(yīng)用商店免費(fèi)App排行第一，超越了ChatGPT和Meta的Threads等熱門應(yīng)用。

用戶量的激增也導(dǎo)致DeepSeek服務(wù)器多次宕機(jī)，官方不得不緊急維護(hù)。

而聚焦于行業(yè)內(nèi)，大家對(duì)于DeepSeek的關(guān)注，在于如何在有限的資源成本情況下，實(shí)現(xiàn)與OpenAI持平的水準(zhǔn)。

相比于國(guó)外動(dòng)輒百億千億美元成本、幾十上百萬張卡這種粗放的模式，用DeepSeek很多技術(shù)細(xì)節(jié)都放在如何降低成本開銷上。

比如蒸餾。R1總共開源了6個(gè)在R1數(shù)據(jù)上的蒸餾小模型，蒸餾版Qwen-1.5B都能在部分任務(wù)上超過GPT-4o。

還有就是純強(qiáng)化學(xué)習(xí)，拋棄SFT環(huán)節(jié)，通過數(shù)千次的強(qiáng)化學(xué)習(xí)來提升模型的推理能力，然后在AIME 2024上的得分與OpenAI-o1-0912的表現(xiàn)相當(dāng)。

也正因?yàn)檫@樣，讓人不免想到OpenAI前幾天砸5000億美元建數(shù)據(jù)中心以及英偉達(dá)長(zhǎng)時(shí)間以來在高端GPU的壟斷地位。

拿5000億美元建數(shù)據(jù)中心，是有必要的嗎？

大規(guī)模的AI算力投資，是有必要的嗎？

這樣的討論，在資本市場(chǎng)得到了響應(yīng)。美股開盤后，英偉達(dá)股價(jià)暴跌17%，創(chuàng)下自2020年3月以來最大跌幅，市值蒸發(fā)近6000億美元，老黃自己的個(gè)人財(cái)富一夜之間也縮水了超130億美元。

博通、AMD等芯片巨頭也紛紛大幅下跌。

對(duì)此，英偉達(dá)公開回應(yīng)稱，DeepSeek是一項(xiàng)卓越的人工智能進(jìn)展，也是測(cè)試時(shí)擴(kuò)展的絕佳范例。DeepSeek的研究展示了如何運(yùn)用該技術(shù)，借助廣泛可用的模型以及完全符合出口管制規(guī)定的算力，創(chuàng)建新模型。推理過程需要大量英偉達(dá) GPU和高性能網(wǎng)絡(luò)。如今我們有三條擴(kuò)展定律：持續(xù)適用的預(yù)訓(xùn)練和后訓(xùn)練定律，以及新的測(cè)試時(shí)擴(kuò)展定律。

同樣被動(dòng)搖的還有Meta、OpenAI。

Meta內(nèi)部甚至成立了專門的研究小組，試圖剖析DeepSeek的技術(shù)細(xì)節(jié)，以改進(jìn)其Llama系列模型，并且新年計(jì)劃中預(yù)算4000億起步搞AI，年底AI算力將達(dá)130萬卡。

奧特曼也緊急透露新模型o3-mini即將免費(fèi)上線ChatGPT的消息，試圖挽回一點(diǎn)市場(chǎng)熱度。

現(xiàn)在有了新模型發(fā)布，關(guān)于DeepSeek的討論還在繼續(xù)。

DeepSeek新版本疑似很快發(fā)布，時(shí)間是2025年2月25日。

杭州昨夜不眠

同一個(gè)夜晚，同一個(gè)杭州。

就在DeepSeek新模型發(fā)布不久，Qwen也更新了自己的開源家族：

Qwen2.5-VL。

這個(gè)標(biāo)題怎么有三體那味了。

它有3B、7B 和 72B三種尺寸，可以支持視覺理解事物、Agent、理解長(zhǎng)視頻并且捕捉事件，結(jié)構(gòu)化輸出等等。

ps，最后，繼杭州六小龍之后，廣東AI三杰也出現(xiàn)了。

（杭州六小龍分別是游戲科學(xué)、DeepSeek、宇樹科技、云深處科技、強(qiáng)腦科技和群核科技）

他們分別是湛江人梁文鋒（DeepSeek創(chuàng)始人），汕頭人楊植麟（月之暗面、Kimi創(chuàng)始人）以及AI學(xué)術(shù)大佬廣州人何愷明。

文章來源：量子位

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
    • 二維碼 回到頂部