DeepSeek大爆出圈,現(xiàn)在連夜發(fā)布新模型—— 多模態(tài)Janus-Pro-7B,發(fā)布即開源。 在GenEval和DPG-Bench基準(zhǔn)測(cè)試中擊敗了DALL-E 3和Stable Diffusion。 想必大家這幾天完全被DeepSeek刷屏了吧。 它長(zhǎng)時(shí)間霸榜熱搜第一,甚至AI第一股英偉達(dá)直接被干崩了——最大跌幅近17%,一夜蒸發(fā)5890億美元(約合人民幣4.24萬億元),創(chuàng)下美股單日跌幅最大紀(jì)錄。 而Deepseek神話還在繼續(xù),春節(jié)假期中全國(guó)人民都開始體驗(yàn)了,Deepseek服務(wù)器還一度卡到宕機(jī)。 值得一提,同一夜,阿里旗下大模型通義千問Qwen也更新了自己的開源家族: 視覺語(yǔ)言模型Qwen2.5-VL,包括3B、7B 和 72B三種尺寸。 真~今夜杭州都不睡,起舞競(jìng)速大模型。 DeepSeek連夜發(fā)布新模型 先來看看DeepSeek新模型,這其實(shí)是此前Janus、JanusFlow的高級(jí)版本和延續(xù)。 一作為博士畢業(yè)于北大的陳小康。 具體來說,它基于DeepSeek-LLM-1.5b-base/DeepSeek-LLM-7b-base構(gòu)建的,是一個(gè)統(tǒng)一理解和生成的多模態(tài)大模型。整個(gè)模型采用自回歸框架。 它通過將視覺編碼解耦為單獨(dú)的路徑來解決以前方法的局限性,同時(shí)仍然使用單一、統(tǒng)一的轉(zhuǎn)換器架構(gòu)進(jìn)行處理。 這種解耦不僅緩解了視覺編碼器在理解和生成中的角色沖突,還增強(qiáng)了框架的靈活性。 對(duì)于多模態(tài)理解,它使用SigLIP-L作為視覺編碼器,支持 384 x 384 圖像輸入。對(duì)于圖像生成,Janus-Pro使用LIamaGen中的VQ標(biāo)記器,將圖像轉(zhuǎn)換為離散的ID,下采樣率為16。 ID序列被扁平化為一維后,他們使用生成適配器將每個(gè)ID對(duì)應(yīng)的代碼庫(kù)嵌入映射到 LLM 的輸入空間中。然后,將這些特征序列連接起來,形成一個(gè)多模態(tài)特征序列,隨后將其輸入 LLM 進(jìn)行處理。 除了 LLM 內(nèi)置的預(yù)測(cè)頭,還在視覺生成任務(wù)中使用隨機(jī)初始化的預(yù)測(cè)頭進(jìn)行圖像預(yù)測(cè)。 相較于前一個(gè)版本Janus的三個(gè)訓(xùn)練階段,團(tuán)隊(duì)發(fā)現(xiàn)這一訓(xùn)練策略并不理想,會(huì)大大降低計(jì)算效率。 對(duì)此,他們做了兩處大的修改。
第一階段Stage I的長(zhǎng)時(shí)間訓(xùn)練:增加了第一階段的訓(xùn)練步驟,以便在 ImageNet 數(shù)據(jù)集上進(jìn)行充分的訓(xùn)練。研究結(jié)果表明,即使在 LLM 參數(shù)固定的情況下,模型也能有效地模擬像素依賴性,并根據(jù)類別名稱生成合理的圖像。
第二階段Stage II:的集中訓(xùn)練:在第二階段,放棄了 ImageNet 數(shù)據(jù),直接利用常規(guī)文本到圖像數(shù)據(jù)來訓(xùn)練模型,以生成基于密集描述的圖像。
此外在第三階段的監(jiān)督微調(diào)過程中,還調(diào)整了不同類型數(shù)據(jù)集的數(shù)據(jù)比例,將多模態(tài)數(shù)據(jù)、純文本數(shù)據(jù)和文本圖像數(shù)據(jù)的比例從 7:3:10 調(diào)整為 5:1:4。 通過略微降低文本到圖像數(shù)據(jù)的比例發(fā)現(xiàn),這一調(diào)整可以讓在保持強(qiáng)大的視覺生成能力的同時(shí),提高多模態(tài)理解性能。 最終結(jié)果顯示,實(shí)現(xiàn)了與現(xiàn)有視覺理解生成SOTA模型持平的水準(zhǔn)。
與上一個(gè)版本 Janus相比,它可以為簡(jiǎn)短提示提供更穩(wěn)定的輸出,具有更好的視覺質(zhì)量、更豐富的細(xì)節(jié)以及生成簡(jiǎn)單文本的能力。 更多多模態(tài)理解和視覺生成能力的定性結(jié)果。 DeepSeek征服全球用戶 想必這兩天一定是被DeepSeek刷屏了—— 是科技圈非科技圈、七大姑八大姨都擱那討論的程度。 像同為杭州六小龍的游戲科學(xué),其創(chuàng)始人CEO、《黑神話:悟空》制作人也專門發(fā)微博支持:頂級(jí)科技成果,六大突破。 還有DeepSeek自稱MOSS,也被流浪地球?qū)а莨⒁獾搅恕?/span> 好好好,DeepSeek是不是直接預(yù)訂下一部主角了(Doge)。 而這故事的一開始,正是前幾天剛剛開源的推理模型R1,以其低廉的成本、免費(fèi)的使用以及完全不輸o1的性能,征服了全球用戶,直接引發(fā)行業(yè)地震。 僅僅花費(fèi)560萬美元訓(xùn)練的R1,相當(dāng)于Meta GenAI團(tuán)隊(duì)任一高管的薪資,在很多AI基準(zhǔn)測(cè)試中已經(jīng)達(dá)到甚至超越OpenAI o1模型。 而且DeepSeek是真的免費(fèi),而ChatGPT雖然在免費(fèi)榜上,但要是想解鎖它的完全體,還是要掏上200美元。 于是乎,大家開始紛紛轉(zhuǎn)向DeepSeek來“構(gòu)建一切”,也就迅速登頂美區(qū)蘋果應(yīng)用商店免費(fèi)App排行第一,超越了ChatGPT和Meta的Threads等熱門應(yīng)用。 用戶量的激增也導(dǎo)致DeepSeek服務(wù)器多次宕機(jī),官方不得不緊急維護(hù)。 而聚焦于行業(yè)內(nèi),大家對(duì)于DeepSeek的關(guān)注,在于如何在有限的資源成本情況下,實(shí)現(xiàn)與OpenAI持平的水準(zhǔn)。 相比于國(guó)外動(dòng)輒百億千億美元成本、幾十上百萬張卡這種粗放的模式,用DeepSeek很多技術(shù)細(xì)節(jié)都放在如何降低成本開銷上。 比如蒸餾。R1總共開源了6個(gè)在R1數(shù)據(jù)上的蒸餾小模型,蒸餾版Qwen-1.5B都能在部分任務(wù)上超過GPT-4o。 還有就是純強(qiáng)化學(xué)習(xí),拋棄SFT環(huán)節(jié),通過數(shù)千次的強(qiáng)化學(xué)習(xí)來提升模型的推理能力,然后在AIME 2024上的得分與OpenAI-o1-0912的表現(xiàn)相當(dāng)。 也正因?yàn)檫@樣,讓人不免想到OpenAI前幾天砸5000億美元建數(shù)據(jù)中心以及英偉達(dá)長(zhǎng)時(shí)間以來在高端GPU的壟斷地位。 拿5000億美元建數(shù)據(jù)中心,是有必要的嗎? 大規(guī)模的AI算力投資,是有必要的嗎? 這樣的討論,在資本市場(chǎng)得到了響應(yīng)。美股開盤后,英偉達(dá)股價(jià)暴跌17%,創(chuàng)下自2020年3月以來最大跌幅,市值蒸發(fā)近6000億美元,老黃自己的個(gè)人財(cái)富一夜之間也縮水了超130億美元。 博通、AMD等芯片巨頭也紛紛大幅下跌。 對(duì)此,英偉達(dá)公開回應(yīng)稱,DeepSeek是一項(xiàng)卓越的人工智能進(jìn)展,也是測(cè)試時(shí)擴(kuò)展的絕佳范例。DeepSeek的研究展示了如何運(yùn)用該技術(shù),借助廣泛可用的模型以及完全符合出口管制規(guī)定的算力,創(chuàng)建新模型。推理過程需要大量英偉達(dá) GPU和高性能網(wǎng)絡(luò)。如今我們有三條擴(kuò)展定律:持續(xù)適用的預(yù)訓(xùn)練和后訓(xùn)練定律,以及新的測(cè)試時(shí)擴(kuò)展定律。 同樣被動(dòng)搖的還有Meta、OpenAI。 Meta內(nèi)部甚至成立了專門的研究小組,試圖剖析DeepSeek的技術(shù)細(xì)節(jié),以改進(jìn)其Llama系列模型,并且新年計(jì)劃中預(yù)算4000億起步搞AI,年底AI算力將達(dá)130萬卡。 奧特曼也緊急透露新模型o3-mini即將免費(fèi)上線ChatGPT的消息,試圖挽回一點(diǎn)市場(chǎng)熱度。 現(xiàn)在有了新模型發(fā)布,關(guān)于DeepSeek的討論還在繼續(xù)。 DeepSeek新版本疑似很快發(fā)布,時(shí)間是2025年2月25日。 杭州昨夜不眠 同一個(gè)夜晚,同一個(gè)杭州。 就在DeepSeek新模型發(fā)布不久,Qwen也更新了自己的開源家族: Qwen2.5-VL。 這個(gè)標(biāo)題怎么有三體那味了。 它有3B、7B 和 72B三種尺寸,可以支持視覺理解事物、Agent、理解長(zhǎng)視頻并且捕捉事件,結(jié)構(gòu)化輸出等等。 ps,最后,繼杭州六小龍之后,廣東AI三杰也出現(xiàn)了。 (杭州六小龍分別是游戲科學(xué)、DeepSeek、宇樹科技、云深處科技、強(qiáng)腦科技和群核科技) 他們分別是湛江人梁文鋒(DeepSeek創(chuàng)始人),汕頭人楊植麟(月之暗面、Kimi創(chuàng)始人)以及AI學(xué)術(shù)大佬廣州人何愷明。
文章來源:量子位
|
原創(chuàng)欄目
IT百科
網(wǎng)友評(píng)論
聚超值•精選
在經(jīng)歷了2018-2020年“蔚小理”的上市潮后,隨著國(guó)內(nèi)新能源汽車市場(chǎng)競(jìng)爭(zhēng)日益激烈,以及全球EV需求放緩,IPO的大門正在向造車新勢(shì)力們緩緩關(guān)閉。極氪的成功上市既是對(duì)新勢(shì)力的一次激勵(lì),也是一次警示——后來者必須面對(duì)越來越嚴(yán)苛的上市條件。留給哪吒汽車、廣汽埃安們的機(jī)會(huì)可能不多了。