過年關(guān)啦!阿里送上了今年最后一份禮物—— “眼睛”模型QVQ,其中V代表視覺。它只需讀取圖像和指令,就可以開始思考。 I’m watching you! 據(jù)介紹,這可能是全球第一個視覺推理模型,也可以把它理解為上個月開源的阿里版o1模型QwQ的視覺版本。 可以解決數(shù)物化生等各領(lǐng)域問題。 讀梗圖、數(shù)鴨子也不在話下。 目前該模型處于實驗階段,開放測試。 結(jié)果可能因為訪問過多,網(wǎng)頁一度還404了。 從性能表現(xiàn)上看,QVQ在MMMU 上的得分為 70.3,這一結(jié)果超過GPT-4o、Claude 3.5 Sonnet,但比o1模型還差了那么一點。 阿里開源首個視覺推理模型 官方給了幾個演示Demo,讓咱們好好感知一下它的推理能力。 首先來看這道數(shù)學(xué)題。 再來個幾何題,算算這個沙發(fā)的面積。 高中化學(xué)題:圖片中的濾液E是什么化學(xué)物質(zhì)? 它的答案是:硫酸亞鐵溶液。 他們在四個數(shù)據(jù)集對眼睛模型QVQ-72B-Preview進行了評估,包括MMMU、MathVista、MathVision、OlympiadBench,主要考察數(shù)學(xué)多模態(tài)推理以及綜合理解推理方面的能力。 QVQ-72B-Preview在 MMMU 基準(zhǔn)測試中取得了70.3分,大大超過了其前身 Qwen2-VL-72B-Instruct。 此外,在其余三個以數(shù)學(xué)和科學(xué)問題為重點的基準(zhǔn)測試中,該模型也表現(xiàn)出了卓越的性能,縮小了與o1模型之間的差距。 不過目前該模型屬于是團隊的實驗研究模型,不是特別穩(wěn)定,有幾個限制需要注意。 語言混合和代碼切換:該模型可能會意外地混合語言或在語言之間切換,從而影響回答的清晰度。 遞歸推理:模型可能會陷入循環(huán)邏輯模式,產(chǎn)生冗長的回復(fù)而無法得出結(jié)論。 安全和道德方面的考慮:該模型需要加強安全措施,以確保性能可靠和安全,用戶在部署時應(yīng)謹慎。 性能和基準(zhǔn)限制:盡管該模型在視覺推理方面有所改進,但它不能完全取代 Qwen2-VL-72B-Instruct 的功能。此外,在多步驟視覺推理過程中,模型可能會逐漸失去對圖像內(nèi)容的關(guān)注,從而導(dǎo)致幻覺。 好好預(yù)防針打了,那咱們淺淺實測一波。 比如這道考驗谷歌版o1的題目: 如何利用這些數(shù)字加起來等于30? 結(jié)果它識別出來了這幾個球?qū)?yīng)的數(shù)字,沒有意識到9號球可以翻轉(zhuǎn)成6號球,然后就陷入無盡的思考之中。。。 在blog最后,他們也透露了接下來的目標(biāo)——增強視覺語言基礎(chǔ)模型,使其具備基于視覺信息進行深度思考和推理的高級能力。 把時間拉長,他們計劃是將更多的模態(tài)整合到統(tǒng)一的模型中,能夠應(yīng)對復(fù)雜的挑戰(zhàn)并參與科學(xué)探索。 (模型盡頭是AI For Science?) 參考鏈接: 本文來源:量子位 |
原創(chuàng)欄目
IT百科
網(wǎng)友評論
聚超值•精選