最新消息,Sora核心作者,將領(lǐng)導(dǎo)谷歌世界模型團(tuán)隊(duì)! Tim Brooks——帶隊(duì)Sora研究的兩位負(fù)責(zé)人之一,也是DALL-E 3作者之一,剛剛發(fā)布了一條熱情四溢的推特,廣納天下英才: DeepMind有雄心勃勃的計(jì)劃,要制作大量世界模型。 Brooks是AI圈子里十分耀眼的新秀,2023年剛剛從UC伯克利博士畢業(yè)。 2023年1月起,Brooks開(kāi)始帶隊(duì)研究Sora;2024年2月,Sora初亮相。 但在去年10月,Brooks突然官宣離開(kāi)OpenAI,跳槽谷歌DeepMind。 當(dāng)時(shí),谷歌DeepMind的CEO Demis Hassabis就在該推文下回復(fù)表示,Brooks將幫助“將世界模擬器這一長(zhǎng)期夢(mèng)想變?yōu)楝F(xiàn)實(shí)”。 現(xiàn)在,Brooks真的要帶隊(duì)谷歌的世界模型團(tuán)隊(duì)了,并且是從頭開(kāi)始一手招募籌建。 并且,有人抓住了官宣推文中的華點(diǎn): Models,這意味著谷歌要制作的世界模型不是一個(gè),而是很多個(gè)! 而官宣推文下面,幾乎都是網(wǎng)友的祝福之語(yǔ): 谷歌組建世界模型新團(tuán)隊(duì) 目前,Tim Brooks的領(lǐng)英和推特自我簡(jiǎn)介都顯示為: - video gen + world sim at DeepMind 關(guān)于“video gen”,Brooks加入谷歌DeepMind的時(shí)間,在廣受好評(píng)的Veo 2.0發(fā)布之前。 a16z的投資人曾對(duì)著Veo 2.0驚嘆,難以置信不到一年的時(shí)間里,視頻模型進(jìn)展如此神速。 目前,Veo 2已經(jīng)登錄VideoFX,預(yù)計(jì)明年它將進(jìn)軍YouTube Shorts等平臺(tái),為內(nèi)容創(chuàng)作者開(kāi)啟全新的可能性。 而“world sim”,應(yīng)該就是目前正在招募的新團(tuán)隊(duì)的肩上重?fù)?dān)了。 根據(jù)Brooks鏈接的招聘頁(yè)面,新團(tuán)隊(duì)會(huì)和谷歌旗下Gemini、Veo和Genie等團(tuán)隊(duì)合作,并在此基礎(chǔ)上解決關(guān)鍵的新問(wèn)題,將世界模型擴(kuò)展到最高計(jì)算水平。 團(tuán)隊(duì)將致力于在構(gòu)建的世界模型之上開(kāi)發(fā)“實(shí)時(shí)交互生成”工具;并研究如何將世界模型們與現(xiàn)有的多模態(tài)模型,如Gemini等集成。 官方顯示,谷歌世界模型團(tuán)隊(duì)主要招納兩種人才,均要求碩士或博士學(xué)位: 研究科學(xué)家:(美國(guó))全職底薪范圍在136,000美元~245,000美元之間,加獎(jiǎng)金、股權(quán)和福利。 研究工程師:(美國(guó))全職底薪范圍在136,000美元~245,000美元之間,加獎(jiǎng)金、股權(quán)和福利。 (注:申請(qǐng)崗位時(shí)可附上目標(biāo)地點(diǎn)的具體薪資范圍) △科學(xué)家要求(左圖)和工程師要求(右圖)谷歌還表示,他們相信,在視頻和多模態(tài)數(shù)據(jù)上擴(kuò)展預(yù)訓(xùn)練(劃重點(diǎn))是實(shí)現(xiàn)AGI的關(guān)鍵路徑。 而世界模型將推動(dòng)眾多領(lǐng)域,如視覺(jué)推理和模擬、具身智能體的規(guī)劃以及實(shí)時(shí)交互娛樂(lè)。 谷歌對(duì)世界模型的(現(xiàn)階段)理解是什么? 看看去年年底發(fā)布的Genie 2,或許可以管窺一二。 24年12月5日,谷歌發(fā)布了Genie 2,它是一種自回歸潛空間擴(kuò)散模型,在大型視頻數(shù)據(jù)集上訓(xùn)練。 Genie 2可以實(shí)現(xiàn)一張圖生成無(wú)限多樣的3D游戲世界,生成的3D世界可響應(yīng)鍵鼠操作,可玩、可控制。 與此前研究相比,Genie 2擁有長(zhǎng)期記憶,即使玩家把視角轉(zhuǎn)開(kāi),再回來(lái)時(shí)也可穩(wěn)定渲染世界中已存在的部分;游戲世界中還可以有其他AI NPC存在,與玩家控制的角色進(jìn)行復(fù)雜交互。 但最重要的目標(biāo),不是拿來(lái)玩—— Genie 2可用于訓(xùn)練和評(píng)估具身智能體,通過(guò)創(chuàng)建豐富多樣的環(huán)境,可以生成AI在訓(xùn)練期間沒(méi)見(jiàn)過(guò)的評(píng)估任務(wù)。 盡管這項(xiàng)研究仍處于早期階段,在智能體和環(huán)境生成能力方面仍有大量改進(jìn)空間,但谷歌表示: 我們相信Genie 2是解決在安全訓(xùn)練具身智能體的同時(shí),滿足實(shí)現(xiàn)通往AGI所需的廣度和通用性要求。 △Genie 2能通過(guò)prompt訓(xùn)練Agent打開(kāi)正確的門世界模型,下一個(gè)角逐賽點(diǎn)? 2024年,AI技術(shù)在多元方向持續(xù)突破,視頻生成、世界模型、具身智能和空間智能等技術(shù)推動(dòng)了人類對(duì)AGI的探索。 尤其在世界模型領(lǐng)域,許多初創(chuàng)公司和大型科技公司正在追逐世界模型。 也難怪乎網(wǎng)友在看到Tim Brooks廣發(fā)英雄貼后,在reddit上發(fā)出這樣的感慨: 令人驚訝的是,如果這條新聞出現(xiàn)在五年前,我們會(huì)驚掉下巴。 但現(xiàn)在,我們就像對(duì)待一個(gè)普通的星期二一樣對(duì)待它。 事實(shí)上,世界模型反映了長(zhǎng)久以來(lái)許多AI研究人員對(duì)model-based RL工作的無(wú)奈和期待: 模型不夠準(zhǔn)確,那么完全在模型里訓(xùn)練的強(qiáng)化學(xué)習(xí)效果就不好。 如果能獲得準(zhǔn)確的世界模型,就能在世界模型中反復(fù)試錯(cuò),找到現(xiàn)實(shí)的最優(yōu)決策。 據(jù)量子位智庫(kù)《2024年度AI十大趨勢(shì)報(bào)告》,在世界模型領(lǐng)域,研究者們致力于開(kāi)發(fā)能夠模擬和理解真實(shí)世界的模型,核心在于通過(guò)學(xué)習(xí)大量數(shù)據(jù),使模型能夠自然涌現(xiàn)新的行為和決策能力。 Techcrunch則盤點(diǎn)到,在追逐世界模型的諸多玩家中,除了谷歌這樣的科技巨頭,還有不少耀眼的初創(chuàng)玩家。 譬如李飛飛的World Labs(雖然現(xiàn)在大家更多將它的目標(biāo)定位于空間智能),以及Decart、 Odyssey等公司。 該領(lǐng)域普遍認(rèn)為,世界模型可能能用來(lái)創(chuàng)建交互式媒體,如視頻游戲和電影;以及運(yùn)行現(xiàn)實(shí)模擬,如機(jī)器人/具身智能的訓(xùn)練環(huán)境。 目前,除了技術(shù)尚未達(dá)到心目中的理想水平,還有幾道坎擺在世界模型前進(jìn)之路上。 一個(gè)是版權(quán),一些世界模型似乎是在游戲游玩剪輯片段上訓(xùn)練的。 那咱 就不得不提谷歌世界模型新團(tuán)隊(duì)的最大優(yōu)勢(shì)了——是誰(shuí)擁有Youtube里上億小時(shí)的游戲視頻數(shù)據(jù),我不說(shuō)。 另一個(gè)是相關(guān)內(nèi)容創(chuàng)作從業(yè)者的反對(duì)。 不過(guò)值得一提的是,其中一些初創(chuàng)玩家,如Odyssey,承諾將與3D內(nèi)容領(lǐng)域的創(chuàng)意從業(yè)者合作作,而非取代他們。 暫不知道谷歌會(huì)怎么做。 One More Thing 最后,提一個(gè)網(wǎng)友們從谷歌世界模型新團(tuán)隊(duì)JD細(xì)則里發(fā)現(xiàn)的華點(diǎn)。 谷歌DeepMind寫道: We believe scaling pretraining on video and multimodal data is on the critical path to artificial general intelligence. 劃重點(diǎn), scaling pretraining。 而早些時(shí)候,在NeurIPS上,Ilya公開(kāi)宣判: 預(yù)訓(xùn)練時(shí)代即將終結(jié)! 雖然也可以理解為,Ilya特指的是大語(yǔ)言模型的預(yù)訓(xùn)練時(shí)代,谷歌DeepMind特指的是世界模型的預(yù)訓(xùn)練。 但……誰(shuí)知道呢,你說(shuō)是不(手動(dòng)狗頭)。 參考鏈接: 本文來(lái)源:量子位 |
原創(chuàng)欄目
IT百科
網(wǎng)友評(píng)論
聚超值•精選
在經(jīng)歷了2018-2020年“蔚小理”的上市潮后,隨著國(guó)內(nèi)新能源汽車市場(chǎng)競(jìng)爭(zhēng)日益激烈,以及全球EV需求放緩,IPO的大門正在向造車新勢(shì)力們緩緩關(guān)閉。極氪的成功上市既是對(duì)新勢(shì)力的一次激勵(lì),也是一次警示——后來(lái)者必須面對(duì)越來(lái)越嚴(yán)苛的上市條件。留給哪吒汽車、廣汽埃安們的機(jī)會(huì)可能不多了。