就在剛剛,哈佛華人研究員Jeffrey Wang正式官宣加入OpenAI—— 將作為基礎(chǔ)團(tuán)隊(duì)研究員,負(fù)責(zé)模型預(yù)訓(xùn)練和推理。 消息公布后,OpenAI聯(lián)創(chuàng)&總裁Greg Brockman也在第一時(shí)間帶隊(duì)歡迎。 在這之前,Jeffrey Wang在哈佛一邊教課一邊研究機(jī)器學(xué)習(xí)。 從哈佛加入OpenAI,高中入圍美國(guó)“少年諾貝爾獎(jiǎng)” 在從加利福尼亞一所高中畢業(yè)后,Jeffrey Wang于2021年本科入學(xué)哈佛,專業(yè)為數(shù)學(xué)和計(jì)算機(jī)科學(xué),同時(shí)輔修了英語(yǔ)。 從今年9月開(kāi)始,他就已經(jīng)在為OpenAI工作,也許是這幾個(gè)月的經(jīng)歷,讓他最終決定現(xiàn)在加入OpenAI。 實(shí)際上,在哈佛期間,還是學(xué)生的Jeffrey Wang已經(jīng)開(kāi)始一邊教課一邊研究機(jī)器學(xué)習(xí)了。 從去年1月開(kāi)始,他為計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)系的61名學(xué)生講課。 而且同一時(shí)間,還兼顧著工程與應(yīng)用科學(xué)學(xué)院研究員一職,主要方向?yàn)闄C(jī)器學(xué)習(xí)模型的魯棒性和隱私性。 期間擔(dān)任共同一作的兩篇論文還分別亮相了NeurIPS SoLar(2023)和ICML(2024)研討會(huì)。 第一篇《MoPe : Model Perturbation-based Privacy Attacks on Language Models》 簡(jiǎn)單理解,這篇論文提出了MoPe(Model Perturbations)這種新檢測(cè)工具,它能幫助人們判斷某個(gè)特定的文本是否被用來(lái)訓(xùn)練過(guò)大語(yǔ)言模型。 這個(gè)工具通過(guò)在模型參數(shù)中加入一些擾動(dòng)(噪聲),然后觀察這種擾動(dòng)對(duì)模型預(yù)測(cè)的影響來(lái)工作。研究發(fā)現(xiàn),MoPe比之前的方法更有效(從70M到12B參數(shù)范圍內(nèi)),可以更準(zhǔn)確地模擬出模型參數(shù)變化對(duì)預(yù)測(cè)的影響。 另外研究還發(fā)現(xiàn),僅僅看一個(gè)訓(xùn)練點(diǎn)的損失值是不夠的,因?yàn)橛行⿹p失值普通的點(diǎn)也能被MoPe成功恢復(fù),這挑戰(zhàn)了之前一些依賴損失值來(lái)判斷信息是否被模型記住的研究。 第二篇《Bias Begets Bias: the Impact of Biased Embeddings on Diffusion Models》 這篇論文研究了嵌入空間中的偏見(jiàn)如何影響擴(kuò)散模型的公平性。 作者們提出,無(wú)偏見(jiàn)的文本嵌入對(duì)于生成平衡的圖像分布是必要的,并且發(fā)現(xiàn)偏見(jiàn)的多模態(tài)嵌入(如CLIP)會(huì)導(dǎo)致評(píng)估圖像與文本提示對(duì)齊度時(shí)的得分降低,從而無(wú)意中獎(jiǎng)勵(lì)了不公平的行為。 當(dāng)然,論文還提出了一個(gè)理論框架來(lái)研究評(píng)估中的偏見(jiàn),并提出了減輕偏見(jiàn)的方法。 除此之外,高中階段的Jeffrey Wang就因“開(kāi)發(fā)統(tǒng)計(jì)方法來(lái)探測(cè)3D基因組結(jié)構(gòu)變化”而獲得國(guó)家級(jí)獎(jiǎng)項(xiàng)。 2021年,他決賽入圍了(前40名)再生元科學(xué)天才獎(jiǎng)(Regeneron Science Talent Search, STS),這是美國(guó)歷史最悠久、最負(fù)盛名的高中生研究競(jìng)賽,有美國(guó)“少年諾貝爾獎(jiǎng)”之稱。 而且進(jìn)入前40的選手每人將獲得25000 美元(最低)獎(jiǎng)金。 這項(xiàng)研究是他和Abhijit Chakraborty博士合作兩年的成果,前者在周末和休息時(shí)間跑到對(duì)方實(shí)驗(yàn)室實(shí)習(xí)觀摩。 他們研究了染色體中DNA的結(jié)構(gòu)。由于許多發(fā)育和疾病過(guò)程,包括癌癥,都是由DNA三維排列的變化引起的,因此Jeffrey創(chuàng)建了一個(gè)計(jì)算機(jī)應(yīng)用程序,用于識(shí)別和排列不同細(xì)胞系基因組中這種排列的顯著差異。 該程序僅基于DNA的三維形狀,就能方便地定位重要的基因和路徑。 后來(lái),他還將這一模型公開(kāi)了(現(xiàn)已被50多個(gè)實(shí)驗(yàn)室使用),以便更多人用于發(fā)現(xiàn)新的路徑、調(diào)節(jié)機(jī)制和癌癥靶點(diǎn)。 還是個(gè)writer BTW,除了顯而易見(jiàn)地?zé)釔?ài)開(kāi)發(fā),Jeffrey Wang還是個(gè)小有成就的作家。 早在2019年,他就簽約了《The Adroit Journal》,這家位于紐約成立于2010年的雜志社,主要展示全球新興作家的詩(shī)歌、散文和藝術(shù),其作品收錄率低于1%。 接受了文學(xué)藝術(shù)熏陶后,他又馬不停蹄地簽約了PBH Network長(zhǎng)篇?dú)v史作家,其多個(gè)聯(lián)合作品的點(diǎn)擊量超過(guò)25萬(wàn)次。 一直到現(xiàn)在,他還在美國(guó)知名在線問(wèn)答平臺(tái)Quora分享歷史、科學(xué)和統(tǒng)計(jì)方面的故事,其作品總計(jì)超過(guò)600萬(wàn)次瀏覽。 好嘛,能文能武又開(kāi)始具象化了(doge)。 不過(guò)也有網(wǎng)友借機(jī)調(diào)侃,“退學(xué)”加入OpenAI群體+1。 要知道類似消息在OpenAI也不算少見(jiàn),前一陣還招了一個(gè)高中就輟學(xué)的瑞典小哥,入職Sora團(tuán)隊(duì)專攻AGI。 甚至OpenAI CEO奧特曼,也是19歲從斯坦福大學(xué)計(jì)算機(jī)專業(yè)退學(xué),創(chuàng)立了自己的第一家公司。 …… 都快成一種企業(yè)文化了。(bushi 論文1: 參考鏈接: 本文來(lái)源:量子位 |
原創(chuàng)欄目
IT百科
網(wǎng)友評(píng)論
聚超值•精選
在經(jīng)歷了2018-2020年“蔚小理”的上市潮后,隨著國(guó)內(nèi)新能源汽車市場(chǎng)競(jìng)爭(zhēng)日益激烈,以及全球EV需求放緩,IPO的大門正在向造車新勢(shì)力們緩緩關(guān)閉。極氪的成功上市既是對(duì)新勢(shì)力的一次激勵(lì),也是一次警示——后來(lái)者必須面對(duì)越來(lái)越嚴(yán)苛的上市條件。留給哪吒汽車、廣汽埃安們的機(jī)會(huì)可能不多了。