首頁 > 科技要聞 > 公司> 正文

OpenAI再招華人研究員！高中入圍美國“少年諾貝爾獎”，還在哈佛教書

量子位 整合編輯：太平洋科技 發(fā)布于：2025-01-06 14:40

就在剛剛，哈佛華人研究員Jeffrey Wang正式官宣加入OpenAI——

將作為基礎(chǔ)團(tuán)隊(duì)研究員，負(fù)責(zé)模型預(yù)訓(xùn)練和推理。

消息公布后，OpenAI聯(lián)創(chuàng)&總裁Greg Brockman也在第一時(shí)間帶隊(duì)歡迎。

在這之前，Jeffrey Wang在哈佛一邊教課一邊研究機(jī)器學(xué)習(xí)。

從哈佛加入OpenAI，高中入圍美國“少年諾貝爾獎”

在從加利福尼亞一所高中畢業(yè)后，Jeffrey Wang于2021年本科入學(xué)哈佛，專業(yè)為數(shù)學(xué)和計(jì)算機(jī)科學(xué)，同時(shí)輔修了英語。

從今年9月開始，他就已經(jīng)在為OpenAI工作，也許是這幾個(gè)月的經(jīng)歷，讓他最終決定現(xiàn)在加入OpenAI。

實(shí)際上，在哈佛期間，還是學(xué)生的Jeffrey Wang已經(jīng)開始一邊教課一邊研究機(jī)器學(xué)習(xí)了。

從去年1月開始，他為計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)系的61名學(xué)生講課。

而且同一時(shí)間，還兼顧著工程與應(yīng)用科學(xué)學(xué)院研究員一職，主要方向?yàn)闄C(jī)器學(xué)習(xí)模型的魯棒性和隱私性。

期間擔(dān)任共同一作的兩篇論文還分別亮相了NeurIPS SoLar（2023）和ICML（2024）研討會。

第一篇《MoPe : Model Perturbation-based Privacy Attacks on Language Models》
MoPe：基于模型擾動的語言模型隱私攻擊

簡單理解，這篇論文提出了MoPe（Model Perturbations）這種新檢測工具，它能幫助人們判斷某個(gè)特定的文本是否被用來訓(xùn)練過大語言模型。

這個(gè)工具通過在模型參數(shù)中加入一些擾動（噪聲），然后觀察這種擾動對模型預(yù)測的影響來工作。研究發(fā)現(xiàn)，MoPe比之前的方法更有效（從70M到12B參數(shù)范圍內(nèi)），可以更準(zhǔn)確地模擬出模型參數(shù)變化對預(yù)測的影響。

另外研究還發(fā)現(xiàn)，僅僅看一個(gè)訓(xùn)練點(diǎn)的損失值是不夠的，因?yàn)橛行⿹p失值普通的點(diǎn)也能被MoPe成功恢復(fù)，這挑戰(zhàn)了之前一些依賴損失值來判斷信息是否被模型記住的研究。

第二篇《Bias Begets Bias: the Impact of Biased Embeddings on Diffusion Models》
偏見滋生偏見：偏見嵌入對擴(kuò)散模型的影響

這篇論文研究了嵌入空間中的偏見如何影響擴(kuò)散模型的公平性。

作者們提出，無偏見的文本嵌入對于生成平衡的圖像分布是必要的，并且發(fā)現(xiàn)偏見的多模態(tài)嵌入（如CLIP）會導(dǎo)致評估圖像與文本提示對齊度時(shí)的得分降低，從而無意中獎勵(lì)了不公平的行為。

當(dāng)然，論文還提出了一個(gè)理論框架來研究評估中的偏見，并提出了減輕偏見的方法。

除此之外，高中階段的Jeffrey Wang就因“開發(fā)統(tǒng)計(jì)方法來探測3D基因組結(jié)構(gòu)變化”而獲得國家級獎項(xiàng)。

2021年，他決賽入圍了（前40名）再生元科學(xué)天才獎（Regeneron Science Talent Search, STS），這是美國歷史最悠久、最負(fù)盛名的高中生研究競賽，有美國“少年諾貝爾獎”之稱。

而且進(jìn)入前40的選手每人將獲得25000 美元（最低）獎金。

這項(xiàng)研究是他和Abhijit Chakraborty博士合作兩年的成果，前者在周末和休息時(shí)間跑到對方實(shí)驗(yàn)室實(shí)習(xí)觀摩。

他們研究了染色體中DNA的結(jié)構(gòu)。由于許多發(fā)育和疾病過程，包括癌癥，都是由DNA三維排列的變化引起的，因此Jeffrey創(chuàng)建了一個(gè)計(jì)算機(jī)應(yīng)用程序，用于識別和排列不同細(xì)胞系基因組中這種排列的顯著差異。

該程序僅基于DNA的三維形狀，就能方便地定位重要的基因和路徑。

后來，他還將這一模型公開了（現(xiàn)已被50多個(gè)實(shí)驗(yàn)室使用），以便更多人用于發(fā)現(xiàn)新的路徑、調(diào)節(jié)機(jī)制和癌癥靶點(diǎn)。

還是個(gè)writer

BTW，除了顯而易見地?zé)釔坶_發(fā)，Jeffrey Wang還是個(gè)小有成就的作家。

早在2019年，他就簽約了《The Adroit Journal》，這家位于紐約成立于2010年的雜志社，主要展示全球新興作家的詩歌、散文和藝術(shù)，其作品收錄率低于1%。

接受了文學(xué)藝術(shù)熏陶后，他又馬不停蹄地簽約了PBH Network長篇?dú)v史作家，其多個(gè)聯(lián)合作品的點(diǎn)擊量超過25萬次。

一直到現(xiàn)在，他還在美國知名在線問答平臺Quora分享歷史、科學(xué)和統(tǒng)計(jì)方面的故事，其作品總計(jì)超過600萬次瀏覽。

好嘛，能文能武又開始具象化了(doge）。

不過也有網(wǎng)友借機(jī)調(diào)侃，“退學(xué)”加入OpenAI群體+1。

要知道類似消息在OpenAI也不算少見，前一陣還招了一個(gè)高中就輟學(xué)的瑞典小哥，入職Sora團(tuán)隊(duì)專攻AGI。

甚至OpenAI CEO奧特曼，也是19歲從斯坦福大學(xué)計(jì)算機(jī)專業(yè)退學(xué)，創(chuàng)立了自己的第一家公司。

……

都快成一種企業(yè)文化了。（bushi

論文1：
https://aclanthology.org/2023.emnlp-main.842.pdf
論文2：
https://arxiv.org/pdf/2409.09569

參考鏈接：
[1]https://jeffreygwang.com/
[2]https://x.com/jeffreygwang/status/1874692536566227228

本文來源：量子位

網(wǎng)友評論

聚超值•精選

手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部