首頁 > 科技要聞 > 科技> 正文

o1駕駛無人機(jī)后空翻，OpenAI開發(fā)者日驚掉下巴！2分鐘爆改代碼寫App

新智元 整合編輯：太平洋科技 發(fā)布于：2024-11-03 22:09
OpenAI倫敦開發(fā)者日上，首次曝出了o1五大核心能力，還有圖像理解。o1兩分鐘構(gòu)建應(yīng)用駕駛無人機(jī)、電話訂餐、講解太陽系，現(xiàn)場演示讓所有開發(fā)者沸騰。

完整版o1的解禁，離我們不遠(yuǎn)了！

最近舉辦的OpenAI倫敦開發(fā)者日上，開發(fā)者體驗(yàn)主管Romain Huet帶著o1模型來秀場了。

o1 mini聯(lián)動(dòng)Cursor在不到2分鐘時(shí)間內(nèi)，搭建了一個(gè)可以交互的應(yīng)用，駕駛無人機(jī)表演后空翻。

現(xiàn)場數(shù)百名開發(fā)者， 掌聲不斷。

還有利用RealTimeAPI，構(gòu)建的實(shí)時(shí)語音AI智能體向人一樣，電話賣家訂購200個(gè)派。而且，o1還不忘了幽默風(fēng)趣，對話情商非常高。

不僅如此，有了o1構(gòu)建的太陽系可視化介紹應(yīng)用，想必未來的教學(xué)一定非常有趣。

這還僅僅是預(yù)覽版+mini版o1的功能，在演講末，一張PPT展示了未來o1的五大能力：

函數(shù)調(diào)用、開發(fā)者message、流式傳輸、結(jié)構(gòu)化輸出、圖像理解。

o1演示炸場，臺(tái)下觀眾歡呼不斷

寫代碼搭A(yù)pp，駕駛無人機(jī)后空翻

整場最讓人震撼的是，用o1 mini+Cursor搭建應(yīng)用駕駛無人機(jī)飛行。

Romain Huet告訴o1，我現(xiàn)在有一架無人機(jī)，還缺少一個(gè)用JavaScript編寫的交互界面，但是我不會(huì)如何編程。

接下來，他要求o1去構(gòu)建這個(gè)應(yīng)用，并設(shè)定好所有的交互按鈕和組件。

并且，他向模型發(fā)送了一個(gè)樣本視頻，作為參考。

o1收到請求后，開始執(zhí)行所有的任務(wù)。

在這過程中，為了確保應(yīng)用程序搭建能夠?qū)崟r(shí)更新，Huet通過在UDP數(shù)據(jù)庫上發(fā)送可能與用戶-按鈕交互相關(guān)信息，從而實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)傳輸。

并且，這個(gè)操作也非常簡單，只需要點(diǎn)擊每個(gè)按鈕，并發(fā)送更改評論，便可以在應(yīng)用中得到更新。

最后，我們就得到了這樣的一個(gè)交互界面。

左邊黑的的框框是無人機(jī)攝像頭顯示屏，右邊就是各種交互的按鈕了。

見證奇跡的時(shí)刻到了，Huet將無人機(jī)放置在地面上，打開終端，開始運(yùn)行o1搭建的應(yīng)用。

只見o1駕駛的無人機(jī)演講臺(tái)上飛起，與臺(tái)下的觀眾來了一張大合影。

更驚喜的是，無人機(jī)現(xiàn)場還來一個(gè)360度的運(yùn)鏡。

整個(gè)應(yīng)用構(gòu)建，用了不到2分鐘的時(shí)間。

AI實(shí)時(shí)語音訂購派，堪比真人

另外，Huet還秀了一波用RealTimeAPI構(gòu)建實(shí)現(xiàn)實(shí)時(shí)語音的能力。這一功能實(shí)際上在上個(gè)月已經(jīng)推出。

他表示，現(xiàn)在能夠?qū)崿F(xiàn)更長時(shí)間、更穩(wěn)定的對話。

旅行應(yīng)用程序Wanderlust中，Huet假設(shè)自己正計(jì)劃倫敦和新加坡之旅，假設(shè)下周就要去新加坡。

他問道，你能給我提供一些游覽的景點(diǎn)嗎？

隨后，在屏幕右邊可視化圖中，展示除了新加坡一些著名打卡點(diǎn)。

緊接著，Huet又讓他為自己推薦酒店，以及更多細(xì)節(jié)。

實(shí)時(shí)語音一邊說，一邊給出了結(jié)果。

接下里，他又讓o1在倫敦chiswell街區(qū)的當(dāng)?shù)厣痰暧嗁徱环輕ie。

OpenAI開發(fā)者論壇負(fù)責(zé)人Spencer Bentley分享

Huet：我們臺(tái)下有數(shù)百位開發(fā)者，他們可能喜歡吃一些甜點(diǎn)，你能幫我看看附近這兒可能有哪些商店？

o1：這是一些關(guān)于pie商店更多的細(xì)節(jié)。

不過，o1給出的結(jié)果中，第二個(gè)并非是真實(shí)存在的商店，只有其余兩個(gè)是。

為了方便演示，讓現(xiàn)場工作人員擔(dān)任賣家，Huet邀請同伴上臺(tái)，一起來完成這個(gè)任務(wù)。

「在預(yù)算允許的情況下，幫我們訂購200個(gè)pie，可以是肉和蔬菜的混合餡料」。

o1直接給IIan's Poah Pies打去了電話，并像人一樣主動(dòng)訂購。

介紹太陽系，讓教學(xué)更有趣

另外一個(gè)用RealTimeAPI構(gòu)建太陽系導(dǎo)航應(yīng)用程序，利用o1實(shí)時(shí)語音能力介紹星系。

從太陽系中最大的木星，到地球，再到火星深入介紹，o1全部都能娓娓道來。

OpenAI研究員表示，這一功能教會(huì)了自己：在教女兒新知識時(shí)如何成為有趣的父母。

奧特曼QA環(huán)節(jié)，自曝最敬佩Cursor

沒有Sam Altamn的開發(fā)者日，就不算是完整的。在整場演講結(jié)束后，最后一個(gè)環(huán)節(jié)，就是Altamn QA問答了。

在線上，奧特曼拋出了一個(gè)深刻的思考：

人們總是傾向于用歷史上的技術(shù)革命來類比當(dāng)前的AI革命。

但這種類比方式本身是存在問題的。比如說，互聯(lián)網(wǎng)革命就與現(xiàn)在的情況有很大的不同。

也許拿晶體管來做比較會(huì)更恰當(dāng)。

晶體管是物理學(xué)領(lǐng)域的重大發(fā)現(xiàn)，它具有驚人的規(guī)�；瘽摿�，并且迅速在全球范圍內(nèi)得到應(yīng)用和普及。

雖然晶體管技術(shù)讓整個(gè)人類社會(huì)受益，但現(xiàn)在人們并不會(huì)把那些最早開發(fā)晶體管的公司僅僅定義為「晶體管公司」。

「我不祈求上帝站在我這邊，而是祈求自己能夠站在上帝這邊。在開發(fā)這些人工智能模型的過程中，我確實(shí)感覺自己是在追隨光明與正義的道路�！�

問：我們應(yīng)該期待像o1這樣的模型還是更大規(guī)模的模型？

奧特曼：希望全面提升大語言模型的性能，但這個(gè)推理思路很重要。

「不方便透露太多細(xì)節(jié)...但我預(yù)計(jì)視覺模型領(lǐng)域會(huì)有突破性進(jìn)展�！梗ㄟ@似乎暗示即將推出比GPT-4更強(qiáng)大的視覺模型）

問：在技術(shù)整合方面會(huì)達(dá)到什么程度？基于OpenAI構(gòu)建產(chǎn)品的AI創(chuàng)業(yè)公司應(yīng)該如何規(guī)劃？

奧特曼：建議創(chuàng)始人應(yīng)該打造這樣的公司——既能充分利用當(dāng)前大語言模型的優(yōu)勢，又能在未來模型升級時(shí)獲得更大發(fā)展空間。

問：開源的定位是什么？

奧特曼：答案表明開源確實(shí)有其存在空間，但同時(shí)也需要很好地整合專有模型。不過，這個(gè)回答似乎沒有提供太多實(shí)質(zhì)性內(nèi)容。

問：什么是AI智能體（Agent）？

奧特曼：「一個(gè)可以接受長期任務(wù)并且在執(zhí)行過程中只需少量監(jiān)督的系統(tǒng)�！刮艺J(rèn)為Harrison Chase在Langchain的博客中給出的定義更加嚴(yán)謹(jǐn)，但從商業(yè)角度來看，這個(gè)定義很實(shí)用。

問：AI智能體能做什么？

奧特曼：它們能夠完成人類因能力限制而無法完成的任務(wù)，比如同時(shí)與300家餐廳進(jìn)行通話，讓AI智能體在每家餐廳進(jìn)行交談并即時(shí)收集信息。

或者說，它像一位極其智慧的高級同事，你可以放心地交給他兩天或一周的工作任務(wù)。

說實(shí)話，我很討厭「agentic」這個(gè)詞。不讓我們一起邊討論邊思考，然后創(chuàng)造一個(gè)新詞吧！

問：在過去10年里，他的領(lǐng)導(dǎo)方式發(fā)生了哪些變化？

奧特曼：公司發(fā)展速度驚人，僅用兩年時(shí)間就實(shí)現(xiàn)了數(shù)十億美元的營收規(guī)模。從追求10%的提升轉(zhuǎn)向追求10倍的突破，這需要進(jìn)行大量的調(diào)整和改變。

問：對于Peter Thiel「要招聘30歲以下的員工」的建議，你怎么看？

奧特曼：我創(chuàng)立OpenAI時(shí)就已經(jīng)過了30歲。團(tuán)隊(duì)需要不同年齡層的人才，真正重要的是要始終保持極高的人才標(biāo)準(zhǔn)。

問：你最擔(dān)憂的是什么？

奧特曼：從整個(gè)行業(yè)角度來看，我們正在嘗試解決的問題的系統(tǒng)性復(fù)雜度。

問：如果現(xiàn)在要?jiǎng)?chuàng)建新公司，他會(huì)選擇什么方向？

奧特曼：專注于某個(gè)特定領(lǐng)域，比如開發(fā)AI法律顧問或AI工程師助手。

問：你覺得有什么重要信息需要讓更多人知道？

奧特曼：一個(gè)能夠全面了解并陪伴你生活的智能助手。

問：除了OpenAI的團(tuán)隊(duì)，你最敬佩誰？

奧特曼：Cursor團(tuán)隊(duì)——他們打造了一個(gè)極具突破性的AI應(yīng)用體驗(yàn)。

問：如果能夠?qū)崿F(xiàn)理想中的未來，你覺得會(huì)是什么樣子？

奧特曼：在接下來的5年里，我們可能會(huì)看到AI技術(shù)以難以想象的速度進(jìn)步。但有趣的是，社會(huì)表面的變化可能并不會(huì)那么劇烈——真正的影響可能要在更長遠(yuǎn)的未來才會(huì)完全顯現(xiàn)。

本文來源：新智元
新智元

網(wǎng)友評論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部