首頁 > 科技要聞 > 科技> 正文

微軟深夜再掀AI生產(chǎn)力革命，奧特曼登臺「自曝」新模型！定制Copilot十億打工人狂歡

新智元 整合編輯：龔震 發(fā)布于：2024-05-22 09:20

AI生產(chǎn)力的革命，微軟怎會缺席？

在今天的開發(fā)者大會上，曾經(jīng)誓要「顛覆」10億打工人的Copilot，依然是全程的主角。

沒想到70年后，還是要靠微軟重新定義軟件

不僅有Copilot加持的全新AI PC，日常生活助手Copilot，還有為全世界開發(fā)者提供的AI工具堆棧。

更驚喜的是，Sam Altman竟然在發(fā)布會的最后，被CTO Kevin Scott請上了臺！兩人開場先是一波寒暄，然后共同感慨，這簡直是瘋狂的一周，瘋狂的一年！

針對前段時間的OpenAI離職潮，奧特曼似乎用了一些隱晦的話語來暗戳戳回應：「為了讓GPT變得穩(wěn)健、安全，我們做了很多工作。OpenAI 創(chuàng)建了眾多團隊來確保LLM按預期工作�！�

三大殺器

過去的一年半里，世界發(fā)生了諸多變化，其中最令Altman本人震驚的事是什么？

Altman表示，數(shù)百萬開發(fā)者是推動過去一年里世界巨變的核心。

從GPT-4 ，再到GPT-4o的發(fā)布，盡管模型API推出時間不久，但我從未見過一項技術能如此迅速地得到有意義的應用。

人們正在構建我們從未想過的創(chuàng)新應用，完全展現(xiàn)了開放API的價值所在。

而Kevin Scott也調(diào)侃道：看得出來，你們很好地利用了手里的超強超算。

2020年交付的「鯊魚」級超算訓出了GPT-3，接下來的「虎鯨」級超算訓出GPT-4，而現(xiàn)在「鯨魚」級超算微軟正交付給OpenAI

奧特曼還表示，新的模態(tài)和整體智能將是OpenAI下一個模型的關鍵。

他預計模型將會變得更智能、更強大，更安全，而且GPT-4o將會速度更快，成本更低。

是的，就像摩爾定律推動信息革命一樣，Scaling Law和模型架構一起，改變了我們使用數(shù)據(jù)、生成數(shù)據(jù)的方式。

在這些縮放定律的影響下，我們擁有一個新的自然用戶界面，這是一個模型，這意味著支持文本、語音、圖像、視頻作為輸入和輸出。

Microsoft Copilot，是日常生活中的助手；Copilot stack，則可以讓我們構建AI程序、解決方案等。

還有一個重頭戲，當然就是昨天發(fā)布的全新Copilot+ PC，它直接打破了紀錄，成為有史以來最快的AI電腦！

如今，Windows成為了構建AI應用的最佳平臺。而這種影響，不啻于Win 32對圖形用戶界面的意義。

GitHub Copilot「插件商店」首發(fā)

繼Copilot成為最流行的代碼補全工具和「個人助理」之后，微軟本次又更新了這個效率提升神器。

微軟表示，很多開發(fā)者在代碼之外花費了75%的時間，比如追蹤工作流、以及撰寫需求文檔和規(guī)格說明等。

不僅如此，定位和修復bug的工作往往需要頻繁進行上下文切換，開發(fā)者在數(shù)據(jù)庫、IDE、代碼倉庫、監(jiān)控工具、云平臺之間疲于奔命，無法專注于代碼本身。

這正是全新GitHub Copilot可以發(fā)揮作用的地方。

它可以通過對話的方式將所有流程整合在一起，幫你調(diào)用所有工具和平臺，開發(fā)者只需要專注于IDE界面的核心代碼內(nèi)容，最大限度減少上下文切換。

不僅如此，基于強大的網(wǎng)絡搜索和推理決策能力，Copilot還能回答關于開發(fā)過程的問題。

比如在下面這個demo中，用西班牙語描述需求，Copilot就可以自動編寫出代碼，并為Azure上的部署提供建議。

GitHub產(chǎn)品副總裁表示：「使用自然語言編程將繼續(xù)降低軟件開發(fā)的門檻。未來，10億人可以利用GitHub Copilot，以自然語言的方式與開發(fā)技術棧中的任何工具集成，在GitHub上構建代碼。」

GitHub Copilot支持各種各樣的開發(fā)工具和平臺，包括DataStax, Docker, MongoDB, Octopus Deploy, Pangea, Pinecone, Product Science, ReadMe, Sentry, Stripe以及微軟自家的Office全家桶、Azure和Teams。

、

GitHub產(chǎn)品高級副總裁Mario Rodriguez表示：「我們的目標是使GitHub Copilot成為最集成、最強大、最智能的AI平臺�！�

在此基礎上延伸出的Copilot Workspace更是提高了開發(fā)團隊使用GitHub管理項目代碼的效率。

之前，用戶只能通過Git Bash命令行上傳項目文件，圖形化界面能進行的操作非常有限。

有了Copilot Workspace，各種時間線和代碼分支一目了然，上傳文件也容易很多。

而且還提供了非常清晰的代碼變動可視化界面，讓你自始至終都對項目有滿滿的掌控感。

截止目前，GitHub Copilot仍處于內(nèi)測階段，之后將在GitHub插件市場中發(fā)布。

不僅如此，對開發(fā)者來說，更酷的是——你可以定制自己的Copilot插件！

3種方式，定義自己的Copilot插件

SharePoint

SharePoint是微軟開發(fā)的用于組織內(nèi)部存儲、管理和共享內(nèi)容的平臺，每天上傳數(shù)量超過20億條。

為了減少工作中搜索和篩選內(nèi)容的時間，微軟開發(fā)了從SharePoint創(chuàng)建Copilot的功能。

任何擁有SharePoint網(wǎng)站編輯權限的人，只需點擊幾下就可以自定義Copilot功能，還可以通過Teams聊天框、電子郵件等方式將創(chuàng)建好的Copilot分享給團隊中其他成員。

點選好SharePoint中允許訪問的內(nèi)容范圍，以及Copilot的身份和行為等信息，它就可以立刻投入工作了。

比如內(nèi)容回答問題、總結信息或者查找文件，基于你之前授權給它的內(nèi)容，Copilot可以提供最新、最準確的響應。

想要在SharePoint之外創(chuàng)建自己的Copilot?

沒問題！微軟還發(fā)布了Copilot Studio，提供更靈活的自定義功能。

Copilot Studio

在SharePoint之外，Copilot Studio支持超過1000個數(shù)據(jù)連接器，方便你將各種數(shù)據(jù)源導入Copilot。

Copilot Studio依舊采用類似SharePoint中「對話驅動」的界面，你可以像聊天一樣描述——想要Copilot有什么樣的知識和功能，Copilot Studio就可以立即創(chuàng)建，并支持實時的測試、修改和發(fā)布。

為了用戶更容易上手使用，Studio中還內(nèi)置了各種Copilot模板，比如用于組織清晰度的Organizatiion Navigator、用于員工健康管理的Wellness等，未來幾個月還會有更多Copilot模板發(fā)布。使用Copilot Studio，你會有一種一切盡在掌握的感覺。

VSCode

如果你是一個高端玩家，更喜歡用代碼優(yōu)先的方式構建插件，也可以使用Visual Studio Code和Teams Toolkit，編寫函數(shù)來精準定義Copilot的工作流。

Copilot新能力解鎖

Copilot早就不止步于代碼補全功能，而是已經(jīng)演變「個人助理」，成為打工人們的效率提升神器，而且與多種工具和平臺合作，構建起一套完整的「Copilot生態(tài)」。

本次Build大會上，微軟又為Copilot解鎖了一系列新功能。

Team Copilot

Team Copilot將功能延伸到「個人助理」之外，開始成為團隊的一員。

它能承擔單獨的職責，提升整個團隊的工作效率，比如組織并記錄會議、跟蹤討論內(nèi)容等，甚至可以充當項目經(jīng)理，為成員分配任務并及時跟進ddl。

對于聊天界面中團隊成員們的討論進展，Copilot還能實時更新自己的記錄內(nèi)容。

可以在Microsoft自家開發(fā)的Teams、Loop或者Planner等協(xié)作辦公軟件中使用Team Copilot。

這項功能將在今年晚些時候以預覽版形式向有Copilot許可證的用戶發(fā)布。

Agents Copilot

如果Copilot僅僅進化到團隊助手，你可能還是小看了微軟。

就像用戶可以自定義Copilot插件一樣，你也可以使用Copilot Studio自定義一個Copilot Agent。

它不再像原來一樣被動地等著你問問題或者分配任務，而是變成「事件觸發(fā)」的智能體，像虛擬員工一樣工作并自動執(zhí)行任務。

這意味著，Copilot Agent不僅需要記憶、上下文推理以及根據(jù)反饋學習的能力，而且需要更加主動，能夠在后臺自發(fā)執(zhí)行任務。

這樣的Copilot豈不是會讓一大批白領失業(yè)？

微軟業(yè)務應用程序和平臺公司副總裁Charles Lamanna在采訪中表示，它可以消除一些重復、瑣碎的工作，例如數(shù)據(jù)輸入等，也許都是沒有人真正想做的事情。

GPT-4o上新，多款基礎模型可用

除了Copilot華麗的演示之外，在開篇提到的三個平臺中，最核心的是構建最完整的端到端堆棧——Copilot stack。

其中，最底層是基礎設施，然后是基礎模型層。

基礎設施

為了AI工作負載，微軟特意構建了全新的數(shù)據(jù)中心。

因此，微軟可以用每一兆瓦的功率，來降低AI的成本和功耗。

截止2024年5月，Azure超算能力已經(jīng)實現(xiàn)了30倍的增長！可以說，他們提供了世界上最先進的AI加速器，開發(fā)者可以擁有最完整的AI加速器選擇。

從GPT-4到GPT-4o，不僅模型的速度提高了6倍，成本更是便宜了12倍。

而這背后，是微軟與英偉達、AMD的深度合作，以及自研芯片的大力推進。

英偉達關鍵平臺產(chǎn)品，都會引入微軟的云中。

而說到和AMD的合作，微軟是第一個提供最新ND MI300X v5虛擬機的云服務供應商。

無論對于AMD，還是對于微軟，這都是一個意義重大的里程碑。

自研Azure Maia 100，只要你用過微軟的服務，或多或少都會接觸到。

而最新Azure Cobalt也開始進行公開預覽了，目前已經(jīng)為Microsoft Teams等服務提供了數(shù)十億次對話的支持。

基礎模型

在基礎模型方面，微軟與OpenAI展開了深度合作，而現(xiàn)在GPT-4o可以在Azure上進行訓練。

一張圖，展示了GPT-4o依舊是最強的模型。

而在如此強大的模型的加持下，Copilot甚至已經(jīng)「進化」到指導我們怎么玩游戲了！

舉個例子，你想弄清如何在《我的世界》中制作一把劍，卻毫無頭緒。

Copilot會從頭教你：為了造一把劍，你需要先收集材料。按E鍵，就能打開自己的材料庫了。

Copilot發(fā)現(xiàn)，我們?nèi)鄙僦谱鲃θ械牟牧希瑸榇�，需要收集木材、石頭、鐵、金或者鉆石。

忽然出現(xiàn)的小人，讓玩家嚇了一跳。

Copilot提示道：這是一場僵尸賽跑，我們需要盡快擺脫它們。要么快速建一座方塊塔，或者快速找到一個避難場所，還可以挖到山的另一側。

此外，微軟首次介紹了十分強大的Agent能力。想露營但找不到合適的鞋怎么辦？給它看一眼你的鞋，就能讓它給你提意見了。

Agent分析道，這款非常適合夏季遠足、讓雙腳保持涼爽，然而卻不是這次的最佳選擇。既然如此，我們就讓Agent直接挑一款最合適的。Agent發(fā)現(xiàn)，這次最合適的產(chǎn)品是TrekReady Hawking，它為腳踝提供了支撐，還能在寒冷的山區(qū)為腳部提供保暖。然后，它還幫我們把這雙鞋添加到購物車中。

當然，除了OpenAI的模型之外，微軟Azure平臺還將提供多款可用的模型。

并且，微軟依舊擁抱開源社區(qū)，與Hugging Face合作。

最強小語言模型：Phi-3

除了引入外部模型之外，微軟一直以來都在押注小模型，并引領了一場SLM革命。

從去年6月Phi-1面世，到Phi-1.5、Phi-2，再到如今Phi-3，微軟小模型已經(jīng)完成四次迭代升級。

今天，Phi-3家族正式官宣新成員：

Phi-3-vision、Phi-3-small，Phi-3-medium。

其實，Phi-3-small，Phi-3-medium對于每個人來說，或許并不陌生了。

上個月，微軟首次亮相Phi-3-mini，經(jīng)過3.3萬億token訓練僅有38億參數(shù)，而且還可以部署在手機上，性能與Mixtral 8x7B和GPT-3.5相媲美。

論文地址：https://arxiv.org/pdf/2404.14219

另外，技術報告中，還首次展示了經(jīng)過4.8T token訓練的7B模型Phi-3-small，以及14B模型Phi-3-medium。

具體來說，Phi-3-small提供了8k和128k上下文，實力與Llama-3-8B-In、Gemma 7B，以及Mistral 7B相當。

而提供了4k和128k上下文的Phi-3-medium，性能可以超越Mistral 8x7B。

而現(xiàn)在，這些模型已經(jīng)在Hugging Face上發(fā)布，開發(fā)者們可以下載權重并使用。

多模態(tài)Phi-3

真正引人關注的是，Phi-3在今天正式推出了多模態(tài)模型Phi-3-vision，有42億參數(shù)，128k上下文。

它可以完成一般的視覺推理任務，比如現(xiàn)場演示中，詢問圖表中的信息。甚至，人們還可以使用Phi-3-vision進行OCR、表格理解、一般圖像理解等。

值得一提的是，這款輕量模型僅用了一天半的時間，在512塊H100上完成了訓練。

它使用了500B視覺和文本token，其中「教科書數(shù)據(jù)集」一直以來是Phi系列模型的訓練核心。

這次，Phi-3-vision的訓練的圖像數(shù)據(jù)來自，精選高質(zhì)量圖文搭配的內(nèi)容，還有新創(chuàng)建的「教科書」式的綜合數(shù)據(jù)。

其中包括，圖表、表格、示意圖、幻燈片等教授的數(shù)學、編碼、常識推理等。

盡管參數(shù)量級非常小，在多模態(tài)基準測試中，Phi-3-vision的性能超越了Claude 3 haiku、LlaVa和Gemini 1.0 Pro。

甚至，各項性能非常接近GPT-4V。

一些開發(fā)者已經(jīng)上手體驗了，并稱令人印象極為深刻。

還有一些開發(fā)者們也決定嘗試一番。

以上Phi-3模型，不僅可以在云端運行，甚至可以在本地運行。

SOTA小模型Phi-Silica

此外，納德拉還在今天發(fā)布了Phi系列的SOTA模型——Phi-Silica。

微軟稱，這是一款專為Copilot+ PC設計的33億參數(shù)模型，每秒可以處理650 token的，功率消耗約為1.5瓦。

這就意味著，Phi-Silica不會占用大量算力，并可以釋放PC的CPU和GPU來處理其他計算。

另外，它的token生成會重用NPU的KV緩存，并在CPU上運行，大約每秒可輸出27個token。

微軟表示，「Phi-Silica的不同之處在于，它是Windows首個本地部署的語言模型」。

它針對Copilot+PC NPU進行了優(yōu)化，可在本地設備上實現(xiàn)超快的推理響應速度。

這是Windows將先進的AI技術直接帶給第三方開發(fā)者的一個里程碑時，為他們開發(fā)出色的Windows原生體驗和第三方體驗鋪平了道路。

Phi-3模型最新的應用，便是微軟還和可汗學院聯(lián)合打造教育模型。

在模型的幫助下，學生們不僅得到了個性化的AI指導，老師們也感受到了自己的價值。

更重要的是，在Phi-3的加持下，能夠免費提供給教育工作者的Khanmigo，必將極大地改變美國的教育界。

Windows

Copilot+ PC將重新定義任何一個人在PC所做的一切。

Pavan Davuluri展示了Copilot加持下的玩家，不用谷歌搜索，詢問即可通過被卡住的關卡。

通過將Copilot集成到XBox中，可以大幅提升游戲體驗。

此外，微軟還與Quest聯(lián)手，將Copilot帶進VR世界，并為Quest帶來可擴展到3D空間的Windows應用程序。

參考資料：https://build.microsoft.com/en-US/home#live-stream

文章來源：新智元
微軟    Copilot    AI
新智元

網(wǎng)友評論

聚超值•精選

推薦 手機 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部