AI生產(chǎn)力的革命,微軟怎會缺席? 在今天的開發(fā)者大會上,曾經(jīng)誓要「顛覆」10億打工人的Copilot,依然是全程的主角。 沒想到70年后,還是要靠微軟重新定義軟件 不僅有Copilot加持的全新AI PC,日常生活助手Copilot,還有為全世界開發(fā)者提供的AI工具堆棧。 更驚喜的是,Sam Altman竟然在發(fā)布會的最后,被CTO Kevin Scott請上了臺!兩人開場先是一波寒暄,然后共同感慨,這簡直是瘋狂的一周,瘋狂的一年! 針對前段時間的OpenAI離職潮,奧特曼似乎用了一些隱晦的話語來暗戳戳回應:「為了讓GPT變得穩(wěn)健、安全,我們做了很多工作。OpenAI 創(chuàng)建了眾多團隊來確保LLM按預期工作! 三大殺器 過去的一年半里,世界發(fā)生了諸多變化,其中最令Altman本人震驚的事是什么? Altman表示,數(shù)百萬開發(fā)者是推動過去一年里世界巨變的核心。 從GPT-4 ,再到GPT-4o的發(fā)布,盡管模型API推出時間不久,但我從未見過一項技術能如此迅速地得到有意義的應用。 人們正在構建我們從未想過的創(chuàng)新應用,完全展現(xiàn)了開放API的價值所在。 而Kevin Scott也調(diào)侃道:看得出來,你們很好地利用了手里的超強超算。 2020年交付的「鯊魚」級超算訓出了GPT-3,接下來的「虎鯨」級超算訓出GPT-4,而現(xiàn)在「鯨魚」級超算微軟正交付給OpenAI 奧特曼還表示,新的模態(tài)和整體智能將是OpenAI下一個模型的關鍵。 他預計模型將會變得更智能、更強大,更安全,而且GPT-4o將會速度更快,成本更低。 是的,就像摩爾定律推動信息革命一樣,Scaling Law和模型架構一起,改變了我們使用數(shù)據(jù)、生成數(shù)據(jù)的方式。 在這些縮放定律的影響下,我們擁有一個新的自然用戶界面,這是一個模型,這意味著支持文本、語音、圖像、視頻作為輸入和輸出。 Microsoft Copilot,是日常生活中的助手;Copilot stack,則可以讓我們構建AI程序、解決方案等。 還有一個重頭戲,當然就是昨天發(fā)布的全新Copilot+ PC,它直接打破了紀錄,成為有史以來最快的AI電腦! 如今,Windows成為了構建AI應用的最佳平臺。而這種影響,不啻于Win 32對圖形用戶界面的意義。 GitHub Copilot「插件商店」首發(fā) 繼Copilot成為最流行的代碼補全工具和「個人助理」之后,微軟本次又更新了這個效率提升神器。 微軟表示,很多開發(fā)者在代碼之外花費了75%的時間,比如追蹤工作流、以及撰寫需求文檔和規(guī)格說明等。 不僅如此,定位和修復bug的工作往往需要頻繁進行上下文切換,開發(fā)者在數(shù)據(jù)庫、IDE、代碼倉庫、監(jiān)控工具、云平臺之間疲于奔命,無法專注于代碼本身。 這正是全新GitHub Copilot可以發(fā)揮作用的地方。 它可以通過對話的方式將所有流程整合在一起,幫你調(diào)用所有工具和平臺,開發(fā)者只需要專注于IDE界面的核心代碼內(nèi)容,最大限度減少上下文切換。 不僅如此,基于強大的網(wǎng)絡搜索和推理決策能力,Copilot還能回答關于開發(fā)過程的問題。 比如在下面這個demo中,用西班牙語描述需求,Copilot就可以自動編寫出代碼,并為Azure上的部署提供建議。 GitHub產(chǎn)品副總裁表示:「使用自然語言編程將繼續(xù)降低軟件開發(fā)的門檻。未來,10億人可以利用GitHub Copilot,以自然語言的方式與開發(fā)技術棧中的任何工具集成,在GitHub上構建代碼。」 GitHub Copilot支持各種各樣的開發(fā)工具和平臺,包括DataStax, Docker, MongoDB, Octopus Deploy, Pangea, Pinecone, Product Science, ReadMe, Sentry, Stripe以及微軟自家的Office全家桶、Azure和Teams。 、 GitHub產(chǎn)品高級副總裁Mario Rodriguez表示:「我們的目標是使GitHub Copilot成為最集成、最強大、最智能的AI平臺! 在此基礎上延伸出的Copilot Workspace更是提高了開發(fā)團隊使用GitHub管理項目代碼的效率。 之前,用戶只能通過Git Bash命令行上傳項目文件,圖形化界面能進行的操作非常有限。 有了Copilot Workspace,各種時間線和代碼分支一目了然,上傳文件也容易很多。 而且還提供了非常清晰的代碼變動可視化界面,讓你自始至終都對項目有滿滿的掌控感。 截止目前,GitHub Copilot仍處于內(nèi)測階段,之后將在GitHub插件市場中發(fā)布。 不僅如此,對開發(fā)者來說,更酷的是——你可以定制自己的Copilot插件! 3種方式,定義自己的Copilot插件 SharePoint SharePoint是微軟開發(fā)的用于組織內(nèi)部存儲、管理和共享內(nèi)容的平臺,每天上傳數(shù)量超過20億條。 為了減少工作中搜索和篩選內(nèi)容的時間,微軟開發(fā)了從SharePoint創(chuàng)建Copilot的功能。 任何擁有SharePoint網(wǎng)站編輯權限的人,只需點擊幾下就可以自定義Copilot功能,還可以通過Teams聊天框、電子郵件等方式將創(chuàng)建好的Copilot分享給團隊中其他成員。 點選好SharePoint中允許訪問的內(nèi)容范圍,以及Copilot的身份和行為等信息,它就可以立刻投入工作了。 比如內(nèi)容回答問題、總結信息或者查找文件,基于你之前授權給它的內(nèi)容,Copilot可以提供最新、最準確的響應。 想要在SharePoint之外創(chuàng)建自己的Copilot? 沒問題!微軟還發(fā)布了Copilot Studio,提供更靈活的自定義功能。 Copilot Studio 在SharePoint之外,Copilot Studio支持超過1000個數(shù)據(jù)連接器,方便你將各種數(shù)據(jù)源導入Copilot。 Copilot Studio依舊采用類似SharePoint中「對話驅動」的界面,你可以像聊天一樣描述——想要Copilot有什么樣的知識和功能,Copilot Studio就可以立即創(chuàng)建,并支持實時的測試、修改和發(fā)布。 為了用戶更容易上手使用,Studio中還內(nèi)置了各種Copilot模板,比如用于組織清晰度的Organizatiion Navigator、用于員工健康管理的Wellness等,未來幾個月還會有更多Copilot模板發(fā)布。使用Copilot Studio,你會有一種一切盡在掌握的感覺。 VSCode 如果你是一個高端玩家,更喜歡用代碼優(yōu)先的方式構建插件,也可以使用Visual Studio Code和Teams Toolkit,編寫函數(shù)來精準定義Copilot的工作流。 Copilot新能力解鎖 Copilot早就不止步于代碼補全功能,而是已經(jīng)演變「個人助理」,成為打工人們的效率提升神器,而且與多種工具和平臺合作,構建起一套完整的「Copilot生態(tài)」。 本次Build大會上,微軟又為Copilot解鎖了一系列新功能。 Team Copilot Team Copilot將功能延伸到「個人助理」之外,開始成為團隊的一員。 它能承擔單獨的職責,提升整個團隊的工作效率,比如組織并記錄會議、跟蹤討論內(nèi)容等,甚至可以充當項目經(jīng)理,為成員分配任務并及時跟進ddl。 對于聊天界面中團隊成員們的討論進展,Copilot還能實時更新自己的記錄內(nèi)容。 可以在Microsoft自家開發(fā)的Teams、Loop或者Planner等協(xié)作辦公軟件中使用Team Copilot。 這項功能將在今年晚些時候以預覽版形式向有Copilot許可證的用戶發(fā)布。 Agents Copilot 如果Copilot僅僅進化到團隊助手,你可能還是小看了微軟。 就像用戶可以自定義Copilot插件一樣,你也可以使用Copilot Studio自定義一個Copilot Agent。 它不再像原來一樣被動地等著你問問題或者分配任務,而是變成「事件觸發(fā)」的智能體,像虛擬員工一樣工作并自動執(zhí)行任務。 這意味著,Copilot Agent不僅需要記憶、上下文推理以及根據(jù)反饋學習的能力,而且需要更加主動,能夠在后臺自發(fā)執(zhí)行任務。 這樣的Copilot豈不是會讓一大批白領失業(yè)? 微軟業(yè)務應用程序和平臺公司副總裁Charles Lamanna在采訪中表示,它可以消除一些重復、瑣碎的工作,例如數(shù)據(jù)輸入等,也許都是沒有人真正想做的事情。 GPT-4o上新,多款基礎模型可用 除了Copilot華麗的演示之外,在開篇提到的三個平臺中,最核心的是構建最完整的端到端堆棧——Copilot stack。 其中,最底層是基礎設施,然后是基礎模型層。 基礎設施 為了AI工作負載,微軟特意構建了全新的數(shù)據(jù)中心。 因此,微軟可以用每一兆瓦的功率,來降低AI的成本和功耗。 截止2024年5月,Azure超算能力已經(jīng)實現(xiàn)了30倍的增長!可以說,他們提供了世界上最先進的AI加速器,開發(fā)者可以擁有最完整的AI加速器選擇。 從GPT-4到GPT-4o,不僅模型的速度提高了6倍,成本更是便宜了12倍。 而這背后,是微軟與英偉達、AMD的深度合作,以及自研芯片的大力推進。 英偉達關鍵平臺產(chǎn)品,都會引入微軟的云中。 而說到和AMD的合作,微軟是第一個提供最新ND MI300X v5虛擬機的云服務供應商。 無論對于AMD,還是對于微軟,這都是一個意義重大的里程碑。 自研Azure Maia 100,只要你用過微軟的服務,或多或少都會接觸到。 而最新Azure Cobalt也開始進行公開預覽了,目前已經(jīng)為Microsoft Teams等服務提供了數(shù)十億次對話的支持。 基礎模型 在基礎模型方面,微軟與OpenAI展開了深度合作,而現(xiàn)在GPT-4o可以在Azure上進行訓練。 一張圖,展示了GPT-4o依舊是最強的模型。 而在如此強大的模型的加持下,Copilot甚至已經(jīng)「進化」到指導我們怎么玩游戲了! 舉個例子,你想弄清如何在《我的世界》中制作一把劍,卻毫無頭緒。 Copilot會從頭教你:為了造一把劍,你需要先收集材料。按E鍵,就能打開自己的材料庫了。 Copilot發(fā)現(xiàn),我們?nèi)鄙僦谱鲃θ械牟牧希瑸榇,需要收集木材、石頭、鐵、金或者鉆石。 忽然出現(xiàn)的小人,讓玩家嚇了一跳。 Copilot提示道:這是一場僵尸賽跑,我們需要盡快擺脫它們。要么快速建一座方塊塔,或者快速找到一個避難場所,還可以挖到山的另一側。 此外,微軟首次介紹了十分強大的Agent能力。想露營但找不到合適的鞋怎么辦?給它看一眼你的鞋,就能讓它給你提意見了。 Agent分析道,這款非常適合夏季遠足、讓雙腳保持涼爽,然而卻不是這次的最佳選擇。既然如此,我們就讓Agent直接挑一款最合適的。Agent發(fā)現(xiàn),這次最合適的產(chǎn)品是TrekReady Hawking,它為腳踝提供了支撐,還能在寒冷的山區(qū)為腳部提供保暖。然后,它還幫我們把這雙鞋添加到購物車中。 當然,除了OpenAI的模型之外,微軟Azure平臺還將提供多款可用的模型。 并且,微軟依舊擁抱開源社區(qū),與Hugging Face合作。 最強小語言模型:Phi-3 除了引入外部模型之外,微軟一直以來都在押注小模型,并引領了一場SLM革命。 從去年6月Phi-1面世,到Phi-1.5、Phi-2,再到如今Phi-3,微軟小模型已經(jīng)完成四次迭代升級。 今天,Phi-3家族正式官宣新成員: Phi-3-vision、Phi-3-small,Phi-3-medium。 其實,Phi-3-small,Phi-3-medium對于每個人來說,或許并不陌生了。 上個月,微軟首次亮相Phi-3-mini,經(jīng)過3.3萬億token訓練僅有38億參數(shù),而且還可以部署在手機上,性能與Mixtral 8x7B和GPT-3.5相媲美。 論文地址:https://arxiv.org/pdf/2404.14219 另外,技術報告中,還首次展示了經(jīng)過4.8T token訓練的7B模型Phi-3-small,以及14B模型Phi-3-medium。 具體來說,Phi-3-small提供了8k和128k上下文,實力與Llama-3-8B-In、Gemma 7B,以及Mistral 7B相當。 而提供了4k和128k上下文的Phi-3-medium,性能可以超越Mistral 8x7B。 而現(xiàn)在,這些模型已經(jīng)在Hugging Face上發(fā)布,開發(fā)者們可以下載權重并使用。 多模態(tài)Phi-3 真正引人關注的是,Phi-3在今天正式推出了多模態(tài)模型Phi-3-vision,有42億參數(shù),128k上下文。 它可以完成一般的視覺推理任務,比如現(xiàn)場演示中,詢問圖表中的信息。甚至,人們還可以使用Phi-3-vision進行OCR、表格理解、一般圖像理解等。 值得一提的是,這款輕量模型僅用了一天半的時間,在512塊H100上完成了訓練。 它使用了500B視覺和文本token,其中「教科書數(shù)據(jù)集」一直以來是Phi系列模型的訓練核心。 這次,Phi-3-vision的訓練的圖像數(shù)據(jù)來自,精選高質(zhì)量圖文搭配的內(nèi)容,還有新創(chuàng)建的「教科書」式的綜合數(shù)據(jù)。 其中包括,圖表、表格、示意圖、幻燈片等教授的數(shù)學、編碼、常識推理等。 盡管參數(shù)量級非常小,在多模態(tài)基準測試中,Phi-3-vision的性能超越了Claude 3 haiku、LlaVa和Gemini 1.0 Pro。 甚至,各項性能非常接近GPT-4V。 一些開發(fā)者已經(jīng)上手體驗了,并稱令人印象極為深刻。 還有一些開發(fā)者們也決定嘗試一番。 以上Phi-3模型,不僅可以在云端運行,甚至可以在本地運行。 SOTA小模型Phi-Silica 此外,納德拉還在今天發(fā)布了Phi系列的SOTA模型——Phi-Silica。 微軟稱,這是一款專為Copilot+ PC設計的33億參數(shù)模型,每秒可以處理650 token的,功率消耗約為1.5瓦。 這就意味著,Phi-Silica不會占用大量算力,并可以釋放PC的CPU和GPU來處理其他計算。 另外,它的token生成會重用NPU的KV緩存,并在CPU上運行,大約每秒可輸出27個token。 微軟表示,「Phi-Silica的不同之處在于,它是Windows首個本地部署的語言模型」。 它針對Copilot+PC NPU進行了優(yōu)化,可在本地設備上實現(xiàn)超快的推理響應速度。 這是Windows將先進的AI技術直接帶給第三方開發(fā)者的一個里程碑時,為他們開發(fā)出色的Windows原生體驗和第三方體驗鋪平了道路。 Phi-3模型最新的應用,便是微軟還和可汗學院聯(lián)合打造教育模型。 在模型的幫助下,學生們不僅得到了個性化的AI指導,老師們也感受到了自己的價值。 更重要的是,在Phi-3的加持下,能夠免費提供給教育工作者的Khanmigo,必將極大地改變美國的教育界。 Windows Copilot+ PC將重新定義任何一個人在PC所做的一切。 Pavan Davuluri展示了Copilot加持下的玩家,不用谷歌搜索,詢問即可通過被卡住的關卡。 通過將Copilot集成到XBox中,可以大幅提升游戲體驗。 此外,微軟還與Quest聯(lián)手,將Copilot帶進VR世界,并為Quest帶來可擴展到3D空間的Windows應用程序。 參考資料:https://build.microsoft.com/en-US/home#live-stream 文章來源:新智元 |
原創(chuàng)欄目
IT百科
網(wǎng)友評論
聚超值•精選