首頁 > 科技要聞 > 科技> 正文

手機學會「點屏幕」了，為什么笨 AI 也有未來？

愛范兒 整合編輯：太平洋科技 發(fā)布于：2025-03-10 16:29

去年 11 月。榮耀為了新機 Magic 7 Pro 的發(fā)布，策劃了一次堪稱行為藝術的事件營銷。

時任榮耀 CEO 的趙明現場指揮 AI Agent YOYO 打開美團，下單了約 2000 杯瑞幸飲料。這一通操作過后，深圳發(fā)布會場地周邊的瑞幸門店紛紛「爆單」，門店咖啡師忙到崩潰，接到訂單的騎手更是在門店排起長隊。

這次效果顯著卻略帶荒誕意味的事件營銷，一定程度上讓公眾忽略了榮耀試圖展示的核心技術：「基于 GUI 的個人 AI 智能體」。

時至今日，AI Agent 功能確實已經不新鮮了。而這個技術的關鍵點，在「GUI」這三個字上。

GUI 全稱 Graphical User Interface，圖形用戶界面。作為一個基于 GUI 的 AI Agent，YOYO 不再依賴傳統(tǒng)的 API 接口，而是有了一只虛擬的「手」，直接在代替用戶進行圖形界面操作。整個代行操作不在「后臺」，而是直接在「前臺」，在用戶的眼皮底下實時發(fā)生。

需要澄清的是：Magic 7 Pro 市售機型用戶的體驗可能會與發(fā)布會演示存在差異。據財聯社報道，當時現場演示用的測試機權限更高，能夠自動免密支付和循環(huán)點單，這才不停地點出了 2000 杯飲料。至少在目前，市售機型需要用戶明確告知點單細節(jié)（例如品牌、品名、杯型、溫度等），并且在支付環(huán)節(jié)需要用戶接管確認。

這個細節(jié)確實重要，但也不至于抹殺這項技術的存在意義。正相反，我們認為，「基于 GUI」是個很另類，很有趣，頗具試驗性的 AI Agent 實現路徑。

AI Agent 交互的「前臺」新路

榮耀 YOYO 的核心是多模態(tài)模型，GUI 交互的本質是語言+視覺的理解。

自然語言處理 (NLP)：理解「點一杯冰美式」的指令；

屏幕狀態(tài)感知：識別當前界面中的內容，找到正確的按鈕、輸入框等界面元素；

擬人化操作：像人類一樣點擊按鈕、輸入信息；

循環(huán)操作：在新的界面中持續(xù)解析內容、定位和點擊界面元素。

關于 GUI 的操作部分，這最后一步具體是怎樣實現的，榮耀方面沒有明確透露。一種穩(wěn)妥的猜測是：它能夠獲得手機的無障礙功能 (accessibility features) 或類似的底層權限，從而控制屏幕點擊事件。

這最后一步并不是什么難事，甚至比前面幾步都簡單得多。但除了此前智譜的 AutoGLM 等極少數之外，確實很少有其它第三方開發(fā)者和終端廠商在走 GUI 交互的路徑。

在過去，虛擬助理控制軟件和智能硬件的方式主要是通過 API 調用以及物聯網協議。這可以理解為一種純數字 (digital) 的通訊方式。

今年一月，谷歌在三星的指定機型上激活了基于 Gemini 2.0 的 AI Agent 功能。這次合作也是通過 API 或類似方式實現的（谷歌稱之為 Gemini 擴展），初期僅支持 Gmail、谷歌地圖、三星日歷、三星時鐘等第一方應用，以及 Spotify 等極少量第三方應用。

想要做到規(guī)�；�，擴充支持的應用，需要開發(fā)者做一定量的 API 接入工作，同時也需要用戶許可使用 Gemini 擴展。

Gemini 控制手機演示 圖源：Google

谷歌依賴 API 調用后臺接口，而榮耀通過 GUI 模擬前臺操作，二者在實現邏輯上形成了明顯區(qū)別。后者的好處，在于可以規(guī)避 API 調用這一常規(guī)方式，繞過了其背后的商業(yè)博弈和數據成本，也可以更快、更容易地擴充支持的應用，實現規(guī)模化并改善用戶體驗。

成本是個關鍵問題。一方面是云服務費用，因為無論是 API 提供方還是調用方都需要運行服務器來進行操作。另一方面，通過 API 交換的數據也具有價值，因此具有更高數據價值的 API，往往收費也更高。

以美團舉例，其訂單服務在內的基礎 API 收費標準為每百次調用 0.15 元（前百萬次免費）。這還只是基礎類 API，如果涉及價值更高的管理類 API，調用收費提高到每百次 0.3 元，且無免費額度。

另外，API 的使用也暗含著一些隱性的商業(yè)競爭要素。調用方獲得了數據，同時也在向提供方發(fā)送數據，而不排除在特定條件下，雙方都不希望肥水流向外人田。

而在基于 GUI 的方案下，至少就目前的演示效果來看，榮耀既不需要向美團支付 API 費用，雙方也無需擔心數據的歸屬，包括與之關聯的隱私安全等問題。

AI Agent 只是在「模仿人類」點擊屏幕，多么原始卻有效的交互方式。

回歸模擬，返璞歸真

這種「返祖」式技術路徑，讓人聯想到谷歌在 2018 年推出的 AI 電話助手 Duplex。

Duplex 的思路在當時同樣有點腦洞清奇：谷歌合成了一個 AI 語音，替用戶給餐館打電話訂位。這個 AI 語音聽起來并不生硬，甚至能夠模仿真人的口音、語速、語調，以及加入「嗯」、「you know」 之類的填充詞。

Duplex 技術演示 圖源：Google

今時今日，AI 生成語音已經徹底「污染」了電銷和客服行業(yè)，讓人感到厭煩。但至少在當時，用頂尖的 NLP 和語音合成技術，通過「打電話」這種模擬人類的方式訂餐，這種另類的，從數字到模擬 (analog) 的交互方式，確實令人耳目一新。

目前榮耀正在推進的基于 GUI 的 AI Agent，在我看來同樣屬于一種從數字到模擬的實現方式，用原始與先進相結合的思路，帶來了全新的可能性。

基于 GUI 不一定是實現手機 AI Agent 的最佳路徑，但不可否認它確實很有趣，甚至有點「硬來」的意思。

對于用戶來說，使喚這樣的 AI Agent 沒有學習成本，不需要研究提示語法；

而對于第三方應用和服務平臺來說，也幾乎不需要額外的開發(fā)成本就可以接入。甚至反過來看，它們也無法拒絕被「接入」，因為壓根就沒有發(fā)生真正意義上的「接入」行為。至少以 Android 目前的沙箱機制來看，應用層不太能夠「抵抗」系統(tǒng)底層的行為。

基于 GUI 的 AI Agent，既是一種對傳統(tǒng)人機交互的致敬，也為 AI Agent 的落地和體驗提升，提供了一種降低門檻、提高兼容性的路徑。

有時候，最趁手的工具，真就只是一根干凈簡潔的大棒。

大模型與人機交互結合，「笨」AI 也有未來

在今天用戶的主要需求場景上，有兩種 AI Agent。一種是高智商型，能夠解答復雜問題，完成困難的工作，比如 DeepSeek、Claude、以及前幾天大熱門的 Manus。這也是現在最流行最受關注的 AI Agent/Chatbot種類。

但我們同樣需要另一種懂事能干的 AI Agent，它對用戶的使用技巧沒有很高的門檻，用е灰淙胍渙驕浼虻ブ卑椎拿睿湍芾斫猓⑶野迅髦植⒉桓叢擁氖賂旌謾�

今天可以點外賣，將來它還能夠幫你掛機放置類游戲，給指定好友的朋友圈點贊，甚至自動把剛拍下的一張照片修改一下發(fā)到社交網絡。只要是用戶能做的，基于 GUI 的 AI agent 一樣能做。門檻低，上限高，適應性強，用起來更順手，可能是這一類 AI Agent 的主要特色。

這類選手不需要成為理解世界的大學者，只當好執(zhí)行任務的工具人就足矣。

2013 年的電影《云端情人》(Her)，曾經賦予人們展開無限的遐想。當時也正值 NLP 技術大爆發(fā)，許多優(yōu)秀的語音場景產品和技術涌現出來。一些研究者和從業(yè)者篤信，自然語言對話將會成為 AI 交流的最主流方式。

然而去年曇花一現的硬件產品 AI Pin，以及開發(fā)它的 Humane 公司越走越黑的路，不禁令人懷疑《云端情人》設想的烏托邦是否那般美好，語音究竟是不是 Chatbot/Agent的終極答案。

Humane AI Pin 圖源：Humane

進入觸屏時代，交互的門檻顯著降低，以至于幼兒也能輕松地掌握。按照 AI 開發(fā)者們經常采用的比喻，大模型們的「智力」也恰如兒童。那么讓 AI 通過觸屏界面學習人類行為，聽上去上還是很有希望的。

畢竟，你的伴侶不一定需要一首 AI 寫的詩，卻可能需要你按爛屏幕去搶一張周杰倫的演唱會門票。

前幾天 Manus 刷屏，再次佐證了我們曾做出的一個預測：大模型將成為智能手機新的操作系統(tǒng)，自然用戶界面 (Natural user interface, NUI) 將逐步替代現有的 GUI。

至少在目前看來，歷經半個世紀發(fā)展的 GUI 仍會是人機交互的絕對主流。不過，大模型與 UI 結合，對人機交互進行一次前所未有的重新定義，甚至成為新的操作系統(tǒng) —— 這樣的未來，的確越來越清晰了。

本文來源：愛范兒
愛范兒

網友評論

聚超值•精選

推薦 手機 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部