太平洋科技 出行

“端到端”的風正在席卷中國智駕行業(yè)。

進入 2024 年下半年，如果有車企談智能駕駛時不談“端到端”，那大概率會被視為落后了。

7月5日，理想汽車發(fā)布了基于端到端模型、VLM 視覺語言模型和世界模型的全新自動駕駛技術架構。這基本是理想汽車端到端路徑的一次方法論輸出，較為完整地呈現(xiàn)出理想智駕下一步發(fā)展路徑。

在虎嗅汽車看來，此次發(fā)布有三大值得關注的焦點——理想的“端到端”和其它玩家的有何不同？理想的智駕研發(fā)到了什么程度？以及，理想為何在此時強調智駕技術能力？

相較華為，理想方案更為激進

先看理想全新的自動駕駛技術架構。其受諾貝爾獎得主丹尼爾·卡尼曼的快慢系統(tǒng)理論啟發(fā)，在自動駕駛領域模擬人類的思考和決策過程，采用了“快系統(tǒng)”和“慢系統(tǒng)”進行協(xié)同。

快系統(tǒng)，即系統(tǒng) 1，善于處理簡單任務，是人類基于經驗和習慣形成的直覺，足以應對駕駛車輛時 95% 的常規(guī)場景。

慢系統(tǒng)，即系統(tǒng) 2，是人類通過更深入的理解與學習，形成的邏輯推理、復雜分析和計算能力，在駕駛車輛時用于解決復雜甚至未知的交通場景，占日常駕駛的約 5%。

在這一架構原型下，系統(tǒng) 1 由端到端模型實現(xiàn)，通過接收傳感器輸入，并直接輸出行駛軌跡用于控制車輛。系統(tǒng) 2 由 VLM 視覺語言模型實現(xiàn)，其接收傳感器輸入后，經過邏輯思考，輸出決策信息給到系統(tǒng) 1。雙系統(tǒng)構成的自動駕駛能力將在云端利用世界模型進行訓練和驗證。

據(jù)理想的說法，其系統(tǒng) 1 的端到端模型采用的是 One Model 方案，主要由攝像頭和激光雷達構成，多傳感器特征經過 CNN 主干網絡的提取、融合，投影至 BEV 空間。

另外理想在輸入端還加入了車輛狀態(tài)信息和導航信息，經過 Transformer 模型的編碼，與 BEV 特征共同解碼出動態(tài)障礙物、道路結構和通用障礙物，并規(guī)劃出行車軌跡。

相較于華為、小鵬等廠商采用的是分段式端到端方案，理想采用的 One Model 方案更為激進。特斯拉同樣是 One Model 方案，但其“輸入圖像、輸出控制”的方案比理想的“輸入傳感器信息、輸出行駛軌跡”更進一步。

需要指出的是，目前各家廠商在端到端上采用不同的路徑只是選擇上的差異，并無優(yōu)劣之分。

理想這套架構的特別之處其實是系統(tǒng) 2，其基于的 VLM 視覺語言模型的算法架構由一個統(tǒng)一的 Transformer 模型組成，將 Prompt（提示詞）文本進行 Tokenizer（分詞器）編碼，并將前視相機的圖像和導航地圖信息進行視覺信息編碼，再通過圖文對齊模塊進行模態(tài)對齊，最終統(tǒng)一進行自回歸推理，輸出對環(huán)境的理解、駕駛決策和駕駛軌跡，傳遞給系統(tǒng) 1 輔助控制車輛。

在實際場景中，如果系統(tǒng)二發(fā)現(xiàn)行駛過程中地面路面非�？油莶黄綍r候，其會給系統(tǒng) 1 發(fā)一個降速的提醒，并告知駕駛員前方的坑洼路車輛將慢速行駛，減少顛簸；又或者是能夠識別公交車道的位置以及辨別潮汐車道等。

用理想的話說，系統(tǒng) 2 相當于副駕坐了個駕校的教練時刻監(jiān)督駕駛行為。值得一提的是，小鵬的大語言模型 XBrain、毫末的自動駕駛語義感知大模型也有類似能力。

據(jù)悉，理想的 VLM 模型參數(shù)量達到 22 億，VLM 模型在車端的推理時間也從 4.1 秒優(yōu)化至 0.3秒。

雙系統(tǒng)之外，理想還介紹了端到端方案的測試和驗證方法。業(yè)內主流的做法是通過 3D 虛擬環(huán)境、重建式仿真、生成式仿真等進行仿真測試。理想的做法則是結合了重建仿真和生成仿真兩種技術路徑，相當于做了重建的真題和生成的模擬題。

事實上，特斯拉也利用了大模型生成連續(xù)視頻，打造 World Model 即世界模型；自動駕駛公司 Wayve 的自動駕駛大模型 GAIA-1（已擁有 90 億個參數(shù)）也同樣可以生成駕駛場景視頻，描述場景以及做出預測。

總的來看，理想的技術架構是在車端布局雙系統(tǒng)，ONE Model 的端到端模型讓其自動駕駛系統(tǒng)擁有了像人類老司機的行為能力；VLM 模型能夠讓自動駕駛系統(tǒng)擁有像人類一樣的邏輯思考能力；而世界模型則是提供了學習和考試的環(huán)境，擁有快速迭代的能力。

據(jù)理想智能駕駛負責人郎咸朋透露，其端到端方案從去年下半年就在內部孵化并啟動預研，目前已經完成了模型的原型驗證和實車的部署。

不過，這一方案還難以交付給用戶，理想在本月給 AD Max 用戶的，是推送無圖 NOA 方案。

智能駕駛迎來超車時刻

“端到端”正在成為各家廠商智能駕駛追逐戰(zhàn)的重要方向。

今年 3 月，元戎啟行能夠將端到端模型成功上車；華為在 4 月發(fā)布乾崑 3.0 時就表示技術轉向 GOD/PDP 網絡全新架構，實現(xiàn)預決策規(guī)劃一張網；小鵬 5 月在 AI DAY 上宣布端到端大模型已經量產上車。另外，包括蔚來、小米、小鵬等廠商都對智駕團隊進行了調整以開展端到端的布局。

可以看到，包括特斯拉在內的各家廠商在端到端技術方向上目前都處在探索當中，盡管在方案、路徑上的選擇各有不同，但可以肯定的是，端到端已經成為智駕前進的方向。

不過，端到端會放大智駕系統(tǒng)的上限與下限，其能夠帶來智駕能力提升的同時，也帶來的難以解決的安全問題，端到端是一個神經網絡黑箱，其不可解釋性帶來了一部分安全隱患。

在各家爭相布局之際，理想是首個公開端到端技術方案的車企，李想本人上個月在重慶論壇就公開了兩大系統(tǒng)的做法引起了業(yè)內熱議，此次更是將全套技術架構方案公示，可謂是趁熱打鐵。

考慮到理想在下半年不會有新品發(fā)布，其率先在智駕能力上的輸出既能讓企業(yè)保持熱度，或也有維持其現(xiàn)有產品競爭力的考量。另外，端到端技術路徑的布局也給了理想在智駕能力上追趕的機會。

相較于華為、小鵬等采用分段式端到端做法，理想的端到端模型實現(xiàn)難度更大，其從PPT到走向量產落地要耗時多久，效果如何，還需要保持觀察。

根據(jù)辰韜資本發(fā)布的《端到端自動駕駛行業(yè)研究報告》，國內自動駕駛公司的模塊化端到端方案上車量產時間可能會在 2025年。是騾子是馬，明年就到了拉出來遛遛的時候了。