柚子快報激活碼778899分享：人工智能 聊一聊端到端自動駕駛

http://yzkb.51969.com/

聊一聊端到端自動駕駛

實現(xiàn)真正的自動駕駛所面臨的最大問題是什么呢？比較常見的一個答案是:我們現(xiàn)在仍然無法窮盡所有的Corner?Case。但是隨著AI以及大模型技術的發(fā)展，將會給人帶來希望?！皩ψ詣玉{駛系統(tǒng)來說，不論給系統(tǒng)疊加多少條代碼和規(guī)則，都無法窮盡長尾場景，但AI能夠理解世界，意味我們有機會擺脫規(guī)則和代碼的堆砌，這是令人興奮的事情?！蹦持邱{專家解釋說。

附贈自動駕駛最全的學習資料和量產(chǎn)經(jīng)驗：鏈接

也就是說，按正常推理，端到端的方案可以把汽車“馴化”出更高階的AI智能。通過大量有價值數(shù)據(jù)的訓練，逐步提升車端的“智力”水平，最終使得系統(tǒng)開車的技術水平猶如人類老司機。同樣，也有人認為：“Open?AI的Chat-GPT和特斯拉的FSD?V12?端到端都是遵循大算力+海量數(shù)據(jù)的暴力美學，能力來源和機制目前還難以精確地解答。”

從之前的BEV+Transformer，到后來的占用網(wǎng)絡，又到現(xiàn)在的端到端。在智能駕駛算法領域，特斯拉也一直是處于一個引領的地位。但是，端到端大模型訓練到什時候才會出現(xiàn)類似于大語言模型中的「涌現(xiàn)」現(xiàn)象，都還是未知數(shù)。但基礎的“本錢”在前期是必須要先投進去。這既考驗企業(yè)的技術預判能力又考驗資金實力，不是誰都能押得起。那么，端到端這條技術路線在自動駕駛領域真的靠譜么？國內(nèi)車企真的有必要繼續(xù)對標跟進么？

典型的端到端自動駕駛系統(tǒng)示意圖（圖片來源于網(wǎng)絡）

什么是端到端的自動駕駛方案?

1）模塊化方案

**概念定義：**將整個駕駛任務進行切分，定義并劃分出多個子模塊，分別負責不同的任務，這些子模塊通常包括?地圖/定位、預測、決策、規(guī)劃和控制。最后，通過系統(tǒng)集成來完成整個智能駕駛任務。 **開發(fā)模式：**各個子模塊可以進行獨立的開發(fā)和測試，等子模塊開發(fā)測試完成之后，再進行系統(tǒng)集成，進行系統(tǒng)級的測試和驗證。

2）端到端方案

**概念定義：**整個智駕系統(tǒng)是一個大的模塊，不再進行模塊和任務的劃分。端到端系統(tǒng)接收到傳感器的輸入數(shù)據(jù)后，直接輸出駕駛決策（動作或軌跡）。 **開發(fā)模式：**基于數(shù)據(jù)驅(qū)動，整個系統(tǒng)可以作為一個大模型進行梯度下降的訓練，通過梯度反向傳播可以在模型訓練期間對模型從輸入到輸出之間的全部環(huán)節(jié)進行參數(shù)更新優(yōu)化。整個系統(tǒng)作為一個大模塊進行開發(fā)和測試，從表面上看是簡化了開發(fā)和測試流程。

結構軟件形式開發(fā)范式模塊化方案該方案通常會按照感知、預測、規(guī)劃和控制等模塊進行劃分。模塊與模塊之間設計了清晰的接口和界面。軟件采取人工編碼和神經(jīng)網(wǎng)絡相結合的形式，且人工編碼存在較高的占比，尤其是規(guī)控環(huán)節(jié)，大部分車企還依賴規(guī)則驅(qū)動、傳統(tǒng)算法和手工編碼。除采用神經(jīng)網(wǎng)絡的那部分，采用人工編碼的部分依然依賴于設計規(guī)則的優(yōu)劣和傳統(tǒng)算法的性能。端到端方案該方案將多個模塊整合成一個大模塊，通過一個大的神經(jīng)網(wǎng)絡模型來完成任務。理想狀態(tài)下，基本無需手工編碼，采用全棧神經(jīng)網(wǎng)絡即可實現(xiàn)。完全基于數(shù)據(jù)驅(qū)動，即在神經(jīng)網(wǎng)絡層數(shù)、結構、權重、參數(shù)、激活函數(shù)、損失函數(shù)固定下來后，訓練數(shù)據(jù)（質(zhì)量和規(guī)模）便成了決定端到端神經(jīng)網(wǎng)絡性能表現(xiàn)的決定性因素。

模塊化方案VS端到端方案（對比內(nèi)容：結構、軟件形式和開發(fā)范式）

優(yōu)點缺點模塊化 方案* 方便每個模塊獨立優(yōu)化和調(diào)式迭代； * 簡化研發(fā)團隊分工； * 便于問題回溯。* 多個模塊間優(yōu)化目標不一致，難以獲得全局最優(yōu)解； * 模塊間梯度斷開，僅傳遞指定特征（如檢測框），存在信息丟失和誤差累計，影響最終模型性能； * 每個模塊都需要單獨的Encoder，存在大量冗余計算。端到端 方案* 方便進行聯(lián)合優(yōu)化、尋求整體最優(yōu)解； * 消除嚴重的模塊累計誤差； * 共享Backbone，大幅降低計算開銷； * 基于數(shù)據(jù)驅(qū)動，對人工設計的依賴最小，并且能夠更好地解決長尾問題。* 更接近黑盒，可解釋性差，很難進行debug和迭代優(yōu)化； * 端到端訓練容易出現(xiàn)過擬合現(xiàn)象； * 對數(shù)據(jù)要求非常高，需要海量的高質(zhì)量訓練數(shù)據(jù)。

模塊化方案VS端到端方案（對比內(nèi)容：優(yōu)缺點）

實現(xiàn)端到端所面臨的挑戰(zhàn)

特斯拉FSD?V12的量產(chǎn)被業(yè)內(nèi)看成是自動駕駛發(fā)展史上的一個典型轉(zhuǎn)折點，標志著自動駕駛技術真正地從規(guī)則驅(qū)動階段過渡到數(shù)據(jù)驅(qū)動階段。在數(shù)據(jù)驅(qū)動階段，數(shù)據(jù)能力將會是車企決勝的關鍵因素，算法能力和算力資源則是參與競爭的基礎。

1）海量高質(zhì)量數(shù)據(jù)的需求

訓練端到端自動駕駛系統(tǒng)到底需要多少數(shù)據(jù)？現(xiàn)在也沒有明確的答案，大家都還處于探索階段。但可以明確的是數(shù)據(jù)的門檻不僅是對絕對數(shù)量的要求，對于數(shù)據(jù)的分布和多樣性要求也極高。毫末智行數(shù)據(jù)智能科學家賀翔曾對外談到，“端到端模型是一個純粹的數(shù)據(jù)系統(tǒng)，原則上模型參數(shù)夠大，數(shù)據(jù)分布性更好，模型性能就能不斷地提高——天花板很高，但燒錢，且費時間?！?/p>

同樣，2023年6月，一位特斯拉軟件工程師在CVPR會議的演講中也談到了類似的觀點，“對于訓練自動駕駛的基礎模型，不求無上限的數(shù)據(jù)量，但求一定量級基礎上的‘多樣性’?！?/p>

另外，在特斯拉2023年的一次財報會議上，對于端到端的自動駕駛，馬斯克表示，“我們訓練了100萬個視頻片段（clips），勉強可以工作；200萬個clips，稍好一些；300萬個clips，就會感到驚喜；訓練到1000萬個clips，系統(tǒng)的表現(xiàn)就變得難以置信了”。特斯拉Autopilot回傳數(shù)據(jù)的1個Clips普遍被認為是1min的片段，那么入門級別的100萬個視頻clips大概就是16000小時。

最近幾年，隨著越來越多配備智能駕駛功能車輛的規(guī)模化落地，國內(nèi)很多車企也都開始基于量產(chǎn)車通過影子模式采集數(shù)據(jù)。但如何高效獲取有價值數(shù)據(jù)，依然存在一些挑戰(zhàn)。

序號問題具體描述1采集策略問題即如何平衡數(shù)據(jù)有效性和數(shù)據(jù)的規(guī)模（成本）問題，如果采集策略比較寬松，采集回來的數(shù)據(jù)中無效數(shù)據(jù)占比就會過高，導致不必要的采集和存儲成本浪費。如果采集策略過于嚴格，又很可能會過濾掉過多的有價值數(shù)據(jù)。2數(shù)據(jù)質(zhì)量問題如何定義數(shù)據(jù)質(zhì)量是個艱巨的產(chǎn)品問題，如何精準地挑選出高質(zhì)量的數(shù)據(jù)又是一個復雜的技術問題。3數(shù)據(jù)分布問題如何從海量clips中提取有效的特征、如何統(tǒng)計數(shù)據(jù)的分布、應該考慮哪些維度，都需要大量的工作。4數(shù)據(jù)泛化問題頭部車企往往車型平臺眾多，不同車型的傳感器配置差異較大，導致采集回來數(shù)據(jù)在格式和特征上存在較大不同，需要準確的數(shù)據(jù)對齊。數(shù)據(jù)對齊的難點在于如何確保不同來源的數(shù)據(jù)在語義上保持一致，涉及到復雜的語義理解和轉(zhuǎn)換過程。5數(shù)據(jù)一致性問題端到端系統(tǒng)要求訓練數(shù)據(jù)具有極高的一致性，每條數(shù)據(jù)要對所有子任務標簽都進行標注，一旦一種任務標注失敗，那這條數(shù)據(jù)就很難在端到端訓練任務中使用，這對于自動標注Pipeline的成功率和性能提出了極高的要求。

獲取高質(zhì)量數(shù)據(jù)方面存在的挑戰(zhàn)（信息來源：基于公開資料整理）

2）超大算力的基礎設施支持

在2024年第一季度財報會議上，特斯拉對外透露，其已將訓練AI集群擴展到35000塊H100?GPU。按照計劃，到2024年底，特斯拉將會在超算集群上再投入15億美元（包括Dojo?-?5億美元、英偉達H100?-?5億+美元，以及未知金額的AMD芯片），目標是將其超算中心的總算力提升到100EFLOPS。

如果用不太嚴謹?shù)姆椒ê唵巫鰝€估量：可以理解成，假設某家車企在數(shù)據(jù)和算法水平上跟特斯拉處于持平的狀態(tài)下，想要把端到端的模型訓練到FSD?V12當前的水平，GPU訓練卡的需求也得至少要達到特斯拉目前的算力規(guī)模，即35000塊英偉達H100相當?shù)乃?。有消息人士爆料，目前一塊H100?GPU卡官方售價為3.5萬美元，在黑市甚至被炒到?30-40萬元人民幣。按官方售價計算，35000塊?H100芯片需要花費?12.25億美元。

受美國對我國芯片制裁的影響，國內(nèi)企業(yè)采購英偉達H100?GPU已經(jīng)是難上加難。甚至現(xiàn)在連閹割版的A800/H800都已經(jīng)被禁止向中國市場銷售了。據(jù)了解，國內(nèi)能擁有1000張以上H100的企業(yè)都寥寥無幾。因此，如何在算力受限的情況下，去走通這種“大力出奇跡”的端到端的技術路線是值得深思的問題。

公司超算中心算力發(fā)布時間特斯拉Dojo超算中心1.8?EFLOPS2021年8月商湯AIDC4.91?EFLOPS2022年1月華為華為車BU算力中心2.8?EFLOPS2023年11月蔚來“蔚來云”智算中心1.4?EFLOPS2023年9月吉利星睿智算中心0.81?EFLOPS2023年1月理想理想智算中心0.75?EFLOPS2023年6月毫末智行雪湖綠洲MANA?OASIS0.67?EFLOPS2023年1月小鵬“扶搖”超算中心0.6?EFLOPS2022年8月

主流車企及自動駕駛廠商超算中心布局情況（信息來源：基于公開信息整理）

3）端到端大模型的訓練問題

設計并訓練出一個“可用”的端到端神經(jīng)網(wǎng)絡模型也是一件十分有挑戰(zhàn)的事情?！霸O計一個可工作的推理神經(jīng)網(wǎng)絡需要大量的專業(yè)知識，而訓練它就更復雜。例如，需要選擇合適的輸入/輸出信號、歸一化、偏差、神經(jīng)網(wǎng)絡層數(shù)、每層神經(jīng)元數(shù)量、非線性輸出函數(shù)（例如?RELU）……并且整個系統(tǒng)中的許多神經(jīng)子網(wǎng)絡都可能涉及這些問題，工作量巨大。”一位人工智能專家談到。

據(jù)相關專家的調(diào)研分析，即便是特斯拉的FSD?V12，它的端到端的神經(jīng)網(wǎng)絡模型也是建立在前序版本基礎之上，是在原有技術基礎上一步步去掉部分的規(guī)則代碼，并逐漸實現(xiàn)端到端可導。特斯拉通過之前搭載FSD?V9、FSD?V10、FSD?V11的大量車型，收集大量真實數(shù)據(jù)，從而訓練出了處理各分任務的模型，在研發(fā)迭代過程再不斷將這些中小任務模型進行聚合和重組，并最終形成FSD?V12的模型方案，這是一個循序漸近的過程，萬丈高樓平地起，而不是空中樓閣。

4）組織架構的適配性問題

實現(xiàn)端到端，算力、數(shù)據(jù)和算法是關鍵的三要素，缺一不可。除此之外，智能駕駛團隊的組織架構也需要隨著技術路線的改變而進行適配性的調(diào)整。

如果車企采用端到端的方案，那么，對于現(xiàn)在自動駕駛研發(fā)團隊的組織架構而言，不同模塊項目組在開發(fā)協(xié)作上也存在比較大的挑戰(zhàn)。目前車企的自動駕駛研發(fā)團隊架構，基本上還是按任務模塊劃分成不同的項目組或工作組。然而，端到端的技術方案直接消除了不同模塊間的接口壁壘，開發(fā)模式也將會產(chǎn)生比較大的變化。從開發(fā)效率上來說，組織架構和開發(fā)范式相匹配才是最優(yōu)選擇。因此，車企需要重新規(guī)劃和調(diào)整整個研發(fā)團隊的人力資源以適配新的技術開發(fā)范式。

另外，組織架構的變動，必然也會涉及到人才需求的變化。某業(yè)內(nèi)人士談到“即便到了端到端的階段，雖然對組織架構有些影響，但是獨立的預測和規(guī)控小組應該還是有必要存在的，需要用來為安全做兜底。但是這方面的人才需求變小也是必然趨勢。與之相對應，懂車并且懂深度學習方面的人才將會變成強需求?！?/p>

針對人才需求的話題，另外一位智駕從業(yè)者的預判是：“在未來，雖然端到端的技術方案，將會減少大量的人工編碼工作。但仍需人類工程師手寫代碼來完成篩選數(shù)據(jù)、處理數(shù)據(jù)、組織模型訓練等工作。這些代碼少而精，需要基礎扎實、經(jīng)驗豐富的工程師團隊反復試錯、驗證。然而，這樣的人才在國內(nèi)卻是少之又少。”

“端到端”自動駕駛離我們還遠么？

關于端到端的方案，大家的看法不一，但整體上感覺還是比較理性的，認為實現(xiàn)真正的端到端可能還需較長一段時間的路要走。下面分享幾個我關注到的比較有代表性的觀點：

A觀點：“端到端大模型過于神化了，一個統(tǒng)計模型而已，距離人的思維認知能力還差得遠，穩(wěn)定性完全不能保障。把人命壓在這個上面就有些太不負責任了?！?/p>

B觀點：“端到端最大的問題在于：它還是基于過往的數(shù)據(jù)訓練出來的模型，若有劣質(zhì)數(shù)據(jù)進入云端，必然導致訓練出來的模型有各種瑕疵。如果通過手工排除劣質(zhì)數(shù)據(jù)，恐怕是另外一個不能承受之痛。端到端模型的智能化程度還是嚴重依賴訓練數(shù)據(jù)的質(zhì)量和數(shù)量。馬斯克經(jīng)常談第一性原理，拿攝像頭跟人的眼睛做對比。但人眼的分辨率要比當前車載攝像頭高很多，并且人腦的分析推理能力以及腦補能力也是目前AI所無法比擬的?？傊?，理想很豐滿，現(xiàn)實很骨感，思路很好，但道阻且長?！?/p>

C觀點：“端到端不僅是燒錢巨坑，還是個長期工程，很多企業(yè)在短期內(nèi)很難看到結果。這也意味著，端到端是少數(shù)企業(yè)的游戲，只有資金儲備充足、且愿意長期投資的頭部公司，才有能力支持端到端所需的龐大數(shù)據(jù)與算力?！?/p>

其實，到底需要多大的算力基礎設施資源，需要多大規(guī)模以及什么樣的數(shù)據(jù)量，才能把端到端模型訓練到可用，甚至達到“涌現(xiàn)”的狀態(tài)，以及端到端大模型訓練好之后如何在車上部署，都是現(xiàn)在亟需思考的問題。如果這些關鍵問題都還沒有考慮清楚，就直接開始鼓吹要實現(xiàn)端到端量產(chǎn)上車，最后很可能會落得個“邯鄲學步”的結果。

柚子快報激活碼778899分享：人工智能 聊一聊端到端自動駕駛

http://yzkb.51969.com/

精彩內(nèi)容