柚子快報邀請碼778899分享：淺談端到端（自動駕駛）

http://yzkb.51969.com/

一、?引言

端到端是近期非?；鸬脑掝}，尤其在自動駕駛、具身智能等領(lǐng)域。去年UniAD的發(fā)布，給大家普及了端到端的網(wǎng)絡(luò)設(shè)計，帶動了行業(yè)的發(fā)展。產(chǎn)業(yè)界，特斯拉FSD Beta V12效果驚艷，近期理想也推出了雙系統(tǒng)的E2E自動駕駛系統(tǒng)。一時間，大家都朝著這個方向發(fā)展。那端到端是什么？有哪些好處？這里面涉及了哪些技術(shù)？今天跟大家聊一聊。

二、什么是端到端

端到端的實(shí)現(xiàn)路徑并不統(tǒng)一，各家都有自己的定義。一般，對于端到端的定義可分為廣義與狹義：

廣義上的E2E，強(qiáng)調(diào)信息無損傳遞，不因人為定位的接口而產(chǎn)生信息損耗，可以實(shí)現(xiàn)數(shù)據(jù)驅(qū)動的整體優(yōu)化。

狹義上的E2E，強(qiáng)調(diào)一個神經(jīng)網(wǎng)絡(luò)模型，即直接從傳感器輸入映射到規(guī)控輸出。

下面是比較主流的三種方案：

1. 感知認(rèn)知模型化

以華為ADS3.0為代表，整個模型分為感知與預(yù)決策規(guī)劃兩個階段，串聯(lián)二者做訓(xùn)練。感知部分采用GOD網(wǎng)絡(luò)，預(yù)決策規(guī)劃采用PDP網(wǎng)絡(luò)實(shí)現(xiàn)端到端一張網(wǎng)。

2. 模塊化端到端

以上海人工智能實(shí)驗室的UniAD為代表，將感知預(yù)測規(guī)劃等模塊串聯(lián)在一起，利用跨模塊的梯度傳導(dǎo)代替人工定義的數(shù)據(jù)接口，來實(shí)現(xiàn)全局優(yōu)化。

3. 單一大模型

以Wayve的?GAIA-1和?LINGO-2為代表，直接利用一個神經(jīng)網(wǎng)絡(luò)模型完成從傳感器數(shù)據(jù)輸入到規(guī)控指令（軌跡）輸出的映射。

三、為什么要端到端

相比傳統(tǒng)模塊化的自動駕駛架構(gòu)，端到端的提出解決了什么問題呢？

前文在介紹時說到，端到端強(qiáng)調(diào)信息的無損傳遞。傳統(tǒng)的自動駕駛架構(gòu)通常分為感知、預(yù)測、決策、規(guī)劃與控制等模塊，模塊間的信息傳遞主要是通過人工設(shè)計的數(shù)據(jù)接口，這在前期很有效，但現(xiàn)在也逐漸成為瓶頸所在。通過端到端，通過神經(jīng)網(wǎng)絡(luò)的原生數(shù)據(jù)表示，信息高效傳遞，這也決定了系統(tǒng)的上限會更高。

另外從工程迭代方面講，傳統(tǒng)方案中模塊內(nèi)的算法優(yōu)化和模塊間的系統(tǒng)優(yōu)化是兩個分離的過程，它們相互關(guān)聯(lián)影響系統(tǒng)的性能。采用端到端，將兩者統(tǒng)一起來，也會提高整個系統(tǒng)的迭代效率。

四、端到端自動駕駛中的關(guān)鍵技術(shù)

1. 基礎(chǔ)神經(jīng)網(wǎng)絡(luò)架構(gòu)

現(xiàn)有大模型多以Transformer結(jié)構(gòu)為基礎(chǔ)。Transformer是以注意力機(jī)制為核心的編解碼器結(jié)構(gòu)，其主要結(jié)構(gòu)為注意力、位置編碼、殘差連接、層歸一化模塊。Transformer被廣泛應(yīng)用于NLP、CV、RL等領(lǐng)域的大模型中。

2. 大模型預(yù)訓(xùn)練與微調(diào)技術(shù)

預(yù)訓(xùn)練是使大模型獲得通用知識并加速模型在微調(diào)階段收斂的關(guān)鍵步驟。根據(jù)序列建模的方式，語言模型可以分為自回歸語言模型和自編碼語言模型。自回歸語言模型使用Transformer的解碼器結(jié)構(gòu)，根據(jù)前文預(yù)測下一個詞，從而對序列的聯(lián)合概率進(jìn)行單向建模。自編碼語言模型則利用Transformer的編碼器結(jié)構(gòu)，通過預(yù)測序列中的某個詞來雙向建模序列的聯(lián)合概率。

微調(diào)是指將預(yù)訓(xùn)練好的大模型在下游任務(wù)中進(jìn)行調(diào)整，使之與具體任務(wù)更加適配。微調(diào)后的大模型與預(yù)訓(xùn)練大模型相比，在下游任務(wù)中性能通常大幅提升。隨著模型規(guī)模不斷增大，微調(diào)所有參數(shù)變得十分困難，因此近年來出現(xiàn)了多種高效微調(diào)方法，包括Vanilla Finetune、Prompt Tuning以及Reinforcement Learning from Human Feedback（RLHF）等方法。

3. 模型剪枝與壓縮

訓(xùn)練好的大模型需要部署在算力和內(nèi)存受限的系統(tǒng)上,因此需要對大模型進(jìn)行剪枝和壓縮,減小模型中的冗余結(jié)構(gòu)和信息,使其能夠在受限的計算資源上進(jìn)行快速推理,同時盡量減小對模型精度的影響。大模型的壓縮方法主要包括模型剪枝、知識蒸餾和量化。

4. 車云協(xié)同的數(shù)據(jù)閉環(huán)

由一定規(guī)模具有網(wǎng)聯(lián)功能的車輛進(jìn)行眾包數(shù)據(jù)采集，數(shù)據(jù)清洗和篩選之后上傳至云控計算平臺；利用云控平臺的充足算力，生成海量仿真駕駛數(shù)據(jù)；融合虛實(shí)數(shù)據(jù)進(jìn)行場景構(gòu)建，利用自監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、對抗學(xué)習(xí)等方法對自動駕駛大模型進(jìn)行在線迭代優(yōu)化；所學(xué)大模型經(jīng)剪枝壓縮后得到車規(guī)級實(shí)時模型，并通過OTA方式下載到車載芯片，完成車端駕駛策略的自進(jìn)化學(xué)習(xí)。

五、參考

1. 《汽車端到端自動駕駛系統(tǒng)的關(guān)鍵技術(shù)與發(fā)展趨勢》

柚子快報邀請碼778899分享：淺談端到端（自動駕駛）

http://yzkb.51969.com/

精彩鏈接