柚子快報邀請碼778899分享：自動駕駛-多傳感器融合

http://yzkb.51969.com/

之前在實習，寫一點自動駕駛感知方向的知識點

目錄

融合感知目的

根據(jù)融合的階段和機制，傳感器融合可以分為不同類型：

不同融合方法對比

1. 前融合（數(shù)據(jù)級融合）

2. 后融合（目標級融合）

3. 集中式融合

4. 分布式融合

綜合對比

根據(jù)融合層次的不同可以分為

1. 數(shù)據(jù)級融合（低級融合）

2. 特征級融合（中級融合、深度級融合）

3. 決策級融合（高級融合）

4. 深度學習驅(qū)動的融合方法

多傳感器數(shù)據(jù)融合算法-卡爾曼濾波

存在問題

1、融合模型的錯位和信息丟失

2、傳感器固有問題（域偏差和分辨率沖突）

我國應用最多的融合算法

融合感知目的

由于單一傳感器存在局限性，如激光雷達的高精度但高成本，攝像頭的低成本但受環(huán)境光照影響較大，因此需要融合多種傳感器的數(shù)據(jù)，以彌補各自的不足。

如果能有效將三種傳感器進行融合感知，就能在各種情況下都能達到優(yōu)良的性能。

多傳感器融合的核心是將來自不同傳感器的數(shù)據(jù)進行有效的組合，以提高感知系統(tǒng)的準確性、可靠性和魯棒性。具體的融合過程涉及多個步驟和技術方法，根據(jù)融合層次的不同可以分為數(shù)據(jù)級融合、特征級融合和決策級融合。

傳感器：

攝像頭：提供視覺信息，識別物體的形狀、顏色、車道線等特征，光照條件良好時，提供高精度感知。對于分類任務尤其準確，。激光雷達（LiDAR）：用于獲取三維點云數(shù)據(jù)，即使在光照條件較差時也能提供良好的感知效果。激光雷達容易受到雨雪霧天氣的影響。由于激光雷達本身數(shù)千美元的硬成本，加上多傳感器融合往往對計算芯片有更高的算力要求，因此成本沒有優(yōu)勢。擅長目標檢測任務。毫米波雷達：：主要用于探測運動目標，在全天候條件下工作，能夠穿透一定的惡劣天氣（如雨霧）。

超聲波傳感器：停車輔助，用于近距離探測障礙物，具有成本低廉的優(yōu)勢。。慣性測量單元（IMU）：提供車輛的加速度和角速度信息，幫助推斷車輛姿態(tài)。

根據(jù)融合的階段和機制，傳感器融合可以分為不同類型：

◎前融合：數(shù)據(jù)級融合是一種通過原始數(shù)據(jù)級的空間對齊和投影直接融合每個模態(tài)中的數(shù)據(jù)的方法,在數(shù)據(jù)采集之前進行融合，在硬件層面完成，將不同傳感器的原始信號直接組合成一個信號，然后再進行處理。

◎?后融合：也稱為對象級融合，指的是融合每種模態(tài)中管道的結(jié)果的方法。在數(shù)據(jù)采集之后進行融合，先對各個傳感器的數(shù)據(jù)進行獨立處理，提取出有意義的特征或檢測出目標物體，然后將這些特征或目標物體的信息進行融合，以獲得更準確的感知結(jié)果。

◎集中式融合：所有傳感器采集的數(shù)據(jù)全部送到中央處理器做處理。這樣做的優(yōu)點是沒有信息損失，便于中央處理器拿到全部的信息，可以做最精準的判斷。劣勢在于需要傳輸?shù)臄?shù)據(jù)量較大，因為傳輸?shù)亩际窃紙D像和日志信息，另外對中央處理器的計算能力要求很高。

◎?分布式融合：融合任務分配給多個分布式節(jié)點進行處理。

混合式

混合式指的是分布式和集中式的融合方案，某些模塊采取混合式，某些模塊采取集中式，混合式也是目前來看比較合理的一個方式。

不同融合方法對比

1. 前融合（數(shù)據(jù)級融合）

優(yōu)點：

實時性好：前融合在數(shù)據(jù)采集之前進行，將多個傳感器的信號直接融合，減少了后續(xù)處理的復雜性。由于數(shù)據(jù)融合在硬件層面完成，傳感器采集的數(shù)據(jù)已經(jīng)是融合后的結(jié)果，因此可以顯著提高系統(tǒng)的實時性，適合對延遲敏感的應用場景。硬件集成度高：前融合通常通過硬件電路或物理層面的設計實現(xiàn)，傳感器信號直接在硬件中被融合。這種集成方式減少了系統(tǒng)的復雜度，適合小型化和嵌入式系統(tǒng)的設計，降低了系統(tǒng)的體積和功耗。缺點：

靈活性差：前融合的主要問題是靈活性不足。一旦融合完成，系統(tǒng)難以對各個傳感器的原始數(shù)據(jù)進行單獨分析或調(diào)整，限制了系統(tǒng)在不同應用場景中的適應性。硬件成本高：前融合需要特殊的硬件設計和電路，可能會增加系統(tǒng)的開發(fā)和制造成本。對于需要頻繁更新和調(diào)整的系統(tǒng)，硬件設計上的限制可能會增加維護和升級的難度。

2. 后融合（目標級融合）

優(yōu)點：

靈活性高：后融合保留了各個傳感器的原始數(shù)據(jù)，允許在軟件層面進行更復雜的處理和分析。系統(tǒng)可以根據(jù)需要對各個傳感器的數(shù)據(jù)進行單獨處理，這種方法具有很高的適應性，能夠應對多種不同的應用需求。精度高：后融合可以充分利用傳感器的完整數(shù)據(jù)，通過先進的算法（如濾波器、深度學習等）進行融合，通常能夠獲得更高的感知精度。缺點：

計算復雜：后融合通常需要較大的計算資源，尤其是在涉及多個高精度傳感器時。計算量的增加會導致處理時間變長，可能需要更強的處理器和更高的存儲容量。實時性差：由于處理和融合的復雜性，后融合可能會帶來較大的延遲。這對于需要快速反應的系統(tǒng)（如自動駕駛）來說，可能是一個顯著的劣勢。

3. 集中式融合

優(yōu)點：

集中管理：集中式融合將所有傳感器的數(shù)據(jù)發(fā)送到中央處理器進行處理，便于統(tǒng)一管理和控制。中央處理器可以更好地協(xié)調(diào)傳感器之間的數(shù)據(jù)，確保決策的一致性和系統(tǒng)的整體性。決策一致性：所有的數(shù)據(jù)都在同一個處理中心處理，有助于避免信息沖突和不一致的問題，確保系統(tǒng)能夠做出一致且優(yōu)化的決策。缺點：

單點故障風險高：集中式融合依賴于中央處理器，如果中央處理器出現(xiàn)故障，整個系統(tǒng)的運行可能會受到嚴重影響，存在單點故障的風險。計算負擔重：中央處理器需要處理來自所有傳感器的大量數(shù)據(jù)，這會增加處理器的負擔，可能導致系統(tǒng)瓶頸，尤其是在高復雜度場景中。

4. 分布式融合

優(yōu)點：

容錯性好：分布式融合將融合任務分配給多個分布式節(jié)點，各節(jié)點獨立處理數(shù)據(jù)。如果某一個節(jié)點出現(xiàn)問題，其他節(jié)點可以繼續(xù)正常工作，提高了系統(tǒng)的容錯能力和魯棒性。擴展性強：分布式融合結(jié)構(gòu)具有很強的擴展性，可以輕松增加或減少傳感器節(jié)點，適應系統(tǒng)需求的變化。同時，各個節(jié)點可以根據(jù)需要進行獨立升級和維護。缺點：

復雜性高：分布式融合需要在多個節(jié)點之間協(xié)調(diào)數(shù)據(jù)的傳輸和處理，這增加了系統(tǒng)的復雜性。如何保證數(shù)據(jù)的同步、減少通信延遲、處理各節(jié)點之間的協(xié)作問題都是分布式融合需要解決的難題。決策一致性差：由于各個節(jié)點獨立處理數(shù)據(jù)，可能會產(chǎn)生不同的決策結(jié)果，這需要額外的協(xié)調(diào)和融合機制來確保最終決策的一致性和可靠性。

綜合對比

每種融合方法都有其獨特的優(yōu)勢和適用場景。前融合適用于對實時性要求高但靈活性需求較低的場景；后融合適合需要高精度和復雜處理的應用；集中式融合適合系統(tǒng)規(guī)模較小且要求統(tǒng)一管理的場景；而分布式融合則更適合大規(guī)模、復雜環(huán)境下的應用，需要系統(tǒng)具備高容錯性和擴展性

根據(jù)融合層次的不同可以分為

數(shù)據(jù)級融合、特征級融合和決策級融合。

1. 數(shù)據(jù)級融合（低級融合）

概念：數(shù)據(jù)級融合是指將傳感器的原始數(shù)據(jù)直接融合在一起，通常在數(shù)據(jù)處理的初期階段進行。這種方法利用原始數(shù)據(jù)的完整性，有可能獲得最精確的融合結(jié)果。實現(xiàn)方式：

時間同步：不同傳感器的采樣時間通常不同，必須對數(shù)據(jù)進行時間同步，使得不同傳感器的數(shù)據(jù)在相同時間點上進行比較和融合?？臻g校準：每個傳感器的安裝位置和方向各異，需要進行坐標系的轉(zhuǎn)換和對齊。例如，LiDAR的點云數(shù)據(jù)需要轉(zhuǎn)換到與攝像頭圖像相同的坐標系。加權融合：在融合數(shù)據(jù)時，可以根據(jù)傳感器的精度和可靠性對數(shù)據(jù)進行加權。例如，在光線較差的情況下，可以增加LiDAR數(shù)據(jù)的權重，減少攝像頭數(shù)據(jù)的權重。示例：將LiDAR的點云數(shù)據(jù)與攝像頭的圖像進行融合，可以生成帶有顏色信息的三維點云模型，有助于更準確地識別和定位物體。

2. 特征級融合（中級融合、深度級融合）

概念：特征級融合是在每個傳感器分別提取出特征后，再對這些特征進行融合。相比于數(shù)據(jù)級融合，特征級融合減少了數(shù)據(jù)量，融合效率更高。實現(xiàn)方式：

特征提?。菏紫葘γ總€傳感器的數(shù)據(jù)進行處理，提取出有意義的特征。例如，從攝像頭圖像中提取邊緣或紋理特征，從LiDAR數(shù)據(jù)中提取物體的輪廓或距離信息。特征匹配：在融合過程中，需對不同傳感器的特征進行匹配。常見的方法包括基于最近鄰的匹配算法和深度學習模型。特征組合：將匹配后的特征進行組合，可以采用簡單的拼接、加權平均，或通過深度學習網(wǎng)絡進一步融合。例如，將攝像頭識別出的車道線與LiDAR識別出的道路邊界進行組合，以提高車道線檢測的準確性。示例：通過融合攝像頭圖像的顏色信息和LiDAR的深度信息，可以實現(xiàn)更加準確的物體分類和識別。

3. 決策級融合（高級融合）

概念：決策級融合是在每個傳感器獨立處理并得出決策后，再對這些決策進行融合。這種方法最為靈活，適用于處理高層次的決策信息。實現(xiàn)方式：

獨立決策：每個傳感器的數(shù)據(jù)通過單獨的算法或模型進行處理，得出獨立的感知或決策結(jié)果。例如，攝像頭檢測出行人，LiDAR識別出障礙物。決策融合：通過邏輯規(guī)則、貝葉斯推理或深度學習等方法，對各傳感器的決策結(jié)果進行綜合判斷。例如，若攝像頭和LiDAR都檢測到同一位置有物體，則可以提高該物體檢測的置信度。優(yōu)先級處理：在決策融合時，可以為不同傳感器設置優(yōu)先級，優(yōu)先使用某些傳感器的決策結(jié)果。例如，在雨霧天氣下優(yōu)先使用毫米波雷達的檢測結(jié)果，而減少攝像頭的權重。示例：在自動駕駛系統(tǒng)中，攝像頭、LiDAR、雷達等傳感器各自獨立檢測物體，并通過決策級融合最終確定環(huán)境模型，確保行車安全。

4. 深度學習驅(qū)動的融合方法

神經(jīng)網(wǎng)絡融合：深度學習模型，尤其是卷積神經(jīng)網(wǎng)絡（CNN）和多模態(tài)學習模型，被廣泛應用于多傳感器融合中。通過構(gòu)建能夠處理多種數(shù)據(jù)格式的神經(jīng)網(wǎng)絡，可以在不同融合層次（數(shù)據(jù)級、特征級、決策級）進行融合。端到端學習：使用端到端的神經(jīng)網(wǎng)絡架構(gòu)，輸入多傳感器的原始數(shù)據(jù)或特征，輸出融合后的決策結(jié)果。例如，通過一個神經(jīng)網(wǎng)絡同時輸入攝像頭圖像和LiDAR點云，輸出行人檢測的結(jié)果。

多傳感器數(shù)據(jù)后融合算法-卡爾曼濾波

因為不同的傳感器都存在數(shù)據(jù)準確性的問題，那么最終融合的數(shù)據(jù)該如何判定？比如激光雷達報告前車距離是5m，毫米波雷達報告前車距離是5.5m，攝像頭判定前車距離是4m，最終中央處理器該如何判斷。通常需要一套多數(shù)據(jù)融合的算法來解決這個問題。

多數(shù)據(jù)融合的算法有很多種，本文介紹一個經(jīng)典算法-卡爾曼濾波?？柭鼮V波是一種高效率的遞歸濾波器，他能從一系列完全包含噪聲的測量數(shù)據(jù)中，估計動態(tài)系統(tǒng)的狀態(tài)，在自動駕駛、航天、溫度測量等領域有很多應用。

卡爾曼濾波的基礎思想采用信號與噪聲的狀態(tài)空間模型，利用前一時刻的估計值和現(xiàn)時刻的觀測值來更新對狀態(tài)變量的估計，求出現(xiàn)時刻的估計值。通過預測-實測-修正的順序遞歸，消除隨機干擾。

網(wǎng)上有一個介紹卡爾曼濾波原理的小例子：

假如我們要估算k時刻的實際溫度值。首先你要根據(jù)k-1時刻的溫度值，來預測k時刻的溫度。因為你相信溫度是恒定的，所以你會得到k時刻的溫度預測值是跟k-1時刻一樣的，假設是23度，同時該值的高斯噪聲的偏差是5度（5是這樣得到的：如果k-1時刻估算出的最優(yōu)溫度值的偏差是3，你對自己預測的不確定度是4度，他們平方相加再開方，就是5）。然后，你從溫度計那里得到了k時刻的溫度值，假設是25度，同時該值的偏差是4度。

由于我們用于估算k時刻的實際溫度有兩個溫度值，分別是23度和25度。究竟實際溫度是多少呢？相信自己還是相信溫度計呢？究竟相信誰多一點，我們可以用他們的協(xié)方差(covariance)來判斷。因為Kg=5^2/(5^2+4^2)，所以Kg=0.61，我們可以估算出k時刻的實際溫度值是：23+0.61*(25-23)=24.22度?？梢钥闯?，因為溫度計的協(xié)方差(covariance)比較?。ū容^相信溫度計），所以估算出的最優(yōu)溫度值偏向溫度計的值。

卡爾曼濾波的缺點、案例

1. 線性假設

缺點：經(jīng)典卡爾曼濾波假設系統(tǒng)和測量模型是線性的。這意味著它不能直接處理系統(tǒng)動態(tài)或測量模型中存在非線性的情況。

具體例子：假設你在自動駕駛系統(tǒng)中使用卡爾曼濾波來跟蹤一輛車輛的位置。車輛在高速行駛時，可能會出現(xiàn)復雜的動態(tài)行為，如急轉(zhuǎn)彎或加速，這些行為可能導致系統(tǒng)模型和測量模型出現(xiàn)非線性。經(jīng)典卡爾曼濾波無法處理這種非線性，導致估計不準確。為了解決這個問題，可以使用擴展卡爾曼濾波（EKF），它通過線性化非線性模型來處理這些情況，但仍然可能面臨一些挑戰(zhàn)。

2. 高計算復雜性

缺點：在高維系統(tǒng)中，卡爾曼濾波的計算和存儲需求可能較高。這會導致計算效率降低，尤其是在資源受限的設備上。

具體例子：假設你在一個復雜的自動駕駛系統(tǒng)中使用卡爾曼濾波，系統(tǒng)需要同時跟蹤多個目標（如其他車輛、行人等），并且每個目標的狀態(tài)包含位置、速度、加速度等多個維度。在這種情況下，系統(tǒng)的狀態(tài)維度會非常高，導致卡爾曼濾波的計算和存儲需求大幅增加。如果系統(tǒng)資源有限（例如處理器性能較低），可能會導致實時處理性能下降，影響系統(tǒng)的響應速度和準確性。

3. 對模型精度敏感

缺點：卡爾曼濾波對系統(tǒng)模型和測量噪聲的精度非常敏感。如果模型參數(shù)設置不準確或噪聲估計不準確，濾波器的性能會顯著下降。

具體例子：假設你在自動駕駛系統(tǒng)中使用卡爾曼濾波來估計車輛的速度。如果你對系統(tǒng)動態(tài)模型（如加速度變化）和測量噪聲（如傳感器噪聲）的估計不準確，濾波器可能會產(chǎn)生不準確的速度估計。比如，傳感器噪聲被低估，濾波器可能會對噪聲不夠敏感，從而導致速度估計的誤差增大，影響整體系統(tǒng)的決策和安全性。

卡爾曼濾波雖然在很多場景中表現(xiàn)出色，但其線性假設、高計算復雜性以及對模型精度的敏感性是其主要缺點。對于非線性系統(tǒng)和高維系統(tǒng)，可能需要采用擴展卡爾曼濾波或無跡卡爾曼濾波等改進方法，以更好地解決這些問題。

存在問題

1、融合模型的錯位和信息丟失

錯位和信息丟失：相機和LiDAR的內(nèi)外在差異很大，兩種模態(tài)的數(shù)據(jù)需要進行坐標對齊。傳統(tǒng)的前融合和深度融合方法利用標定信息將所有LiDAR點直接投影到相機坐標系，反之亦然。然而由于架設位置、傳感器噪聲，這種逐像素的對齊是不夠準確的。因此，一些工作利用周圍信息進行補充以獲取更好的性能。此外，在輸入和特征空間的轉(zhuǎn)換過程中，還存在一些其他信息的丟失。通常，降維操作的投影不可避免地會導致大量信息丟失，如將3D LiDAR點云映射為2D BEV圖像中則損失了高度信息。因此，可以考慮將多模態(tài)數(shù)據(jù)映射到另一種專為融合設計的高維空間，進而有效的利用原始數(shù)據(jù)，減少信息損失。更合理的融合操作：當前許多方法使用級聯(lián)或者元素相乘的方式進行融合。這些簡單的操作可能無法融合分布差異較大的數(shù)據(jù)，因此難以擬合兩個模態(tài)間的語義紅狗。一些工作試圖使用更復雜的級聯(lián)結(jié)構(gòu)來融合數(shù)據(jù)并提高性能。在未來的研究中，雙線性映射等機制可以融合具有不同特點的特征，也是可以考慮的方向。

2、傳感器固有問題（域偏差和分辨率沖突）

域偏差和分辨率與現(xiàn)實世界的場景和傳感器高度相關。這些缺陷阻礙了自動駕駛深度學習模型的大規(guī)模訓練和實時。

域偏差：在自動駕駛感知場景中，不同傳感器提取的原始數(shù)據(jù)伴隨著嚴重的領域相關特征。不同的攝像頭有不同的光學特性，而LiDAR可能會從機械結(jié)構(gòu)到固態(tài)結(jié)構(gòu)而有所不同。更重要的是，數(shù)據(jù)本身會存在域偏差，例如天氣、季節(jié)或地理位置，即使它是由相同的傳感器捕獲的。這就導致檢測模型的泛化性受到影響，無法有效適應新場景。這類缺陷阻礙了大規(guī)模數(shù)據(jù)集的收集和原始訓練數(shù)據(jù)的復用性。因此，未來可以聚焦于尋找一種消除域偏差并自適應集成不同數(shù)據(jù)源的方法。分辨率沖突：不同的傳感器通常有不同的分辨率。例如，LiDAR的空間密度明顯低于圖像的空間密度。無論采用哪種投影方式，都會因為找不到對應關系而導致信息損失。這可能會導致模型被一種特定模態(tài)的數(shù)據(jù)所主導，無論是特征向量的分辨率不同還是原始信息的不平衡。因此，未來的工作可以探索一種與不同空間分辨率傳感器兼容的新數(shù)據(jù)表示系統(tǒng)。

我國應用最多的融合算法

在中國，自動駕駛感知融合方法以后融合和集中式融合為主，特別是在需要高精度和實時性的場景中。分布式融合和深度學習驅(qū)動的融合也逐漸受到重視，特別是在大規(guī)模和復雜應用場景中。

許多國內(nèi)自動駕駛公司（如百度Apollo、蔚來等）使用后融合來綜合處理來自激光雷達、攝像頭和毫米波雷達的數(shù)據(jù)。

Apollo 感知融合模塊能支持對攝像頭、毫米波雷達和激光雷達傳感器感知的結(jié)果進行目標級融合。

參考

Q.P.Chen, Y.F. Xie, S.F. Guo, et al., Sensing system of environmental perceptiontechnologies for driverless vehicle : A review of state of the art andchallenges. Sensors and Actuators: A Physical, 2021. Doi: https://doi.org/10.1016/j.sna.2021.112566.

[1] https://zhuanlan.zhihu.com/p/470588787 [2] Multi-modal Sensor Fusion for Auto Driving Perception: A Survey

[3]?Apollo開放平臺文檔 - Apollo感知融合能力介紹

[4]?https://blog.csdn.net/buptgshengod/article/details/118276954

柚子快報邀請碼778899分享：自動駕駛-多傳感器融合

http://yzkb.51969.com/

文章鏈接