柚子快報邀請碼778899分享：自動駕駛學習3-攝像頭（1）

http://yzkb.51969.com/

1、簡介

車載攝像頭指安裝在汽車上，用于監(jiān)控汽車內(nèi)外環(huán)境情況以輔助汽車駕駛員行駛的攝像設備。智能駕駛的眼睛。

分類：

車載攝像頭按安裝位置的不同可分為前視、后視、環(huán)視、內(nèi)視車載攝像頭。

前視攝像頭需要進行測距功能，所以一般分辨率要求較高

廣角鏡頭：焦距為38至24毫米，視角為60至84度的鏡頭

超廣角鏡頭：焦距為20至13毫米，視角為94至118度的鏡頭

魚眼鏡頭：焦距小于或等于16毫米、視角小于或等于180度的鏡頭

雙目鏡頭：有兩個鏡頭，能形成立體視覺

單目鏡頭：一個鏡頭

安裝位置：前視（前擋風玻璃上部，前保）后視（后保等）

?

← 前保

環(huán)視（后視鏡，翼子板，后備箱處等）

,內(nèi)視（內(nèi)后視鏡處）

特斯拉側(cè)視B柱

安裝位置方案對比：

從方案中我們可以看到，特斯拉的 8 個攝像頭均與行車系統(tǒng)有關(guān)聯(lián)，這與其一直宣傳的不依靠激光雷達純視覺的自動駕駛方案是有較大關(guān)聯(lián)的，特斯拉的這一套方案的最大優(yōu)勢就是：高性價比。特斯拉用了成本非常低的自研 1.2MP 攝像機就實現(xiàn)了 L2+ 級別的自動駕駛。

小鵬 P7 使用了多個攝像頭，這一套方案的最大優(yōu)勢就是：可拓展性較強。前期方案在設計時需要提高硬件成本，但是在后期 OTA 升級后，其自動駕駛功能具有非常好的兼容性和可拓展性。

通過這套傳感器模型，小鵬實現(xiàn)了具有較好體驗的 L2+?級別的自動駕駛功能，包括小鵬極具特色的高速自主導航駕駛（NGP）和停車場記憶泊車功能。

奔馳 S 級是傳統(tǒng)主機廠方案的代表，雙目立體攝像頭方案是奔馳 S 級最大的優(yōu)勢。相比于單目攝像頭，雙目攝像頭可以計算當前檢測目標在 X、Y、Z 坐標下的運動情況，判斷檢測目標的姿態(tài)及目標類型，奔馳在 L2 級別的 ADAS 功能的體驗效果也比另外兩家好一些。

攝像頭的優(yōu)缺點：

優(yōu)點：包含語義信息

缺點：環(huán)境適應性差

趨勢：算力提升，攝像頭數(shù)目增多，越智能。隨著成本壓力增大，很多都采用特斯拉重感知，輕雷達的方向。

?

多傳感器融合方案成為主流。

自動駕駛的實現(xiàn)路徑分兩大陣營：

1

）特斯拉的純視覺方案；

2

）多傳感器融合方案。

純視覺方案在高級別自動駕駛上準確率會降低，無法滿足復雜情況下的環(huán)境監(jiān)測，存在安全保障缺陷；多傳感器融合的方案以技術(shù)

冗余來保證安全性，是目前實現(xiàn)

L4/L5

級別自動駕駛的主流路徑。

?

純視覺方案：感知系統(tǒng)以攝像頭為主

，以特斯拉

Autopilot HW3.0

為例，

傳感器配置為

8

顆攝像頭

+12

顆超聲波雷達

+1

顆毫米波雷達。

2、工作原理

車載攝像頭的工作原理，是將采集好的圖像轉(zhuǎn)換為二維數(shù)據(jù)，然后對采集的圖像進行模式識

別，通過圖像匹配算法識別行駛過程中的行人、車輛、交通標志等，最后依據(jù)目標物體的運

動模式或使用雙目定位技術(shù)，估算目標物體與本車的相對距離和相對速度。

3、硬件相關(guān)

主要組成包括：鏡頭組、CMOS芯片、DSP芯片。

?

鏡頭組：由光學鏡片、濾光片、保護膜等組成，主要用于生成光學圖像 ? ?CMOS芯片（ComplementaryMetal-OxideSemiconductor，即互補性金屬氧化物半導體）主要由硅和元素組成，是一種通過大規(guī)模集成電路技術(shù)制成的半導體芯片主要用于將光信號轉(zhuǎn)化成電信號 ? ?DSP芯片（DigitalSignalProcessing，即數(shù)字信號處理技術(shù)）指內(nèi)部具有哈佛結(jié)構(gòu)可實現(xiàn)數(shù)字信號處理的芯片，主要用于將數(shù)字信號處理成特定格式的圖像。

哈佛結(jié)構(gòu)：將程序和數(shù)據(jù)存儲在不同存儲空間中的儲存器結(jié)構(gòu)。

車載攝像頭鏡頭材質(zhì)比較：車載要求高

環(huán)境要求

4、軟件相關(guān)（后續(xù)更新）

5、標定相關(guān)

表達基本概念見下鏈接

車載攝像頭標定原理-CSDN博客

車載攝像頭標定通常由內(nèi)參、外參、畸變系數(shù)三類參數(shù)來保證攝像頭的準確性。

攝像頭幾何標定主要的目的是，通過一種理論數(shù)學模型和優(yōu)化的手段把攝像頭拍到的圖像信息轉(zhuǎn)換為我們熟悉的物理坐標系（xyz）,即建立相機投影模型。

以車載攝像頭為例進行推導，ADAS（高級駕駛輔助系統(tǒng)）中存在4個坐標系：

圖像坐標系（u, v）

成像平面坐標系（x, y）

相機坐標系（Xc, Yc）

世界坐標系/車輛坐標系（Xw, Yw）

如上圖幾何標定是攝像頭圖像在平面上的(二維空間)點與攝像頭所拍攝的現(xiàn)實場景中的(三維空間)點之間關(guān)系所需參數(shù)的過程。

【一文弄懂】張正友標定法-完整學習筆記-從原理到實戰(zhàn)-CSDN博客?介紹有張正友標定法，東西很全，強烈推薦。

6、重要參數(shù)

與手機攝像頭不同，汽車往往要應對復雜多變的路況環(huán)境和極端惡劣的天氣情況，車載攝像頭也因

此需要達到更嚴苛的標準，而

CIS

作為其中的核心部件，就需要解決包括

HDR

、

LFM、低照等關(guān)

鍵技術(shù)難題以匹配車載攝像頭高像素、高性能、高穩(wěn)定性的趨勢，新的應用技術(shù)以及原有工藝水平

升級也隨之成為大勢所趨，推升載

CIS

的單位價值。

1

）高動態(tài)范圍 （

High-Dynamic Range

，簡稱

HDR

）

是場景中最高光強度與最低光強度的比率，

是用來實現(xiàn)比普通數(shù)位圖像技術(shù)更大曝光動態(tài)范圍（即更大的明暗差別）的一組技術(shù)。

HDR

越高

意味著它可以很好的保留光線強弱不同的區(qū)域細節(jié)，明亮處和黑暗處都可以很好的還原呈現(xiàn)。

2

）

LED

閃爍（

LED Flicker Mitigation

）

是指

LED

燈通常以頻率（通常為

90Hz

）進行閃爍，肉

眼無法識別，但快門時間更短的圖像傳感器可以，因此一旦相機曝光時間過短，就會出現(xiàn)曝光時間

與

LED

開啟時間錯位的情況，導致采集到明暗錯誤或持續(xù)閃爍的圖像信息

。

實際場景中

LED

燈閃爍和高動態(tài)范圍有時會同時出現(xiàn)，比如在夜間的街道，車大燈、廣告燈都以

LED

燈居多，當

LED

燈非常明亮時，明暗對比也非常劇烈，也就帶來了高動態(tài)范圍的要求。對于

自動駕駛系統(tǒng)而言，上述兩個問題容易引起系統(tǒng)的誤判，甚至是釀成嚴重后果。

自動駕駛開發(fā)已經(jīng)

逐步開始向更高級別邁進，汽車也愈發(fā)依靠

CMOS

圖像傳感器來提供準確的圖像數(shù)據(jù)、判斷路況，

HDR

和

LFM

也成為了

CIS

升級繞不開的關(guān)鍵問題所在。

針對上述問題，其解決方案按照不同實現(xiàn)途徑可分為

硬件擴展動態(tài)范圍

（包括大小像素融合、像素

內(nèi)增加大阱容技術(shù)）和

軟件擴展動態(tài)范圍

（主要指時域多次曝光融合技術(shù)）兩類，其中軟件擴展動

態(tài)范圍比較容易實現(xiàn)，其本質(zhì)是在時間域的多次曝光技術(shù)，分次獲取高動態(tài)范圍場景部分信息，但

無法達到抑制

LED

閃爍功能的效果，而大小像素曝光和像素內(nèi)增加大阱容可以同時解決高動態(tài)范

圍和

LED

閃爍抑制。

1

）時域多次曝光融合：

其原理是指通過對同一場景做多次曝光得到一系列低動態(tài)范圍圖像后進行

合成 。通俗來說就是連續(xù)拍兩三張照片然后融合成一張照片。不同的曝光之間靈敏度不一樣，采

集的亮度不同，從而實現(xiàn)動態(tài)范圍的擴展。其缺點在于多次曝光在時間上有滯后，會導致鬼影的問

題。

2

）大小像素融合：

與時域多次曝光融合原理相似，但大小像素通過對硬件傳感單元進行重新設計

然后組合成像。使用該技術(shù)的傳感器在相鄰位置有一大一小兩個像素，不同像素下光通量不同，照

片亮度也自然不同。將同時拍攝的、不同像素的兩張照片融合在一起，大像素可以把暗的地方拍清

楚，小像素把亮的地方拍清楚，兩者結(jié)合以實現(xiàn)高動態(tài)。該方案的缺點在于雖然曝光次數(shù)只有一次，

但有兩種尺寸，像素之間的串擾、敏度之間的差異致使其具有一定的局限性。

3

）像素內(nèi)增加大阱容：

是一種傳感器附加硬件擴展的方法，采用空間光學調(diào)制器以達到對傳感器

的光強進行調(diào)制的目的。該種方法原理簡單效果明顯，但是控制復雜，整體系統(tǒng)設計實現(xiàn)難度較大。 相較于手機端

CIS

單價一般在

1-10

美金，汽車

CIS

單顆價值可能高達

20

美金以上。

除了技術(shù)規(guī)

格更高以外，車用

CIS

晶圓尺寸更大也是一大原因

。

7、產(chǎn)業(yè)與行業(yè)現(xiàn)狀

? ? 產(chǎn)業(yè)鏈上游的光學鏡片供應商、濾光片供應商、保護膜供應商、晶圓供應商，上游的光學鏡片供應商、濾光片供應商、保護膜供應商主要為中游的鏡頭組制造環(huán)節(jié)提供光學鏡片、濾光片、保護膜等原材料，晶圓供應商主要為中游的CMOS芯片及DSP芯片制造環(huán)節(jié)提供晶圓材料。

? ? 中游的鏡頭組供應商、膠合材料供應商、CMOS芯片供應商、DSP芯片供應商；中游的鏡頭組供應商、膠合材料供應商、CMOS芯片供應商主要為下游的模組封裝環(huán)節(jié)提供鏡頭組、膠合材料、CMOS芯片等制造元件及材料，而DSP芯片供應商主要為下游的系統(tǒng)集成商提供DSP芯片。

? ? ??? CMOS芯片是車載攝像頭的重要組成部件，主要用于將光信號轉(zhuǎn)化為電信號。除車載攝像頭外，CMOS芯片還廣泛應用于手機攝像頭、安防攝像頭、相機攝像頭等設備中。CMOS芯片供應商主要有索尼 ?三星 豪威、 安捷倫、 安森美、 格科微電子等。

????????DSP芯片：將模擬信號轉(zhuǎn)為數(shù)字信號，強調(diào)數(shù)字信號處理的實時性。主要是德州儀器、ADI等。

? ? ? ? 膠合材料：主要為無影膠，又稱UV膠（UltravioletRays）。無影膠是一種需通過紫外線光照射進行固化的膠粘劑，廣泛應用于工藝玻璃、電子電器、數(shù)字光盤、醫(yī)療用品等領域。在車載攝像頭產(chǎn)業(yè)鏈中，無影膠主要用于模組封裝環(huán)節(jié)。無影膠材料供應商數(shù)量眾多，主要包括樂泰、東洋、愛普生、道康寧、恒誠偉業(yè)、日本精工等，市場競爭激烈。

???????鏡頭組是車載攝像頭的核心組成部件之一，其品質(zhì)由焦距、視場角、相對照度、分辨率等指標進行衡量。鏡頭組供應商數(shù)量眾多，市場競爭激烈，其中，鏡頭組頭部廠商主要有舜宇光學、大立光學、 玉晶光電、聯(lián)合光電、先進光、亞光、佳凌等。???

??? ? 下游的模組供應商主要負責封裝車載攝像頭模組，系統(tǒng)集成商主要負責車載攝像頭的影像系統(tǒng)集成工作。

???????模組供應商：日韓廠商\舜宇光學和歐菲光\同致電子、深圳豪恩、蘇州智華、聯(lián)合光學等

???????系統(tǒng)集成商：索尼、松下、法雷奧、麥格納、同致電子、輝創(chuàng)電子等。

8、發(fā)展趨勢

1）消除雜光鬼影，提升光學成像穩(wěn)定性：

隨著車載攝像頭工藝的優(yōu)化與升級，車載攝像頭抗震、耐磨、耐高溫低溫能力逐漸提高，畫質(zhì)更加清晰。

為了控制車大燈等正面強光干擾引起的鬼影雜光、在極端溫度或短時間快速溫差變動的狀況下保持光學成像穩(wěn)定性以及有效捕捉和分辨物體細節(jié)，除了從軟件上提升算法外，車載鏡頭廠商也在積極地通過改進鍍膜工藝、提高技術(shù)參數(shù)以及在鏡頭外增加導電加熱膜等方式，不斷推動車載鏡頭產(chǎn)品整體的技術(shù)進步。

比如說，舜宇開發(fā)出模芯鍍膜技術(shù)，通過一次模壓成型、模壓鏡片消光工藝，達到車規(guī)級鏡片要求，實現(xiàn)高清畫質(zhì)。

2）像素升級：800W像素攝像頭

車載攝像頭感知的核心是視覺，而分辨率決定了視覺的高下。隨著ADAS功能對感知距離需求的提升，感知內(nèi)容方面的更精細，分辨率更高的攝像頭大勢所趨。

理想汽車官網(wǎng)對于800萬像素感知攝像頭介紹

對于主流的新能源車企來說，120W到200W的鏡頭已經(jīng)不再滿足使用，行業(yè)開始升級到800W像素，比如說蔚來、理想。目前具備800W像素攝像頭模組生產(chǎn)能力的廠商還比較少，比如說舜宇、聯(lián)創(chuàng)電子等。

3）鏡頭材質(zhì)：玻塑混合

車載攝像頭要求具有高耐用性和熱穩(wěn)定性。按材質(zhì)來分，車載攝像頭的鏡片可由玻璃、塑料制成。玻璃鏡片具有高耐用度和防刮傷性，且溫度性能較好，因此更多用在高端產(chǎn)品中。而塑料鏡片價格便宜但是成像效果差，且在汽車惡劣的使用環(huán)境中容易造成鏡片變形，影響成像質(zhì)量。

目前，綜合考慮成本和性能，主流廠商車載鏡頭正逐漸開始使用玻塑混合鏡頭為主，部分高端鏡頭采用全玻方案。

塑料與玻璃鏡頭性能對比如下：

塑料鏡頭：

優(yōu)點：重量輕、成本低、工藝難度低，適合大批量生產(chǎn)；

缺點：透光率稍低，耐熱性差、熱膨脹系數(shù)大、耐磨性差、機械強度低等。

玻璃鏡片：

優(yōu)點：性能優(yōu)良，透光率高；

缺點：主要是量產(chǎn)難度大，良率低、成本高。

4）鏡片工藝：非球面鏡片

球面鏡片會導致像差問題，即從鏡片中央射入的光線與鏡片邊緣射入的光線的焦點不一致，進而造成成像模糊的問題。球面鏡片需要多枚鏡片組合來減小像差。

非球面鏡片是由球面和平面以外的曲面組成的鏡片，通過改變鏡片的曲率，使光線匯聚在固定的焦點，解決了像差的問題，且僅需一枚鏡片就可實現(xiàn)。因此，非球面鏡片具有小型化、輕量化和成像效果佳的優(yōu)勢，已經(jīng)成為高像素車載鏡頭的最佳解決方案。

舜宇光學的球面鏡片與非球面鏡片

塑料非球面鏡片采用注塑生產(chǎn)實現(xiàn)，而玻璃非球面鏡片是采用優(yōu)質(zhì)的光學玻璃,利用精密控制的熱模壓技術(shù)進行生產(chǎn)的產(chǎn)品。目前，具備車載攝像頭非球面鏡片生產(chǎn)能力的企業(yè)有：舜宇光學、聯(lián)創(chuàng)電子、藍特光學等。

5）自清潔以及防霧除霜

車載攝像頭依靠光線傳播識別道路信息，鏡頭表面臟污會導致識別能力下降，很難從光學角度減少臟污。而此外，每當遇到雨雪天氣，暴露在車外的攝像頭甚至還會出現(xiàn)起霧結(jié)霜的問題。

自清潔防污：目前主流廠商至少會在車載攝像頭的鏡頭表面鍍一層疏水涂層，一方面可以有效通過噴水清洗等手段去除臟污。

圖源，寧波捷傲

防霧除霜：目前業(yè)界有兩個方向，一是通過鍍膜，鏡頭外表面鍍疏水膜，鏡頭內(nèi)表面鍍親水膜；二是采用加熱方案，或是鏡頭整體加熱，或者是鏡頭表面做一層透明導電膜實現(xiàn)加熱。

6）AA封裝

車載鏡頭組裝需要高精度的AA 技術(shù)。車載攝像頭模組的封裝需要經(jīng)過多次裝配，誤差疊加將導致產(chǎn)品良率下降。AA 技術(shù)使鏡頭與CMOS 圖像傳感器的相對位置自由可調(diào)，還可以通過實時采集分析成像數(shù)據(jù)，調(diào)節(jié)水平位置以及鏡頭的傾斜角度，從而保證圖像的清晰度，并保證光軸與像面的焦點處于圖像中心。

隨著車載攝像頭分辨率的提升，鏡頭與CMOS 間的定位精度的要求也不斷上升。因此，AA 設備的技術(shù)含量將影響各組件的機械工差修正，進而影響攝像頭成像質(zhì)量以及產(chǎn)品的一致性。

中科精工大廣角AA設備

在車載攝像頭領域，現(xiàn)階段AA設備帶來的資本投入非常大，比如說進口的AEI、ASM等。而隨著國內(nèi)設備廠商的成長，比如說：中科精工、華亞智能、艾微視、德賽自動化、廣浩捷科技、天準、舜宇等。AA設備的成本也將會有一定下降。

7）夜視技術(shù)

為了保障行車安全，汽車ADAS功能需要盡量實現(xiàn)全天候運轉(zhuǎn)。攝像頭是通過感光與算法實現(xiàn)對周邊環(huán)境感知，因此在光線不足如夜間行車、過隧道等場景下，需要增強攝像頭的夜視能力。目前汽車夜視系統(tǒng)按成像原理與鏡頭不同可以分為三類：微光、近紅外以及遠紅外。

現(xiàn)有的夜視輔助系統(tǒng)可以做到識別超出遠光燈范圍的行人，對危險進行提前預知，來源軒轅智駕

微光：從字面意義理解，是通過放大接收到的少量可見光，最終將圖像采集并投射到相應顯示屏上。微光跟一般攝像頭的成像原理一致，都是通過可見光實現(xiàn)夜視，但需要一定的可見光環(huán)境。

近紅外夜視：也有稱為主動紅外夜視技術(shù)，是指工作時用較強的紅外發(fā)射源照射目標， 利用目標反射回來的紅外線來得到物體的像。工作波段在 800~1000nm 的近紅外光。

遠紅外夜視（熱成像系統(tǒng)）：也有人稱之為被動紅外夜視技術(shù)，主要是利用物體自身發(fā)出的紅外輻射來成像，這也就是大家所說的熱成像。熱成像系統(tǒng)是基于目標與背景的溫差而形成的紅外發(fā)射率的差異，利用輻射測溫技術(shù)對目標逐點測定輻射強度，而形成可見目標的熱圖像。其理論工作波段在1-14um之間，但一般遠紅外夜視主要使用短波 (3μm -- 5μm)與長波 ( 8μm --14μm)這兩種 。

其中，微光夜視需要從CMOS與算法上去提升實現(xiàn)；而紅外夜視則需要配備專門的紅外鏡頭確保紅外光的進入。此外微光夜視可以看到彩色畫面，而紅外則無法做到彩色。

8）3D 感測：駕駛員監(jiān)控

隨著汽車智能化的不斷演進，對車載鏡頭提出了快速感測并深度辨識車身周邊環(huán)境的需求。車載鏡頭需要在對環(huán)境信息進行解讀的同時同步實現(xiàn)景深測量的效果，而作為 3D 感測主流技術(shù)方案的結(jié)構(gòu)光、TOF 技術(shù)等已成為各大車載鏡頭廠商技術(shù)攻關(guān)的熱點。

圖 延鋒概念車DMS

目前3D感測技術(shù)主要是應用在座艙內(nèi)部，比如說近年越來越被重視駕駛員監(jiān)控系統(tǒng)等。此外，通過人臉識別可以確定駕駛員身份，座艙進而根據(jù)個人使用習慣而調(diào)整，甚至還可以實現(xiàn)防盜功能。

9）人機交互HMI：手勢控制及車輛進入人臉識別

汽車內(nèi)人機交互功能體現(xiàn)在內(nèi)置車載攝像頭實現(xiàn)的人臉識別、疲勞檢測、手勢識別、注意力監(jiān)測及駕駛行為分析。在智能駕駛艙逐漸興起的市場環(huán)境下，具備深層交互能力的車載攝像頭市場需求將進一步提高。

在2020年2月的世界通信大會上，寶馬解釋了這種儀表盤上的攝像頭虹膜識別技術(shù)，將會從2021年起首次應用于寶馬iNext車型。

Zeekr X行業(yè)首發(fā)的智能B柱交互系統(tǒng)集成了ToF 3D攝像頭和多媒體觸控屏

通過面部識別，就可解鎖和落鎖車輛。

第八部分引用自下鏈接：

2023車載攝像頭9大熱點趨勢 - 技術(shù)前沿 - AI汽車網(wǎng) (jgvogel.cn)

部分引用：

東方證券報告《自動駕駛駛?cè)肟燔嚨溃囕d攝像頭迎來量價齊升》

一起聊聊車載攝像頭-電子工程專輯 (eet-china.com)

一文熟悉車載攝像頭技術(shù)的現(xiàn)在和未來 - 設計與開發(fā) - AI汽車網(wǎng) (jgvogel.cn)

汽車影像行業(yè)攝像頭測試方案_CMS/ADAS (colorspace.com.cn)

車載攝像頭評測_iseetest官網(wǎng)

柚子快報邀請碼778899分享：自動駕駛學習3-攝像頭（1）

http://yzkb.51969.com/

精彩文章