柚子快報(bào)邀請碼778899分享：SLBAF?Net論文閱讀

http://yzkb.51969.com/

一、題目和作者 完整標(biāo)題：SLBAF?Net: Super?Lightweight bimodal adaptive fusion network for UAV detection in low recognition environment 作者：Xiaolong Cheng、Keke Geng、 Ziwei Wang、Jinhu Wang、Yuxiao Sun、 Pengbo Ding 以上作者均來自東南大學(xué)，南京。 二、摘要

指出問題

由于無人機(jī)在具有天空背景的遙感圖像上光照變化強(qiáng)烈，且無人機(jī)體積極小，傳統(tǒng)的目標(biāo)檢測算法通常缺乏令人滿意的精度和魯棒性。

本文貢獻(xiàn)小結(jié) 本文提出了一種基于可見光和紅外圖像自適應(yīng)融合的超輕量雙峰網(wǎng)絡(luò)SLBAF-Net，用于復(fù)雜光照和天氣條件下的無人機(jī)檢測。 BAMF用于自適應(yīng)融合可見光和紅外特征圖

三、介紹 1. 沒有適合在低識(shí)別環(huán)境中檢測無人機(jī)的檢測算法，這對無人機(jī)技術(shù)的采用具有重大影響。因此，本文重點(diǎn)研究針對低識(shí)別噪聲、復(fù)雜光照環(huán)境下的無人機(jī)檢測任務(wù)的無人機(jī)檢測技術(shù)。

基于視覺的無人機(jī)探測方法面臨的主要挑戰(zhàn)是可見光相機(jī)對噪聲、惡劣天氣、強(qiáng)烈光照變化等的高靈敏度。 SLBAF-net就是為了解決這些問題。 SLBAF-net的輸入是可見光圖像和紅外圖像論文工作的主要貢獻(xiàn)： (1) 提出了SLBAF-Net應(yīng)對低識(shí)別環(huán)境下的無人家檢測問題 （2）提出了雙模態(tài)自適應(yīng)融合模塊（BAFM），更有效的融合可見光和紅外特征 （3）復(fù)雜的dual-UAV數(shù)據(jù)集的建立，數(shù)據(jù)集包含了夜間、過度曝光、干擾目標(biāo)、遮擋復(fù)雜環(huán)境和正常環(huán)境。 （4）在普通和復(fù)雜dual-UAV數(shù)據(jù)集上分別進(jìn)行了大量實(shí)驗(yàn)來證明網(wǎng)絡(luò)的優(yōu)越性。

四、相關(guān)工作

經(jīng)典檢測器 兩階段和單階段。兩階段除了R-CNN系列還有SPP-Net和R-FCN。

五、本文方法

系統(tǒng)概述 SLBAF-Net包含了四部分：雙峰自適應(yīng)融合模塊（個(gè)人認(rèn)為應(yīng)該是雙模態(tài)）BAFM；主干網(wǎng)絡(luò)backbone;FPN結(jié)構(gòu)；檢測頭。 BAFM由自適應(yīng)權(quán)重塊和通道注意力模塊組成。backbone在融合的特征圖上提取深度特征。FPN結(jié)構(gòu)能將深層語義信息傳遞到底層，從而獲得高分辨率和強(qiáng)語義特征。獲取的特征輸入到檢測頭獲取檢測結(jié)果。文章提出雙數(shù)據(jù)集的融合策略可分為數(shù)據(jù)級融合、結(jié)果級融合和特征級融合三種。

數(shù)據(jù)級融合是最簡單的方法，它不需要修改網(wǎng)絡(luò)結(jié)構(gòu)。一個(gè)輸入和一個(gè)輸出。在進(jìn)入網(wǎng)絡(luò)前將雙數(shù)據(jù)的信息融合為一個(gè)數(shù)據(jù)，若雙數(shù)據(jù)之間存在巨大的差異，可能導(dǎo)致信息混淆。結(jié)果級融合需要兩個(gè)網(wǎng)絡(luò)，在三種策略中計(jì)算量最大。不適合在機(jī)載計(jì)算機(jī)上運(yùn)行。特征級融合利用了上述兩種方法的優(yōu)點(diǎn)，不僅能合并雙數(shù)據(jù)集的信息，同時(shí)保證了模型的輕量。兩個(gè)輸入和一個(gè)輸出。特征級融合策略最適合本文的研究。

結(jié)構(gòu)圖各部分詳細(xì)展開如下圖 文章中寫到“通過大量實(shí)驗(yàn)，我們已得出結(jié)論，越早融合，檢測小目標(biāo)越有效”損失 一般檢測網(wǎng)絡(luò)考慮三種誤差：定位誤差、置信度誤差和分類誤差。本文檢測的是單類別，所以不考慮類別誤差。YOLOv5的定位誤差是CIOU，在CIOU基礎(chǔ)上有新提出的EIOU，EIOU損失函數(shù)包含了重疊損失、中心距離損失、寬度和高度損失三部分。前兩部分和CIOU相同，不同之處在于寬度和高度損失直接使用目標(biāo)框和錨框的寬度和高度差最小化使收斂速度更快。

L

E

I

O

U

L_{EIOU}

LEIOU?表示有效邊界框回歸損失，

ρ

2

\rho^2

ρ2表示預(yù)測框中點(diǎn)與目標(biāo)框中點(diǎn)之間的歐氏距離。b表示預(yù)測框的中點(diǎn)

b

g

t

b^{gt}

bgt表示目標(biāo)框的中點(diǎn)；w為與預(yù)測框的寬度，

w

g

t

w^{gt}

wgt為目標(biāo)框的寬度；h為高度，意義同上。c表示覆蓋兩個(gè)檢測幀中最小框的對角線距離。

C

w

C_w

Cw?表示覆蓋兩個(gè)檢測框的最小框的寬度，

C

h

C_h

Ch?表示覆蓋兩個(gè)檢測框的最小框的高度；

L

o

b

j

L_{obj}

Lobj?表示置信度損失；

p

0

p_0

p0?表示預(yù)測框中的目標(biāo)置信度得分，

p

i

o

u

p_{iou}

piou?表示預(yù)測框和對應(yīng)目標(biāo)框的iou值；

B

C

E

o

b

j

s

i

g

BCE^{sig}_{obj}

BCEobjsig?表示二項(xiàng)交叉熵?fù)p失函數(shù)；

w

o

b

j

w_{obj}

wobj?表示正樣本的權(quán)重；K為輸出的特征圖；

S

2

S^2

S2表示輸出特征圖單元；B表示每個(gè)單元格中的預(yù)測錨框；

M

k

i

j

o

b

j

M^{obj}_{kij}

Mkijobj?表示第k個(gè)輸出特征圖的第i個(gè)單元格和第j個(gè)錨框是否為正樣本；

x

p

x_p

xp?和

x

g

t

x_gt

xg?t表示預(yù)測向量和真實(shí)值向量；

α

b

o

x

\alpha_{box}

αbox?和

α

o

b

j

\alpha_{obj}

αobj?表示定位損失和置信度損失的權(quán)重。 檢測幀通常指的是圖像或視頻中的一幀（單個(gè)靜止圖像），它是計(jì)算機(jī)視覺任務(wù)中的輸入數(shù)據(jù)。對于目標(biāo)檢測任務(wù)而言，檢測幀是需要進(jìn)行目標(biāo)檢測的圖像或視頻幀。 和檢測框是不同的概念。BAFM詳述 Adaptive weight block(AW) AW分為三個(gè)步驟

第一步:通過平均池化和最大池化操作獲取對應(yīng)的2D權(quán)重map，拼接，卷積。 第二步，獲取可見光特征分?jǐn)?shù)

w

1

w_1

w1?和紅外特征分?jǐn)?shù)

w

2

w_2

w2?,通過平均和最大化操作，再用Sigmoid獲得。

第三步，獲得可見光特征權(quán)重和紅外特征權(quán)重

w

v

w_v

wv?和

w

i

w_i

wi? ,f(x) 是sigmoid激活函數(shù)的變體。

α

\alpha

α取5，

β

\beta

β 取0.5時(shí)，效果相當(dāng)可觀。

channel attention block

六、數(shù)據(jù)集和實(shí)驗(yàn)部分

GAN網(wǎng)絡(luò)訓(xùn)練可見光圖像生成偽紅外圖像，生成了包含2850張可見光和紅外圖像。500對夜間圖像、500對過曝光圖像、250對干涉目標(biāo)圖像、250對遮擋圖像。文章認(rèn)為普通的數(shù)據(jù)集無法展現(xiàn)紅外圖像的優(yōu)勢，所以通過處理可見光圖像模擬四種復(fù)雜的環(huán)境（夜間、過度曝光、干擾和遮擋）。實(shí)驗(yàn) 3.1 網(wǎng)絡(luò)設(shè)計(jì) a的AF0-D16xF:原始圖像尺寸下的自適應(yīng)融合，圖像被骨干網(wǎng)絡(luò)下采樣16倍。d圖中AF2x-D8xF:在2倍下采樣后融合，圖像被骨干網(wǎng)理論下采樣到8倍 a,b,c網(wǎng)絡(luò)比較了網(wǎng)絡(luò)深度對小目標(biāo)檢測性能的影響；b,d,e網(wǎng)絡(luò)對比了融合位置對小目標(biāo)檢測性能的影響；b,f比較了網(wǎng)絡(luò)結(jié)構(gòu)的影響，有無PAN； 6種網(wǎng)絡(luò)和YOLOv5在正常dual-UAV數(shù)據(jù)集上的對比結(jié)果，YOLOv5只使用可見光圖像進(jìn)行訓(xùn)練。 為了選擇綜合性能好的網(wǎng)絡(luò)結(jié)構(gòu)，本文定義了一個(gè)評價(jià)指標(biāo)，值越高，網(wǎng)絡(luò)綜合性能越好。 3.2 融合方法 AWM表示adaptive weight module, BAFM表示bimodal adaptive fusion module, Pure表示網(wǎng)絡(luò)沒有自適應(yīng)收斂模塊 3.3 實(shí)驗(yàn)結(jié)果

柚子快報(bào)邀請碼778899分享：SLBAF?Net論文閱讀

http://yzkb.51969.com/

參考閱讀