柚子快報(bào)激活碼778899分享：D-FINE目標(biāo)檢測(cè)學(xué)習(xí)筆記

http://yzkb.51969.com/

代碼地址：GitHub - Peterande/D-FINE: D-FINE: Redefine Regression Task of DETRs as Fine-grained Distribution Refinement ???

論文地址：[2410.13842] D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement

1.Motivation

作者對(duì)比了YOLO系列和DETR系列目標(biāo)檢測(cè)框架：

YOLO社區(qū)活躍，效率高；而DETR基于Transformer架構(gòu)直接用于全局上下文建模（global context modeling）和直接集合預(yù)測(cè)（direct set predication）從而不依賴NMS和錨框，但卻受到高延遲和計(jì)算需求的阻礙；RT-DETR以及LW-DETR等分別解決了實(shí)時(shí)端到端目標(biāo)檢測(cè)和證明了DETR上限可以比YOLO高。

全局上下文建模 (Global Context Modeling)

在DETR中，全局上下文建模主要通過(guò)Transformer編碼器實(shí)現(xiàn)。給定一張輸入圖片，首先通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取特征圖，然后將這些特征圖展平并轉(zhuǎn)換為一系列特征向量。這些特征向量作為輸入送入Transformer的編碼器部分，在這里，每個(gè)位置的特征都會(huì)與所有其他位置的特征進(jìn)行交互，從而捕捉到整個(gè)圖像的全局信息。這種機(jī)制使得DETR能夠有效地利用圖像中的遠(yuǎn)距離依賴關(guān)系，這對(duì)于理解復(fù)雜場(chǎng)景尤其重要。

直接集合預(yù)測(cè) (Direct Set Prediction)

不同于傳統(tǒng)的滑動(dòng)窗口或錨點(diǎn)機(jī)制，DETR使用了一個(gè)基于Transformer解碼器的查詢集（query set）來(lái)進(jìn)行目標(biāo)預(yù)測(cè)。這些查詢是可學(xué)習(xí)的位置編碼，它們與編碼器輸出的特征向量進(jìn)行交互，以生成最終的目標(biāo)預(yù)測(cè)。這個(gè)過(guò)程可以看作是從輸入圖像中直接預(yù)測(cè)出一個(gè)對(duì)象集合，而不需要經(jīng)過(guò)復(fù)雜的后處理步驟。每個(gè)查詢對(duì)應(yīng)于一個(gè)可能的對(duì)象，解碼器輸出包括該對(duì)象的邊界框坐標(biāo)和類別標(biāo)簽。

未解決的問(wèn)題：

A.邊界框回歸公式

? ? ? ? 大多數(shù)檢測(cè)器將目標(biāo)檢測(cè)作為回歸任務(wù)，做了一個(gè)假設(shè)：邊界框的邊緣是精確值，可以通過(guò)Dirac delta分布來(lái)建模（狄拉克沖擊函數(shù)，一點(diǎn)無(wú)窮大，其余為0）。簡(jiǎn)單但是邊界框坐標(biāo)可能是一個(gè)概率分布，而不是一個(gè)確切點(diǎn)，因此模型被限制（constrained）去使用L1 loss（邊界點(diǎn)獨(dú)立的loss計(jì)算，讓點(diǎn)靠近標(biāo)簽點(diǎn)）和IOU loss（整體目標(biāo)框的loss計(jì)算，讓框更適配標(biāo)簽框）來(lái)調(diào)整邊緣點(diǎn)提供的不足，這使得優(yōu)化過(guò)程對(duì)微小的坐標(biāo)變化很敏感，從而導(dǎo)致緩慢的收斂。這在實(shí)際應(yīng)用中可能導(dǎo)致檢測(cè)結(jié)果不夠準(zhǔn)確，尤其是在目標(biāo)較小或遮擋嚴(yán)重的情況下。在這個(gè)問(wèn)題上，GFocal通過(guò)概率分布解決不確定性，但仍依賴錨框（錨點(diǎn)是固定的，模型只能在這些固定的模板基礎(chǔ)上進(jìn)行微調(diào)。這限制了模型對(duì)邊界框位置的精細(xì)調(diào)整能力），缺乏細(xì)化迭代（缺乏迭代細(xì)化使得模型在優(yōu)化過(guò)程中難以達(dá)到最佳的邊界框位置）

B.實(shí)時(shí)檢測(cè)效率

作者提到用知識(shí)蒸餾（Knowledge distillation，KD）的方法去提高效率，傳統(tǒng)的KD在目標(biāo)檢測(cè)表現(xiàn)差（作者引用了一篇文獻(xiàn)），相比之下，定位蒸餾（localization distillation）效果更好（定位蒸餾方法不僅可以傳遞定位信息，還可以結(jié)合分類信息進(jìn)行聯(lián)合蒸餾。通過(guò)同時(shí)優(yōu)化分類損失和定位損失，確保學(xué)生模型在分類和定位兩個(gè)方面都能達(dá)到高性能），但與無(wú)錨點(diǎn)檢測(cè)器的不兼容（）

基于錨點(diǎn)的檢測(cè)器：

基于錨點(diǎn)的檢測(cè)器通常預(yù)測(cè)每個(gè)錨點(diǎn)的偏移量（如邊界框的中心點(diǎn)偏移和寬度、高度的縮放）。 預(yù)測(cè)目標(biāo)是相對(duì)于預(yù)定義錨點(diǎn)的偏移量。 無(wú)錨點(diǎn)檢測(cè)器：

無(wú)錨點(diǎn)檢測(cè)器直接預(yù)測(cè)每個(gè)目標(biāo)的中心點(diǎn)和邊界框的尺寸。 預(yù)測(cè)目標(biāo)是絕對(duì)的邊界框坐標(biāo)或中心點(diǎn)坐標(biāo)。

2.proposal

A.Finegrained Distribution Refinement (FDR) ：將邊界盒回歸從預(yù)測(cè)固定坐標(biāo)轉(zhuǎn)換為建模概率分布，提供更細(xì)粒度的中間表示。FDR以殘差方式迭代地改進(jìn)這些分布，允許逐步進(jìn)行更精細(xì)的調(diào)整并提高定位精度。認(rèn)識(shí)到更深的層通過(guò)在其概率分布中捕獲更豐富的定位信息來(lái)產(chǎn)生更準(zhǔn)確的預(yù)測(cè)

B.Global Optimal Localization Self-Distillation (GO-LSD):GO-LSD將定位知識(shí)從較深的層次轉(zhuǎn)移到較淺的層次，而額外的培訓(xùn)成本可以忽略不計(jì)。通過(guò)將較淺層的預(yù)測(cè)與較晚層的精確輸出相結(jié)合，該模型學(xué)會(huì)了更好地進(jìn)行早期調(diào)整，加速收斂并提高整體性能。

C.簡(jiǎn)化了現(xiàn)有實(shí)時(shí)DETR架構(gòu)中的計(jì)算密集型模塊和操作，同時(shí)FDR和GO-LSD有效地緩解了簡(jiǎn)化帶來(lái)的下降

3.Method

在學(xué)習(xí)中

柚子快報(bào)激活碼778899分享：D-FINE目標(biāo)檢測(cè)學(xué)習(xí)筆記

http://yzkb.51969.com/

精彩文章