柚子快報(bào)邀請(qǐng)碼778899分享：MedMamba論文閱讀筆記

http://yzkb.51969.com/

?Motivation:

????????基于CNN的模型只能捕捉到局部的特征信息，而對(duì)全局的特征信息的捕捉存在不足，從而導(dǎo)致特征工程質(zhì)量的優(yōu)劣之分。而基于transformer的模型，問(wèn)題存在于二次計(jì)算復(fù)雜度，對(duì)于計(jì)算能力的負(fù)擔(dān)過(guò)重。因此我們開(kāi)發(fā)了一種新的醫(yī)學(xué)圖像分類(lèi)模型MedMamba，能夠有效地捕獲遠(yuǎn)程信息，并保持線(xiàn)性計(jì)算復(fù)雜度。

Contribution:

? ? ? ? 1）提出了MedMamba，標(biāo)志著第一次探索的潛在應(yīng)用的SSM為基礎(chǔ)的模型在醫(yī)學(xué)圖像與不同的方式的結(jié)合

? ? ? ? 2）在五個(gè)數(shù)據(jù)集上進(jìn)行了綜合實(shí)驗(yàn)，結(jié)果表明MedMamba表現(xiàn)出相當(dāng)?shù)母?jìng)爭(zhēng)力

? ? ? ? 3）我們?yōu)獒t(yī)學(xué)圖像分類(lèi)任務(wù)建立了一個(gè)新的baseline。

一、 簡(jiǎn)介

? ? ? ? 由于CNN在醫(yī)學(xué)圖像細(xì)粒度特征提取時(shí)會(huì)受到限制， 同時(shí)Transformer也同樣受制于二次方的計(jì)算復(fù)雜度。最近的研究表明由Mamba表示的SSM模型可以高效的建模大范圍的交互，同時(shí)也可以維持線(xiàn)性的計(jì)算復(fù)雜度。受SSM模型的啟發(fā)，我們提出了用于醫(yī)學(xué)圖像分割的Vision Mamba模型（MedMamba）。該模型中最核心的模塊就是Conv-SSM模塊，該模塊結(jié)合了 卷積層的局部特征提取能力與 SSM捕捉大范圍依賴(lài)性的能力。

二、 引言

? ? ? ? 目前醫(yī)學(xué)成像技術(shù)應(yīng)用最多的例如：CT, MRI, US等等， 然而對(duì)一些癌癥或者其它疾病的檢測(cè)與診斷主要依賴(lài)于醫(yī)學(xué)領(lǐng)域?qū)＜业膶?zhuān)業(yè)知識(shí)，從而導(dǎo)致了醫(yī)生閱讀和解釋醫(yī)學(xué)圖像的方式差異。為了解決這一挑戰(zhàn)，許多計(jì)算機(jī)輔助檢測(cè)和診斷（CAD）解決方案已經(jīng)被開(kāi)發(fā)和測(cè)試，旨在幫助有效地閱讀醫(yī)療圖像，并以更準(zhǔn)確的方式做出診斷決策。

? ? ? ? 近年來(lái)，狀態(tài)空間模型（SSM）引起了研究者的極大興趣。基于經(jīng)典SSM研究，現(xiàn)代SSM（如Mamba）不僅建立了長(zhǎng)距離依賴(lài)關(guān)系，而且還表現(xiàn)出與輸入大小相關(guān)的線(xiàn)性復(fù)雜度。此外，基于SSM的模型在許多領(lǐng)域得到了廣泛的研究，包括語(yǔ)言理解，醫(yī)學(xué)分割等。

三、 方法

? ? ? ? 3.1 SSM、 S4以及 Mamba

? ? ? ? 一下內(nèi)容部分內(nèi)容借鑒該連接， 歡迎各位移步大佬博客下進(jìn)行進(jìn)一步學(xué)習(xí)：一文通透想顛覆Transformer的Mamba：從SSM、HiPPO、S4到Mamba_mamba模型-CSDN博客

? ? ? ? ? ? ? ? 3.1.1SSM: 全稱(chēng)為 Space State Model, 空間狀態(tài)模型，?是用于描述這些狀態(tài)表示并根據(jù)某些輸入預(yù)測(cè)其下一個(gè)狀態(tài)可能是什么的模型。將連續(xù)序列作為輸入并預(yù)測(cè)連續(xù)的輸出序列

??????一般SSMs包括以下組成：輸入序列x(t)，?潛在狀態(tài)表示h(t)以及預(yù)測(cè)輸出序列y(t)

????????對(duì)于SSM來(lái)講有兩個(gè)關(guān)鍵的等式， 即狀態(tài)等式與輸出等式：

????????通過(guò)求解這兩個(gè)方程，可以根據(jù)觀察到的數(shù)據(jù)：輸入序列和先前狀態(tài)，去預(yù)測(cè)系統(tǒng)的未來(lái)狀態(tài)

? ? ? ? ? ? ? ? 3.1.2 S4:Structed State Space Sequence Model

? ? ? ? S4相當(dāng)于是對(duì)SSM的升級(jí)；SSM到S4的三步升級(jí)：離散化SSM、循環(huán)/卷積表示、基于HiPPO處理長(zhǎng)序列

? ? ? ? ? ? ? ? 3.1.3 Mamba

? ? ? ? mamba = 有選擇處理信息 + 硬件感知算法 + 更簡(jiǎn)單的SSM架構(gòu)

? ? ? ? 有選擇的處理信息即意味著對(duì)原有的SSM模型中的A、B、C、D四個(gè)矩陣進(jìn)行隨著不同輸入而進(jìn)行動(dòng)態(tài)值改變的變動(dòng)，從而滿(mǎn)足有側(cè)重的選擇處理信息。

? ? ? ? 硬件感知算法: 解決了由于在選擇性處理信息這一步所帶來(lái)的CNN無(wú)法并行計(jì)算的問(wèn)題，從而引入了該算法。

? ? ? ? 更簡(jiǎn)單的SSM：將大多數(shù)SSM架構(gòu)比如H3的基礎(chǔ)塊，與現(xiàn)代神經(jīng)網(wǎng)絡(luò)比如transformer中普遍存在的門(mén)控MLP相結(jié)合，組成新的Mamba塊，重復(fù)這個(gè)塊，與歸一化和殘差連接結(jié)合，便構(gòu)成了Mamba架構(gòu)。

? ? ? ? 3.2 MedMamba

????????

? ? ? ? 如圖所示， 該MedMamba架構(gòu)僅僅包含了3個(gè)patch merging層,4個(gè)Conv-SSM層以及一個(gè)?patch embedding層。

? ? ? ? 對(duì)于patch embedding層來(lái)講,輸入圖像X:H×W×3分割成大小為4×4的不重疊patch，從而將圖像的尺寸映射到C（這里，C的默認(rèn)值設(shè)置為96），得到嵌入圖像x: H/4 × W/4 × C

????????在前三個(gè)階段的輸出后，使用patch merging層來(lái)減少輸入特征的高度和寬度，同時(shí)增加通道的數(shù)量。

? ? ? ? 我們?cè)诘谒碾A段使用Conv-SSM層， 每個(gè)階段的channel 數(shù)分別為 [C, 2C, 4C, 8C] （圖片第一行中的第一個(gè)8C應(yīng)為4C）

? ? ? ? 3.3?Conv-SSM Block

? ? ? ? 該模塊是MedMamba的核心。總體來(lái)看，Conv-SSM是一個(gè)雙分支模塊，如下圖所示。

? ? ? ? 首利用通道分割操作來(lái)將模塊輸入分割成兩個(gè)相同大小的子輸入， 隨后兩個(gè)子輸入分別輸入到兩個(gè)子分支中。

? ? ? ? Conv分支: 即圖中左邊分支。我們使用連續(xù)的卷積層來(lái)構(gòu)建子輸入的局部特征。

? ? ? ? SSM分支：如下圖所示，首先利用正則化操作來(lái)對(duì)子輸入進(jìn)行處理， 在經(jīng)過(guò)正則化之后輸入被分割成為了兩個(gè)子分支。在SSM分支中的第一個(gè)子分支·(左側(cè)), 輸入經(jīng)過(guò)了一個(gè)線(xiàn)性層以及一個(gè)激活函數(shù)，其輸出與另一個(gè)分支的輸出在最后進(jìn)行逐元素相乘。在SSM分支中的第一個(gè)子分支·(右側(cè)), input在經(jīng)過(guò)一個(gè)線(xiàn)性層，一個(gè)激活函數(shù)以及一個(gè)深度可分離的卷積層后進(jìn)入了SS2D模塊進(jìn)行進(jìn)一步的特征提取操作， 隨后再經(jīng)過(guò)一個(gè)正則化層來(lái)對(duì)提取到的特征進(jìn)行處理并與第一分支的輸出進(jìn)行逐元素相乘，從而來(lái)融合兩個(gè)分支的輸出。

? ? ? ? 經(jīng)過(guò)兩個(gè)分支輸出融合后的特征再經(jīng)過(guò)一個(gè)線(xiàn)性層進(jìn)行特征混合并加上一個(gè)跳躍連接(沿著channel維度進(jìn)行特征融合)來(lái)獲取Conv-SSM模塊的最終輸出。

????????

柚子快報(bào)邀請(qǐng)碼778899分享：MedMamba論文閱讀筆記

http://yzkb.51969.com/

文章來(lái)源