柚子快報(bào)激活碼778899分享：研一下第五周論文閱讀情況

http://yzkb.51969.com/

一、《Automatic segmentation?of trabecular and cortical?compartments in HR?pQCT images?using an embedding?predicting?U?Net and morphological?post?processing》

1、Abstract：

高分辨率外周定量計(jì)算機(jī)斷層掃描(HR-pQCT)是一種新興的骨微結(jié)構(gòu)定量體內(nèi)成像方式。然而，從HR-pQCT圖像中提取定量的微建筑參數(shù)需要對(duì)圖像進(jìn)行精確的分割。目前使用半自動(dòng)輪廓進(jìn)行HR-pQCT圖像分割的標(biāo)準(zhǔn)方案是費(fèi)力的，在研究數(shù)據(jù)中引入了操作員之間的偏差，并對(duì)簡(jiǎn)化的臨床實(shí)施構(gòu)成了障礙。在這項(xiàng)工作中，我們提出并驗(yàn)證了一種全自動(dòng)的HR-pQCT半徑和脛骨圖像分割算法。多切片二維U-Net產(chǎn)生初始分割預(yù)測(cè)，通過(guò)一系列傳統(tǒng)形態(tài)學(xué)圖像濾波器進(jìn)行后處理。U-Net在一個(gè)大型數(shù)據(jù)集上進(jìn)行訓(xùn)練，該數(shù)據(jù)集包含來(lái)自896個(gè)獨(dú)特參與者的1822張圖像。在包含190個(gè)不同參與者的386張圖像的不相交數(shù)據(jù)集上，將預(yù)測(cè)分割與參考分割進(jìn)行比較，并使用156對(duì)重復(fù)圖像來(lái)比較新方案和現(xiàn)有方案的精度。預(yù)測(cè)分割得到的形態(tài)學(xué)參數(shù)與標(biāo)準(zhǔn)品的一致性較好(R2在0.938 ~ > 0.999之間)。幾個(gè)輸出的精度顯著提高，最顯著的是皮質(zhì)孔隙度。這種新穎而穩(wěn)健的自動(dòng)分割算法將增加在研究和臨床環(huán)境中使用HR-pQCT的可行性。

本研究的目的是開(kāi)發(fā)和評(píng)估一種完全自動(dòng)化的端到端算法，以取代目前標(biāo)準(zhǔn)的半自動(dòng)方法，用于分割HR-pQCT脛骨遠(yuǎn)端和橈骨圖像。該方案將改進(jìn)的U-Net分割模型與形態(tài)學(xué)后處理算法相結(jié)合，該算法專(zhuān)為HR-pQCT橈骨和脛骨圖像的分割任務(wù)而設(shè)計(jì)，為定量形態(tài)學(xué)分析做準(zhǔn)備。HR-pQCT圖像分析的強(qiáng)大自動(dòng)化將激勵(lì)HR-pQCT技術(shù)在骨密度測(cè)定研究界的廣泛采用，并使HR-pQCT的臨床應(yīng)用變得可行

????????????????????????????????????????利用脛骨遠(yuǎn)端圖像可視化后處理程序示意圖。

上面一行顯示輸入，下面一行顯示輸出。塊箭頭對(duì)應(yīng)的是復(fù)合形態(tài)學(xué)濾波操作:灰色-掩模被簡(jiǎn)單復(fù)制，紅色-迭代二值分割濾波，粉紅色-最小皮質(zhì)殼濾波，藍(lán)色形態(tài)學(xué)骨掩模濾波，黃色-減(過(guò)濾后的骨掩模減去過(guò)濾后的小梁掩模)。當(dāng)多個(gè)箭頭匯聚在相同的輸出掩碼上時(shí)，這表明輸出是組合的(聯(lián)合)。

2、Conclusion：

我們提出并驗(yàn)證了一種新的、全自動(dòng)的HR-pQCT遠(yuǎn)端橈骨和脛骨圖像語(yǔ)義分割算法。該算法不需要人工輸入或監(jiān)督，與目前的黃金標(biāo)準(zhǔn)半自動(dòng)化方法相比，它更快、同樣準(zhǔn)確、同樣精確或更精確。

在目前的形式下，它可以無(wú)縫集成到HR-pQCT的標(biāo)準(zhǔn)工作流程中，用于橈骨和脛骨圖像的形態(tài)測(cè)量分析。未來(lái)的工作將集中在將這種方法翻譯到其他掃描站點(diǎn)上

3、Result：

二、《?Integrative Graph-Transformer Framework for Histopathology Whole Slide Image Representation and Classification》

1、Abstract：

在數(shù)字病理學(xué)中，多實(shí)例學(xué)習(xí)（MIL）策略被廣泛用于弱監(jiān)督組織病理學(xué)全載玻片圖像（WSI）分類(lèi)任務(wù)，其中千兆像素WSI僅在載玻片級(jí)別標(biāo)記。然而，現(xiàn)有的基于注意力的MIL方法往往忽略了上下文信息和相鄰組織塊之間的內(nèi)在空間關(guān)系，而基于圖的MIL框架具有有限的能力來(lái)識(shí)別長(zhǎng)距離依賴性。在本文中，我們介紹了綜合圖形transformer框架，同時(shí)捕捉上下文感知的關(guān)系功能和全球WSI表示通過(guò)一個(gè)新的圖形transformer集成（GTI）塊。具體來(lái)說(shuō)，每個(gè)GTI塊由一個(gè)在局部實(shí)例級(jí)別建模相鄰關(guān)系的圖卷積網(wǎng)絡(luò)（GCN）層和一個(gè)從廣泛的特征嵌入中捕獲全面全局信息的高效全局注意力模型組成。在三個(gè)公開(kāi)的WSI數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)：TCGA-NSCLC，TCGA-RCC和BRIGHT，證明了我們的方法優(yōu)于當(dāng)前最先進(jìn)的MIL方法，準(zhǔn)確率提高了1.0%至2.6%，AUROC提高了0.7%-1.6%。

2、Conclusion：

在這篇論文中，我們介紹了一個(gè)全新的集成圖-變換器框架，即IGT（Integrative Graph-Transformer），它同時(shí)捕獲來(lái)自局部組織區(qū)域的上下文感知關(guān)系特征以及跨實(shí)例嵌入的全局WSI（全切片圖像）表示，用于組織病理學(xué)WSI分類(lèi)。我們將圖卷積網(wǎng)絡(luò)與全局注意力模塊相結(jié)合，構(gòu)建了圖-變換器集成塊。具體來(lái)說(shuō)，圖卷積網(wǎng)絡(luò)探索了局部鄰域間的交互作用，而多頭自注意力模型則捕獲了來(lái)自所有實(shí)例的長(zhǎng)距離依賴關(guān)系。所開(kāi)發(fā)框架的有效性在三個(gè)公開(kāi)的WSI數(shù)據(jù)集上得到了體現(xiàn)。與多種最先進(jìn)的方法相比，我們的方法始終展現(xiàn)出優(yōu)越的性能，這表明它具有支持計(jì)算組織病理學(xué)分析的巨大潛力。

3、Result：

三、《Unleashing the Potential of SAM for Medical Adaptation via Hierarchical Decoding》

from：CVPR 2024

1、Abstract：

Segment Anything Model（SAM）因其通用的分割能力和直觀的基于數(shù)據(jù)庫(kù)的界面而備受關(guān)注。然而，它在醫(yī)學(xué)成像中的應(yīng)用帶來(lái)了挑戰(zhàn)，需要大量的訓(xùn)練成本和廣泛的醫(yī)學(xué)數(shù)據(jù)集來(lái)進(jìn)行完整的模型微調(diào)，或者需要高質(zhì)量的提示來(lái)實(shí)現(xiàn)最佳性能。本文介紹H-SAM：- SAM的無(wú)干擾適應(yīng)，其被定制用于經(jīng)由兩階段分層解碼過(guò)程對(duì)醫(yī)學(xué)圖像進(jìn)行有效微調(diào)。在初始階段，H-SAM采用SAM的原始解碼器來(lái)生成先驗(yàn)概率掩碼，從而在第二階段指導(dǎo)更復(fù)雜的解碼過(guò)程。具體來(lái)說(shuō)，我們提出了兩個(gè)關(guān)鍵的設(shè)計(jì)：1）一個(gè)類(lèi)平衡的，掩碼引導(dǎo)的自注意機(jī)制，解決不平衡的標(biāo)簽分布，增強(qiáng)圖像嵌入; 2）一個(gè)可學(xué)習(xí)的掩碼交叉注意機(jī)制，空間調(diào)制不同圖像區(qū)域之間的相互作用的基礎(chǔ)上，先驗(yàn)掩碼。此外，H-SAM中包含的分層像素解碼器增強(qiáng)了其捕獲細(xì)粒度和局部細(xì)節(jié)的能力。這種方法使SAM能夠有效地整合學(xué)習(xí)的醫(yī)學(xué)先驗(yàn)知識(shí)，促進(jìn)對(duì)有限樣本的醫(yī)學(xué)圖像分割的增強(qiáng)適應(yīng)。我們的H-SAM證明了平均Dice的4.78%的改善相比，現(xiàn)有的無(wú)毛刺SAM變體的多器官分割使用僅10%的2D切片。值得注意的是，在不使用任何未標(biāo)記數(shù)據(jù)的情況下，H-SAM甚至優(yōu)于依賴于各種醫(yī)療數(shù)據(jù)集的大量未標(biāo)記訓(xùn)練數(shù)據(jù)的最先進(jìn)的半監(jiān)督模型。我們的代碼可在下面網(wǎng)址上獲得。

https://github.com/Cccccczh404/H-SAM

2、Conclusion：

我們提出了H-SAM，這是一個(gè)簡(jiǎn)單而高效的層次化掩碼解碼器，用于將“分割萬(wàn)物”模型（Segment Anything Model）適應(yīng)于醫(yī)學(xué)圖像分割任務(wù)。H-SAM使用默認(rèn)解碼器生成的概率圖作為先驗(yàn)，以指導(dǎo)序列解碼單元中更精細(xì)的醫(yī)學(xué)圖像分割。我們的H-SAM為SAM的適應(yīng)提供了一個(gè)新的方向。值得注意的是，H-SAM在不依賴任何未標(biāo)記數(shù)據(jù)的情況下取得了優(yōu)異的性能，甚至超過(guò)了使用大量未標(biāo)記數(shù)據(jù)集的各種醫(yī)學(xué)成像上下文中的最先進(jìn)半監(jiān)督模型。這突顯了H-SAM在推進(jìn)醫(yī)學(xué)圖像分割領(lǐng)域的顯著潛力，為醫(yī)學(xué)圖像分割提供了一個(gè)穩(wěn)健、高效且數(shù)據(jù)經(jīng)濟(jì)的解決方案。

3、Result：

四、《Language Models are Free Boosters for Biomedical Imaging Tasks》

1、Abstract：

在這項(xiàng)研究中，我們發(fā)現(xiàn)了基于殘差的大型語(yǔ)言模型（LLM）作為生物醫(yī)學(xué)成像任務(wù)編碼器的一部分的意想不到的功效，這是一個(gè)傳統(tǒng)上缺乏語(yǔ)言或文本數(shù)據(jù)的領(lǐng)域。該方法通過(guò)利用從預(yù)先訓(xùn)練的LLM中提取的凍結(jié)的Transformer塊作為用于直接處理視覺(jué)令牌的創(chuàng)新編碼器層，而與已建立的方法不同。這一策略與標(biāo)準(zhǔn)的多模態(tài)視覺(jué)語(yǔ)言框架有很大的不同，后者通常依賴于語(yǔ)言驅(qū)動(dòng)的提示和輸入。我們發(fā)現(xiàn)，這些LLM可以提高一系列生物醫(yī)學(xué)成像應(yīng)用的性能，包括2D和3D視覺(jué)分類(lèi)任務(wù)，作為即插即用的助推器。更有趣的是，作為副產(chǎn)品，我們發(fā)現(xiàn)所提出的框架實(shí)現(xiàn)了卓越的性能，在MedMNIST-2D和3D中的廣泛標(biāo)準(zhǔn)化數(shù)據(jù)集上設(shè)置了新的最先進(jìn)的結(jié)果。通過(guò)這項(xiàng)工作，我們的目標(biāo)是為在生物醫(yī)學(xué)成像中使用LLM開(kāi)辟新的途徑，并豐富對(duì)其在這一專(zhuān)業(yè)領(lǐng)域潛力的理解。

2、Conclusion：

在這項(xiàng)研究中，我們探索了基于殘差的大型語(yǔ)言模型（通常與文本處理相關(guān)）作為生物醫(yī)學(xué)成像任務(wù)編碼器的獨(dú)特潛力。這一創(chuàng)新應(yīng)用標(biāo)志著它們從傳統(tǒng)的以文本為中心的角色中發(fā)生了重大轉(zhuǎn)變。通過(guò)將預(yù)訓(xùn)練大型語(yǔ)言模型中的凍結(jié)轉(zhuǎn)換器塊集成到視覺(jué)編碼器中作為免費(fèi)增強(qiáng)器，我們發(fā)現(xiàn)在各種2D和3D生物醫(yī)學(xué)成像任務(wù)中性能得到了持續(xù)的提升。這些發(fā)現(xiàn)擴(kuò)大了大型語(yǔ)言模型的應(yīng)用范圍，表明它們的用途遠(yuǎn)不止于語(yǔ)言處理。我們的研究旨在激發(fā)對(duì)這一新興領(lǐng)域的進(jìn)一步探索，特別是在彌合視覺(jué)和語(yǔ)言之間的模態(tài)差距，以及在生物醫(yī)學(xué)成像領(lǐng)域充分利用大型語(yǔ)言模型的全部潛力方面。

3、Result：

五、《VoCo: A Simple-yet-Effective Volume Contrastive Learning Framework for 3D Medical Image Analysis》

from：CVPR 2024

1、Abstract：

自監(jiān)督學(xué)習(xí)（SSL）在3D醫(yī)學(xué)圖像分析中已經(jīng)顯示出令人矚目的結(jié)果。然而，預(yù)訓(xùn)練階段缺乏高級(jí)語(yǔ)義信息仍然嚴(yán)重阻礙了下游任務(wù)的表現(xiàn)。我們觀察到，3D醫(yī)學(xué)圖像包含相對(duì)一致的上下文位置信息，即不同器官之間一致的幾何關(guān)系，這為我們?cè)陬A(yù)訓(xùn)練階段學(xué)習(xí)一致的語(yǔ)義表示提供了一種潛在的方法。在本文中，我們提出了一個(gè)簡(jiǎn)單但有效的“Volume Contrast”（VoCo）框架，以利用上下文位置先驗(yàn)進(jìn)行預(yù)訓(xùn)練。具體來(lái)說(shuō)，我們首先從不同區(qū)域生成一組基礎(chǔ)裁剪，同時(shí)確保它們之間的特征差異，我們將它們用作不同區(qū)域的類(lèi)別分配。然后，我們隨機(jī)裁剪子體積，并預(yù)測(cè)它們屬于哪個(gè)類(lèi)別（位于哪個(gè)區(qū)域），這可以通過(guò)對(duì)比它們與不同基礎(chǔ)裁剪的相似度來(lái)實(shí)現(xiàn)，這可以看作是預(yù)測(cè)不同子體積的上下文位置。通過(guò)這一前置任務(wù)，VoCo將上下文位置先驗(yàn)隱式地編碼到模型表示中，無(wú)需注釋的指導(dǎo)，從而有效地提高了需要高級(jí)語(yǔ)義的下游任務(wù)的表現(xiàn)。我們?cè)诹鶄€(gè)下游任務(wù)上進(jìn)行了廣泛的實(shí)驗(yàn)，證明了VoCo的卓越有效性。代碼將在https://github.com/Luffy03/VoCo上公開(kāi)。

2、Conclusion：

在這篇論文中，我們開(kāi)發(fā)了一個(gè)簡(jiǎn)單但有效的自監(jiān)督學(xué)習(xí)（SSL）框架VoCo，用于3D醫(yī)學(xué)圖像分析。鑒于觀察到3D醫(yī)學(xué)圖像中不同器官之間存在相對(duì)一致的上下文位置關(guān)系，我們提出利用這些上下文位置先驗(yàn)在預(yù)訓(xùn)練階段學(xué)習(xí)一致的語(yǔ)義表示。具體來(lái)說(shuō)，我們從輸入體積的不同位置裁剪體積，并將它們作為一組基礎(chǔ)，以代表不同方向上的特征。然后，我們通過(guò)對(duì)比隨機(jī)裁剪的體積與不同基礎(chǔ)之間的相似性，來(lái)預(yù)測(cè)其上下文位置。通過(guò)這種方式，VoCo有效地將上下文位置先驗(yàn)編碼到模型表示中，使我們能夠顯著提高需要高級(jí)語(yǔ)義的下游任務(wù)的表現(xiàn)。廣泛的實(shí)驗(yàn)表明，我們提出的VoCo在六個(gè)下游數(shù)據(jù)集上實(shí)現(xiàn)了優(yōu)越的性能。

3、Result：

六、《Feature Re-Embedding: Towards Foundation Model-Level Performance in Computational Pathology》

from：CVPR 2024

1、Abstract：

多重實(shí)例學(xué)習(xí)（MIL）是計(jì)算病理學(xué)中最廣泛使用的框架，涵蓋了亞型分類(lèi)、診斷、預(yù)后等多個(gè)方面。然而，現(xiàn)有的MIL范式通常需要一個(gè)離線的實(shí)例特征提取器，比如預(yù)訓(xùn)練的ResNet或基礎(chǔ)模型。這種方法缺乏在特定下游任務(wù)中進(jìn)行特征微調(diào)的能力，從而限制了其適應(yīng)性和性能。為了解決這個(gè)問(wèn)題，我們提出了一個(gè)重新嵌入?yún)^(qū)域轉(zhuǎn)換器（R2T），用于在線重新嵌入實(shí)例特征，它能夠捕獲細(xì)粒度的局部特征并在不同區(qū)域之間建立聯(lián)系。

與現(xiàn)有工作主要關(guān)注預(yù)訓(xùn)練強(qiáng)大的特征提取器或設(shè)計(jì)復(fù)雜的實(shí)例聚合器不同，R2T專(zhuān)門(mén)用于在線重新嵌入實(shí)例特征。它作為一個(gè)可移植的模塊，可以無(wú)縫集成到主流的MIL模型中。在常見(jiàn)的計(jì)算病理學(xué)任務(wù)上的廣泛實(shí)驗(yàn)結(jié)果表明：

1）特征重新嵌入將基于ResNet-50特征的MIL模型性能提升到了基礎(chǔ)模型特征的水平，并進(jìn)一步增強(qiáng)了基礎(chǔ)模型特征的性能； 2）R2T可以為各種MIL模型引入更顯著的性能提升； 3）R2T-MIL，作為R2T增強(qiáng)的AB-MIL，在性能上大幅超越了其他最新方法。

代碼已公開(kāi)在：https://github.com/DearCaat/RRT-MIL。

2、Conclusion：

在這項(xiàng)工作中，我們展示了在多重實(shí)例學(xué)習(xí)（MIL）基礎(chǔ)上的計(jì)算病理學(xué)算法中，實(shí)例特征重新嵌入的重要性，從而緩解了傳統(tǒng)MIL范式中實(shí)例特征學(xué)習(xí)不足的問(wèn)題。我們還表明，基于Transformer的重新嵌入模塊能夠一致地提升各種MIL方法的性能，無(wú)論它們的架構(gòu)如何。然而，本文的主要成果是引入了重新嵌入的區(qū)域轉(zhuǎn)換器（R2T）以及兩個(gè)新穎的組件：CR-MSA和EPEG。

我們有證據(jù)表明，在基礎(chǔ)模型時(shí)代，局部Transformer的重要性以及其作為重新嵌入模塊的通用性。未來(lái)，我們計(jì)劃探索特征重新嵌入如何促進(jìn)計(jì)算病理學(xué)中的高級(jí)任務(wù)，如定位和分割。這些任務(wù)在疾病的精確診斷和治療中起著至關(guān)重要的作用，我們相信通過(guò)進(jìn)一步改進(jìn)和優(yōu)化特征重新嵌入技術(shù)，我們可以為這些任務(wù)提供更準(zhǔn)確、更可靠的解決方案。通過(guò)深入研究R2T以及CR-MSA和EPEG等組件在更廣泛的任務(wù)和場(chǎng)景中的應(yīng)用，我們有望為計(jì)算病理學(xué)領(lǐng)域的發(fā)展做出更大的貢獻(xiàn)。

3、Result：

七、《MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology》

參考帖子：論文閱讀:MambaMIL: Enhancing Long Sequence Modeling with Sequence Reordering in Computational Pathology - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/687404226

1、Abstract：

多實(shí)例學(xué)習(xí) (Multiple Instance Learning，MIL) 已成為在計(jì)算病理學(xué)中在整個(gè)全視野數(shù)字切片圖像(Whole Slide Images，WSI) 中提取判別特征表示的主要范式。盡管取得了顯著進(jìn)展，但現(xiàn)有的MIL方法在促進(jìn)實(shí)例之間全面有效的交互方面存在局限性，并且存在與計(jì)算耗時(shí)和過(guò)擬合相關(guān)的挑戰(zhàn)。在本文中，我們?cè)贛IL中結(jié)合了選擇性掃描空間狀態(tài)序列模型 (Selective Scan Space State Sequential Model，Mamba)，用于具有線性復(fù)雜度的長(zhǎng)序列建模，稱(chēng)為 MambaMIL。通過(guò)繼承通用Mamba框架的能力，MambaMIL展示了全面理解和感知長(zhǎng)序列實(shí)例的能力。此外，我們提出了序列重新排序 Mamba (Sequence Reordering Mamba，SR-Mamba) 以利用嵌入在長(zhǎng)序列中的固有的有價(jià)值的信息來(lái)感知實(shí)例的順序和分布。通過(guò)將SR-Mamba作為核心組件，MambaMIL可以有效地捕獲更多的有判別性的特征并減輕與過(guò)擬合和高計(jì)算開(kāi)銷(xiāo)相關(guān)的挑戰(zhàn)。在九個(gè)不同數(shù)據(jù)集的兩個(gè)公共具有挑戰(zhàn)性的任務(wù)上進(jìn)行的大量實(shí)驗(yàn)表明，我們提出的框架優(yōu)于最先進(jìn)的 MIL 方法。該代碼可在https://github.com/isyangshu/MambaMIL?發(fā)布。

2、Conclusion：

在本文中，我們引入了一種新的基于 Mamba 的 MIL 方法，稱(chēng)為 MambaMIL，以解決與長(zhǎng)序列建模和過(guò)度擬合相關(guān)的挑戰(zhàn)，標(biāo)志著 Mamba 框架在計(jì)算病理學(xué)中的第一個(gè)應(yīng)用。我們的方法基于專(zhuān)門(mén)設(shè)計(jì)的序列重新排序 Mamba 模塊 (SR-Mamba)，能夠有效地利用長(zhǎng)實(shí)例序列中包含的內(nèi)在全局信息。九個(gè)基準(zhǔn)的實(shí)驗(yàn)結(jié)果表明，MambaMIL 受益于長(zhǎng)序列建模，并且在所有基準(zhǔn)上的所有指標(biāo)上都優(yōu)于現(xiàn)有的競(jìng)爭(zhēng)對(duì)手。鑒于 MambaMIL 的出色表現(xiàn)，我們預(yù)計(jì)其應(yīng)用可以擴(kuò)展到計(jì)算病理學(xué)中的其他模式，包括基因組學(xué)、病理報(bào)告和臨床數(shù)據(jù)。這種擴(kuò)展將使利用多模態(tài)信息進(jìn)行有效和準(zhǔn)確的診斷、預(yù)后和治療反應(yīng)預(yù)測(cè)。

3、Result：

八、《MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models》

1、Abstract：

2、Conclusion：

3、Result：

柚子快報(bào)激活碼778899分享：研一下第五周論文閱讀情況

http://yzkb.51969.com/

參考文章