輕量級肝臟與肝臟瘤2.5D分割網絡閱讀筆記

以下文章來源于GiantPandaCV ，作者李響

來源丨GiantPandaCV 

文章目錄

• 1 前言

• 2 方法概述

• 2.1 InceptionV1-V3 and convolution conversion

• 2.2 Residual block

• 2.3 2.5D 網絡

• 3 RIU-Net 的整體結構

• 4 實驗和可視化

• 5 總結

最近一直在讀醫學圖像的論文，于是我打算寫一個系列的閱讀筆記，語言比較精簡。在上一篇閱讀筆記（https://zhuanlan.zhihu.com/p/505483978）中，分析了醫學圖像分割的混合 Transformer 網絡：UTNet，在這一篇筆記中介紹的網絡與 UTNet 思路完全不同，追求的是比 U 型網絡更輕量級，但準確率更高的設計。還是先給下論文地址（剛剛接收）：https://www.sciencedirect.com/science/article/abs/pii/S1746809422000891 。

首先分析下這篇論文的動機，對于 LITS17 和 3DIRCADb 這類肝臟與肝腫瘤數據集，3D 卷積網絡具有學習上下文特征的能力，有效利用 CT 圖像的空間信息，但是訓練和部署也會消耗大量計算資源。所以，既能利用切片間的空間信息，并且保證分割精準度，就是論文需要解決的問題。本篇閱讀筆記首先對論文中涉及的方法進行概述；再詳細介紹論文提出的 RIU-Net 結構；最后分析了實驗和分割可視化部分，并簡單的總結。

這一部分作為前置依賴，類似于 Related Work，對涉及網絡結構熟悉的讀者可以略過相應的介紹。

如下圖，先看 InceptionV1 模塊，它并行包含了 1×1、3×3、5×5 和 7×7 大小的卷積核。雖然該模塊提高了網絡的可行性，但是卻增大了網絡參數量。InceptionV2 使用兩個 3×3 卷積核來代替一個 5×5 卷積序列，三個 3×3 卷積核來代替一個 7×7 卷積序列。InceptionV3 實現了將 N×N 的卷積序列替換 為 1×N 和 N×1 的卷積序列。因此，3×3 卷積序列可以替換為 1×3 和 3×1 的卷積組合， 同理，5×5 卷積序列可以替換為兩組 1×3 和 3×1 的卷積組合，7×7 卷積序列可以替換為三組 1×3 和 3×1 的卷積組合，可以看下圖（d），這里是很清晰的，這種處理讓網絡的參數量更理想化。

關于 Res-Net 的思想，我就不多介紹了。在這篇文章中，Residual block 也被嵌入到 InceptionV3 中，如下圖所示。這樣做，把 U-Net 的基礎 block 替換為 RI(Res- Inception) 結構，就是更薄且更寬的 Inception 卷積結構為基礎卷積序列帶有殘余連接，網絡整體參數量比傳統 U-Net 降低了 70%，節省了計算資源。

在醫學圖像分割中，充分醫用好醫學圖像切片間的空間信息是至關重要的。直接將 3D 圖像輸入到網絡中，3D 圖像會占據巨大的內存，或者直接將 3D 圖像轉換為 2D 圖像，這樣也是不可取的，直接拋棄了醫學圖像切片間的空間信息。所以出現了 2.5D 的思想，即將一疊相鄰切片作為網絡的輸入，并生成與中心切片的分割圖，這樣既能節省計算資源也能利用好空間信息。

在上一部分，我們重點介紹了論文中涉及到的技術，基于此，我們來看下這個網絡的整體設計。網絡架構是以 U-Net 為原型設計的，模型依舊呈現出對稱結構，左半部分是編碼器，用于特征提取，右半部分是****，用于定位感興趣區域，編碼器與****之間普通的跳躍連接，實現低級語義信息與高級語義特征之間的組合。整體框架由 9 個 RI(Res- Inception) 模塊、4 個下采樣層、4 個上采樣層和一個 1×1 的卷積層組成。如下圖所示。

因為在肝臟與肝腫瘤分割中，尤其是腫區域大小不一，如果使用 U-Net 中固定的卷積序列，勢必會導致感受野受到限制，降低分割精度。這樣的設計可以用不同的卷積核來獲得圖像不同尺度的感受野，來保障分割精度。

在這這篇論文中，實驗和可視化的部分是可以重點借鑒的，使用 LiTS17 和 3DIRCADb 兩個數據集就行訓練、驗證與測試。首先，我們來看下消融實驗的部分，分別在兩個數據集上就行消融實驗分析。評價指標包括 Dice 系數、體積重疊誤差(VOE)、相對體積誤差(RVD)、平均對稱表面距離(ASD)、均方根對稱面距離(RMSD)。

下表是消融分析在 LiTS17/3DIRCADb 數據集上的肝臟定量分割結果，其中，RIU-Net-I 到 RIU-Net-IV 為不同的Inception，這個對應在第二部分的介紹中。

下表是消融分析在 LiTS17/3DIRCADb 數據集上的肝腫瘤定量分割結果。

上面兩個表對應的可視化對應下圖，紅色代表肝臟區域，綠色代表腫瘤區域。

對比實驗基于 VGGnet 框架的 FCN 網絡、U-Net、R2U-Net、Attention U-Net 和 U-Net++ 網絡，如下，分別是肝臟定量分割結果和肝腫瘤定量分割結果。RIU-Net 不但精度更高，而且波動范圍較小。

對應的，下圖表示 6 種模型在 LiTS17 和 3DIRCADb 數據集上的可視化分割比較結果，在處理肝臟邊界含有腫瘤與小腫瘤難分割這兩種情況時，論文中提出的網絡效果更好。

在處理肝臟邊界含有腫瘤情況時，FCN、U-Net、R2U- Net 和 Attention U-Net 沒有將腫瘤區域分割出來或將肝腫瘤誤分割成肝臟，而且肝臟分割或多或少出現了過分割或欠分割，雖然 U-Net++ 分割出來了腫瘤區域，但是出現了嚴重的錯誤分割，將大量肝臟區域分割成肝腫瘤，然而論文中的模型分割的結果接近于金標準。此外，在處理小腫瘤區域時，這篇論文中提出的模型分割的結果也最接近金標準。

最后，在下圖中，分別在 LiTS17 和 3DIRCAb 數據集上對肝臟和肝臟腫瘤分割進行 3D 錯誤可視化（紅色和藍色區域分別表示明顯的過分割和欠分割錯誤，而綠色區域表示與金標準的一致性）。

這篇論文在保證精度的同時，大幅減少了醫學圖像分割網絡的參數量。所以關于訓練和推理時間，是需要我們重點關注的。如下表，對比時間成本達到了最低。

總結一下，這篇論文提出了一種醫學圖像肝臟與肝腫瘤分割網絡，核心思想是建立一個提取圖像多尺度信息又可以充分節省計算資源的輕量級網絡。引入了殘差，結合不同分辨率的特征圖，可以避免過擬合。為了節省計算資源，將 U-Net 中的所有卷積序列替換成 Inception 模塊，不僅減少了參數量也能夠提取更多圖像特征。另外，為了解決輸入網絡結構中的 2D 圖像無法利用醫學圖像切片間的空間信息以及 3D 圖像又會占據巨大的內存的問題，論文中采用了 2.5D 的輸入形式，即將一疊相鄰切片作為網絡的輸入，并生成與中心切片的分割圖。最后，做了豐富的可視化工作。

本文僅做學術分享，如有侵權，請聯系刪文。