1

Robust Segmentation of Overlapping Cells inHistopathology Specimens Using Parallel Seed

Detection and Repulsive Level Set

作者： Xin Qi* ets

出處： IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING

2

Outline

• Abstract• Introduction• Touching cell segmentation• Cell segmentation• Experimental results• Discussion and conclusion

3

Abstract

• TMAs( 微陣列系統 ):– 微陣列系統可分為：– DNA 晶片– 蛋白質晶片– 細胞晶片– 組織晶片

• TMAs 能有效的保存組織並具 有高處理能力 (Throughput) 。

4

Abstract

• 分析的影像為 TMAs 中的乳腺癌組織 , 將要對 TMAs 做定量分析 (quantitative analysis) 。

• 一般分析傳統的細胞影像常會遇到重疊或過於擁擠的情形。• 本論文提出一個具有可靠性的演算法將相連的細胞分開 ,

影像的部份為乳腺癌 TMA 樣本 , 利用 RGB 鏡頭擷取影像。

5

Abstract

• 此演算法主要可分成兩個步驟 :• 第一：使用單路徑表決 (single-path voting) 與群集的平均

偏移 (mean-shift clustering) 對物件中心定位。

• 第二：以交互模式 (interactive model) 與 Level set 的演算法 , 得到每一個細胞的輪廓。

• 在實驗部份 , 使用了 234 組 , 超過 2200 個細胞進行密集細胞的分割實驗。

6

Introduction

• 要分析病理組織相關影像時，將病理組織標本數位化後利用自動影像分析把細胞做分割。

• 目前的文獻中，在細胞沒有很擁擠的部分可以產生很好的分割效果，但他們無法將較密集的細胞做分割 .

• 以下這些方法可以處理具有緊密或輕微重疊的細胞核，但是他們不適合使用在含有大量細胞重疊的區域。

7

Introduction

• 目前使用在細胞分割的相關方法： (5 項 )• 1. 分水嶺 (watershed) 演算法最常被使用在解決較密集接觸

的細胞 , 但分水嶺演算法常會過度分割。

• 2. 利用圖像亮度的強度 (intensity) 與幾何資訊 (geometric information) 對 2D 、 3D 的重疊細胞做分割。

• 3. 追蹤梯度流動量 (gradient flow tracking) 演算法在三維的顯微鏡影像中切割細胞核。

8

Introduction

• 4. 利用型態匹配 (template matching) 來做細胞分割 , 此方法是利用 affine registration 尋找細胞的相關特徵點，其型態 (template) 大小從 70%~120% 不等，來尋找最佳匹配。

• 5. Al-Kofahiet al. 提出一個自動細胞核分割的方法， seed偵測的結果使用於細胞核分割的初始化標記，在結構相異的區域中有很好的效果。

9

Introduction

• 本論文貢獻：• 1. 具有高效率的演算法，提供了準確的種子 (seed) 偵測中

心點，且利用 level set model 做為初始化，將較密集的重疊細胞做定位與分割。

• 2. 這個演算法的設計具有平行計算 , 其數據較具獨立性(independence) 。

10

Touching cell segmentation

• 本論文所提出的分割演算法不僅限於限定的染色方法。

• 本論文所實驗的標本為乳房與血液的樣本以 TMAs 的方式保存 , 並使用 40 倍顯微鏡將 RGB 圖像擷取。

圖 1. 實驗的 TMAs 樣本

11

Touching cell segmentation

• 細胞相互重疊時，重疊區域的強度 (intensity) 比不重疊區域的強度暗。

圖 2. 黃色框框為重疊區域

12

Touching cell segmentation

• 細胞定位與分割的過程可以分成兩個步驟：

• 首先使用 single-pass 投票得到候選種子， 利用種子使用mean-shift 尋找幾何中心 (geometric center) 的位置。

• 第二部份，利用定位出的中心點，以 level set 擷取每顆相連細胞的輪廓 。

13

Touching cell segmentation

• A. 輸入影像• B. 擷取上表皮區域• C. 尋找候選種子• D. 上表皮區域內細胞輪廓的連通元件• E. 所有連通元件的結果圖

圖 3. 系統流程

14

Touching cell segmentation

• A. Seed detection ：• 相似研究：

– Al-Kofahi ，以 Laplacian-of-Gaussian (LoG) filtering 方法來定位中心點，並使用 iterative voting 的方法偵測重疊細胞的中心。

– Parvin et ，使用 constrained multiscale LoG ，經演算後給予細胞核一個評分值，利用評分值將多個核心分開。

Laplacian-of-Gaussian

15

Touching cell segmentation梯度影像

與 x軸計算的梯度影像 原圖的候選種子點

候選種子點 本論文的方法 , 定位中心點

改良前的演算法

誤判

16

Touching cell segmentation ( 相關介紹 )

• 當重疊區域比不重疊區域強度 (intensity) 亮或暗時，在重疊區域設定 (false seeds) 。

• 轉換原始圖像的背景為黑色或較暗的色系：– 希望藉此增加強感度，因此可以得到物件中心到其他物件中心向外的方向為負的定義。

亮 漸暗暗漸亮 亮

17

Touching cell segmentation( 定義錐形 )

• 假設 I(x, y) 為原始影像，∇ I(x, y) 梯度方向， || I(x, y)||∇ 為強度。

• α(x, y) 為投票距離→與其它候選中心點方向的趨勢，並由以下式子定義負梯度距離：

• −∇I(x, y) / || I(x, y)||= −(cos(θ(x, y)), sin(θ(x, y)))∇• θ 是 X軸所夾角的角度。

• A(x, y; rmin, rmax, Δ) → voting area 。 ( 投票區域 )

– < 每個像素點皆被定義為圓錐的頂點 >

• 選擇以錐形為投票區的原因：– 中心點具有遠離邊界的特性。– 減少須計算的數量

18

Touching cell segmentation( 定義投票的範圍 )

• 定義一個 2D 的高斯核心 g(x, y, μx, μy, σ) 與它的平均投票方向 (μx, μy ) ，位於面向投票區域中心點 α(x, y) 。

• 定義 shifted Gaussian kernel

• 當 μx = x + (rmax + rmin) cos θ/2 與 μy = y − (rmax +rmin) sinθ/2 成立時，目標物件中心點的投票區域將被放大。

進行投票的種子範圍。

19

Touching cell segmentation( 投票 )

• 定義 V (x, y; rmin, rmax, Δ) 為投票的圖像，假設有一張相同尺寸的原始影像 I(x,y) ，設置初始 V(x,y) 的所有像素為0 ，我們在更新單通道 (single-pass) 投票影像的做法為：

• 透過以上投票的總合取得候選種子。

投票範圍內的所有點 梯度方向 投票範圍

20

Mean shift

假設有一個圓，我們要計算圓心到這個圓中所有點的向量總和，得到 Mean shift 。

21

Touching cell segmentation( 相關介紹 )

• mean shift ：• 由 Fukunaga 等人提出，計算偏移的均值向量。• mean shift 一般指一個迭代的步驟，先計算出當前點的偏

移平均值，移動該點到其偏移平均值後再繼續移動，直到滿足條件為止。

22

Touching cell segmentation

• 以上方法由“ Iterative voting for inference of structural saliency and

characterization of subcellular events”加以改良。• 改良內容：

– a.)原演算法每點的梯度值偏高，我們改由高斯核心 (shifted Gaussian kernel) 的偏移量來代替梯度值。

– b.) 中心點的特性為遠離邊界，我們藉由高斯核心的方法後，在投票時趨勢會偏向物件的中心點。

• 改良成果：– A.) 在重疊的細胞中獲得較準確的結果。– B.)避免在重疊區域中出現假的中心點。

23

Parallelization of the Seed Detection on the Graphic Processing Unit

• 經過種子偵測的步驟後，每一個投票像素 (x,y)皆利用錐形投票區域 A(x, y; rmin, rmax, Δ) 進行範圍內的投票。

• 在最終影像中透過投票公式獲得的最終結果 ( 找到中心點 ) 。

24

Cell segmentation( 相關介紹 )

• 交互模式 (interactive model) ：• 1.防止輪廓重疊 。• 2. 每個像素皆被指派到差異最小的成員中。

• 交互模式 (interactive model) ：– 由下而上的模式（ bottom-up model）– 由上而下模式（ top-down model）– 交互模式（ interactive model )

< 交互模式具有結合上面兩個模式 >

25

Cell segmentation(邊界切割 )

• 每顆細胞都擁有自己的等位能量函數。• 假設影像 I內含 N 顆細胞。

– Ci(i=1~N) ， Ci 與 Cb 分別代表了細胞區域與背景區域的平均強度。– Ai 為細胞的區域 {Ai |i = 1, 2, . . .,N}– Ωb 為區域以外的所有細胞： out(C1 )∩out(C2 )∩…∩out(CN ) 。– 在運算符號 ( ) 的內以及外，分別代表了細胞內與外的區域。– λ0 、 λb 、 ω 、 u皆為固定的權重參數。

• 能量函數 E ：

細胞區域梯度值

細胞區域 背景區域

26經改變的黑維賽階耀函數

Cell segmentation(邊界切割 )

• g 為 sigmoid函數：– α ：輸出曲線。– β ：斜率的大小。

• 因要得到能量函數 Ψi (t, x, y) ，所以經以下函數的推導：

• 分割的部份是透過 level set 使用能量函數 (E)而來。• 為了表達等位能量函數 (E) ，我們提出一個正規化的

Heaviside函數。

• ε 為 H函數的調節參數。

27

Cell segmentation(邊界切割 )

• delta函式的定義為：

• 能量函數可以透過梯度下降法進行迭代得到最小化的能量函數。

• 透過推導 Euler-Lagrange 方程，獲得每個能量函數 Ψi (t, x, y) 。

28

Cell segmentation(邊界切割 )

• 經 level set 的輪廓不斷演化後，細胞區域 Ci 與背景區域Cb 疊代更新， 獲得細胞的輪廓。

29

Experimental results

• 我們使用約 234張影像， 2200 顆細胞。

• 實驗步驟可分成：– 種子偵測。– 細胞邊緣分割。

• 實驗切片：– 乳癌切片 ( 細胞密度高，形狀較不一致 ) 。– 血液抹片 ( 細胞較獨立，且形狀較一致 ) 。

30

Experimental results( 種子偵測 )

• a.)原始雙疊與三疊細 胞。

• b.)未改進的演算法產生假種子。

• c.) 使用 mean shift 前的候選種子。

• d.)改進後的演算法。

• 未改進的演算法在重疊區域中有較暗 / 亮的時候，中心點會有誤判情形。

31

Experimental results ( 種子偵測 )

• TMA 保存方式的乳房上表皮細胞。

• 可以看出中心點皆在物件的中心，沒有出現再重疊區域。

32

Experimental results ( 種子偵測 )

• 我們的方法提供了準確的中心點。

未改進前錯誤的種子中心

改進後正確的種子中心

33

Experimental results ( 種子偵測 )

• 血液細胞也有很好的效果。• 定位的中心幾乎都在細胞的

中央。

34

Experimental results ( 種子偵測 )

• 為了評估種子檢測的準確性，定義一個計算距離的誤差函數E(失誤率 ) 。

• 評估內容：由種子定位中心點與人工定位中心點之間的距離誤差。

• 80% ：在所有樣本實驗中具有 8 成準確率的排序。 (represents the sorted 80% accuracy) 。

• 使用改進後的演算法在失誤與假種子平均統計為 0.2 與 0.8 。• 使用未改進的演算法在失誤與假種子平均統計為 1 與 1.2 。

E 的定量比較表 中位數：例如有 1 、 2 、 3 、 4 、 5中位數為 3

35

Experimental results ( 種子偵測 )

• 左為均值向量 (mean shift) 的平均誤差。

• 說明我們的種子偵測演算法，在參數初始化的部份較不具敏感度。

• 第一列為 RGB 影像。• 第二列是均值向量的細胞最小直徑與頻帶寬的平均誤差。

• 第三列是說明，平均誤差小於 5個像素時，在容忍範圍內 。

頻帶寬

直徑

2~20間隔

24~11間隔

10~40間隔

5

36

Experimental results(邊緣分割 )

• 第一列：原始影像。

• 第二列：人工圈選。 由人類專家頻估 (human experts)

。

• 第三列：未改進的演算法。 舊種子做 level set 分割。

• 第四列：改進後的演算法。 新種子做 level set 分割。

37

Experimental results

• 為了評估這種定量結果的準確性：– 假設 P=精確度 (precision) ， R=召回率 (recall) 。– P 、 R 定義為自動分割與手動分割結果的交集 (intersection) 。

• 未改進的演算法：– P 與 R 的平均 (mean) 與標準偏差 (standard deviation )

為 0.84 ± 0.04 與 0.64 ± 0.02 。• 改進的演算法：

– 平均與標準偏差為 0.90 ± 0.02 與 0.78 ± 0.01 。

標準偏差 (standard deviation ) ：標準偏差是一組觀察平均值分散程度的數值。

顯示手動與 ground truth之間具有一致性。

38

Experimental results

• 利用中心種子使用level set 演算法分割的結果。

39

• a.)原始影像。• b.) 使用我們的種子為標記的分水嶺演算法。• c.) 使用 mean-shift 的結果。• d.) 使用 Isoperimetric 分割的結果。 ( 等周演算法，對相同面積有較好結

果。 )• e.) 使用未改進的方法。• f.) g.) 本論文的演算法。

40

Experimental results

• 與其他人所提出的方法或演算法比較。• 由於我們修正了錯誤的種子，因此取得較好的分割結果。

精確度 召回率

41

Discussion and conclusion

• 本文提出了一個 分割重疊細胞的演算法，並在臨床的數據中進行實驗。

• 經實驗，要準確分割細胞必須要有準確的中心點。• 我們證明了利用 single-pass加上 mean-shift 演算法，可以

在密集的區域中準確的找到細胞的中心點並加以分割。• 由於有準確的中心點，利用 level set 演算法在互動模式中

能有效的切割細胞。• 我們改進了分割的結果，實現以準確的中心點數量，利用邊緣排斥力 (repulsion term) 在等位函數法的能量函數中分開重疊的邊界。

42

相關討論

43

Image gradient

X軸的梯度變化 Y軸的梯度變化

44

Gaussian kernel

• 高斯核函數 (Gaussian kernel):• 最常應用在 RBF(Radial Basis Function ) 中。 k(||x-xc||)=exp{- ||x-xc||^2/2*σ^2) }• xc 為核函數的中心。• σ 為函數的寬度。

45

level set

– 等位函數法屬於主動型輪廓的一種。– 假設一張影像 I ，我們建立一張與 I 大小相同的函數

F ，此時每個 I 的像素都會對應到一個 F值。後續定義F=0 所成的集合為我們所要表示的輪廓， F>0 輪廓的外部， F<0 輪廓內部。

– 接著要找到方法更新的 ψ 使輪廓可以停在 想要的邊界。

F<0

F=0

F>0

46

Heaviside

• 又稱黑維塞階躍函數。• 它是個不連續數，其「微分」是迪拉克函數。

47

Euler-Lagrange equation

• 歐拉 -拉格朗日方程：• 為變分法中的一條重要方程。• 求泛函數平穩值的一個方法。• 全部可分成兩個方程：

• 第一方程：

• 第二方程：