image segmentation by data-driven markov chain monte carlo

2023年4月20日星期四

1

Image Segmentation by Data-Driven Markov Chain Monte Carlo

作者： Zhuowen Tu and Song-chun Zhu

讲解人： Dan Wang


2

作者的相关信息

Zhuowen TuAssistant Professor

Department of Neurology and Department of Computer Science

University of California, Los Angeles

Experience:07/2008-, Assistant Professor, Department of Computer Science, UCLA.

07/2007-, Assistant Professor, Lab of Neuro Imaging, Department of Neurology, School of Medicine, UCLA.

11/2005-05/2007 (UCLA), Researcher, Lab of Neuro Imaging, School of Medicine, UCLA. (Leading the special interest group in statistical approaches at Center for Computational Biology)

07/2004-10/2005 (Siemens), Member of Technical Staff, Siemens Corporate Research, Princeton, NJ

12/2002-06/2004 (UCLA), Post-doctoral fellow, Department of Statistics, University of California Los Angeles, Los Angeles, CA


Education:12/2002, Ph.D. Department of Computer and Information Science, The Ohio State University, Columbus, OH

07/1996, M.E. Department of Civil Engineering, Tsinghua University, Beijing, China

07/1993, B.E. Department of Electronic Engineering, Beijing Information Technology Institute, Beijing, China

Research interestsBrain Imaging

Discriminative Learning/Computing

Generative Model Learning

Generative Model Inference Guided by Discriminative Models


3


JournalsZhuowen Tu, Katherin Narr, Piotr Dollar, Iov Dinov, Paul Thompson, and Arthur Toga, "Brain Anatomical Structure Segmentation by Hybrid Discriminative/Generative Models", IEEE Tran. on Medical Imaging, vol. 27, no. 4, pp. 495-508, April, 2008.

Zhuowen Tu, Songfeng Zheng, and Alan Yuille, "Shape Matching and Registration by Data-driven EM", Journal of Computer Vision and Image Understanding, vol. 109, pp. 290-304, 2008.

Z. Tu, S. Zheng, , A. Yuille, A. Reiss, R. Dutton, A.Lee, A.Galaburda, I. Dinov, P. Thompson, A. Toga, "Automated Extraction of the Cortical Sulci Based on a Supervised Learning Approach", IEEE Tran. on Medical Imaging, vol. 26, no. 4, April, pp. 541-552, 2007.

Zhuowen Tu and Song-Chun Zhu, "Parsing Images into Regions, Curves, and Curve Groups", International Journal of Computer Vision, vol. 69, no. 2, pp. 223-249, Aug., 2006.

Zhuowen Tu, Xiangrong Chen, Alan Yuille, and Song-Chun Zhu, "Image Parsing: Unifying Segmentation, Detection, and Object Recognition", International Journal of Computer Vision, vol. 63, no. 2, pp. 113-140, July, 2005.

Zhuowen Tu and Song-Chun Zhu, "Image Segmentation by Data-Driven Markov Chain Monte Carlo", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 657-673,May, 2002.

Zhuowen Tu and Ronxing Li, "A Framework for Automatic Recognition of Spatial Features from Mobile Mapping Imagery", Journal of Photogrammetric Engineering and Remote Sensing, Vol. 68, No. 3, March, 2002.


4


ConferencesZhuowen Tu, "Auto-context and Its Application to High-level Vision Tasks", (CVPR), 2008 .

Zhuowen Tu, "Learning Generative Models via Discriminative Approaches", IEEE Computer Vision and Pattern Recognition (CVPR), June, 2007.

Zhuowen Tu, Xiang Sean Zhou, Adrian Barbu, Luca Bogoni, and Dorin Comaniciu, "Probabilistic 3D Polyp Detection in CT Images: The Role of Sample Alignment", IEEE Computer Vision and Pattern Recognition , (CVPR), 2006.

Zhuowen Tu, Xiang Sean Zhou, Dorin Comaniciu, and Luca Bogoni, "A Learning Based Approach for 3D Segmentation and Colon Detagging", 9th European Conf. on Computer Vision (ECCV), May 2006.

Zhuowen Tu, "An Integrated Frmework for Image Segmentation and Perceptual Grouping", 10th IEEE International Conference on Computer Vision (ICCV), Oct. 2005 .

Zhuowen Tu, "Probabilistic Boosting-Tree: Learning Discriminative Models for Classification, Recognition, and Clustering", 10th IEEE International Conf. on Computer Vision (ICCV), Oct. 2005 .

Zhuowen Tu, and Alan Yuille "Shape Matching and Recognition--Using Generative Models and Informative Features", 8th European Conf. on Computer Vision (ECCV), May 2004 .

Zhuowen Tu, Xiangrong Chen, Alan Yuille, and Song-Chun Zhu, "Image Parsing: Segmentation, Detection, and Object Recognition", 9th IEEE International Conf. on Computer Vision (ICCV), Oct. 2003 .

Zhuowen Tu and Song-Chun Zhu, "Parsing Images into Region and Curve Processes", 7th European Conf. on Computer Vision (ECCV), May, 2002.

Zhuowen Tu, Song-Chun Zhu, and Harry Shum, "Image Segmentation by Data Driven Markov Chain Monte Carlo", 8th IEEE International Conf. on Computer Vision (ICCV), July 2001.


5



6

Song-Chun ZhuResume ：

July 2006, Professor, University of California at Los AngelesJuly 2002, Associate Professor, UCLASept 1998, Assistant Professor, Ohio State UniversitySept 1997, Lecturer, Stanford UniversitySept 1996, Post-doc, Brown University1996 Ph.D. Harvard University1994 M.S. Harvard University1991 B.S. University of Science and Technology of China

Papers ：http://www.stat.ucla.edu/~sczhu/publication.html100+ papers ， 30+ journal papers

Research areasComputer Vision, Statistical Modeling and Computing, Vision and Visual Arts, Machine Learning


7

文章的相关信息

文章出处IEEE T-PAMI

发表时间MAY 2002

相关文献Zhuowen Tu, Song-Chun Zhu, and Harry Shum, "Image Segmentation by Data Driven Markov Chain Monte Carlo“, ICCV, 2001.

Song Chun Zhu , Alan Yuille. “Region competition: Unifying snakes, region growing, and Bayes/MDL for multiband image segmentation.” TPAMI, 1996.

摘要

本文提出了一种 Bayesian 统计框架下，数据驱动的Markov 链蒙特卡罗（ DDMCMC ， Data-driven Markov Chain Monte Carlo) 范式用以图像分割。本文在图像分割上的贡献分四个方面。首先，设计了一种有效、平衡的 Markov 动态链以研究复杂的解空间，并因此求得不依赖初始分割的近似全局最优解。第二，提出了一个数学定理和 K-adventurers 算法以从Markov 序列计算多重 distinct 解。因此，它结合了图像分割的内在歧义性。


8

第三，利用聚类、边缘检测等数据驱动（自底向上）技术计算重要性提议概率，从而驱动 Markov 链动态变化，比传统的方法有极大的速度提升。第四， DDMCMC 范式为很多已提出的分割算法的应用提供了统一的框架，边缘检测、聚类、区域生长等在该框架下或用以实现 Markov 链动态变化，或用以计算重要性概率，各有所用。因此， DDMCMC 范式在一定的规则下，结合并推广了这些分割方法。DDMCMC 范式采用了 7 个参数和非参数图像模型对各种区域的灰度和彩色建模。我们在灰度和彩色图像上对DDMCMC 进行实验，并在文章中报告了一些结果。


9


10

研究背景和研究意义

第一个挑战是对一般的图像中大量可视模式进行建模的复杂度非常高。图像分割的目的是将一幅图像分割成各个要素，而要素是各种随机过程，包括点、线、纹理、光照变化，可变形物体。因此分割算法必须结合许多种图像模型，而其性能上界由模型的精确度决定。第二个挑战就是图像感知内在的歧义性（ ambiguity ），尤其是没有特定任务引导的情况下。分割的输出只有一个结果的看法是错误的。我们认为，图像分割应该被看做一个计算过程而不是一个视觉任务，它应当动态且不停地输出多个截然不同的解，以最佳保持内在的多义性。

问题的提出

Bayesian问题I 表示一幅图像W 表示自然世界中的一个语义表示（一个分割）

从统计的角度，我们从大量的后验概率中采样，以保持多义性


11

本文解决思路的基本思想

将分割看做 Markov 链中不同的状态，用动态变化模拟分割的变化：区域合并、分裂，区域生长、边界变化等。


12


13


1. 我们将问题形式化为 Bayesian/MDL 框架，使用七族 (family) 图像模型，这些模型足以解释图像中的多个可视模式，比如 flat regions, clutter, texture, smooth shading 。

2. 我们将解空间分解为不同维数的多个子空间，每个子空间是许多图像分割和图像模型子空间的共同产物。 Bayesian后验概率分布在这个异构空间中。


3. 我们设计了各态遍历的 Markov 链以探索解空间并采样后验概率。 Markov 链包含两种状态：跳转（ jumps ）和扩散（ diffusion ）。跳转模拟可逆的分裂合并和模型转换。扩散则模拟边界形变，区域生长，区域补齐，和模型调整。我们将分裂合并过程设计为可逆的，各态历经性和可逆性保证了算法可以独立于初始的分割条件。得到近似全局最优的解。


14


4. 我们利用数据驱动技术来指导 Markov 链搜索，因此比以往的 MCMC 算法获得了较大程度的速度提升。这些数据驱动技术有边缘检测，数据聚类等。这些算法的结果用加权样本或者粒子（ particle ）来表示，可以对各个子空间的非参数概率进行编码。这些概率分别近似 Bayesian后验概率的边缘概率，用以设计重要的重要性提议概率以驱动 Markov 链。

5. 提出 K-adventure 算法，用以从 Markov 序列中或在多个尺度的细节中选出重要且彼此截然不同的解。


15


17

文章的组织结构

引言问题的形式化和图像建模解空间的剖析利用各态历经的 Markov 链探索解空间数据驱动方法重要性提议概率的计算多个截然不同的解的计算实验


18



形式化 #1

图像网格 :

图像 :

对任意像素点，灰度图像：彩色图像：

图像分割描述 :

区域描述为离散的标号 :

区域 boundary描述为连续的 :

形式化 #2

每一个图像区域是概率模型产生的一个实例是由索引的模型参数一个分割可以被表示为，一个由隐变量组成的矢量 W ， K 是区域的数目：

Bayesian Framework:

Space of allsegmentations

PriorLikelihoodPosterior

第一个挑战：如何获得实际的图像模型？Prior and Likelihood？


21

先验概率 p(W)

~ 均匀分布

尽量少的区域数目

倾向于圆形的区域

倾向于小区域

倾向于简单模型，参数越少越好

似然概率

是模型的类型对于灰度图像，对于彩色图像

是模型的参数是区域的表观


23

似然概率


24

Four Gray-level Models

Flat region Clutter Texture Shading

Gray-level model space:

Gaussian Intensity Histogram

FB ResponseHistogram

B-Spline

Three Color Models (L*,u*,v*)

Gaussian

Mixture of 2 Gaussians

Bezier Spline

Color model space:


27



解空间的剖析


28

= or


29

Partitionspace

Partitionspace

Cuespaces

Cuespaces

SceneSpaceSceneSpace


30



三个基本准则

各态历经 (Ergodic) ：从任意初始的分割状态开始， Markov 链可以在有限时间访问到解空间中的任意其他状态。这一特性由 jump 和 diffusion来保证。非周期，不重复 (Aperiodic) ：这由 dynamic 的随机选择性来保证。有稳定概率分布 p(W|I) ，本文中由更强的条件来保证：细致平衡，这就要求每一步移动都是可逆的。本文的 jump都满足细致平衡和可逆性。


31

5 个 Markov 动态变化

分别按照 q(1),…,q(5) 的概率采纳五种动态变化模式5 个 Markov 动态1. 边界扩散（ Boundary Diffusion ）2. 模型调整（ Model Adaptation ）3. 分裂区域（ Split Region ）4. 合并区域（ Merge Region ）5. 转换区域模型（ Switch Region Model ）


32

diffusion

jumps

1.Boundary Diffusion or Competition

用连续的边界表示区域 Ri (I = 1,…, K).

利用一个区域补齐方程（参见文献 [29] ），以最大化某个后验概率为目标，以此使得曲线不断变化。向着下式上升最快的地方。

在空间内扩散


33

Boundary Between

Regions i and j

Boundary Between

Regions i and j

Brownian MotionAlong

Curve Normal

Brownian MotionAlong

Curve NormalTemperature

Decreases overTime

TemperatureDecreases over

Time

2. Model Adaptation

通过最大化后验概率上升速度，拟合区域参数

在空间内部进行扩散

3-4. Split and Merge

将目标区域分裂为两个区域：

Metropolis Hasting method ：http://en.wikipedia.org/wiki/Metropolis-Hastings_algorithm

未改变部分未改变部分

提议分裂的可接受概率

Conditional Probability of how likely chain proposes to move to W’ from W

1. 首先得到 k 区域，然后生成边界，选用 l 模型， l 模型下选用参数

2. 首先得到 k 区域，假设将要分裂到的两个区域会采用哪种 l 模型，及模型下假设采用哪些参数


36

3-4. Split and Merge

合并两个区域

合并的提议概率

5.Model Switching

改变模型

提议概率

瓶颈

：给定一个区域如何确定边界分裂它？

：给定区域和模型类型，如何确定模型参数？


39

or

数据驱动方法


40



在网格 Λ 中，给定一幅图像，我们在每一个像素点提取一个特征向量，一幅图像表示为一组向量

对这组向量进行 m-mean 或 mean shift 聚类，得到m 个带权的聚类，

称是空间中一个带权的元粒子 (atomic or cue particle)2023年4月20日星期四

41

方法 1 ：在原子空间中聚类

方法 1 ：在原子空间中聚类

在聚类算法中，每一个特征向量，以概率分类为：

显著图（ Saliency map ） :


42

例：在空间中计算元粒子


43

方法 2 ：边缘检测（ Edge detection)

3 个尺度上分别进行边缘检测：


44


45



一种图像模型聚类或一个尺度上的边缘检测算法有时能够产生比较好的分割结果，甚至在一些图像上可以得到完美的结果，但也经常远远达不到可靠的性能。但是，没有先验告诉我们，一般的图像中存在着什么类型的 region 。因此，我们计算所有的模型，并在多重 scale 上进行 edge detection ，然后以概率的形式利用聚类结果和边缘检测结果。MCMC 理论提供了这样一种框架，让我们在整体定义的Bayesian 后验概率的指导下整合这些概率信息。如何计算重要性提议概率？


46

计算重要性提议概率

在元空间 (cue space ) 中利用聚类方法可以得到一组带权的元粒子 (cue particles) 。可以在上编码一个非参数的概率：

其中， G(x) 表示以 0 为中心的 parzen窗。事实上，是后验概率在空间上边缘概率的近似。


47

对整幅图像只计算一次在运行时求得，计算方法：每个聚类模型被当前区域选中的可能性：

因此，我们为 R 区域采样新的 model ：


48


如何选择一个模型参数首先根据随机选择一个聚类 i

然后在处做一个随机扰动，这样对于任意的，都有非零的被选中的概率，从而保证了各态历经性（ ergodic ）


49



表示我们在 3 个不同的尺度上得到的分割图每个分割图由一组元区域（ metaregions ）组成


50

这些元区域联合组成 k 个（ k<=n ）区域

K-partition ：

这里的和有所不同，分割的单位不同


51


K-Partition 的集合

只是的一个稀疏子集

每个分割图可以得到一个在元空间中的一个概率


52


由此得到的一个近似值：

对一整幅图像来说，只计算一次，（或者说是对，隐式地，对 k）重要性提议概率由在运行时计算得到。


53


表示一个基于的 c-partition

相应的空间


54


定义该空间上的分布：

由此得到提议将区域 R 分割为 c部分的提议

实现时 c=2简化计算2023年4月20日星期四

55


计算和

在将区域分裂的时候，我们发现有时第二种方法更加有效。这是我们对区域进行两次重要性提议概率采样：

然后通过显著性图随机标定区域标号来决定边界


56

统一的框架

通过边缘检测等方法隐式地计算在上的边缘概率。利用聚类算法，计算不同模型类型的边缘概率。区域合并和模型转换实现 jump 动态变化。区域生长和区域补齐方法实现 diffusion 动态变化，从而使区域边缘变化。


57


58


引言问题的形式化和图像建模解空间的剖析利用各态历经的 Markov 链探索解空间数据驱动方法重要性提议概率（ importance proposal probabilities ）的计算多个截然不同的解的计算实验

保留多个解的动机

自然图像存在固有的多义性不同的应用要求不同的输出，分割结果应该和具体的任务相结合。当先验和似然都不完美时，保留多个解是必要的，也许局部最优比全局最优更佳。


59

K-adventures 算法

如何获得 K 个截然不同的解


60


61


引言问题的形式化和图像建模解空间的剖析利用各态历经的 Markov 链探索解空间数据驱动方法重要性提议概率（ importance proposal probabilities ）的计算多个截然不同的解的计算实验


62


63


64


65


66

讨论

未来的工作方向：融合其他的图像模型结合特定任务提高 DDMCMC收敛速度


67

谢谢！


68

image segmentation by data-driven markov chain monte carlo

Documents