题目 :segmentation given partial grouping constraints

2023年4月21日星期五

题目 :Segmentation given partial grouping constraints

作者： Stella X. Yu, Jianbo Shi

讲解人：翟德明


文章信息

发表刊物： PAMI

发表时间： 2004.2

引用次数： 55

会议文章：S.X. Yu and J. Shi, “Grouping with Bias,” Technical Report CMURI-TR-01-22, Robotics Inst., Carnegie Mellon Univ., Pittsburgh,Pa., July 2001.

Stella X.Yu, Jianbo Shi, “Grouping with bias”, Neural Information Processing System, 2001.


相关文章：1. Grouping with bias, Stella X. Yu and Jianbo Shi, NIPS 2001.

2. Concurrent object recognition and segmentation by graph partitioning, Stella X. Yu, Ralph Gross and Jianbo Shi, NIPS 2002.

3. Object-specific figure-ground segregation, Stella X. Yu and Jianbo Shi, CVPR 2003.


作者信息Stella X.Yu ( 第一作者 )

作者简历西安交通大学、信息科学与技术系—学士学位清华大学、模式识别与智能控制—硕士学位CMU 、机器人—博士学位University of California at Berkeley 、计算机—博士后现任： Boston University 计算机系助理教授

研究方向计算机视觉生物视觉信号处理运筹学

主要文章http://www.cs.bc.edu/~syu/publication/publist.html

个人主页： http://www.cs.cmu.edu/~xingyu/


作者信息Jianbo Shi

作者简历1994 年 Cornell 大学、计算机与数学—学士学位1998 年 University of California at Berkeley 、计算机—博士学位1999-2002 Carnegie Mellon University 机器人系研究员2003 年 University of Pennsylvania( 宾夕法尼亚 ) 计算机系助理教授

研究方向计算机视觉图像认知学人工智能机器学习

主要文章： http://www.cis.upenn.edu/~jshi/jshi_publication.htm

个人主页：http://www.cs.cmu.edu/~jshi/http://www.cis.upenn.edu/~jshi/


作者信息重要文章

J. Shi and J. Malik. Normalized cuts and image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(8):888–905, 2000.

引用次数： 2313


文章摘要图像分割问题可以视为图像中数据点的聚类问题。在这篇文章中，我们要解决在已知部分聚类约束作为先验知识的情况下的数据聚类问题。这种有倾向性的聚类可以形式化为一种有约束的最优化问题，其中数据的结构特性定义了聚类方式，而部分聚类约束线索定义了聚类方式的可行性。我们在有标号的数据点上加入平滑性 (smoothness) 和公平性 (fairness) 约束，目的是使稀疏的部分聚类信息更有效的传递到未标注数据上。实际采用 NCut 的准则函数，我们的形式化描述就变成一种带有约束的特征值求解问题。


文章摘要根据 Rayleigh-Ritz 理论及投影矩阵的性质，通过特征分解，我们找到无约束连续域上的全局最优解。根据这个最优值，可以有效的求得离散标注问题中的近似全局最优解。我们把提出的方法应用到实际的图像分割问题中，在这里部分聚类的约束先验通常可以来源一种粗糙的空域注意力图 ( spatial attentional map) ，这种注意力图能够确定具有共同的显著性特征的位置或者期望的物体位置。文章证明了我们的方法能够把图像结构和先验知识融合到单一的聚类过程中，还证明了在没有明确的目标知识的情况下，目标也可以从背景中被分割出来。


提纲

Problem Origin

Basic Formulation

Review on Normalized Cuts (NCut)

Constrained Normalized Cuts

Propagating constraints for sparse cues

Experiments

Conclusion


问题来源

传统方法 Bottom-Up (Data-Driven)顺序处理理论 (Marr)

所需要的信息区域的进一步合并

若干次中间表示局部区域合并（较高层次的视觉感知单元）（统计特性）

可直接计算的信息图像过分割


问题来源Task-Driven 与 Data-Driven 相结合

Location-driven Attentional Map

partial grouping image segmentation

+


问题来源Task-Driven 与 Data-Driven 相结合

feature-driven Attentional Map

partial grouping image segmentation

+


提纲

Problem Origin

Basic Formulation




Experiments

Conclusion


问题形式化

图像 I ， N 个顶点，类别 K

样本集合：K 类划分：

约束集：

[ ]V N

1

,

Kl l

k l

V

V V k l

V

, [ ],[ ] {1,2,..., }

,t

s t

t n n n

s t

UU U


问题形式化

优化目标函数：

ε: goodness of grouping

f : feature

: k-way partition

: boolean function if

max ( , )

. . ( , ) ( , ), , , [ ], [ ]

KV

K KV V t

f

s t i l j l i j l K t nU

KV

( , )KV i l , ( , ) 1K

l Vi V i l


问题形式化

ε: goodness of grouping后验概率：

Normalized Association: (NCut)

( , ) ( | ) ( | ) ( )K K K KV V V Vf P f P f P

1

,

,

1( , ) ( , )

( , )

( , )( , ) l l

l

KKV l

l

i V j V

i V j V

l

f linkratio V VK

W i j

W i jlinkratio V V


提纲

Problem Origin

Basic Formulation




Experiments

Conclusion


Graph Vs. Image

图像 I 对应无向加权图 G=(V,E) 权WV ：顶点集，图像中每一个像素点构成图的一个顶点W ：相似度矩阵，表示样本 i 和样本 j 的相似度

E: 如果， i ， j 顶点之间有一条边

( , )W i j

22

( ) ( )

2

2( , ) , ( ) ( )

0, otherwise

i jf x f x

i je rW i j f x f x

( , ) 0W i j


Minimum Cut

以 K=2 为例割集：

失败的分割,

min ( , ) ( , )u A v B

cut A B W u v


Normalized Cuts

Normalized Cuts

Normalized Association

2 2

yellow yellow

yellow blu yellowered

( , ) ( , )min ( , )

( , ) ( , )

cut A B cut A BNcut A B

assoc A V assoc B V

,

( , ) ( , )u A t V

assoc A V W u t

( , ) ( , )max N ( , )

( , ) ( , )

assoc A A assoc B Bassoc A B

assoc A V assoc B V

2

2 2

2

yellow

bluered

blre u l od we ye l


Normalized Cuts

双重性（ duality）

min Ncut(A,B) = max Nassoc(A,B)

考虑了全局结构同时使得类内相似度最大，类间相似度最小

( , ) 2 ( , )Ncut A B Nassoc A B



优化目标：K 类 2 类

进一步形式化： partition matrix

1

,

,

1( , ) ( , )

( , )

( , )( , ) l l

l

KKV l

l

i V j V

i V j V

l

f linkratio V VK

W i j

W i jlinkratio V V

( , ) ( , )max N ( , )

( , ) ( , )

assoc A A assoc B Bassoc A B

assoc A V assoc B V

X KN K V ( , )

1, i V0, otherwise

lX i l

1 kX={X ,...,X }

1 0

1 0

0 1

0 1

X

例如：

1 1k NX



第 l 类： 2倍类内权值的和：类内顶点到所有顶点的权值和

：该类与非同类样本间的权值的和

l l

TX WX

l l

TX DX

( )l l

TX D W X

2 ( , )l l

assoc X X

( , ) 2 ( , ) ( , )l l l l

assoc X X assoc X X cut X X

例如：

0 12 13 14 1

21 0 23 24 11 1 0 0

31 32 0 34 0

41 42 43 0 0

w w w

w w w

w w w

w w w

21 12 13 23 14 24w w w w w w



( 1 )ND diag W

,

( , ) ( , )lu V t V

assoc V V W u t

L ： L=D-W ，又叫拉普拉斯矩阵该类与非同类样本间的权值的和



1

,

,

1( , ) ( , )

( , )

( , )( , ) l l

l

KKV l

l

i V j V

i V j V

l

f linkratio V VK

W i j

W i jlinkratio V V

1

1( ) l l

l l

Tk

NC Tl

X WXX

k X DX

{0,1} , 1 1N Kk NX X

maximize

subject to

1

1 1( )l l

l l

T Tk

T Tl

X WX X WXtr

k X DX k X DX

例如：

l

1

2 1 2

1 1 2

2

0 12 13 14 1 0

1 1 0 0 21 0 23 24 1 0

0 0 1 1 31 32 0 34 0 1

41 42 43 0 0 1

T T

T T

w w w

w w w

w w w

w w w

X WX X WX

X WX X WX

l

WX DX广义特征值

1 2... k 1,{ ..., }kp p


提纲

Problem Origin

Basic Formulation




Experiments

Conclusion



优化目标函数：max ( , )

. . ( , ) ( , ), , , [ ], [ ]

KV

K KV V t

f

s t i l j l i j l K t nU

1

1 1max ( )l l

l l

T Tk

T Tl

X WX X WXtr

k X DX k X DX

约束向量： 1 2,[ , ... ]nU U U U1

1n

ttn U

例如：1

2

{1,2,3}

{4,5}

U

U

1 0 0

1 1 0

0 1 0

0 0 1

0 0 1

0 0 0

U

N nU

0TU X

1 0

1 01 1 0 0 0 0

1 00 1 1 0 0 0

0 10 0 1 1 0 0

0 1

0 1

TU X


解法：找到 U 的零正交空间，使得

1

1 1max ( )l l

l l

T Tk

T Tl

X WX X WXtr

k X DX k X DX


最优化问题 s.t.

U

0TU X

( ) 0N n N N n

TU U

X U Yn N由于，

在 N维空间中已知个正交向量，找个与之正交的向量，困难！因此采用正交投影矩阵的方法解决这个问题

n N n


提纲

Problem Origin

Basic Formulation




Experiments

Conclusion


稀疏的约束

原因：没有考虑到约束点和其周围点的关系解决方案：对于局部的分割加入平滑性和公平性的约束

期望结果

当前分割结果


平滑约束

优化目标函数： maximize

subject to1

1 1( , ) ( )

( , ) ( , ), , , [ ], [ ]

l l

l l

T TkKV T T

l

K KV V tf f

X WX X WXf tr

k X DX k X DX

i l j l i j l K t nS S U

fS :local smoothing kernel

( , ) ( , )Kf V ij

j

S i l P X j l i

j0TU X 0TU PX

0TTP U X

-1P D W


定理 1 ：设 A 是 n阶实对称阵， A 的特征值，对

应的标准正交特征向量为，则

证：任取则于是有令

理论基础— Rayleigh商定义 1 ：设 A 是 n阶实对称阵，。称

为矩阵 A 的 Rayleigh商。

nx ( ) , 0T

T

x AxR x x

x x

1 2 ... n

0 1

0

min ( )

max ( )x

x n

R x

R x

1, 2 ,..., np p p

0 nx 2 2 21 1 2 2 1 2... ( ... 0)n n nx c p c p c p c c c

1 1 1

2 21 1

2 21

...

...

...

n n n

Tn n

Tn

Ax c p c p

x Ax c c

x x c c

21

2 21

( 1,..., )...i

n

ck i n

c c

1 ... 1nk k 则

1 1( ) ... n nR x k k


定理 2：非零向量是 R(x)驻点的重要条件是为属于特征值的特征向量。

理论基础— Rayleigh商定义 2 ：设 A ， B 是 n阶实对称阵，且 B正定，。称

为矩阵 A相对于矩阵 B的广义 Rayleigh商。

0x

nx

( ) , 0T

T

x AxR x x

x Bx

0x

Ax Bx

( ) ( )T Tx Bx R x x Ax 2 ( ) ( ) 2

2[ ( ) ]

T

T

dRBxR x x Bx Ax

dxdR

Ax R x Bxdx x Bx

关于 x 求导数：



1 2... k

X 离散化

,{0,1} , 1 1N KK NX X

1

1 1( )l l

l l

T Tk

T Tl

X WX X WXtr

k X DX k X DX

WX DX广义特征值

s.t.

2p1 1 1 {1,...,1}p

2 0.75 2 {0.3,0.2, 0.13, 1}p

* 0x 3p


理论基础—正交投影矩阵设 L ，是子空间，且 L ，互为正交补空间，则任意，都可以唯一分解为

称 y 是 x沿着到 L 的正交投影。

L n L

nx

x y z, y L,z L L

则称为沿着到 L 的正交投影算子。L,LP L

正交投影算子在的基下的矩阵称为正交投影矩阵，记为。

L,LP x y

n 1 2 ne ,e ...,e

LP

Z

YO

X


理论基础—正交投影矩阵

解：设 dimL=r, 则 dim =n-r 。在子空间 L 和分别取定基底，

根据投影的性质有：

作为分块矩阵

L 求解正交投影矩阵

1 r{x ,..., x } 1 n-r{y ,..., y }

L i i

L j

P x x (i 1,2,...r)

P y 0( j 1,2,...n r)

1 r

1 n-r

X (x ,..., x )

Y=(y ,..., y )

LP [X|Y] [X | 0]

1LP [X | 0][X|Y]

z

yo

x


理论基础—正交投影矩阵1

LP [X | 0][X|Y]

11 T T[X | 0][X|Y] [X|Y] [X|Y]

1T T[X | 0] [X|Y] [X|Y] [X|Y]

1T T

T T

X X 0 X[X | 0]

0 Y Y Y

1T T

T1T

X X 0 X[X | 0]

Y0 Y Y

1T TX X X X

LP =I-PL

LIx=P x+P xL

z

yo

x



最优化问题：maximize

subject to

矩阵求解：

解：

1( )

T

T

X WXtr

k X DX

0TU X

* *QPx x-1P D W

-1 T -1 1 TQ=I-D U(U D U) U

1 kX={x ,...,x }

为前 k 个最大特征值对应的特征向量


算法基本步骤

Step 1: 计算 degree matrix D

Step 2: 计算 normalized matrix

Step 3: 计算 conditioned constraint

Step 4: 计算 projected weight matrix

Step 5: 计算前 K 个特征值所对应的特征向量

Step 6:对设阈值离散化

-1P D WTV P U

-1 T -1 1 T(I-D V(V D V) V )W QP P

* *Wx x

*x


提纲

Problem Origin

Basic Formulation




Experiments

Conclusion


实验验证


存在问题

1 、 K 的个数需要手动指定2 、根据先验构造的分组约束有错误，那么会对分割的结果造成一定负面影响。如鞋子的末梢被认为是背景，则不会重新将鞋子分成前景组成部分。不具有对约束信息检错和纠错的能力。


提纲

Problem Origin

Basic Formulation




Experiments

Conclusion


结论本文提出了一种 bottom-up 和 top-down 相结合的方法。其中 bottom-up基于图像的底层线索， top-down基于部分聚类约束，这些约束可来源于现实世界的一些先验知识。本文将图像的信息和先验约束的信息统一起来，并最终形式化成为有约束的最优化问题来求解。通过分析表明当部分聚类约束稀疏时，根据数据的内在一致性进行约束传播是及其必要的。实验验证了该方法的有效性。


未来工作当前的先验知识是不依赖与特定目标的，主要依据位置和亮度分布作为先验。如何结合更加复杂的先验（特定目标的先验），将特定的目标进行分离出来。

Object-specific figure-ground segregation, Stella X. Yu and Jianbo Shi, CVPR 2003.


讨论Normalized Cuts 方法与 Mean Shift 方法比较？哪个更好？哪个更优？

改进：？？？1 、本方法是将目标变成条件最优化。增加约束。

还有一种做法是直接根据约束修改相似度矩阵 W 。

约束有两种：must-link

M={(xi, xj) | xi, xj属同一聚类 }

cannot-link

C={ (xi, xj) | xi, xj 属不同的聚类 }

22

( ) ( )

2

2( , ) , ( ) ( )

0, otherwise

i jf x f x

i je rW i j f x f x

题目 :segmentation given partial grouping constraints

Documents