第七章 特征的选择和提取

2010.12.06

基于K-L变换的特征提取

主成分分析（PCA）

3

主成分的意义

4

K-L 变换

对随机向量 x，用确定的完备正交归一向量系 uj （j = 1 ,2, …, ∞）展开

1

, ;Tj j j j

j

c c

x u u x

1,.

0,Ti j

i j

i j

u u其中，

5

K-L 变换

用有限项逼近

x

均方误差

1

;d

j jj

c

x u

1

( ) ( ) ;T T Tj j

j d

E E

x x x x u xx u

1

min min ( )

. . 1, 1, , ;

T Tj j

j d

Ti i

E

s t i d

u u xx

u u

目标函数：

6

K-L 变换

最小化均方误差

1 1

( ) ( 1)T Tj j j j j

j d j d

g

u u u u u

( ) 0 ( ) 0, 1, , ;j jj

g I j d

u u

u

0, = , 1, , ;j j jd j u u 令 有

1

.jj d

7

K-L 展开式的性质

1. 信息的最佳（压缩）表达

—

均方误差最小

2. 新空间的特征互不相关

[ ] [ ]

;

T Ti j i j

Ti i j i ij

E c c E

u xx u

u u

[ ] [ ]

;

T T T

T

E E U U

U U

cc xx

Λ

1

2

0

;

0 D

Λ

8

K-L 展开式的性质

3.

表示熵最小

归一化展开系数的方差（特征值λj）

表示熵

.1 ,10 ,,,2,1 ,1

1

D

iijD

ii

jj Dj

1

log .D

j jRj

H

9

K-L 展开式的性质

10

K-L 展开式的性质

4.

总体熵

考查用均值代表样本 集所造成的不确定性

总体熵最小的变换

)];([log xpEH p

1 2[ , , , ]dA u u u

其中u1 ,…,ud 为Ψ的的d个特征向量，其对应的特征 值满足λ1 ≤λ2 ≤… ≤λd ≤… ≤ λD 。

11

K-L 坐标系的产生矩阵

非监督特征变换

监督特征变换

]))([(

][T

T

E

E

μxμx

xx

协方差矩阵：

二阶矩矩阵：

1

, ( ),

( )( ) , 1, , .

c

w i i i ii

Ti i i i

S P P P

E i c

Σ

Σ x μ x μ

12

从类平均向量中提取判别信息

1. 计算 K-L 变换的产生矩阵：

2. 得特征值λi 的特征向量 ui ，i = 1, …, D；新特 征分量 yi = ui

Tx，方差为λi ；

3. 评价新特征各分量的分类性能：

将 J(yi ) 排序：

取前 d 个最大 J(yi ) 值相应的特征向量组成变换 矩阵：

1

c

w i ii

S P

Σ ；

( ) ;Tj b j

jj

J y

u S u

1 2( ) ( ) ( ) ( ),d DJ y J y J y J y

1 2[ , , , ].dU u u u

13

包含在类均值向量中的判别信息的最优压缩

1. 对 Sw 进行白化变换

由 Sw 出发通过 K-L 变换消除分量间的相关性

归一化：

2. 对 Sb′进行 K-L 变换：rank(Sb

′) ≤ c-1，Sb′最

多有 d≤c-1 个非零特征值，v1 , .., vd 为对应的 特征向量；

];,,[, 1 DwT UUU uuS

12 ;T

wB U B B I S令

' ;Tb bB B S S

12 ' '

1, [ , , ].dW U V V v v总变换矩阵：

14

例

15

K-L 变换的典型应用

降维与压缩

构造参数模型

人脸识别

人脸图像合成

16

Eigenface

人脸数据库

17

Eigenface

18

Eigenface

19

计算 Eigenface

1. 收集一组人脸图像 I1 ,…,IM （训练样本集合）；

2. 用（列）特征向量Γi 表示每一幅人脸图像 Ii ；

3. 计算平均特征向量：

4. 计算类中心化特征向量：

5. 计算样本协方差矩阵

1

1 ;M

iiM

;i i

1 21

1 , where [ ];M

T Ti i M

i

AA AM

20

计算 Eigenface

6. 计算 AAT 的特征向量

考察 M×M 维矩阵 ATA；

计算 ATA 的特征向量 vi：

矩阵 ATA 和 AAT 有相同的特征值，而本征向量 间满足关系

Σ的归一化特征向量：

;Ti i iA A v v

;i iAu v

1 , 1,2, , ;i ii

A i M

u v

21

原图像的降维表示

1

, ( );K

Ti j j j j i

j

mean w w

u u

1 2 , 1,2, , ;Ti i i

i Kw w w i M

22

利用 Eigenface 的人脸识别

1. 归一化：

2. 投影到特征脸空间：

3. 将Φ表示成向量：

4. 计算：

er 为特征脸空间内距离（欧式/马氏距离）；

5. 如果 Γ被识别为训练样本集中的

i；

;

1

, ( );K

Tj j j j

j

w w

u u

;21T

Kwww

min ;r iie

,r re T

23

利用 Eigenface 的人脸检测

1. 计算

2. 计算

3. 计算

4. 如果

则Γ是人脸图像。

;

1

, ( );K

Tj j j j

j

w w

u u

;de

,d de T

特征选择

（简介）

25

两大类特征选择方法

Filter 方法：不考虑所使用的学习算法。通常给 出一个独立于分类器的指标 J 来评价所选择的特 征子集 S，然后在所有可能的特征子集中搜索出 使得 J 最大的特征子集作为最优特征子集。

Wrapper 方法：将特征选择和分类器结合在一 起，即特征子集的好坏标准是由分类器决定的，

在学习过程中表现优异的的特征子集将被选中。

26

最优搜索方法

穷举算法

分支定界算法

应用条件：准则函 数具有单调性

27

非最优搜索方法

单独最优特征组合

顺序前进法（SFS）、广义 SFS 法

顺序后退法（SBS）、广义 SBS 法

增 l 减 r 法（L-R 法）、广义 L-R 法

28

遗传算法的术语

基因链码：代表问题一个解的编码（称为“个 体”），编码的每一位是一个“基因”；

群体：解（个体）的集合；

交叉：以两个个体为双亲作基因链码的交叉，产 生两个新的个体作为后代；

变异：对某个体，随机选取并翻转其中一位；

适应度：以给定的优化准则评价解性能的优劣。

29

遗传算法的基本框架

1. 初始化进化的代数

t = 0；

2. 给出初始化群体

P(t)，并令

xg 为任意一个体；

3. 对

P(t) 中每个个体估值，并将群体中最优解 x’ 与

xg 比较，若优于 xg ，则令 xg = x’；

4. 如果终止条件满足，则算法结束，xg 为最终结 果。否则，转步骤

5；

5. 从

P(t) 选择个体并进行交叉和变异操作，得到 新一代个体

P(t+1) ，令

t=t+1，转步骤 3。