《《数据挖掘中的数据挖掘中的数学方法数学方法》》

1. 1. 数据挖掘简介数据挖掘简介2. 2. 非线性规划及其对偶理论非线性规划及其对偶理论3. 3. 支持向量机理论、算法与应用支持向量机理论、算法与应用

3

一、数据挖掘概念一、数据挖掘概念 -------- 定义定义数据挖掘数据挖掘 -- 从大量数据中寻找其规律，提取感从大量数据中寻找其规律，提取感兴趣的、有用的或潜在有用的信息的技术，是兴趣的、有用的或潜在有用的信息的技术，是统计学、数据库技术和人工智能技术的综合。统计学、数据库技术和人工智能技术的综合。

•是多学科交叉的

统计学、人工智能、机器学习、数据库技术、最优化技术数据挖掘与数据挖掘与 KDD(KDD(Knowledge Discovery in Databases ))

知识发现知识发现

4

数据挖掘的原由数据挖掘的原由国民经济和社会的信息化国民经济和社会的信息化

•社会信息化后，社会的运转是软件的运转社会信息化后，社会的运转是软件的运转•社会信息化后，社会的历史是数据的历史社会信息化后，社会的历史是数据的历史政府提出：“信息化”和“发展软件产业”

数据挖掘

数据库越来越大

有价值的知识可怕的数据

数据采集技术越来越成熟！

5——数据爆炸，知识贫乏

苦恼 : 淹没在数据中 ; 不能制定合适的决策 !

数据知识知识 决策决策

模式 趋势 事实 关系 模型 关联规则 序列 …..

目标市场 资金分配 贸易选择 在哪儿做广告 销售的地理位置 ……

金融 经济 政府 POS. 人口统计 生命周期 疾病数据 ……….

6

数据挖掘的技术数据挖掘的技术• 技术分类

– 预言（ Predication）：用历史预测未来– 描述（ Description）：了解数据中潜在

的规律• 数据挖掘技术

– 关联分析– 序列模式– 分类（预言）– 聚集 ( 聚类 )– 异常检测

7

• http://baike.baidu.com/view/7893.htm• 数据挖掘 (Data Mining) 是通过分析每个数据，从大量

数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示 3 个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。

8

• 数据挖掘一般是指从大量的资料中自动搜索隐藏于其中的有着特殊关联性（属于 Association rule learning）的信息的过程。资料挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

• 数据挖掘——维基百科，自由的百科全书

9

数据挖掘问题的数学表述数据挖掘问题的数学表述

10

四、数据挖掘应用四、数据挖掘应用调查报告（ 2002.6.3-6.16 ）

11

数据挖掘软件的现状数据挖掘软件的现状

2001/5/14——2001/5/242001/5/14——2001/5/24 （实际）（实际） 2001/11/26——2001/12/92001/11/26——2001/12/9 （预测）（预测）

12

Data Mining (Analytic) Tools (May 2006) [561 voters]

CART/MARS/TreeNet/RF 159 (72 alone)

SPSS Clementine 127 (47 alone, 46 with SPSS)

SPSS 100 (5 alone, 46 with Clementine)

Excel 100 (3 alone)

KXEN 90 (75 alone)

your own code 77 (1 alone)

SAS 72 (3 alone, 13 with E-Miner)

Weka 62 (7 alone)

R 53 (5 alone)

MATLAB 41 (5 alone)

other free tools 39 (3 alone)

SAS E-Miner 37 (9 alone, 13 with SAS)

SQL Server 32 (3 alone)

other commercial tools 31 (7 alone)

Oracle Data Mining 20 (13 alone)

Insightful Miner/ S-Plus 20 (0 alone)

C4.5/C5.0/See5 18 (0 alone)

Megaputer 16 (14 alone)

Statsoft Statistica 13 (2 alone)

Other 31 (17 alone)

13

KDnuggets : Polls : Data Mining / Analytic Software Tools (May 2007)

Data Mining (Analytic) tools you used in 2007: [534 voters]

The first (narrow) bar corresponds to the number of votes where the tool was selected alone, and the second (wide) bar to the number votes where the tool was

select as one among several; Tools are ordered in descending order of total number of votes

Commercial Data Mining Software

SPSS Clementine 116, 73 alone or with SPSS

Salford CART/MARS/TreeNet/RF 106, 54 alone

Excel 94, 2 alone

SPSS 91, 49 alone or with Clementine

SAS 80, 8 alone or with SAS E-Miner

Angoss 78, 50 alone

KXEN 70, 51 alone

SQL Server 38, 2 alone

MATLAB 30, 1 alone

SAS E-Miner 25, 8 alone or with SAS

Other commercial tools 21, 0 alone

your own code 61, 7 alone

Free Data Mining Software

Yale 103, 70 alone

Weka 48, 3 alone

R 42, 0 alone

Other free tools 30, 0 alone

C4.5/C5.0/See5 14, 0 alone

Orange 12, 0 alone

KNIME 2, 0 alone

http://www.kdnuggets.com/polls/index.html

14

16

设 nTn Rxxx ),...,( 1 ， ( ), ( ) : n

if x c x R R , 1,2, ,i p q ，如下约束问题称为非线性规划(Nonlinear Programming, NP)：

min ( )

. . ( ) 0, 1, ...,

( ) 0, 1, ...,i

i

f x

s t c x i p

c x i p p q

( ) 0, 1, ..., , ( ) 0, 1, ...,ni iS x R c x i p c x j p p q 约束集或可行域 :

非线性规划非线性规划

x* 是整体 ( 全局 ) 极小点 , ( ) ( *)x S f x f x

x* 是严格整体 ( 全局 ) 极小点 \ { }, ( ) ( *)x S x f x f x

x* 是局部极小点 * , ( ) ( *)nx S x R x x f x f x

x* 是严格局部极小点 * , ( ) ( *)nx S x R x x f x f x

min ( )x S

f x

1

1

( ) ( ( ), ..., ( )) ,

( ) ( ( ), ..., ( ))

Tp

Tp p p

g x c x c x

h x c x c x

令min ( )

. . 0

( ) 0

f x

s t g(x)

h x

非线性规划向量化表示非线性规划向量化表示

p=q=0p=q=0 即无约束规划即无约束规划

17

非线性规划的几个概念定义 1. 设 : , , , 0n n nf R R x R d R d ，若存在 0 ，使

( ) ( ), (0, )f x td f x t 则称向量 d是函数 f(x)在点 x处的下降方向。

定义 2. 设 , , , 0n nS R x S d R d ，若存在 0t ，使 x td S ，则称向量 d是函数 f(x)在点 x处关于 S的可行方向。

定义 3. 设 : , , , 0,n n n df R R x R d R d e

d ，如果极限

0

( ) ( )lim ,

f x e f xR

存在，则称此极限为函数 f(x)在点 x处的方向导数,记做 ( )f x

d

。

定理 如果 f(x)在点 x处可微，这 f(x)在点 x处沿任何非零向量 d

的方向导数存在，且( )

( ) ,Tf x df x e e

d d

。

线性化可行方向 :

0( )Td f x

0 0( ) ; ( )T Ti id g x d h x

min ( )

. . 0

( ) 0

f x

s t g(x)

h x

定理 如果 f(x)在点 x处沿非零向量 d的方向导数存在，且 ( ) 0 Tf x d

（成锐角），则 d是 f(x)在点 x处的上升方向。如果 ( ) 0 Tf x d （成钝角），则 d是 f(x)在点 x处的下降方向。

18

定义 4. 设 nS R ，称 S为凸集当且仅当 1 2,x x S 及 [0,1] 都有 1 2(1 )x x S

定义 5. 设 1 2, , , npx x x R ，称 x是 1 2, , , px x x 的一个凸组合当且仅当存在

1

1, 0l

i ii

使1

l

i ii

x x

。

定义 6. 设 nS R ，称 f是 S上的凸函数当且仅当对 1 2,x x S 及[0,1] 都有

1 2 1 2( (1 ) ) ( ) (1 ) ( )f x x f x f x 严格凸组合 严格凸 线性组合

定理 若 f(x)是 S上的凸函数，则 c R，水平集 ( ) X x S f x c 是凸集.

min ( )x S

f x

为凸规划。若 f(x) 是凸函数， S是凸集，

( ) 0, 1, ..., , ( ) 0, 1, ...,ni iS x R c x i p c x j p p q

一般要求 ( )ic x 当 i=1,2,…,p时为凸函数，当 i=p+1,…,p+q时为线性函数。

凸规划的局部解是整体解！

19

2 2 2

21 1 2 1

2 2 2

22 1 2 22

2 2 2

21 2

( ) ( ) ( )....

( ) ( ) ( )...

( )

( ) ( ) ( )

n

n

n n n

f x f x f x

x x x x x

f x f x f x

x x x x xf x

f x f x f x

x x x x x

1

2

( )

( )

( )

( )

n

f x

x

f x

xf x

f x

x

定理(凸函数的一阶充要条件) 若 f(x)在 S上可微，则 f(x)是凸函数当且仅当

( ) ( ) ( ) ( )Tf x f x f x x x ， x S

定理(凸函数的二阶充要条件) 设 RSf : 二阶连续可导，则

1)f是 S上的凸函数的充要条件是 f的 Hesse矩阵 )(2 xf 在 S上是半正定的。 2)当 )(2 xf 在 S上是正定矩阵时，f是 S上的严格凸函数。(注:逆命题不成立)

20

( *) 0.f x 定理：可微函数解的必要条件： x* 是局部解 , 则：

最优性条件最优性条件min ( )

nx Rf x

无约束规划无约束规划

x* 是驻点 (稳定点 )

( *) 0.f x 可微凸函数解的充要条件： x* 是整体极小解当且仅当

( ) ( * ) t f x td

21

约束规划最优性条件的几何表述约束规划最优性条件的几何表述min ( )

. . ( ) 0, 1, ...,i

f x

s t c x i q

梯度共线( *) ( *)f x c x

22

共面

约束规划最优性条件的几何表述约束规划最优性条件的几何表述

1 1 2 2( *) ( *) ( *)f x c x c x

23

min ( )

. . ( ) 0, 1, ...,i

f x

s t c x i p

结论：在解处仅等式约束有效！

约束规划最优性条件的几何表述约束规划最优性条件的几何表述

( *) ( *) 0, 0f x c x

24

对约束

定义 7. 有效约束 ( 紧约束、积极约束 )——active constraint

( ) 0,ic x 在 x*处有 ( *) 0,ic x 则称在 x*处 ci(x) 是紧约束。

x* 处有效约束指标集 ( *) ( *) 0iA x i c x

梯度的线性表示1 1 2 2 1 2( *) ( *) ( *) 0, 0, 0f x c x c x

25

定理：(约束问题解的必要条件)对一般可微规划问题

min ( )

. . ( ) 0, 1, ...,

( ) 0, 1, ...,i

i

f x

s t c x i p

c x i p p q

设 *x 是问题的局部解，若 *x 处的有效约束的梯度向量 ( *)( ( *)) ic x i A x

线性无关，或者所有约束函数是线性函数，则存在 p+q维向量

* * *1 2* , , ,

T

p q 使得

1 1( ) ( ( ), ..., ( )) , ( ) ( ( ), ..., ( ))T Tp p p pg x c x c x h x c x c x 令

min ( )

. . 0

( ) 0

f x

s t g(x)

h x

向量化表示向量化表示

约束规划最优性约束规划最优性必要必要条件条件

1

( *) * ( *) 0

( *) 0, * 0, * ( *) 0, 1,2, ,

( *) 0, 1,2, ,

p q

i ii

i i i i

i

f x c x

c x c x i p

c x i p p q

( *) ( *) * ( *) * 0

( *) 0, * 0, * ( *) 0

( *) 0,

T

q

f x g x u h x v

g x u u g x

h x v R

Karush-Kuhn-TuckerKarush-Kuhn-Tucker条件条件———— KKTKKT 条件条件

26

LagrangeLagrange 函数函数

0 0 0 1 2( *) , * , * ( *) , , , ,i i i ic x c x i p

( , , ) 0

0, ( ) 0

( ) 0

x

T

L x u v

u u g x

h x

Karush-Kuhn-TuckerKarush-Kuhn-Tucker 条件条件———— KKTKKT 条件条件

1

( , )= ( ) ( ) ( 0, 1,2, , )

( , , ) ( ) ( ) ( ) ( 0)

p q

i i ii

T T

L x f x c x i p

L x u v f x u g x v h x u

LagrangeLagrange 乘子：乘子：或 ，i u v

互补松弛条件：互补松弛条件：( *) 0, * 0, * ( *) 0 Tor g x u u g x

约束规格约束规格————约束限制约束限制 (( 规范规范 )) 条条件件 1) 有效约束的梯度向量 ( *)( ( *)) ic x i A x 线性无关;

2) 所有约束都是线性函数； 3) ……

27

定理：(约束问题解的鞍点充分条件)对一般约束规划问题

min ( )

. . 0

( ) 0

f x

s t g(x)

h x

的 ( , , ) ( ) ( ) ( ), ( 0)T TL x f x g x h x

若对 nx R ，存在 0 、 qR 使得

( , , ) ( , , ) ( , , ), , ,p qL x L x L x x S R R

则 nx R 是问题的整体最优解。

约束规划最优性约束规划最优性充分充分条件条件

鞍点鞍点条件条件

,

, max ( , , ),L x x S

是同时同时 的最优解！的最优解！

( , , ) ( , , ), ,p qL x L x R R 证明：证明：

( ) ( ) ( ) ( ) 0, ,T T p qg x h x R R

由 的任意性知 :0, ( ) 0, ( ) 0g x h x 且且 i i( ) 0 ( ) 0T g x g x 或

进一步由不等式的后两部分知进一步由不等式的后两部分知 :: ( ) ( )f x f x

28

定理：对一般可微规划问题( ( ), ( )if x c x 都凸函数)

min ( )

. . ( ) 0, 1, ...,

i

f x

s t c x i p

Ax b

若 *x 处的有效约束的梯度向量线性无关，或所有约束函数是线性函数;则 *x 是问题的解的充要条件是

存在向量 * * *1 2* , , ,

T

p 和 * 使得

凸规划最优性凸规划最优性充要充要条件条件

1

( *) * ( *) * 0

( *) 0, * 0, * ( *) 0, 1, ,

* , *

pT

i ii

i i i i

q

f x c x A

c x c x i p

Ax b R

( *) ( *) * * 0

( *) 0, * 0, * ( *) 0

* , *

T

q

f x g x A

g x g x

Ax b R

Karush-Kuhn-TuckerKarush-Kuhn-Tucker 条件条件———— KKTKKT 条件条件

29

1) 1) 所有规划解的最优性所有规划解的最优性必要必要条件条件 =KKT=KKT 条件条件 ++ 约束规格约束规格

2) 2) 凸规划解的最优性凸规划解的最优性充分充分条件条件 =KKT=KKT 条件条件

最优性条件总结最优性条件总结

最优性最优性必要必要条件证明：需要用到凸集分离定理、择一性定理条件证明：需要用到凸集分离定理、择一性定理(Farkas(Farkas引理引理 )——)—— 严格证明严格证明《《凸分析与最优化理论凸分析与最优化理论》》课程课程

最优性最优性充分充分条件证明较简单，但对非凸规划结果没有实际指导条件证明较简单，但对非凸规划结果没有实际指导意义，蕴含着对偶原理意义，蕴含着对偶原理———— LangrangeLangrange 对偶对偶 (( 下节讨论下节讨论 ))

30

最优性条件举例最优性条件举例线性规划线性规划 min

. . 0

n

T

x Rc x

s t Ax b

最优性条件最优性条件

0

0, 0

0,

T

T

c A

Ax b

Ax b

是充分的？是必要的？是充分的？是必要的？

标准形式：标准形式： min

. .

0

n

T

x Rc x

s t Ax b

x

0

, 0

0, 0

T

T

c A

Ax b x

x

0

, 0

0, 0

T

T

c A

Ax b x

x

练习：推广形式的练习：推广形式的最优性条件最优性条件 1

1 2

2

min

. . ,

, 0, ,

n

T

x Rc x

s t Ax b Cx d

xx x x C

x

0

, 0

0

T T

T

x c A

Ax b x

c A

作业作业

31

最优性条件举例最优性条件举例

二次规划二次规划1

min2

. . 0

n

T T

x Rx Qx c x

s t Ax d

最优性条件最优性条件什么条件下是充分的？什么条件下是充分的？

什么条件下是必要的？什么条件下是必要的？

推广一：推广一：1

min2

. . 0

0

n

T T

x Rx Qx c x

s t Ax b

Cx d

推广二：推广二：1

min2

. . 0

0

n

T T

x Rx Qx c x

s t Ax b

Cx d

l x u

0

0, 0

0,

T

T

Qx c A

Ax b

Ax b

简化：简化：1

min2

. . 0

0

n

T T

x R

T

x Qx e x

s t y x

x C e

1 2

1,1, ,1

, , , , 1,1

T

T

m i

e

y y y y y

作业作业