shujunliu 控制前沿论坛.ppt [兼容模式] -...
TRANSCRIPT
协作导航和运动中的非线性控制问题和方法---
随机极值搜索方法
刘淑君
东南大学
青岛 2013年4月19日
第五届控制科学与工程前沿论坛---专题研讨
主要内容
研究背景
随机极值搜索
非完整约束下的车辆的随机源搜索
总结
无法获得位置信息的信号源搜索
(如:在水下、冰下、洞穴中运动的车辆或机器人搜索
释放信号的源-----无GPS/INS)生物中的例子: E. Coli chemotaxis
(Credit: Howard Berg, Harvard University)
觅食行为采用相互交替的两种运动:
Run: 直线运动
Tumble: 停止向前运动而转动
随机性
研究背景---随机源搜索
极值搜索 (ES)基于非模型
仅需很少的信息
随机极值搜索
梯度估计: 周期扰动
梯度估计: 随机扰动
离散时间的简单情形 (Manzie et al.)
连续时间 ?……
研究背景---极值搜索(Extremum Seeking)
(20世纪中期应用上流行 几乎停滞 2000年以后研究兴趣持续增长)
平均方法 (M. Krstic & H. H. Wang, Automatica, 2000)
随机平均方法
/ 0 ( , ), :
: (
)
, ,
tt t
mt
dX a X X xd
R F Pt
εε ε
εξ
ξ ∈ Ω
= =原系统
定义在 上的随机过程
0( ), :
( ) : ( , )
tt
ta
dX a X X xdt
x a x ξ
= =平均系统
在某种概率意义下的平均函数
: , . t tX Xεε当 充分小时 以某种概率意义均 接近随机平
研究背景---极值搜索算法的稳定性证明工具
有限时间水平上的随机平均
无穷时间水平上的随机平均
(Blankenship, Freidlin, Skorokhod, Khasminskii, Korolyuk, et al.)非线性向量场: 全局Lipschitz平衡点:平均系统: 全局指数稳定扰动过程: 紧状态空间
(0, ) 0a ≡i
问题: 在较弱条件的随机平均?原系统:局部Lipschitz ,无平衡点条件平均系统: 局部指数稳定
约束条件强、不实用
逼近
稳定性
研究背景---已有随机平均结果
主要内容
研究背景
随机极值搜索
非完整约束下的车辆的随机源搜索
总结
2
*
*
* *: '' 0 (*)
: ( )
: ( )( ) (
''( ) ( )2
( ))
fff
y f
tt t
f
y f f
θ
θ
θ
θ
θ θ
θ
= + >
=
−
−
=
静态映射 且
输出
极值搜索 设计算法使 尽可能的小从而输出
趋近于 小值
随机极值搜索---静态映射
1
*
*
*
: :
: :
: : ˆ: :
s
ss h
y k
f a
h
ε θ
θθ+
要 小化的输出 积分器 的适应正增益
映射的 小值 探索信号的振幅
探索信号的小参数 未知参数
高通滤波 的截频 的估计
* * 2( ) ''/ 2( )f f fθ θ θ= + −y
/sin( ) (
) t
t t td dt qdWεη
η η= − +
ks
−y ζ−θ̂
/ sin( )( ) t
t t t
ad dt qdW
εηη η= − +
hss+
θ
*θ *f Plant
随机极值搜索---搜索机制
/
/
*
*
d sin( )( ) (**)
= sin( )
:
[ ]
:
:
:
t
t
t t t
k ydtd h hydt
ad dt qdW
he y fs h
ε
ε
θ η ζ
ζ ζ
θ θ ηη η
θ θ θ
⎧= − −⎪⎪
⎨⎪ = − +⎪⎩
⎧ +⎪⎨
= − +⎪⎩
= −
= −+
参数更新算法
随机激励
估计误差
输出误差
Ornstein-Uhlenbeck (OU) 过程: 连续、马氏、遍历,俗称有色噪声
随机极值搜索---搜索算法
2 2
'' 2/ / 0
'' 2/ 0
/1
sin( )( / 2( sin( ) ) ), (0)
( / 2( sin( ) ) ), (0)
[ ( , 0) :
:
]( )
t t
t
t t t tx q
q
d k f a edt
de h f a e e edt
t d e xqdW dx d
εε εε
ε ε
εε
π
ε εε
θ η η θ θ θ
η θ
η η μη −
⎧= − − =⎪⎪
⎨⎪ = − − =⎪⎩
≥ = − =+
误 系统
且
差 局部 Lipschitz, 不满足平衡条件
随机极值搜索---待分析的系统
稳定性分析工具:随机平均理论
S. -J. Liu and M. Krstic,Stochastic Averaging and Stochastic Extremum Seeking, Springer, 2012.
2 2
'' 2/ / 0
'' 2/ 0
/1
sin( )( / 2( sin( ) ) ), (0)
( / 2( sin( ) ) ), (0)
[ ( , 0) :
:
]( )
t t
t
t t t tx q
q
d k f a edt
de h f a e e edt
t d e xqdW dx d
εε εε
ε ε
εε
π
ε εε
θ η η θ θ θ
η θ
η η μη −
⎧= − − =⎪⎪
⎨⎪ = − − =⎪⎩
≥ = − =+
误 系统
且
差
2
2
''0
2'' 20
/ 2 (1 ) , (0)
( / 4
:
(1 ) '' ), (0)
aveave aveq
aveaveq ave ave
d kf a edt
de h f a e f e e edt
θ θ θ θ
θ
−
−
⎧= − − =⎪⎪
⎨⎪ = − + − =⎪⎩
平均系统
局部 Lipschitz, 不满足平衡条件
随机极值搜索---待分析的系统
2
2
2
''0
2'
2
' 20
:
/ 2 (1 ) , (0)
( / 4(1 ) ''/ 2 ), (0)
: '' 0, (1 )4
aveave aveq
aveaveq ave av
q
e
d kf a edt
de h f a e f e e ed
e
ta f
θ θ θ θ
θ
−
−
−
⎧= − − =⎪⎪
⎨⎪ = − +
⎛ ⎞− − − −⎜ ⎟
⎝
− =⎪⎩
⎠
平均系统
平衡点 局部指数稳定
分析误差系统的解性质:随机平均
随机极值搜索---平均系统的稳定性
{ }{ }
0
0
0 0
:
(0)
lim inf
(**) (*) . , , 0 ( ) : (
, a.s.,
lim ( ) (0) , [0, ( )] 1 l
0, ) ,
0,
0 : ( ) (
,
0
i (
)
m )
t
t
t
r c T
r
t
P t c e t T T
N
c e
ε
ε
ε ε γ
ε
γ
ε
ε ε δ
ε
ε
ε
δ
δ
γ
ε→
−
−
→ →
Λ <
= ∞
Λ ≤ Λ + ∀ ∈ = =
≥ Λ > Λ
>
>
+
→
∀ ∀
∞
考虑在参数更新率 作用下的静态映射 则存在
常数 及函数 使得
理
对 ,
且
定
( )22( ) ( ( ), ( )) 0, ''/ 4(1 ) . qt t e t a f eεε εθ −Λ − −其中
{ }
* 2 2 2
* 2 2 2
( ) ( ) ( ) ( ) for lim = , a.s.
( ) lim ( ) ( ) ( ) , [0, ( )] =1 lim ( )=
:
t
t
i y t f O O a Ce t
ii P y t f O O a Ce t T T
γ δ δε εε
γ
ε ε
δ τ τ
δ ε ε
−
→∞
−
→∞ →∞
− ≤ + + ∀ ≤ ∞
− ≤ + + ∀ ∈ ∞
且
输
且
出性能
随机极值搜索---稳定性分析
* * 0.1, 1, 0.21, '' 1, ; ;ˆ(0) 1, (0) 0.0032, (0) 1, (0) 1.0032
50 q
e
kf hf aε ε
ε
ζ
θ
θ θ
= = = =
= = = − =
= = ==
随机极值搜索---仿真结果
主要内容
研究背景
随机极值搜索
非完整约束下的车辆的随机源搜索
总结
随机源搜索---车辆模型
: ,
:
jc
js c
r ve
ur r Re
θ
θ
θ
=
=
= +
车辆模型
传感器位置
··
v
Rsr
cr uθ
y
x
控制目标: 寻找释放信号的源
不可获得的信息: 车辆的位置
源的位置
信号场空间分布
可获得的信息: 来自源的数值信号
(如:化学或生物物质的浓度,电磁、声音、
热能、雷达信号)
随机极值搜索方法
随机源搜索---问题描述
* *
( ( , ))( ) .
J f r x yf f r
=
=
假设信号场根据未知非线性映射 分布,
具有孤立的局部 大值 车辆传感器仅能感知J.
随机源搜索---随机极值搜索机制
0 0
0
20
[ ] : ;
g = [ ]; , , , , 0, (0, ).s+
constant ,
sin( ) sin( ),
( )sin ,
:
1
:
( )
1
c
s J Js h
W a c d g h
v V
a c d
a agd dt c d dt dW
gd dt dW
θ η ξ η ξ
ξ
ε
η
θ η ξ ξ ηε ε
η η
η ε
ε
εε
ε
= =
= + −
=
=+
>
− + − +
= −
∈
+
传感器
极值
读数 经高通滤波的输
搜索控制律
也可 为
出
改写
随机源搜索---极值搜索控制设计
20
*
* * 2
2
*
( ) | |
,
( ) sin( ) ,
, ( ( | | ))
,1
.
[ ] .
.
jc c
r s
js c
s r s
dr V e dta agd dt c d dt dW
de h d
J f r f q
t q r r e
r r Regd dt d
r rhe
s h
W
J f
θ
θ
θ η ξ ξ ηε εξ ξ
η ηε ε
=
= − + − +
= =
= = − −
=
− − +
= +
= − +
−+
假设信号场的分布为:
定义输出误差变量:
则闭环系统为
随机源搜索---闭环系统
2
0 0
2
1 2 2 1
0
*
2
: ,
( )sin( ) ,
, ( ( | | )
, , , , 0, (0, ), 2 ( , ) ( , ) ( (2 , ) 2 ( , ) ( , )) 0
,1 ,
.
)
jc c
r sj
s c
c
a c d g h hV I a g I a g hR I a g I a g I a
dr V e dta agd dt c d dt dW
de h dt q
g
r r e
r r Regd dt dW
θ
θ
ε ε
θ η ξ ξ ηε εξ ξ
η ηε ε
=
= − + − +
= = − − +
= +
= +
>
+ − >
−
∈
考虑闭环系定理 统
其中 选择 使得
如果初始条件使
0
* 2 2
* *
-*00
0
0 0 0
|| (0) | | , | (0) ( ) |,
| (0) arg( (0)) / 2 | or | (0) arg( (0)) / 2 |
lim inf{ 0 : || ( ) | | } , . .
lim {
,
, 0 ( ) : (0, ) >0,
|
,
( )
|
c r
tc
c
c c
r r
t r t r C e a s
P r t
e q R
r r rT
rC N
γ
ε
ε
ρ ρ
θ π θ πε ε
ρ δ
γ δ
→
→
≥ − − > + =
> →
− − + +
− − + − −
∞
−
∀
得下面的数量充分小
则存在常数 和函数 使得对
0
0
-*0 lim| | , [0, ( )]} ( ) .1 tr C e t T T
ε
γρ ε εδ→
− − ≤ + ∀ ∈ = = ∞且
2 2
2 2 2 2
/ 41
( 1) / 4 ( 1) / 42
1 2
( ( , ) ,
( , ) 1/ 2[ ],
= ( , ) / 2 ( , ))
a g
a g a g
c r
I a g e
I a g e e
V I a g q cRI a gρ
−
− − − −
=
= −
随机源搜索---稳定性结果
*static source: (0,0)r =
随机源搜索---仿真结果
src
src
moving source: ( ) 0.5sin(0.13 ),( ) 0.5sin(0.26 )
x t ty t t
=
=
随机源搜索---仿真结果
* 2 * 2
* *0
1 11- ( - ) - - , 0.05, 0.025, 25,2 4
0.6, 5, ( , ) (0,0), ( (0), (0)) (1,1.5)
c c
c c
J x x y y a c
g x y x y
ε
ω
= = = =
= = = =
( )
随机源搜索---调节向前速度
车辆数 n=4
随机源搜索---调节向前速度
随机极值搜索方法的理论研究
稳定性分析工具--- 随机平均理论
静态映射的随机极值搜索
……
随机极值搜索方法的应用研究
非完整约束下的车辆的随机源搜索
非合作动态博弈中的随机纳什平衡点搜索
……
总结