s plus071123 handout - msi.co.jp · 予測と知識発見不確実性とリスク解析...

1The Institute of Statistical Mathematics

統計的モデリング

－知識社会の基盤技術－

北川源四郎統計数理研究所

数理システムユーザコンファレンス

2007年11月22日


概略

社会と科学研究の変化• ポストIT社会・知識社会へ• 知識の変化・科学研究の変化

統計科学の重要課題• 理論科学・実験科学からデータ中心科学へ• 情報統合・知識創造

• 平均から個性へ：Personalization

状態空間モデリング• 情報抽出

• 非線形・非ガウス型フィルタ


Post-IT時代と大量大規模データ

情報社会・情報技術情報社会・情報技術

大量大規模データ大量大規模データ

• ライフサイエンス: マイクロアレイデータ

• マーケティング: POSデータ

• ファイナンス: 高頻度データ• 環境科学: • 地球科学：地震学，気象学

• 天文学（全天CCD観測）

• 高エネルギー物理学

ICT（情報通信技術）• 測定機器• 計算機• インターネット• データベース

データマイニング

発見科学

予測シミュレーション

情報抽出知識発見




社会の変化

工業化社会工業化社会

ポストIT社会ポストIT社会

情報化社会情報化社会

資本主義社会資本主義社会

知識社会知識社会

ポスト資本主義社会

ポスト資本主義社会

（P. ドラッカー）

• 資本，労働より知識

• 生産性革命

• 物質・エネルギーより情報

• 情報・通信技術の発展

• ユビキタス社会の実現

• 知識獲得・発展技術の重要性

• 産業革命

• マネジメント革命

ポスト資本主義社会における資源は、資本でも土地でも労働でもなく、それは「知識」である。


科学研究対象の変化

実世界

１９世紀２０世紀２１世紀

サイバー世界サイバー世界

生物的世界生物的世界

物理的世界物理的世界

生物的世界生物的世界

物理的世界物理的世界物理的世界物理的世界

確定的現象確率的現象

システム

生物行動

人工物


科学的方法論の変遷

物理確定的世界観

物理確定的世界観

科学の言語

数学

科学の言語

数学

非線形・複雑システムの世界

非線形・複雑システムの世界

計算科学シミュレーション

計算科学シミュレーション

生物・経済確率的世界観

生物・経済確率的世界観

科学の文法

統計学

科学の文法

統計学

大量・大規模データの世界

大量・大規模データの世界

理論科学理論科学実験科学実験科学計算科学計算科学

データマイニング発見科学

データマイニング発見科学

データ科学データ科学


知識の変化

普遍の真理普遍の真理行動に

有益な情報

行動に

有益な情報

P・ドラッカー「ポスト資本主義社会」

存在認識

道具製品仕事知識

産業革命生産性革命マネジメント

革命

存在から行為へ

確定的世界

確率的世界

システム世界

サイバー世界


データと研究方法の変化（例）

少数実験データ少数実験データ

記述統計学記述統計学

推測統計学推測統計学

データ科学データ科学

博物学博物学

実験科学実験科学

現代博物学？現代博物学？

生物学

大量観察データ大量観察データ

観察データ観察データ

統計学

堀田凱樹テューキィ、林、柴田・坂内


－現代博物学を超えるために－

原理主導アプローチとデータ主導アプローチの統合

• 統計的方法• 遂次フィルタ・平滑化• データ同化・・・地球環境予測

統計科学は個別的経験を一般的知識に変える


統計科学のグランドチャレンジ

２１世紀の社会・学術研究に即した

科学的方法論の開発

戦略的課題予測と知識発見

不確実性とリスク解析

実世界シミュレーション

サービスイノベーション

知識創造の方法（科学的方法の融合）

工業化社会工業化社会知識社会知識社会情報化社会情報化社会

統計的問題

情報統合モデリングデータ同化

個別化


関連する統計的課題

1. 能動的モデリング

2. 新NP問題

3. ベイズモデリング

4. 計算統計学


1. 能動的なモデリング

対象に関するあらゆる知識や解析の目的に応じたモデリング

データからの情報と事前情報の統合

統計的モデル情報抽出の「道具」





制御管理

制御管理データデータ

経験的知識経験的知識

理論理論

ベイズモデル


統計的問題の変化

柔軟なモデリング

大量データ，複雑システム

少標本実験・調査データ

パラメトリック・モデル検定、モデル選択

Huge data sets• Bio Science … DNA data, array data• Environmental Science, Disaster Prevention • Financial, Marketing ... POS data


2. Personalization（平均から個人へ）

平均から個性へ

分布粒子（個）平均と分散

本質は究極の条件付け

X =

p

n

新np問題 ( n << p )• マイクロアレイ

• マーケティング

テーラーメイド創薬オーダーメイド医療マイクロマーケティングサービスイノベーション教育、物流


３．ベイズモデリング

様々な情報の統合Personalization

キーテクノロジーは

ベイズモデリング


ベイズの定理 18世紀

事前分布の問題

哲学的論争

計算困難性

近年の発展（１）方法論上：事前分布，モデル評価

（２）計算上： MCMC，MCF（３）応用上：生物系統樹推定，統計地震学，データ同化

季節調整，調査データ解析法

例：Google

ベイズモデルの隆盛情報抽出，情報統合，情報検索

解決

ベイズモデリングの発展（1980年代－）


４．計算統計学

強い仮定

仮想的世界

(硬いモデル)＋

解析的方法

• EM algorithm• Bootstrap• MCMC (ベイズモデリング)• Sequential MCF (状態空間モデル)

弱い仮定現実的世界

(柔軟なモデル)＋

計算による方法

Real World の解析・予測を目指して


Smoothness Prior

平滑化の問題

( ) ( ) ⎥⎦

⎤⎢⎣

⎡∇+− ∑∑

==

N

nn

kN

nnnf

ffy1

22

1

2min λ

Nnfy nnn ,,1, K=+= ε

観測値未知パラメータノイズ（残差）n

n

nfy

ε

罰金付最小二乗法

Whittaker (1923), Shiller (1973), Akaike(1980), Kitagawa-Gersch(1996)

Infidelityto the data

Infidelity to smoothness


ベイズモデルの観点からの選択

ベイズモデルによる解釈

( ) ( )∑∑==

∇+−N

nn

kN

nnn ffy

1

22

1

2 λ

( ) ( )⎭⎬⎫

⎩⎨⎧

∇−⎭⎬⎫

⎩⎨⎧

−− ∑∑==

N

nn

kN

nnn ffy

1

2

2

2

1

22 2

exp2

1expσλ

σ

)|(),|(),|( θπθθπ ffypyf ∝

をかけて指数をとる)2/(1 2σ−

),( 22 σλθ =

ABICによるの決定θ

Crucial parameter

Smoothness Prior

Akaike （1980） 20The Institute of Statistical Mathematics

時系列的解釈と状態空間モデル

x F x G vy H x w

n n n

n n n

= += +

−1

状態空間モデル

21

2

22

1)()( −

==

−+− ∑∑ nn

N

nnn

N

nttty λ

nnn

nnn

wtyvtt

+=+= −1

),0(~),0(~

2

2

στ

NwNv

n

n

2

22

τσλ =

等価なモデル



x F x G vy H x w

n n n

n n n

= += +

−1 状態モデル

観測モデル

n

n

xy 時系列

状態ベクトル n

n

wv システムノイズ

観測ノイズ

y nx nvn

w nFF

GG HH


状態空間モデルの応用

ARMA モデルの最尤推定 Akaike (1974)

非定常性のモデリング• トレンド推定 Harrison-Stevens (1976)• 季節調整 Kitagawa(1981), Harvey (1985)• 確率的ボラティリティ Kitagawa- Gersch (1985)，

Harvey-Shepard(1996)• 時変係数 AR モデル Kitagawa- Gersch (1985)，

Godsill-West(2000)• 信号抽出 Kitagawa- Gersch (1996)


状態空間モデルの拡張

非線形・非ガウス型

一般型

線形・ガウス型

nnn

nnn

wHxyGvFxx

+=+= −1

x f x vy h x w

n n n

n n n

==

−( , )( , )

1

)| (~)| (~ 1

nn

nn

xHyxFx

⋅⋅ −

関数：非線形分布：非ガウス型

条件付分布離散状態・離散観測値


非ガウス型モデリングの必要性

Abrupt Structural Change

Outliers

Asymmetry of Dist.

Discrete ProcessPoisson ProcessBinary Process

Nonlinearlity

nnn vxfx += − )( 1

- Non-standard Time Series -


非ガウス型フィルタ・平滑化

一期先予測

p x Y p x Y p x x p x Yp x Y

dxn N n nn n n N

n nn( | ) ( | ) ( | ) ( | )

( | )= + +

+−∞

∞

+∫ 1 1

11

p x Y p y x p x Yp y Yn n

n n n n

n n

( | ) ( | ) ( | )( | )

= −

−

1

1

p x Y p x x p x Y dxn n n n n n n( | ) ( | ) ( | )− −∞

∞

− − − −= ∫1 1 1 1 1

フィルタ

平滑化


レベルシフトの自動検出

Data

nnn

nnn

wtyvtt

+=+= − 1

トレンドモデル

ノイズ分布

　正規分布),0(~ 2σNwn

　コーシー分布 ),0(~ 2τCvn

CauchyGaussian



Marginal Posterior Density

Cauchy DistributionGaussian Distribution

Tim

e


自己組織型フィルタ・平滑化

Filter

Smoother

Trend Log-scale

nnn

nnnwxy

vxx+=+= −1

[ ] nn

nn

nn

n

n

n

n

wx

y

vxx

+⎥⎦

⎤⎢⎣

⎡=

⎥⎦

⎤⎢⎣

⎡+⎥

⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡ −

−

−

2

12

1

12

log 01

0loglog

τ

τττ

Augmented State Space Model


　)(

1)( 22 τπτ

+=

nn v

vpコーシー分布


nnn

nnnwxy

vxx+=+= −1

[ ] n

n

n

n

n

n

n

n

n

n

n

n

wx

y

vxx

+⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡+

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡=

⎥⎥⎥

⎦

⎤

⎢⎢⎢

⎣

⎡

−

−

−

2,

1,

2,1

1,1

1

2,

1,

001

001

θθ

θθ

θθ

Augmented State Space Model


b

b

vbbbvp

)(1

)2/1()2/1()(),;( 22

122

τττ

+−ΓΓΓ

=−

)2/1log(3log

2,

2,2

1,

−=−=

nn

nnn

bθθτθ

τ2: Dispersionb: Shape



Filter

Smoother

Trend Dispersion Shape



非線形モデル

nn

n

nn

nnn

wxy

vnxxxx

+=

+++

+=−

−−

20

)2.1cos(8125

21

2

21

11

nx

ny

Signal

Observation

)1,0(~ ),1.0,0(~ NwNv nn


非線形フィルタ・平滑化

10

5

0

-5

-10

20

10

0

-10

10

5

0

-5

-100 20 40 60 80 100

Signal

Observed

Estimated


分布の近似

0. 正規分布近似

（拡張）カルマンフィルタ・平滑化

1. 区分線形（階段）近似


2. 混合正規分布近似

ガウス和フィルタ・平滑化

3. 粒子近似

遂次モンテカルロフィルタ・平滑化

True

Normal approx.

Piecewise Linear

Step function

Normal mixture

Particles.


遂次モンテカルロ・フィルタ

・システムノイズ

v p v j mnj( ) ~ ( ) , ,= 1 K

・重要度（ベイズ係数）

p F f vnj

nj

nj( ) ( ) ( )( , )= −1

・予測分布

α nj

n njp y p( ) ( )( | )=

・フィルタ分布のリサンプリング

{ }p nj( ) { }f n

j( )

Gordon et al. (1993), Kitagawa (1996)Doucet, de Freitas and Gordon (2001) “Sequential Monte Carlo Methods in Practice”


一期先予測

),( 1 nnn vxFx −= システムモデル

v p vnj( ) ~ ( )

f p x Ynj

n n− − −1 1 1( ) ~ ( | )

p F f vnj

nj

nj( ) ( ) ( )( , )= −1


フィルタ（リサンプリング）

:)( jnα 粒子のベイズ係数pn

j( )

α nj

n n njp y X p( ) ( )( | )= =

Pr( | ) Pr( | , )Pr( | ) Pr( | )

Pr( | ) Pr( | )

( ) ( )

( ) ( )

( ) ( )

( )

( )

( )

( )

X p Y X p Y yy X p X p Y

y X p X p Y

n nj

n n nj

n n

n n nj

n nj

n

i

m

n n ni

n ni

n

nj

m

nj

i

mm

nj

nj

i

m

= = =

== =

= =

= =

−

−

=−

= =

∑

∑ ∑

1

1

11

1

11

1

αα

αα

α nj( )

y n

p y pn nj( | )( )

pnj( )

f nj( )

f nj( )


One Cycle of Monte Carlo Filtering

)|( 11 −− nn Yxp

n=n+1

xSt

ate

spac

e

)|( 1−nn Yxp

resampling

X 消滅

X 消滅

)|( 1−nn Yxp )|( nn YxpData yn

Filteringlikelihood

)|( )()( jnn

jn xyr=α)( nvp

Prediction

),( )(1

)(n

jn

jn vxfx −=


非ガウス型平滑化

-4

-3

-2

-1

0

1

2

3

4

1 101 201 301 401

-3

-2

-1

0

1

2

3

0 100 200 300 400

Exact Non-Gaussian Smoother

-3

-2

-1

0

1

2

3

1 101 201 301 401

Kalman Smoother

nnn

nnn

wtyvtt

+=+= −1

Trend Model

Noise Distribution

　　),0(~),0(~

2

2

στ

NwNv

n

n ),0( 2τCor


Single MCF

-3

-2

-1

0

1

2

3

0 100 200 300 400

-3

-2

-1

0

1

2

3

1 101 201 301 401

m=100,000 m=10,000

Exact Non-Gaussian Smoother

-3

-2

-1

0

1

2

3

1 101 201 301 401

-3

-2

-1

0

1

2

3

1 101 201 301 401

m=100

m=1,000

-3

-2

-1

0

1

2

3

1 101 201 301 401

m=10,000


Applications of MCF

Gordon et al. (1993), Kitagawa (1996)Doucet, de Freitas and Gordon (2001) “Sequential Monte Carlo Methods in Practice”

1. Non-Gaussian smoothingLevel shiftNon-Gaussian seasonal adjustmentStochastic volatility models

2. Nonlinear smoothingTrackingPhase-unwrapping

3. Signal extraction problems4. Modeling count data5. Self-organizing state space model6. High-dimensional filtering/smoothing


一般化状態空間モデル一般化状態空間モデル

非線形・非ガウス型状態空間モデル非線形・非ガウス型状態空間モデル

線形・非ガウス型状態空間モデル

線形・非ガウス型状態空間モデル

モデリングの問題点

パラメトリックモデル

AR, ARMAARCH, etc.

パラメトリックモデル

AR, ARMAARCH, etc.

Monte Carlo

Numerical Integration

Recursive

Analytic

よいモデル族を導出する方法論がないよいモデル族を導出する方法論がないモデリングは職人芸かモデリングは職人芸か


例：モデリングによる情報抽出

1．時間軸モデリング時間構造が安定な場合（季節成分）ランダム性が強い場合

2．多変量時系列モデリング多変量ARの利用地下水位データ

3．時空間モデリング海底地震計データ


１．時系列構造のモデリングと予測

1500

1600

1700

1800

1900

2000

1 13 25 37 49 61 73 85 97 109121133145

1500

1600

1700

1800

1900

2000

1 13 25 37 49 61 73 85 97 109121133145

1500

1600

1700

1800

1900

2000

1 13 25 37 49 61 73 85 97 109 121 133 145

AR1 AR5

AR10 AR13

1500

1600

1700

1800

1900

2000

1 13 25 37 49 61 73 85 97 109 121 133 145

低次モデルによる予測は嘘ではないが有用ではない 44The Institute of Statistical Mathematics

時系列構造のモデリングと補間

1500

1600

1700

1800

1900

2000

1 12 23 34 45 56 67 78 89 100 111 122 133 144 155

1500

1600

1700

1800

1900

2000

1 13 25 37 49 61 73 85 97 109 121 133 145 157

1500

1600

1700

1800

1900

2000

1 13 25 37 49 61 73 85 97 109 121 133 145 157

AR1 AR5

AR10 AR13

1500

1600

1700

1800

1900

2000

1 13 25 37 49 61 73 85 97 109 121 133 145 157


モデルの重要性

0

1

2

3

4

5

6

0 0.1 0.2 0.3 0.4 0.5

AR13AR10AR5AR1

0

1

2

3

4

5

6

0 0.1 0.2 0.3 0.4 0.5

AR13AR10AR5AR1

AR1 AR13

0

1

2

3

4

5

6

0 0.1 0.2 0.3 0.4 0.5

示唆すること

モデル所与ではモデルの限界を突破できない

モデルGivenでの最良推定は本来の予測問題の良さを保証しない


AR(13)AR(13)

AR(5)AR(5)

AR(1)AR(1)

Model

class 3Model

class 3

Model class 2Model class 2

Model class 1Model class 1

「真」の構造「真」の構造

These suggest …

適切なモデル（仮説）提示の重要性


２．多変量構造のモデリング

-8

-4

0

4

8

1 21 41 61 81

2次元時系列

-8

-4

0

4

8

1 21 41 61 81

-8

-4

0

4

8

-8 -4 0 4 8-8

-4

0

4

8

-8 -4 0 4 8

yn

xn xn−21変量時系列補間

xn の情報の利用


１変量補間と２変量補間

-8

-4

0

4

8

1 21 41 61 81-8

-4

0

4

8

1 21 41 61 81

-8

-4

0

4

8

1 21 41 61 81

-8

-4

0

4

8

1 21 41 61 81

AR3

AR1

2変量AR（2）

Partially Observed


地下水位データ（地震の影響の抽出）1981

1985

19841983

1982

19901989

19881987

1986

産総研観測井

気圧，地球潮汐，降雨

などの影響を受ける

地震の影響の検出が困難


移動平均フィルタ

原データ

移動平均

何か知見が得られるか？


[ ],1

0

00

01

,

1

11

11

,

0

0

l

l

LL

M

M

O

O

M

M

−−=

⎥⎥⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

=

⎥⎥⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

=

⎥⎥⎥⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢⎢⎢⎢

⎣

⎡

=

nnmnn

m

n

n

etetppH

GF

b

ba

at

x

成分構造モデル

nnn

nnnwHxyGvFxx

+=+= −1

nnnnn EPty ε+++=

n

n

n

n

n

EPty

ε

観測値

トレンド

気圧効果

地球潮汐効果

観測ノイズ

成分モデル

in

l

iin

in

m

iin

nnk

etbE

paP

wt

−=

−=

∑

∑

=

=

=Δ

0

0



地下水位の観測値気圧効果

潮汐効果

降水効果

min AIC modelm=25, l=2, k=5

地震の影響の抽出

地下水位の補正値 M=4.8, D=48km


移動平均 vs. 統計的モデリング

Original

MA filter

Modeling


降水効果項の導入

移動平均

気圧・地球潮汐

気圧・地球潮汐・降雨

統計処理

統計的モデリング

原データ


1981 1982

1983 1984

1985 1986

1987 1988

1989 1990

M=7.0 D=375kmM=4.8

D=48km

M=5.7 D=66km

M=7.7 D=622km

M=6.0 D=113km

M=6.2 D=150km

M=5.0 D=57km

M=7.9 D=742km

M=6.8 D=128km

M=6.0 D=126km

M=6.7 D=226km

M=5.7 D=122km

M=6.5 D=96km

1981 1982

1983 1984

1985 1986

1987 1988

1989 1990

地震の影響の検出


地震の影響

地震水位

降雨水位

DM log45.2−

> 16cm> 4cm> 1cm

1log45.2 =− DM

0log45.2 =− DM

マグ

ニチ

ュー

ド水

位変

化

距離


得られた知見

M > 2.45 log D + 0.2 の地震に水位変化が見られる

変化量は M - 2.45 log D の関数

地震がないとき 6cm/年の水位上昇

ひずみの増加に対応か？


3. OBS (海底地震計) Data

Bottom

OBS

SourceSea Surface

－地下構造の探索－

59The Institute of Statistical Mathematics100

1000

10000

100000

351 451 551 651 751 851 951

Time

Location

Amplitude

-100

000

1000

0

2000

0

3000

0

4000

0

5000

0

150

110

0115

0120

0125

0130

0135

0140

0145

0150

0155

01

Location

観測時系列（調整済，982ch）


時空間モデルによる分解

jnjnjnjn wsry ,,,, ++=

sjnjhnjn

rjnjknjn

uss

urr

j

j

,1,,

,1,,

+=

+=

−−

−−

X

00

X0

Wof timeArrival:)W( Wof timeArrival:)W()W(),W(

Xj

j

jjjj

TT

ThTk Δ=Δ=

snmnmnn

rnnnn

vsbsbsvrarar

,11

,11

+++=

+++=

−−

−−

L

L ll

waveReflection eDirect wav

,

,

jn

jn

sr

Time series model

Spatial model

Basic observation model

J-1

J

kj


経路モデルと到着時刻

231303322 22,/ dddDdvvhvd ijiiij −−−=−=

31

3223

22

12

213

21

11

203

20

10

12021

2212

21

11

202

20

10

12021

2212

21

11

202

20

10

011

1201

20

10

011

1201

20

10

220

10

220

10

220

10

221)Wave(01232

)23(231)Wave(00012

)2(2Wave(0121)

)3(3Wave(0001)

)(Wave(01)

25)Wave(00000

9Wave(000)

Wave(0)

dvdhvdhvdhv

ddDvdhvdhv

ddDvdhvdhv

dDvdhv

dDvdhv

Dhv

Dhv

Dhv

−−−−

−−−

−−−

−−

−−

−

−

−

++++++

−−++++

−−++++

−++

−++

+

+

+

経路モデル到着時刻

0h

0d1h

2h

D

1d

WaterOBS

Source

2d

Parallel Layer Structure

Width km,,, 3210 LhhhhVelocity km/sec,,, 3210 Lvvvv


経路モデルと到着時刻（OBS4）

Distance (km)

Arr

ival

Tim

e (s

ec.)

0

1

2

3

4

5

6

7

8

9

10

11

12

13

1 11 21 31 41 51 61 71 81 91 101

W0

W000

W00000

W0000000

W01

W011

W0121

W000121

W01221

W012321

W00012321

W0123321

W0111221

W0122221

W01111

W0001

W00011

W0001221


経路モデルと隣接する系列での到着時点差

10.210.210.2－－Wave012321

15.315.114.712.9－Wave01221

17.917.215.410.5－Wave011

31.128.824.114.90.3Wave00000

33.532.429.721.60.6Wave000

35.034.834.432.31.7Wave0

20151050Path Model

Epicentral Distance (km)

0

10

20

30

40

0 5 10 15 20

W0 W000 W0 5̂ W0 7̂W0 9̂ W01 W011 W0121W01221 W012321


空間構造モデルによる分解

Reflection waveDirect wave


時空間モデルによる分解

反射波直接波

X 100


まとめ

社会の変化、研究スタイルの変化

知識社会における統計科学の役割

状態空間モデリング• 非線形・非ガウス型フィルタ・平滑化

• モンテカルロフィルタ

• 情報統合・情報抽出

s plus071123 handout - msi.co.jp · 予測と知識発見 不確実性とリスク解析...

Documents

s plus071123 handout - msi.co.jp · 予測と知識発見不確実性とリスク解析...