樋口知之（統計数理研究所）

（総合研究大学院大学）

5月２4日，２００7

東北大・情報科学研究科集中講義

複雑系統計科学

樋口知之

higuchi@ism.ac.jp

http://www.ism.ac.jp/~higuchi/

http://daweb.ism.ac.jp/

大学共同利用機関の機構化

統計数理研究所

国立情報学研究所

国立遺伝学研究所

国立極地研究所

分子科学研究所

核融合科学研究所

国立天文台

基礎生物学研究所

国文学研究資料館

国際日本文化研究センタ｜

総合地球環境学研究所

国立民族学博物館

素粒子原子核研究所

物質構造科学研究所

宇宙科学研究所

メディア教育開発センタ|

国立歴史民俗博物館

生理学研究所

人間文化研究機構

自然科学研究機構

情報・システム研究機構

高エネルギー加速器

研究機構

★このスライドは，北川 統計数理研究所長から借用

情報・システム研究機構

• 統計数理研究所

• 国立情報学研究所

• 国立遺伝学研究所

• 国立極地研究所

科学技術・学術審議会 学術分科会

★このスライドは，北川 統計数理研究所長から借用

情報・システム研究機構

人文社会科学から自然科学に至るあらゆる学問分野における現象

を従来のように物質の側面ではなく、多数の要素間の関係や情報の

側面から捉えるための研究を行う。

そのために、データを生成、蓄積するための方法と関連する基盤

整備、蓄積されたデータから有用な情報抽出や知識発見の方法など

の情報学的な側面の研究と、地球、生命、環境、経済などの複雑で

ダイナミックなシステムの解明の方法およびその応用を研究するシ

ステム学的な側面の研究が必要である。

この両者は不即不離の関係にあり、両者の統合的な研究こそが重

要である。本機構は、その名称としては、このような立場を端的に

示すものとして「情報・システム領域研究機構」としたものである。

★このスライドは，北川 統計数理研究所長から借用

Ａ．情報・システムとは何か

講義内容A. 情報・システムとは何か

B. データ爆発の時代に生きる

1. ＩＴ周りを支えるベイズアプローチ

2. 同時分布の分解：統計モデルとアルゴリズム

3. グラフィカルモデル

4. トレンドモデル

5. 状態空間表現

6. 計算アルゴリズム

7. カルマンフィルタ

8. 粒子フィルタ

9. リサンプリング

10. データ同化

５月２４日

６月 ７日

Ａ．情報・システムとは何か

システム

複数の要素が有機的に関係しあい，

全体としてまとまった機能を発揮

している要素の集合体．

部分から全体へ

分析から関係づけ へ

実体から関係へ

階層からネットワークへ

構造から過程へ★このスライドは，北川 統計数理研究所長から借用

システム思考

事物をその結びつき・関係から捉える方法

システム思考の特徴• 全体的な記述

• 動的なプロセス

• 因果関係

• フィードバックループ

★このスライドは，北川 統計数理研究所長から借用

きのう

・帰納

・機能

新しい時代

ニュートンパラダイムからの変革

日経サイエンス（２００２年，5月号）特集「発見の科学」，“発見の糸口をどうつかむか”（樋口知之）より

我々が利用するモデルは，しょせん複雑な現象の近似にすぎない！

これに立脚して何をやっているか

モデル族３

モデル族２

モデル族１

統計的モデリング

「真｣の構造

モデルの永続的改良

データの増加知識の増加

★このスライドは，北川 統計数理研究所長から借用

方法の科学：統計科学

• データを取得する方法の研究

• データを見る“虫メガネ”＝統計モデルの研究– 階層的ベイズモデル

• 発見支援のための“コンパス”＝モデル比較の研究– モデル比較＝情報量規準

統計数理研究所 （赤池弘次以来の固有の伝統と実績）

Ｂ．データ爆発の時代に生きる

もうすぐ出版(2,200円）

データをとりまく環境が激変

• 天文：“サーベイは天文学の王道“（国立天文台，水本教授 談）

– Batters, すばる，銀河団．．．

• ゲノム解析： ＤＮＡマイクロアレイ

• 社会調査： 電話，面談アンケート→ネットアンケートへ

• ＰＯＳデータ：

• ．．．“点から線へ，線から面へ”

“中抜きデータ処理”

バイオテクノロジー

インフォメーションテクノロジー

バイオインフォマティクス

複雑な生命現象（遺伝子機能など）

の解明

シーケンサDNAチップマイクロアレー質量分析器MRI

・・

データベース技術ハイパフォーマンスコンピューティング

マイニング技術数理統計解析多変量解析人工知能（機械学習）画像解析ベイズ統計

・

バイオインフォマティクスとは

計算例

–202

–202

–101

–202

–101

0 1000 2000 3000

教師データセット (1)

学習データセット (2)（学習前）

(1)と(2)の差

〔mm〕

〔mm〕

〔mm〕

全3201点

全3197点

データ点数

全3197点

学習データセット (3)（学習後）

〔mm〕全3201点

(1)と(3)の差

〔mm〕

データポイントの 1階差分5

1

9サンプリング間隔を延長して調整

実測値に対する推定結果

•軌間データによって推定した位置補正結果を，同時に測定した鉛直方向の軌道形状に対して適応した例

–202

–202

–101

–101

0 1000 2000 3000130140

軌道形状（鉛直） (1)'　(1) と同時に測定　全3201点

[mm]

[mm]

[mm]

[mm]

(1)'と(2)'の差（学習前）　全3197点

データ点数

(1)'と(2)'の差（学習後）　全3201点列車速度　(2)'測定時 [km/h]

軌道形状（鉛直） (2)'　(2) と同時に測定　全3197点

滑走

１．ＩＴ周りを支えるベイズアプローチ

１．１ ベイズの定理a.概念

ベイズ（統計）アプローチ

事前情報とは？

データ

事前分布

事前情報(prior information)

• 仮定，直感，イマジネーション

• 背景，既知の事実

• 法則，規則

• 拘束条件

Positively use idea and model!

厳格な現実離れした客観主義に陥るな

心理学ではセットと呼ばれている

ベイズアプローチによる画像処理

事後分布データ

事後分布データノイズ無し原画像（事前情報ではない）

“Girl with Hat” image. Motion blur and photon noise, S/N=20.4 (Friden, 1989)

c3, 123 x 98 pixcel image. Log-CAR prior (Monia and Ripley, 1989)

ベイズアプローチが狙うもの

ベイズ（統計）アプローチ

事後分布

（Ｆｕｋｕｍｏｒｉ ２００１）

（気象・海洋モデル）シミュレーションによる状態更新と，大規模データ量の観測値を動的に照らし合わせる作業

Global Coupled Model

Data Assimilation (DA)：データ同化

tx状態ベクトル：時刻tのシミュ

レーション変数すべてをならべたベクトル量

未定パラメータ値：境界条件，初期条件→確率変数として取り扱う情報の不確実性を確率分布の形で（便宜的に）表す

ISM

背景

データ同化

ベイズアプローチ

データ同化Data Assimilation

シミュレーションSimulation

多点観測データLarge-scale

time-space data

直接観測できる量は限られている

Y観測量：X表現したい対象：

データ同化

ー実動画のシームレスな連結

ー多様なViewの実現

スタジアムのまわりに各々雲台に乗せたカメラを30台設置．バーチャルなものを創り出す時に一番良い

モデルはリアルワールド．現実の世界は常に動いているので、動いているものに対しては使えないわけです。そこで、動く対象の３次元モデリングする．

バーチャライズド・リアリティー・プロジェクトhttp://www.ri.cmu.edu/events/sb35/tksuperbowl.html

（カーネギーメロン大学ロボティックス研究所金出教授，ＣＢＳ）

産総研：デジタルヒューマン研究所 所長

データ同化

ベイズアプローチ

Virtualized Reality

人体モデル 多点映像データ

Y観測量：X表現したい対象：

映像は http://www-2.cs.cmu.edu/afs/cs/project/VirtualizedR/www/VirtualizedR.html からダウンロード

(Vedula et al., 1999)

HPC:High Performance Computing

内挿/外挿と，どう違うのか

•すべての内装，外挿入操作は，ベイズ的アプローチ．その特殊なものとして定義できる．

違い：

データアダプティブか

さまざまなノイズに頑健か

システマティックか

事前情報を積極的に活用しているか

情報量規準などに基づいた，客観的モデル選択機能があるか

•すべての逆問題は，ベイズ的アプローチの枠組み．

•ベイズ的アプローチは，メタモデルである．

１．ＩＴ周りを支えるベイズアプローチ

１．１ ベイズの定理b.ちょっと数式

条件付分布： conditional distribution≡)A(p Aがおきる確率

≡)BA,(p AとBが同時におきる確率

≡)B|A(p BがおこったもとでAがおきる確率

Ａ Ｂ

Ｃ

BA∩)B(

)B,A()B(

)BA()B|A(p

pp

pp =∩

=

1)C()BA()B()A( =+∩−+ pppp

)A()A|B()B()B|A()B,A(

ppppp⋅=⋅=

確率は，各事象がおきる割りあい（この図では全面積が１であるときの，各部分面積）だと思えばいい

Ａ，Ｂの同時（確率）分布

周辺化： Marginalization

B)B,A()A( dpp 　∫=Ａの周辺分布

ベイズの定理

)A()B()B|A()A|B(

pppp ⋅

=

)C|A()C|B()CB,|A()CA,|B(

)C|B,A()C|B()CB,|A(

pppp

ppp⋅

=

=⋅

Bayes’ rule conditioned on c

),()()|(

)()()|()|(

XYpXpXYp

YpXpXYpYXp

=⋅∝

⋅≡

　　　　

　　　　ベイズの定理

on)distributi (posterior )|( 事後分布⇒YXp

我々が取り扱う多くの問題は，多くの場合事後分布に興味がある

データ分布（尤度関数） 事前分布

同時分布

ーさまざまな情報を分布の形で表現する（統計モデル）ー

X：表現したい対象

Y：データ

対象を表すパラメータが与えられた（指定）されたもとで，それにどれくらいデータがfitしているか

データに依存しない，対象に関する情報の確度

データが生じる確率（データは所与なので，ある値をとる）

),()()|(

)()()|()|(

XYpXpXYp

YpXpXYpYXp

=⋅∝

⋅≡

　　　　

　　　　

ベイズの定理

on)distributi (posterior )|( 事後分布⇒YXp

我々が取り扱う多くの問題は，多くの場合事後分布に興味がある

データ分布（尤度関数） 事前分布

同時分布

•さまざまな情報を分布の形で表現する（統計モデル）

•平均値でものごとをとらえることから，分布で対象を表現することへの転換！

ガウス（正規）分布

( )⎭⎬⎫

⎩⎨⎧ −−⋅= 2

2

2

2

2exp

21),|(

σμ

πσσμ xxp

( )

( )⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧ −−==

⎭⎬⎫

⎩⎨⎧ −−===

=

2

2

2

2

2

2

2

2

2exp

21),5|(

20exp

21)1,|0(

)()|(),(

πτμ

πττμ

πσπσσ

predpred XXf

XXYf

XfXYfXYf

事前情報：　

尤度関数：　

同時分布：　

τの値をだんだん小さくしてみる→先見情報の信頼性を高く見積もる

X5=predμY=0

形状は，ピークの値で規格化してある形状は，ピークの値で

規格化してある

どの程度，事前情報を入れるのか？

)(maxarg)(

)()|()(log)(

YlXp

dXXpXYpYpYl

kk

kkk

=

==∗

∫

データセットに最適な事前情報に関する分布は，対数尤度を最大にする（エントロピー最大化原理）によって，自動的かつ客観的に決めることができる

)()()(

prejk

prej

XXXpXX

−≈

=

δ

に固執ある特定の

random) ,(uniformalに依存しないXXpk ≈)(

＜あとで同じ説明がある＞

Type II Likelihood

２．同時分布の分解：統計モデルとアルゴリズム

errorxayp

j

jj +⋅=∑

=0

多項式の当てはめ

多項式，フーリエ級数和などをあてはめるのはデータへの追随性（柔軟性）に劣る！

{ } { } { }

∑

Π

=

=

===

⋅−=

⎭⎬⎫

⎩⎨⎧−=Ψ

==Ψ=

p

j

jijii

iN

i

pjj

Nii

Nii

xaye

eXYf

aXyyY

0

2

2

21

011

2exp

21),|(

,

πσπσ

データベクトル パラメータベクトル

データ分布（尤度関数）

ttt

ttt

eyv

=−=− −

μμμ 1prior model:

observation model:

×

×

×ty

1−tμtμ

1−ty は観測できないtμ

( ) ( )

],,,[:setn observatio],,,[:setparameter

1)|(

21:1

21:1

2

212

1

2

TT

TT

T

ttt

T

ttt

yyyyYX

yYXE

K

K

≡=≡=

−+−= ∑∑=

−=

μμμμ

μμα

μ

Yは所与（観測可能）

統計モデル（確率的表現）が現代的

×

×

×

×

×

×＜＜

＞＞

二つのばね乗数の比が )/1(:1 2α

が小さい2α

が大きい2α

対象を柔軟に表現できるモデル

•超多数のパラメータをもつ統計モデルの採用

パラメータ数

ー時系列：データ数 ｘ ファクター倍

ーイメージ：ピクセル数 ｘ ファクター倍

(Vedula et al., 1999)

超大量データをどう扱うか

同時分布をどうモデル化するか

⇒−− ),,,,,,,,,(interest of Parameters:

nObservatio:

121121 MMNN

m

n

p xxxxyyyyxy

KK

Ｍ，Ｎも，ともに巨大

どう条件付分布に分解して，どう実際に計算するか

(Bayesian Network, HMM, Naïve Bayse,…)

超大量データをどう扱うか

同時分布をどうモデル化するか

Ｘ，Ｙの次元がともに巨大

同時確率分布

事前分布データ分布同時分布

{ }{ }

)()|(),(

:,

:,

1

1

XpXYpXYp

mX

nY

mMmm

nNnn

⋅⇒

=

=

=

=

パラメータベクトル

表すでの興味のある対象を時刻

での観測ベクトル時刻

xx

yy

[ ]

とするただし )|()|(

)|(

)()|()|()|()()|()|(

)()|(,,

),,(),,|(),,(

10:11

1:11

3:13:122:111:1

2:12:111:1

1:11:1

111:1

1111

1

φyyy

yy

yyyyyyyyyyyy

yyyyyy

yyyyyyy

pp

p

ppppppp

pp

ppp

tt

T

t

TTTTTTT

TTTTT

TTT

TT

TTT

T

=

=

⋅⋅⋅=

⋅⋅=

⋅=

≡=

−=

−−−−−−

−−−−

−−

−−

−−

Π

K

KK

K

同時分布の分解（公式）

)|()(

)|()(

)()|()|()()|(

),,(

11

00

1:11

00

2:12:111:1

1:11:1

1

−=

−=

−−−−

−−

Π

Π

⋅=

⋅=

=

⋅⋅=

⋅=

tt

T

t

tt

T

t

TTTTT

TTT

T

p

p

ppppp

p

xxx

xxx

xxxxxxxx

xx

π

π

LL

K

2-TBN: 2-time-slice Bayesian Network

-- Dynamic Bayesian Network--

[ ]tt xxx ,,1:1 K=

'xxTwo Phase

),,,,,( 11 TTp xxyy KK

),|(),|(

),(),|(),|(),(),|(

),,,,,(

1:11:1:11:11

1:11:11:11:1:11:1

:11:1:11:1

11

−−−=

−−−−−

−−

⋅=

⋅=

⋅=

Π tttttt

T

t

TTTTTTTT

TTTTT

TT

pp

ppppp

p

xyxxyy

xyxyxxyyxyxyy

xxyy KK

M=N=T の場合

同時分布の分解

)|(),|()|(),|(

1:1:1

11:11:1

ttttt

ttttt

pppp

xyyxyxxyxx

==

−

−−−

Markov property:（1）

（2）

システムモデル

観測モデル

モデルを仮定

[ ] [ ]tttt

tttt

T

tpp

yyyxxx

xxxy

,,,,,

)|()|(

1:11:1

11

KK ==

⋅= −=Π

３． グラフィカルモデル

)|()|()|,(|

CBpCAPCBApCBA

⋅=⊥

条件付き独立

)|()|(

)|()|()|(

)|,(),|(

CApCBp

CBpCApCBp

CBApCBAp

=

⋅=

=

周辺化(marginalization)

∑∑ ==i

iB

bApBApAp ),(),()(

Figure3: (a)A DPIN structure GD that captures a set of independence relationships among the set {X1,…,X5}—for example,X4 X1｜X2.

(b)The moral graph Gm for GD ,where the parents of X4 have | been linked.⊥

DPIN: Directed Probabilistic

Independence Network

UPIN: Undirected Probabilistic

Independence Network

•MRF: Markov Random Field (Geman and Geman,1984)

•Markov Networks (Perl)

•Boltzmann machines (Hinton and Sejnowski 1986)

•log-linear model (Bishop et al., 1973)

•Bayesian Networks(a)

(b)

X1

X1

X2

X2

X3

X3

X4

X4

X6

X6

X5

X5

)C|E()CB,|D()C()A|B()A()ED,C,B,A,(

pppppp=

Zp

/)DB()CD()AC()AB()ED,C,B,A,(

ΨΨΨΨ=

Arcs represent compatabilityconstraints between nodes

Arcs signify the existence of direct influences among the linked variables and the strength of these influences are expressed by forward conditional probabilities.

A

B

D

C

E

A B

C D

UPINとDPINの違い

},{|},{|

4132

3241

XXXXXXXX

⊥⊥

X1

X2

X3

X4

X2

X3

X1X1, X2: コインX3: ベル

(a)

(b)

Bayesian Network

A

B C

D

(C) Copyright 2004 Seiya Imoto, Human Genome Center, University of Tokyoから改変

DAG: directed acyclic graph

Prof. Miyano

Dr. Imoto

学生

A

B

C

F E

D

G 学生

秘書

Directed graph

フィードバックサイクルのあるＤＧ（このグラフは，DAGでない）

Result (from microarray only)

(C) Copyright 2003 Seiya Imoto, Human Genome Center, University of Tokyo

３．１． Markov Random Field(UPIN: Undirected Probabilistic

Independence Network)

イジング（Ising）モデル

Up: +1

Down: -1

::

i

i

iiconst

ij

ji HgJE

i

εμ

μμμε

∑∑∑ −⋅−=∈

スピン {+1, -1}

i 番目の近傍

H: 外磁場

統計的画像復元にもよく使われるモデル

Ｊ＞０ 強磁性

Ｊ＜０ 反強磁性

∑ −−

=)exp(

)exp()(E

Epβ

βx

ISM

同時確率分布をどう分解するか

{ } { }Mmm

Nnn XYXYp 11, : ),( == == xy

グラフィカルモデル

UPIN: Undirected Probabilistic

Independence Network

DPIN: Directed Probabilistic

Independence Network

•MRF: Markov Random Field

•Markov Networks

•Boltzmann machines

•log-linear model

Bayesian Network

鎖状グラフィカルモデル

一般状態空間モデル

HMM SSM

グラフィカルモデル

３．２． 鎖状グラフィカルモデル・隠れマルコフモデル・一般状態空間モデル

Chain Structure Graphical Model

0x

2y ty

2x tx観測できない

1y観測できる

観測モデル

1xシステムモデル

• 隠れマルコフモデル (HMM) → 状態数が有限個

1. Ising model

2. 遺伝子解析

3. 音声認識： 電話をつかった本人確認システム

4. 自然言語処理（仮名漢字変換） 例：IME on Win98

• Generalized State Space Model → 状態値が連続

1. State Space Model: 制御, 非定常時系列モデル,データ同化

2. Generalized State Space Model： 金融工学, Chaos

}down up,{=tx},,,{ CGTAxt =

⎩⎨⎧

+=+= −

tttt

ttttt

HGFwxy

vxx 1

{ }{ }Nt

Nt

xxxxyyy

,,,,,,,,,

10

1

KK

KK

「ここで はきもの を 脱ぐこと」か

「ここでは、着物 を脱ぐこと」か

「にわにはにわがある」

「庭には庭がある」か

「庭に埴輪がある」か

単語の切れ目を見つける 形態素解析

形態素とは、文字より大きく、しかしそれ以上分割できない言語単位

東京大学情報基盤センター中川氏のＰＰＴより

自然言語処理（仮名漢字変換）

ここではきものをぬぐこと

隠れマルコフモデルによる形態素と品詞

確率過程：いくつかの内部状態を持つ（抽象的機械）から種々の記号が次々と現れる過程。

マルコフ過程： ある記号が現れる確率はその直前の状態にだけ依存する。また、次の状態への遷移確率も直前の状態によって決まる。

例：

隠れマルコフモデル：

外部から記号は観測できるが、内部状態は観測できない（直接分からない）

例えば、「犬が走る」という記号列が得られたとき、内部状態が

名詞 助詞 動詞 と遷移したことを知りたい。

品詞の遷移確率 p(ti|ti-1): 例 p(助詞|名詞)=0.5 p(動詞|名詞)=0.1単語出現確率 p(w|t): 例 p(は|助詞)=0.5 p(走る|動詞)=0.08

名詞 動詞

助詞

０．４

０．１

０．７

０．３

０．５

０．２

０．８

は：０．５が：０．３

食べる：０．１走る：０．０８

:猫：０．１犬：０．０６

:

東京大学情報基盤センター中川氏のＰＰＴより

DNA to mRNA to Protein

At the ribosome, mRNA is read and tRNA is utilized to make the protein sequence. From DNA to RNA to linear protein sequence to folded protein is shown.

（ＰＳＢ ２００３ 表紙）

（Waterman, 1995）

状態空間モデル

過去& 現在

現在& 将来

状態x(t)

観測値y(t)

４．トレンドモデルノンパラメトリック平滑化の一つの方法

Smoothing errorxayp

j

jj +⋅=∑

=0

多項式の当てはめ

多項式，フーリエ級数和などをあてはめるのはデータへの追随性（柔軟性）に劣る！

ttt

ttt

eyv

=−=− −

μμμ 1prior model:

observation model:

×

×

×ty

1−tμtμ

1−ty は観測できないtμ

( ) ( )

],,,[:setn observatio],,,[:setparameter

1)|(

21:1

21:1

2

212

1

2

TT

TT

T

ttt

T

ttt

yyyyYX

yYXE

K

K

≡=≡=

−+−= ∑∑=

−=

μμμμ

μμα

μ

Yは所与（観測可能）

統計モデル（確率的表現）が現代的

×

×

×

×

×

×＜＜

＞＞

二つのばね乗数の比が )/1(:1 2α

が小さい2α

が大きい2α

25620.03212506103.212556103.21AIC

4-

6-

2

××α

AIC best

Too smooth

Too rough

（北川源四郎著

時系列解析プログラミングより）

ハイパーパラメータ（ばね定数）の役割

情報量規準で自動的かつ客観的にきめることができる

ttt

tttt

eyv

=−=+− −−

μμμμ 212prior model:

observation model:

×

×

×ty

1−tμtμ

2−tμ は観測できないtμ

( ) ( )

],,,[:setn observatio],,,[:setparameter

21)|(

21:1

21:1

3

2212

1

2

TT

TT

T

tttt

T

ttt

yyyyYX

yYXE

K

K

≡=≡=

+−+−= ∑∑=

−−=

μμμμ

μμμα

μ

Yは所与（観測可能）

( ) ( )

],,,[:setn observatio],,,[:setparameter

21)|( min.

21:1

21:1

3

2212

1

2

TT

TT

T

tttt

T

ttt

yyyyYX

yYXE

K

K

≡=≡=

+−+−= ∑∑=

−−=

μμμμ

μμμα

μ

( ) ( )

( ) ( )

)|(

22

1exp2

1exp

22

12

1

3

22122

1

22

3

22122

1

22

YXq

y

y

T

tttt

T

tttX

T

tttt

T

tttX

max.

max.

min.

⎭⎬⎫

⎩⎨⎧

+−−⋅⎭⎬⎫

⎩⎨⎧

−−=

⎭⎬⎫

⎩⎨⎧

⎟⎠

⎞⎜⎝

⎛+−+⎟

⎠

⎞⎜⎝

⎛−

∑∑

∑∑

=−−

=

=−−

=

μμμασ

μσ

μμμασ

μσ

( )

( )

)|(

)|(

)()(

2exp

21

2exp

21exp

21exp

1

11

2

2

21

2

2

1

1

22

1

22

XYp

yp

yypep

e

e

e

y

tt

T

t

t

ttt

T

tt

T

t

tT

t

tT

t

T

tt

T

ttt

=

Π=

−Π=Π=

⎭⎬⎫

⎩⎨⎧−Π∝

⎭⎬⎫

⎩⎨⎧−Π=

⎭⎬⎫

⎩⎨⎧−=

⎭⎬⎫

⎩⎨⎧

−−

=

==

=

=

=

=

∑

∑

μ

δμδμ

σπσ

σ

σ

μσ

ttt

t

ttt

tttt

eyeyypep

dyypdeep

+=

∂∂

⋅=

⇒=

μ

)()(

)()( : 確率密度の保存

の役割は自動的にパラメータ

扱うを確率変数として取りの代わりに，

t

tt yeμ⇒

Likelihood Function （尤度関数）

( ) ( )

],,,[:setn observatio],,,[:setparameter

21)|( min.

21:1

21:1

3

2212

1

2

TT

TT

T

tttt

T

ttt

yyyyYX

yYXE

K

K

≡=≡=

+−+−= ∑∑=

−−=

μμμμ

μμμα

μ

( )

( )∫ ∑

∑

⎭⎬⎫

⎩⎨⎧

+−−=

⎭⎬⎫

⎩⎨⎧

+−−=

=−−

=−−

dXC

CXp

T

tttt

T

tttt

3

22122

3

22122

22

1exp

22

1exp1)(

μμμασ

μμμασ

:ondistributi prior

データはこの項にはあらわれない

( )⎭⎬⎫

⎩⎨⎧

+−−= ∑=

−−

T

ttttC

Xp3

22122 2

21exp1)( μμμασ

:ondistributi prior

],,[)(

)()|(),|(

)()(,2

)(

2exp

21

)(1

111:1

:11:11211

21

1

22

2

2232,1

−−

−=−−=

−−

=

=∗

==

=Π=Π=

∂∂

=+−=

Π=

⎭⎬⎫

⎩⎨⎧−Π∝

tt

Ttt

T

tttt

T

t

t

ttttttt

t

T

t

tT

t

Xp

ppp

vpvpv

vp

vvvC

μμμ

μμμμμμ

μμμμμ

ασαπσ

K

( ) ( )

],,,[:setn observatio],,,[:setparameter

21)|( min.

21:1

21:1

3

2212

1

2

TT

TT

T

tttt

T

ttt

yyyyYX

yYXE

K

K

≡=≡=

+−+−= ∑∑=

−−=

μμμμ

μμμα

μ

)()|()(

)()|()|( XpXYpYp

XpXYpYXp ⋅∝⋅

≡

( ) ( )⎭⎬⎫

⎩⎨⎧

+−−⋅⎭⎬⎫

⎩⎨⎧

−−= ∑∑=

−−=

T

tttt

T

tttyYXq

3

22122

1

22 2

21exp

21exp)|( max. μμμ

ασμ

σ

( )

( )⎭⎬⎫

⎩⎨⎧

+−−=

⎭⎬⎫

⎩⎨⎧ −−Π=

∑=

−−

=

T

tttt

ttT

t

CXp

yXYp

3

22122

2

2

21

22

1exp1)(

2exp

21)|(

μμμασ

σμ

πσ

:ondistributi prior

:function likelihood 両方ともガウス分布！ )()|(

)()()|()|( XpXYp

YpXpXYpYXp ⋅∝

⋅≡

( ) ( )⎭⎬⎫

⎩⎨⎧

+−−⋅⎭⎬⎫

⎩⎨⎧

−−= ∑∑=

−−=

T

tttt

T

tttyYXq

3

22122

1

22 2

21exp

21exp)|( max. μμμ

ασμ

σ

( )( )

( )⎭⎬⎫

⎩⎨⎧

+−−=

⎭⎬⎫

⎩⎨⎧

−−=

∑

∑

=−−

=

T

tttt

T

tttT

CXp

yXYp

3

22122

1

22

22

22

1exp1)( :ondistributiprior

21exp

2

1)|( :function likelihood

μμμασ

μσπσ

両方ともガウス分布！

ベイズの定理

on)distributi (posterior )|( 事後分布⇒YXp

＜事後確率を最大にするようにパラメータの値を決めている＞

)()|()(

)()|()|( XpXYpYp

XpXYpYXp ⋅∝⋅

≡

ベイズの定理

on)distributi (posterior )|( 事後分布⇒YXp

我々が取り扱う多くの問題は，多くの場合事後分布に興味がある

５． 状態空間表現

ttt

tttt

eyv

=−=+− −−

μμμμ 212prior model:

observation model:

×

×

×ty

1−tμtμ

2−tμ は観測できないtμ

( ) ( )

],,,[:setn observatio],,,[:setparameter

21)|(

21:1

21:1

3

2212

1

2

TT

TT

T

tttt

T

ttt

yyyyYX

yYXE

K

K

≡=≡=

+−+−= ∑∑=

−−=

μμμμ

μμμα

μ

Yは所与（観測可能）

Linear Gaussian ModelState Space Model [SSM]

ttt

tttt

eyv

+=+−= −−

μμμμ 212

tt

tt

tt

t

t

t

ey

v

+⎥⎦

⎤⎢⎣

⎡=

⋅⎥⎦

⎤⎢⎣

⎡+⎥

⎦

⎤⎢⎣

⎡⋅⎥

⎦

⎤⎢⎣

⎡ −=⎥

⎦

⎤⎢⎣

⎡

−

−

−

−

1

2

1

1

]0,1[

01

0112

μμ

μμ

μμ

System model:

Observation model:

),0(),,0( 22 στ NeNv tt ～～

State Space Model [SSM]

tt

tt

tt

t

t

t

ey

v

+⎥⎦

⎤⎢⎣

⎡=

⋅⎥⎦

⎤⎢⎣

⎡+⎥

⎦

⎤⎢⎣

⎡⋅⎥

⎦

⎤⎢⎣

⎡ −=⎥

⎦

⎤⎢⎣

⎡

−

−

−

−

1

2

1

1

]0,1[

01

0112

μμ

μμ

μμ

ttt

ttt

eHxyGvFxx

+=+= −1[状態空間モデル]

]0 1[,01

,0112

,1

=⎥⎦

⎤⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡ −=⎥

⎦

⎤⎢⎣

⎡=

−

HGFxt

tt μ

μ

State Space Model [SSM]

ttt

ttt

eHxyGvFxx

+=+= −1

[状態空間モデル]状態ベクトル （状態を規定する観測不能変量をならべたもの）

システムモデル

観測モデル

システムノイズ

観測ノイズ

Measurement model

季節調整法

観測値＝トレンド＋季節成分＋偶然変動

Original Trend

Seasonal

Noise

★このスライドは，北川 統計数理研究所長から借用

季節調整モデル （月データ）

・前年同月比

・季調済みデータ（USセンサス）

(北川，樋口，1998)

),0(,

),0(,)(

),0(,2

2

2,,321

2,,21

σμ

τ

τμμμ μμμ

Neesy

Nvvssss

Nvv

ttttt

stststttt

ttttt

～

～

～

++=

+++−=

+−=

−−−

−−

:::

t

t

t

esμ

トレンド成分

季節変動成分

観測ノイズ

季節調整モデル （四半期データの場合）

‘[ ] [ ]

[ ]00101,

0000100001

,

11

1110112

,

,, ,,211

=

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

=

⎥⎥⎥⎥⎥⎥

⎦

⎤

⎢⎢⎢⎢⎢⎢

⎣

⎡

−−−

−

=

== −−−

HGF

vvvsssx tstttttttt μμμ

ttt

ttt

eHxyGvFxx

+=+= − 1

‘

tstttt

tsttt

tst

tttst

stststt

vssss

vsssB

vsBBBB

sBsvsB

Nvvss

,321

,1

,32

1,4

2,,4

)(

)1(

)1)(1(

,)1(

),0(,

+++−=

=−=⋅−

=⋅+++−

==⋅−

=−

−−−

−

−

− τ～

季節調整モデル （四半期データの場合）

Backward Shift Operator

トレンドモデルと識別不能

標準的方法

TrendTrend

Cycle

Noise

Seasonal

循環変動を考慮した方法

★このスライドは，北川 統計数理研究所長から借用