輪講用資料 6/14

B4 森貴之

前回まで• ロジスティクスの数理– 久保幹雄– 第３章　経済発注量の数理　の続き• ２のべき乗方策• 容量を考慮した複数品目モデル• 生産を考慮したモデル• 価格を考慮した経済発注量モデル

– 第５章　在庫の数理• 新聞売り子問題• 基在庫方策（多段階モデル）

今回の内容• 第５章　在庫の数理 続き– 動的計画 (DP)

動的計画 (DP) とは• 動的システムに対する最適化手法の一つ• 意思決定が段階ごとになされる• 段階は離散化された時間軸を表すことに

用いられる

離散時間動的システム• Descrete time dynamic system• : 離散的な時刻 , • : 期におけるシステムの状態 , • : 期における意思決定変数 , – は期の状態で決まるから選ばれる

• : 期におけるランダム性 ,

離散時間動的システム

• 費用は下式

– : 期における費用– : 最終回における費用（確定値）

• : 方策 (Policy)

• が許容 (admissible) である ⇔

離散時間動的システム• 許容方策を与えると、によっての確率分布

が定まり、 T 期の総費用の期待値が一意に定まる。

• DP の目的はと許容方策の集合が与えられたとき、なるをみつけること– : 最適値や最適目的関数という

DP アルゴリズム• 最適性の原理 (principle of optimality)– ある期において状態が起こる確率を正と仮定

し、期から最終期までの費用の期待値を最小にする DP 問題を考える

– この時、の期以降の部分からなる方策が最適• ある期のから始めて、最終期までで運用

した時の総費用の期待値をとする。（到達費用関数）

DP アルゴリズム• の時、は自明• の時、 は、その期に発生する費用との和

を最小化するを選択すればよい• 以降の順に を計算する

確定的 DP 問題• ランダム性をふくまない• （とりうるシステムの状態）は有限と仮

定• 期ごとに意思決定するのと最初にすべて意

思決定する方策に差がない• 状態変化はからまでの有向枝• 期の費用は有向枝に付随する費用• ダミー点 0,n+1 を追加

システムイメージ図

http://msirocoder.blog35.fc2.com/　から引用

確定的 DP 問題• : t 期に状態がからに移動する意思決定を

した時の費用• : T 期においてでいるときの費用

=

• 初期条件からスタートするアルゴリズムを後退型 DP アルゴリズムという– 前進型も存在する

無限期間 DP 問題• Infinite horizon• とする

• は初期状態割引率での費用– 将来の費用を現在価値に割り引く必要がある

Markov 連鎖の応用• 状態が有限の時に用いることができる• Markov 決定問題と呼ばれる– 有向グラフを用いる– : 推移確率 (transition probability)– の時に可能なコントロールの集合が– : でコントロールを行いに推移した時の費用– : でを行った時の期待費用

Markov 連鎖の応用• 初期状態を与えた時のは

• 上式を最小にする許容方策を（最適方策）と書く

• 無限期間 DP 問題では期に依存しない定常方策を求めることが多い（と書く）

確率的最短経路問題• : 状態の集合で有限。各々の状態にはの

番号を付ける• での時のに推移する確率

　より（有限を仮定）

• 終端状態を 0 で表し、を仮定• 目的は最小の期待費用で終端状態に到達

すること

確率的最短経路問題• 期の移動後に終端状態に達する確率が 0 よ

り大きくなる有限な正数の存在を仮定• すると以下が成立– 再帰方程式の収束性

• 期待費用は発散しない• : 再帰方程式

– 最適値に対するベルマン方程式• 最適値は以下の方程式を満たす

• この方程式はベルマン方程式と呼ばれる

確率的最短経路問題• 前頁存在の仮定の下で初期状態と定常方策

を与えた確率的最短経路問題に対し、以下が成立– 定常方策に対するベルマン方程式

• に対するは以下の方程式の唯一解である

– 定常方策の収束性• 定常方策はを収束させる

– が最適である⇔が Bellman’s eq における最小値を達成している

価値反復法(value iteration method)

• 再帰方程式から最適値を算出するアルゴリズム

• 初期条件の下で以下の反復を行う

• 無限の反復が必要に…

方策反復法(policy iteration method)

• 第反復における方策をと書く• 初期条件： およびを任意の許容な定常方

策から出発し、すべてのに対してとなるまで以下の 2steps をくりかえす。– 方策評価ステップ– 方策改善ステップ

方策反復法• 方策評価ステップ– を未知変数とした以下の線型方程式系を解き、

その解をとする

• 方策改善ステップ– 上で得たを元に、反復目の方策を以下の式か

ら求める

方策反復法の有限収束性も前述の存在仮定から証明できる

方策反復法• 線型方程式を解くにはガウスの消去法などの標準的アルゴリズムを用いる

• しかし、状態の数が大きいときには以下の反復法が用いられる– を初期条件とし、に対して

を計算する。適当なに対するを方程式系の解の近似として用いる

次週までの予定• 基在庫方策への動的計画の応用–次週までに終わりそう

• マルコフ過程をもっと詳しく…？