劣モジュラ最適化と機械学習 2.5節
TRANSCRIPT
![Page 1: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/1.jpg)
劣モジュラ最適化と機械学習2.5 節機械学習プロフェッショナルシリーズ@St_Hakky
![Page 2: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/2.jpg)
自己紹介と告知• Twitter : @St_Hakky• ブログ: http://st-hakky.hatenablog.com/• 関西で機械学習勉強会を実施中 !!
• 団体のモットー:• 圧倒的スピード感で大量の書物と論文をぶった切る• 「えっ、まだ読んでないの?」と煽り奉り、輪講会を乱立させる
• 過去のイベント例• PRML 輪講会、 PRML 上巻 / 下巻一気読み• データ解析のための統計モデリング入門の輪講会• わかりやすいパターン認識 ( 続 ) の輪講会
• 参加したい方は、 Facebook のグループにまずは参加を。• URL :https://www.facebook.com/groups/1767916400127792/
![Page 3: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/3.jpg)
劣モジュラ最適化と機械学習の2.5節をやります
![Page 4: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/4.jpg)
コンテンツ• 2.5 劣モジュラ関数と凸性• 2.5.1 : 集合関数のロヴァース拡張• 2.5.2 : 劣モジュラ関数と凸関数• 2.5.3 : 劣モジュラ関数の多重線形拡張
![Page 5: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/5.jpg)
劣モジュラ関数と凸性正規化された劣モジュラ関数
𝑓 :2𝑉→ℝ𝑉={1 ,…,𝑛}
劣モジュラ関数と凸性についてはある種の等価性が成立この凸性は最適化アルゴリズムの設計上でも重要な役割を果たす
![Page 6: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/6.jpg)
ロヴァース拡張への誘い劣モジュラ関数が離散領域で凸関数とみなせることについて、その意味を正確に述べるためロヴァース拡張を見る
ロヴァース拡張�̂� :ℝ≥ 0
𝑛 →ℝ
![Page 7: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/7.jpg)
定義域の違い劣モジュラ関数の定義域
離散領域ロヴァース拡張の定義域
を連続化した次元の非負象限
劣モジュラ関数と凸性の等価性が導かれる
![Page 8: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/8.jpg)
多重線形拡張
多重線形拡張~𝑓 : [0 ,1]𝑛→ℝ
またロヴァース拡張とは異なる連続化である多重線形拡張も用いられる
![Page 9: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/9.jpg)
多重線形拡張の定義域多重線形拡張の定義域
次元単位超立方体
![Page 10: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/10.jpg)
拡張している概念の違い
劣モジュラ関数を凸関数として拡張する概念 劣モジュラ関数を部分的に見れば凹関数となるように拡張する概念
![Page 11: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/11.jpg)
目的の違い
劣モジュラ関数の最小化や最小化と関連する最適化で用いる劣モジュラ関数の最大化において用いる
![Page 12: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/12.jpg)
ロヴァース拡張と多重線形拡張の具体例準備 ( 記号 ) 𝑉={1 ,2}
𝑓 ({})=0 𝑓 ({1 })=4𝑓 ({2 })=3 𝑓 ({1,2 })=5
上記により定まるを考える
![Page 13: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/13.jpg)
ロヴァース拡張と多重線形拡張の具体例
ロヴァース拡張と多重線形拡張は次式のようになる
![Page 14: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/14.jpg)
ロヴァース拡張と多重線形拡張線形関数をつなぎ合わせてできた関数
任意の変数 1 つのみに着目すれば線形関数であるような関数
![Page 15: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/15.jpg)
の自然な拡張であることの確認とについて以下が成り立つので、それぞれの自然な拡張であるといえる
![Page 16: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/16.jpg)
ロヴァース拡張 の凸関数の確認
�̂� (𝑧 1 , 𝑧 2)=𝑚𝑎𝑥 {4 𝑧 1+𝑧 2,2 𝑧1+3 𝑧 2}
確かに凸関数
![Page 17: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/17.jpg)
多重線形拡張の部分的凹関数の確認
h (𝑡 )=~𝑓 (𝑡 ,1− 𝑡 )=−2 𝑡2+7 𝑡例:
は確かに凹関数
h (𝑡 )=~𝑓 (𝑡 ,1−𝑡)=2 𝑡2−𝑡+3例:
この場合は凸関数
変数関数をは凹関数 ()
は凸関数 ( それ以外 )
![Page 18: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/18.jpg)
この後の流れ• 2.5 劣モジュラ関数と凸性• 2.5.1 : 集合関数のロヴァース拡張
• 劣モジュラ関数とは限らない関数と劣モジュラ関数のロヴァース拡張について• 2.5.2 : 劣モジュラ関数と凸関数
• 劣モジュラ関数と凸関数に等価性について• 2.5.3 : 劣モジュラ関数の多重線形拡張
• 劣モジュラ関数の多重線形拡張の定義とその性質
![Page 19: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/19.jpg)
集合関数のロヴァース拡張記号
:台集合:任意の(劣モジュラとは限らない)正規化された集合関数
:各部分集合: の特性ベクトル
![Page 20: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/20.jpg)
の定義域
と表記次元ベクトル全体の集合
の定義域との対応を考えると同一視できる
![Page 21: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/21.jpg)
ロヴァース拡張の定義
を満たす必要があるが、に含まれな いについて、の値を決める必要がある
が自然な連続化関数とすると、定義域を離散領域のから非負象限へと拡張し、ロヴァース拡張を定義する
![Page 22: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/22.jpg)
ロヴァース拡張の関数値の定義: 次元の非負ベクトル
) : の任意の線形順序,
: 個の特性ベクトル
記号
![Page 23: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/23.jpg)
ロヴァース拡張の関数値の定義
を満たすような ) とを 1 つ取ると、以下のように表現できる
の非負結合として分解した表現が得られる
![Page 24: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/24.jpg)
ロヴァース拡張の関数値の定義
はに依存せず一意に定まるので、は一般に連続関数となる
ロヴァース拡張の関数値
![Page 25: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/25.jpg)
具体例: の
という非負結合表現が得られるので,
が得られる
より線形順序であるから
![Page 26: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/26.jpg)
ここまでのまとめこの定義より、各について (2.29) が成立。
よって、ロヴァース拡張は集合関数の自然な拡張になっている
![Page 27: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/27.jpg)
ロヴァース拡張の性質についてもう少し詳しく見て見る
![Page 28: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/28.jpg)
ロヴァース拡張の図形的な解釈) : の任意の線形順序に対し、をを以下のように定義
![Page 29: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/29.jpg)
の図形的解釈 は錐:かつならばもまたに含まれることからわかる錐は 個:のとり方だけあるので、非負象限。は 個の錐に分割される
![Page 30: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/30.jpg)
ロヴァース拡張ロヴァース拡張の定義式 (2.32) より、各錐 の上に限れば線形関数
は 個の線形関数を連結させることで得られる関数
![Page 31: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/31.jpg)
錐とロヴァース拡張の値の関係
のようにの非負結合で表されるベクトル全体と一致。この時、ロヴァース拡張の値は以下のようになる
錐は、個の特性ベクトルと任意の 個の非負実数を用いて
ロヴァ ー ス拡張の値
![Page 32: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/32.jpg)
具体例:•非負象限は以下の二つに分割される
•
• ロヴァ ース拡張は次で与えられる
関数は、確かにとの上では線形関数
![Page 33: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/33.jpg)
具体例:•非負象限は個の錐に分割• , , , ,
![Page 34: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/34.jpg)
この後の流れ• 2.5 劣モジュラ関数と凸性• 2.5.1 : 集合関数のロヴァース拡張
• 劣モジュラ関数とは限らない関数と劣モジュラ関数のロヴァース拡張について• 2.5.2 : 劣モジュラ関数と凸関数
• 劣モジュラ関数と凸関数に等価性について• 2.5.3 : 劣モジュラ関数の多重線形拡張
• 劣モジュラ関数の多重線形拡張の定義とその性質
![Page 35: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/35.jpg)
2.5.2 劣モジュラ関数と凸関数• 劣モジュラ関数のロヴァース拡張は 2 .4 節で定義した多面体で簡潔な形で表現可能なことを見る• 劣モジュラ多面体 • 基多面体
•この節では、さらに劣モジュラ関数と凸関数の等価性についてもみる。
![Page 36: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/36.jpg)
劣モジュラ関数のロヴァース拡張• :正規化された劣モジュラ関数について、そのロヴァース拡張を考える• ここでは、劣モジュラ関数について、そのロヴァース拡張が やを用いて式 (2.32) とは異なる形で表現可能なことを見る
![Page 37: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/37.jpg)
劣モジュラ関数のロヴァース拡張記号
:任意の次元非負ベクトル) :を満たすの線形順序:式 (2.22) によって定義される線形順序に対応する基多面体の端点
![Page 38: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/38.jpg)
ロヴァース拡張の関数値ロヴァース拡張の関数値は式 (2.32) を変形することで以下のようになる。
![Page 39: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/39.jpg)
ここでちろっと 2.4 の復習
![Page 40: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/40.jpg)
基多面体上の線形最適化 (復習 )
次の問題を考える
は基多面体
⟨𝒄 , 𝒙 ⟩=∑𝑖=1
𝑛
𝑐 𝑖 𝑥𝑖
実行可能領域を有界な多面体とする線形最適化問題には端点であるような最適解、端点最適解が必ず存在
![Page 41: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/41.jpg)
線形最適化問題に対する貪欲法 (復習 )
![Page 42: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/42.jpg)
式 2.35 をもう一度見る
⟨𝒄 , 𝒙 ⟩=∑𝑖=1
𝑛
𝑐 𝑖 𝑥𝑖形が同じ
![Page 43: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/43.jpg)
式 2.35 をもう一度見る
⟨𝒄 , 𝒙 ⟩=∑𝑖=1
𝑛
𝑐 𝑖 𝑥𝑖
形が同じの定数ベクトル → を定数ベクトルはそのまま同じ意味として扱う
![Page 44: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/44.jpg)
式 2.35 をもう一度見る
⟨𝒄 , 𝒙 ⟩=∑𝑖=1
𝑛
𝑐 𝑖 𝑥𝑖
形が同じの定数ベクトル → を定数ベクトルはそのまま同じ意味として扱う
2.23 の最適解は
![Page 45: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/45.jpg)
つまり
![Page 46: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/46.jpg)
正規化された劣モジュラ関数のロヴァース拡張は線形順序を含まない形で表される
![Page 47: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/47.jpg)
をに置き換えた場合2.4.2項の議論との非負性から置き換えた場合も成立
劣モジュラ関数ではない一般の正規化された集合関数についてはそのロヴァース拡張が式 (2.37) や (2.38) のような形では表現できない
![Page 48: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/48.jpg)
劣モジュラ関数と凸関致の対応関係
正規化された集合関数 について次の関係が成り立つ が劣モジュラ関数 が凸関数
ロヴァース拡張を用いることで、ロヴァースによって証明された劣モジュラ関数と凸関数の以下のような対応関係を記述することが可能定理 2.1
![Page 49: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/49.jpg)
証明•本を読みましょう
![Page 50: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/50.jpg)
この後の流れ• 2.5 劣モジュラ関数と凸性• 2.5.1 : 集合関数のロヴァース拡張
• 劣モジュラ関数とは限らない関数と劣モジュラ関数のロヴァース拡張について• 2.5.2 : 劣モジュラ関数と凸関数
• 劣モジュラ関数と凸関数に等価性について• 2.5.3 : 劣モジュラ関数の多重線形拡張
• 劣モジュラ関数の多重線形拡張の定義とその性質
![Page 51: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/51.jpg)
劣モジュラ関数の多重線形拡張
劣モジュラ関数を部分的に見れば凹関数となるように拡張する概念ただし 2.5. 2項で述べた、ロヴァース拡張を用いた劣モジュラ関数と凸関数の関係のようにきれいな性質は成り立たない
![Page 52: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/52.jpg)
多重線形拡張•本書の最適化アルゴリズムでは利用しない• しかし、カリネスクらの 2011年の論文など、様々な劣モジュラ関数最大化問題のアルゴリズムにおいて利用されている
![Page 53: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/53.jpg)
多重線形拡張の関数値次元超立方体に含まれる次元ベクトルについては以下のように表される
![Page 54: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/54.jpg)
多重線形拡張の関数値
任意のについてが成り立つので、多重線形拡張は自然な連続化関数。
![Page 55: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/55.jpg)
多重線形拡張の期待値による拡張解釈期待値による拡張と解釈できる。
確率的に決まる部分集合と捉える
![Page 56: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/56.jpg)
多重線形拡張の期待値による拡張解釈期待値による拡張と解釈できる。
各要素について独立とする
![Page 57: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/57.jpg)
多重線形拡張の期待値による拡張解釈期待値による拡張と解釈できる。
は確率でを含み、確率でを含まないとする
![Page 58: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/58.jpg)
多重線形拡張の期待値による拡張解釈
このときはの期待値と一致
![Page 59: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/59.jpg)
についてのに関する偏微分が以下のように成立
さらにについて以下が成立
これより、の劣モジュラ性から以下が成立
多重線形拡張の偏微分
等号成立は
![Page 60: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/60.jpg)
劣モジュラ関数の多重線形拡張の凹性任意の 2 つのベクトルから 1 変数関数をと定める。 このとき (2.40) より
であるため、 h は凹関数。つまり自体は凹関数とは限らないが,非負方向の直線に沿っての関数値を見れば凹関数になることがわかる。
![Page 61: 劣モジュラ最適化と機械学習 2.5節](https://reader036.vdocuments.pub/reader036/viewer/2022062522/58ac23fb1a28abf03a8b57cf/html5/thumbnails/61.jpg)
おしまい