マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 ·...
TRANSCRIPT
![Page 1: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/1.jpg)
2015年度 第1回駒場物性セミナー
知的情報処理の最前線-スパースモデリング vs 深層学習-東北大学大学院情報科学研究科応用情報科学専攻
大関 真之
+
マルチメディア情報ハイディング・エンリッチメント研究会(EMM)
![Page 2: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/2.jpg)
世の中で何が起きているのか?
![Page 3: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/3.jpg)
世の中で何が起きているのか?人工知能?
![Page 4: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/4.jpg)
世の中で何が起きているのか?逆問題の解決
![Page 5: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/5.jpg)
世の中で何が起きているのか?逆問題の解決
![Page 6: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/6.jpg)
![Page 7: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/7.jpg)
![Page 8: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/8.jpg)
![Page 9: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/9.jpg)
![Page 10: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/10.jpg)
![Page 11: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/11.jpg)
複雑になったら??
![Page 12: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/12.jpg)
![Page 13: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/13.jpg)
直線?曲線?何次関数??
![Page 14: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/14.jpg)
![Page 15: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/15.jpg)
![Page 16: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/16.jpg)
![Page 17: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/17.jpg)
![Page 18: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/18.jpg)
![Page 19: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/19.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} データに潜む関係性を暴く
} x: 入力、y:出力、これらをつなぐ関数fを知りたい
機械学習の躍進
![Page 20: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/20.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} データに潜む関係性を暴く
} x: 入力、y:出力、これらをつなぐ関数fを知りたい} 単純だけど繰り返しによる複雑さの極致=深層学習
機械学習の躍進
![Page 21: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/21.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 関数のモデリングの放棄 = とことん楽をする} 線形変換
} 非線形変換
How to 深層学習?
![Page 22: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/22.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 関数のモデリングの放棄 = とことん楽をする} 線形変換
} 非線形変換
How to 深層学習?
![Page 23: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/23.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 関数のモデリングの放棄 = とことん楽をする} 線形変換
} 非線形変換
How to 深層学習?
![Page 24: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/24.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 関数のモデリングの放棄 = とことん楽をする} 線形変換
} 非線形変換
How to 深層学習?
![Page 25: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/25.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 関数のモデリングの放棄 = とことん楽をする} 線形変換
} 非線形変換
How to 深層学習?
![Page 26: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/26.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 関数のモデリングの放棄 = とことん楽をする} 繰り返し構造の関数を用意
} 多層ニューラルネットワーク
How to 深層学習?
![Page 27: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/27.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 正解データに合わせる最適化を実行する} 損失関数の例:連続値を出力とする場合
How to 深層学習?
訓練データ 高次元データ
![Page 28: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/28.jpg)
世の中で何が起きているのか?逆問題の解決
![Page 29: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/29.jpg)
世の中で何が起きているのか?逆問題の解決
![Page 30: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/30.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} データの本質を暴く
} x: 入力、y:出力、出力が出てきた原因・要因・本質xを知りたい
関数は分かっているとして…
![Page 31: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/31.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} データの本質を暴く
} x: 入力、y:出力、出力が出てきた原因・要因・本質xを知りたい} 本質を探るために必要な方法論=スパースモデリング
関数は分かっているとして…
![Page 32: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/32.jpg)
要するにXを求める話
![Page 33: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/33.jpg)
要するにXを求める話連立方程式
![Page 34: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/34.jpg)
O
1
![Page 35: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/35.jpg)
O
交点=解
1
![Page 36: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/36.jpg)
1
O
![Page 37: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/37.jpg)
1
O
(一意には)できません
![Page 38: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/38.jpg)
1
O
(一意には)できません式が足りないから(情報不足)
![Page 39: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/39.jpg)
本質をつかむためには情報が必要これが常識
![Page 40: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/40.jpg)
を満たす解を求めよ
![Page 41: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/41.jpg)
を満たす解を求めよ逆行列があるからOK
![Page 42: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/42.jpg)
を満たす解を求めよ
![Page 43: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/43.jpg)
劣決定系方程式でもXを当てる技術圧縮センシング
![Page 44: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/44.jpg)
そんなことがなぜ可能か?
![Page 45: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/45.jpg)
そんなことがなぜ可能か?スパース性
![Page 46: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/46.jpg)
そんなことがなぜ可能か?スパース性
ほとんどの要素は不要だった
![Page 47: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/47.jpg)
を満たす解を求めよ
![Page 48: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/48.jpg)
を満たす解を求めよできる!
![Page 49: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/49.jpg)
を満たす解を求めよできる!
![Page 50: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/50.jpg)
MRI画像の例京都大学病院放射線科提供
![Page 51: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/51.jpg)
少ないデータ京都大学病院放射線科提供
![Page 52: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/52.jpg)
圧縮センシング利用京都大学病院放射線科提供
![Page 53: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/53.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
天文学+圧縮センシングK. Akiyama, et al. Astrophys. J. (2017)
![Page 54: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/54.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
天文学+圧縮センシングK. Akiyama, et al. Astrophys. J. (2017)
![Page 55: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/55.jpg)
不足した観測情報+推定方法圧縮センシング
![Page 56: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/56.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L0ノルム最小化によるスパース解推定} 以下の最小化問題でスパース解を探索しよう!
![Page 57: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/57.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L0ノルム最小化によるスパース解推定} 以下の最小化問題でスパース解を探索しよう!
L0ノルム=非零の個数
![Page 58: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/58.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L0ノルム最小化によるスパース解推定} 以下の最小化問題でスパース解を探索しよう!
L0ノルム=非零の個数
1
O
![Page 59: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/59.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L0ノルム最小化によるスパース解推定} 以下の最小化問題でスパース解を探索しよう!
L0ノルム=非零の個数
1
O
![Page 60: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/60.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L0ノルム最小化によるスパース解推定} 以下の最小化問題でスパース解を探索しよう!
L0ノルム=非零の個数} 非零成分の個数が小さい(スパース)もので方程式を満たすものを探す
} 残念ながら計算量的に困難(組み合わせ最適化問題)
1
O
![Page 61: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/61.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L1ノルム最小化によるスパース解推定} 代わりに次の最小化問題で探索しよう!
1
O
![Page 62: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/62.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L1ノルム最小化によるスパース解推定} 代わりに次の最小化問題で探索しよう!
1
O
![Page 63: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/63.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L1ノルム最小化によるスパース解推定} 代わりに次の最小化問題で探索しよう!
1
O
![Page 64: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/64.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L1ノルム最小化によるスパース解推定} 代わりに次の最小化問題で探索しよう!
} 零が多ければ小さくなる+大きさも小さくなりがち} 計算量は非常に軽い(Nの3乗程度)
1
O
![Page 65: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/65.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
スパース解推定
} L2ノルムでは??} 代わりに次の最小化問題で探索しよう!
} 零が多ければ小さい+大きさがかなり小さくなりがち+小さいかすが残る
} 計算量は非常に軽い(Nの2~3乗程度)
1
O
![Page 66: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/66.jpg)
L1ノルムはスパースな解の選択法
![Page 67: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/67.jpg)
L1ノルムはスパースな解の選択法当たるかどうか?
![Page 68: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/68.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
実践例
} M=100,N=1000,K=20,ガウスランダム観測行列の場合
0 100 200 300 400 500 600 700 800 900 1000−2.5
−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
index of x0
amplitude of signals
0 10 20 30 40 50 60 70 80 90 100−15
−10
−5
0
5
10
15
index of y
amplitude of signals
![Page 69: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/69.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
実践例
} L2ノルムを利用した場合
0 100 200 300 400 500 600 700 800 900 1000−2.5
−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
0 100 200 300 400 500 600 700 800 900 1000−2.5
−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
index of x by L1 norm
amplitude of signals
index of x by L2 norm
amplitude of signals
![Page 70: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/70.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
実践例
} L1ノルムを利用した場合
0 100 200 300 400 500 600 700 800 900 1000−2.5
−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
0 100 200 300 400 500 600 700 800 900 1000−2.5
−2
−1.5
−1
−0.5
0
0.5
1
1.5
2
index of x by L1 norm
amplitude of signals
index of x by L2 norm
amplitude of signals
![Page 71: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/71.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
L1ノルム最小化の性能
} L1ノルム最小化によるスパース解推定法} 前提:A=ガウスランダム行列、原信号はガウスランダム
} 解析方法は積分幾何学や統計力学[D. L. Dohono and J. Tanner: Proc. Nat. Acad. Sci. 102 (2005) 9452][Y. Kabashima, T. Wadayama, and T. Tanaka: J. Stat. Mech.: Theor. and Exp. 09 (2009) L09003]
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
![Page 72: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/72.jpg)
スパースモデリングFind x by sparsity
![Page 73: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/73.jpg)
スパースモデリングFind x by sparsityMake x sparse
![Page 74: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/74.jpg)
どうやって?機械学習
![Page 75: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/75.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
辞書学習でスパースな基底を
} ノイズや抜けに対して頑強な基底を獲得
} スパースなxとなるようなAを求める} yが与えられているだけで良い
J. Mairal, F. Bach, F. Ponce, and G. Sapiro: ICML (2009)
見える画像 スパース表現
![Page 76: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/76.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
辞書学習でスパースな基底を
} ノイズや抜けに対して頑強な基底を獲得
J. Mairal, F. Bach, F. Ponce, and G. Sapiro: ICML (2009)
見える画像 スパース表現
![Page 77: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/77.jpg)
圧縮センシング実践編
![Page 78: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/78.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
何をすれば良いのか??
} 最適化問題を解けば良い!} 解きたい最適化問題
} 罰金法により等価な最適化問題
} LASSO(Least Absolute Shrinkage and Selection Operators)} 絶対値関数が含まれるので難しそう=単なる印象にすぎない
=3
minx
�12�y �Ax�2
2 + � �x�1
�
![Page 79: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/79.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
1変数なら解ける!
} 軟判定しきい値関数の導入
} この最小化問題の解は、以下の軟判定しきい値関数で与えられる.
![Page 80: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/80.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
何をすれば良いのか??
} これなら解ける} 仮に以下の最適化問題であれば、微分なしで解ける
} 軟判定しきい値関数の導入
} もともとの最適化問題の代わりに解きやすい形にしよう
![Page 81: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/81.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 勾配法に頼らない高速なアルゴリズム} 解きたい問題が2つ以上の関数の組み合わせとする
} Ex) LASSO
最近の進展:ADMM [Alternating Direction of Multiplier method)S. Boyd, et al. Foundation and Trends in Machine Learning, 3 (2010) 1
![Page 82: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/82.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 勾配法に頼らない高速なアルゴリズム} 解きたい問題が2つ以上の関数の組み合わせとする
} Ex) LASSO
} あえてふたつの変数の問題に分割(Spilitting)
最近の進展:ADMM [Alternating Direction of Multiplier method)S. Boyd, et al. Foundation and Trends in Machine Learning, 3 (2010) 1
![Page 83: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/83.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 勾配法に頼らない高速なアルゴリズム} 解きたい問題が2つ以上の関数の組み合わせとする
} Ex) LASSO
} あえてふたつの変数の問題に分割(Spilitting)
} 拡張ラグランジュ法を利用する!(未定乗数:h、罰金係数:ρ)
最近の進展:ADMM [Alternating Direction of Multiplier method)S. Boyd, et al. Foundation and Trends in Machine Learning, 3 (2010) 1
![Page 84: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/84.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 勾配法に頼らない高速なアルゴリズム} 解きたい問題が2つ以上の関数の組み合わせとする
} Ex) LASSO
} 交互にふたつの変数の最適化問題を解く
} ラグランジュ未定乗数を更新
最近の進展:ADMM [Alternating Direction of Multiplier method)S. Boyd, et al. Foundation and Trends in Machine Learning, 3 (2010) 1
![Page 85: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/85.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 勾配法に頼らない高速なアルゴリズム} 解きたい問題が2つ以上の関数の組み合わせとする
} Ex) LASSO
} 交互にふたつの変数の最適化問題を解く
} ラグランジュ未定乗数を更新
最近の進展:ADMM [Alternating Direction of Multiplier method)S. Boyd, et al. Foundation and Trends in Machine Learning, 3 (2010) 1
![Page 86: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/86.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
S ADMM(コードは講義ノートに掲載中)
0 5 10 15 20 25 30 35 40 45 50-7
-6
-5
-4
-3
-2
-1
0
1
2
0 10 20 30 40 50 60 70 80 90 100-2
-1.5
-1
-0.5
0
0.5
1
1.5
index
最近の進展:ADMM [Alternating Direction of Multiplier method]S. Boyd, et al. Foundation and Trends in Machine Learning, 3 (2010) 1
![Page 87: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/87.jpg)
更なる戦略低ランク性
![Page 88: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/88.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
サービスデータ+スパースモデリング
![Page 89: マルチメディア情報ハイディング・エンリッチメン …...2017/05/22 · 2015年度第1回駒場物性セミナー 知的情報処理の最前線-スパースモデリングvs深層学習-東北大学大学院情報科学研究科応用情報科学専攻](https://reader034.vdocuments.pub/reader034/viewer/2022042409/5f252ecb1549012e933a428c/html5/thumbnails/89.jpg)
2017.05.22 知的情報処理の最前線 -スパースモデリング vs深層学習
} 機械学習という現代の魔法} 深層学習
} 単純な繰り返しによる複雑な関数 f の近似} スパースモデリング
} Find x by sparsity (圧縮センシング)} Make x sparse (辞書学習)
} L1ノルム} スパースな解を当てることができる} 数学や統計物理による数理的保障がある
} ADMM (alternating direction of multiplier method)} 拡張ラグランジュ法による最適化手法} 複数のコスト関数があっても良い
} 鍵は最適化問題} 世界各国で最適化専門のマシン・チップ登場
まとめ