スパース性に基づく機械学習 1章

機械学習プロフェッショナルシリーズ

@St_Hakky

自己紹介と告知• Twitter : @St_Hakky• ブログ： http://st-hakky.hatenablog.com/• 関西で機械学習勉強会を実施中 !!

• 団体のモットー：• 圧倒的スピード感で大量の書物と論文をぶった切る• 「えっ、まだ読んでないの？」と煽り奉り、輪講会を乱立させる

• 過去のイベント例• PRML 輪講会、 PRML 上巻 / 下巻一気読み• データ解析のための統計モデリング入門の輪講会• わかりやすいパターン認識 ( 続 ) の輪講会

• 参加したい方は、 Facebook のグループにまずは参加を。• URL :https

://www.facebook.com/groups/1767916400127792/

スパース性に基づく機械学習の1 章をやります

スパース性とは

• スパース性とは• 日本語訳は疎性。まばらであること• 多くの変数のうちほとんどがゼロでごく一部だけ

が非ゼロの値をとることを意味する

基本的なスパース性：要素単位のスパース性

• 多くの要素がゼロで少数の要素が非ゼロで、これらが特に構造もなく並んでいる• 本スライドで出てくる図は、灰色が０で色があるのが

値があるものとする。

スパース性が有効である例

• ゲノムの個人差からの予測• 例：特定の病気のかかりやすさ、治療の有効性など

• ゲノムの個人間の変異は数百万箇所で起こりうる• しかし、特定の病気のかかりやすさに関連しているのはその

ごく一部

• 数百万箇所全ての変異が特定の病気にどのように影響するのかを推定するには？• その数と同じオーダーの被験者 ( サンプル ) を集める必要が

ある• こんなのコスト的にも無理 w 　→ んじゃ、どうするのか？

スパース性が有効である例 ( 続き )• 病気と関連している変異が少数であるという仮定を用

いる• このようなスパース性の仮定を用いる• この仮定で、少ないサンプル数から調べることが可能

• 注意：この仮定を用いたからといって、病気と関連している変数の目星がついているわけではない。

• 病気と関連している変数の数が数十や数百であったとしても、組み合わせの数は膨大。

スパース性を考える時のポイント• 統計的な問題

• 如何に現実的な仮定を用いて少ないサンプル数での推定を可能にするか

• 計算量の問題• 如何に組み合わせ爆発を防いで現実的な計算量で推定を行う

か

• 上の二つを考える必要がある

スパース性の拡張

• スパース性の定義• 「高次元ベクトルのほとんどの要素がゼロである」

• 上記の定義にとどまらず、様々な拡張が現在は考えられている。

スパース性の拡張：グループ単位のスパース性

• 各行があらかじめ定義した 1 つのグループに対応• 各行が全てゼロか、全て値を含むかのどちらか一方

スパース性の拡張：行列の低ランク性

• これが使える問題設定• 共通の d 変数の上に定義された T 個の関連する学習課題を同

時に解きたい

• スパースじゃない方法• 推定すべき係数の数： dT 個。多い。

• 行列の低ランク性を用いたスパースな方法• 各列に d 個の係数を持つ d 行 T 列の行列を推定する問題と考え

る• 行列のランクが r だとすると、 T 個の学習課題に対して、　 r

個の要因が存在することを意味する• → スパース！！！

スパース性の拡張：行列の低ランク性

• 低ランク行列は、ベクトルとしてみるとスパースではない

• しかし、行列の特異値と見ると、以下のような特徴が見れる• 行列のランクに等しい特異値だけが非ゼロ• 残りの特異値はゼロ

スパース性の拡張：行列の低ランク性

• グループ単位のスパース性との比較• グループ単位のスパース性

• あらかじめグループを定義しておく必要があった

• 行列の低ランク性によるスパース性• 変数のグループや複数の課題に共通する要因を含めて学習でき

る

スパース性の拡張：行列の低ランク性

• 実際の適応例• 時空間データの分析、推薦システム

• こういった適用先でも、行列が低ランクであることを利用して、以下の二つの問題を考えるようにすること。• 統計的な問題

• より小さいサンプル数で推定できないか• 計算量の問題

• 低ランク性という非凸制約から来る計算の困難さを回避して多項式時間で推定を行うか

• そうしないと、旨味がなくなってしまう

一般的にスパースと言われているけどこの本では扱わないもの

• 自然言語処理分野• 高次元かつスパースな特徴ベクトルが存在

• 例：単語、 n- グラム

• データがスパースといっても、分類器が少数の変数の組み合わせからなるとは言えない。• 例：同義語のように、本来は 1 つの変数で済むものが別々に表

現されているせいで、スパースに見えているなど

• データのスパース性が利用できるので計算量の上では好ましい状況。しかし、スパースなデータを対象とするからといって、前に述べた統計的な問題が生じるとは限らない

おしまい