1

機械学習 全般

2016/09/29mabonki0725

2

自己紹介

• 分析 統計 構築15年– 学習 以外 運用 予測 当 驚 – 統計 勉強 始

• 統計数理研究所 機械学習 年間在籍– 殆 統計 構築 判別木 SVM DeepLearning等

• 技術習得 産業技術大学院 入学– 知覚 機械学習 制御理論 統合 必要 発展途上 技術

• 米国 機械学習 膨大 論文発表 保然 – 国際的 学会 NIPS ICML KDD等) 日本人 殆 (NIPS ICML 発表会合 万人 参加

3

機械学習 進展

• 2000年頃 古典的 頻度統計 主流 – 貴重 計算機 低 時代 統計– 仮説検定 P値 結果 解釈 難解

• 2000年以降 統計 発展 – 豊富 計算機 繰返 計算 精緻化 – 隠 変数 見 因子 入 成功

• DeepLearning 特徴量抽出能力 認識 – Hinton 教師 RBM) 飛躍的 性能 向上

• 強化学習 DeepLearning Alpha碁 出現– DeepMind社 状況認識 適応行動 合体 DQN

• 殆 Free – 機械学習 AI 参加 容易 – Python 全 言語 長所 反映 充足 高

4

機械学習 工程

• 機械学習 使 前処理 大部分 占 • 機械学習 使 % • 実用上 運用 学習外) 精度 大事

課題 工数 課題例 企業審査 区分 負荷分析方針 審査 可能性 調査 計画 所在調査 与信先 調査 取得 与信先 集積 解釈 整合性 検討 統合 有意 選択 統合 分割 与信先 区分 加工 信用 説明 有意 加工 化 適用 適用 精度検証 過学習 劣学習 検証 検証 実装 審査 実装 運用 精度

加工

後処理

5

機械学習 種類区分 種類 内容 例

教師

教師付 項目 分別 指標 重回帰 回帰 SVM 判別木

教師 項目 分別 指標 k-means LDA 隠

半教師 項目 分別 指標 一部 転移学習

区分 識別 推定 教師

生成 定理 事後分布 推定 隠 変数 扱 教師 教師 両方

統計 統計 統計的 分布 前提

非統計 DeepLearning 経路問題 線形計画法 非線形計画法 最短経路

関係図 関係 図示 GGM SEM 樹系図

時系列 時系列 時系列 予測 ARMA 生存分析

解法

法 多数 弱判別器 重 合 精度 高 識別

法 多次元 写像 非線形問題 解 SVM 過程回帰

最大尤度法 最適解 多変数 法 解 多 回帰 重回帰

SGD 近似的 線形勾配 最適値 求 回帰 重回帰

EM 期待値 最大 様 繰返 計算 解 混合 隠

MCMC 乱数 最適 振 最適値 探索 隠 変数 探査 生成

DeepLearning 間 重 最適値 解 CNN RNN LSTM RBM

少 変数 化 Lasso 回帰 RVM

成分分析 多次元 関係 少 成分 表 主成分分析 協調 要因分析

変分法 近似関数 更新 真 解 迫 混合 分布

6

教師付 販売 駅前 教師 見学 行

分析 結果見学 人 属性 相関 上位 家 形態 地域

判別木 結果借家 北部地域 質問 月収22万

87 見学

7

教師 教師 菖蒲 花 種類 区分

法花 幅 長 片 長

種類 区分

種類別 花 幅 長 片 長

図

8

頻度統計 統計 比較頻度統計 識別 )

統計 生成 )

適合度P値 必要

適合度 改善指標AIC,BIC

識別 生成

9

非統計

sin 与 予測

非線形計画法非線形関数領域内 制約

x+y 最大値

10

非統計

東京地下鉄 最短経路探査 法

11

号 乗船名簿 生死 推定

性別 生死 予測

収入 学歴 会社規模 人脈 有名度 相関 地位 隠 因子 仮定

隠 因子 地位 各 関係度 計測

12

時系列解析

定常波 予測

長期 除去 定常波

非定常波 予測

13

法

直線 分離

分離 様 高次元 写像

平面 分離

14

実装例1 回帰(SGD版)download http://www1.m.jcnnet.jp/mabonki/download.htm

重回帰計算部分 回帰計算部分 入 替

重 更新 教師区分 説明変数

繰返計算

一般 回帰 多次元 法 解 SGD法 5行

確率勾配法

15

法実装例2 ARD(関連度自動決定)RVMdownload http://www1.m.jcnnet.jp/mabonki/download.htm

RVM回帰 出来 少 点 回帰 下記例 3点 回帰

RVM識別 X 識別 RVM識別 結果 Z軸 確率値

法

16

主成分分析 成分 集約

16本 木

島 16本 木 点 距離計測

次元 関係 図示 次元 主成分分析

16本 円形 植

17

DeepLearning CNN

18

19

変分

sample毎 混合比率r1 r5以外 縮退

K番目分布 混合比率

分布

変分 実装結果

簡易関数 徐 近

20

• 機械学習 淘汰 進

– 教師 – 教師 MCMC– 画像 音声認識 DeepLearning

• 学術上 未 百花繚乱 状態– 何 起 分 状況– DeepLearning 理論的背景 解明

• 誰 参加可能– 世界 状況 起 – 志向 根気 大切– 残念 情報 全 英語 英語力 必須