機械学習のガクシュウ©Ÿ械学習のガクシュウ 2015年12月16日技術研究所...

機械学習のガクシュウ

2015年12月16日

技術研究所井上祐寛

リフレッシュmeet-up

All Rights Reserved. Copyright © CRESCO, LTD. 1

もくじ

機械学習の分類

深層学習 Deep Learnig

研究の最新動向

機械学習とは

Tensor FlowGoogle Cloud API

Raspberry Pi でWatson日本語質問応答システム

最新の機械学習デモ


機械学習とは

機械が学習するってどういう事ですか？

機械はどうやって学習するの？

機械が学習すると何が嬉しいの？



１．機械学習とは

機械が学習するってどういう事ですか？

明示的にプログラミングすることなくデータから学習することによって、コンピュータが振る舞い方（モデル）を獲得する技術（科学的方法論）

cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))

・縦横30cm未満ならSへ移動・縦横30cm以上ならLへ移動

S

L

L S

プログラムされたルールによって分類

特徴から分類



機械はどうやって学習するの？

例えば、子供に写真を見せて“さかな“を教えてみましょう。

これは？？？

“さかな“だよ

これは？

“さかな“だよ

さかな

（特徴）紡錘系、背びれ、尾びれ、エラ、目玉が大きい

さかなこれは？

初めて見せる写真



さかな

さかな

入力

“さかな“の写真正解データ

特徴を学習

・円柱状でまん中が太く、両端がしだいに細くなる・大きい黒い丸（目）

初めて見せる写真

入力

さかな

見分けるモデル

学習の結果得られた法則性数式、データ構造、変更可能なパラメータ値の集合

イラストは？



識別分類予測クラスタリング

犬

猫

機械学習はデータを判断すること

市場などの予測文字認識画像解析異常検知

レコメンデーション

ロボットなどの行動獲得

遺伝子などの相関分析

医療などの診断

故障予知

質問応答、対話システム

機械学習を利用した例



機械が学習すると何が嬉しいの？

・医師は問診で忙しい・一週間で読めても４つくらいの論文・報告され増える症例に有効なものもがある・現実には毎月2万もの論文が発表され、一人の人間が読みこなせる量ではない

どうされましたか？頭痛と熱が

続いて

いつからですか？おとといか

らです

・音声認識・問診内容の認識・知識からアドバイスの提示

症例知識

論文

学習済の知識

入力

アドバイス１

アドバイス２

アドバイス３

支援

最新の論文、症例を医者にかわって学習しておくことで、医師に対してアドバイスをする事ができ医師、患者にとって有益に働く。



教師あり学習

教師なし学習

その他分類（中間的手法）


２．機械学習の分類

既知の情報を使って、未知の情報の予測器を構築します。

【回帰】実数値を予測する回帰、手法線形回帰、リッジ回帰【クラス分類】カテゴリを予測する分類、手法としてロジスティック回帰、サポートベクターマシン

データに含まれるパターンを見つけ出し、データの性質を理解することを目指す。

【クラスタリング】クラスタリングの代表的手法として、K平均法、混合正規分布【情報圧縮】次元削除の手法として主成分分析。

目的とデータ特性に応じて、教師あり／なしの枠を超えて開発された機械学習の分類

機械学習分類

教師あり学習

教師なし学習

その他分類

・レコメンデーション・自然言語処理・強化学習・半教師あり学習・アンサンブル学習・オンライン学習・深層学習



正解のついたデータを使い、モデルの生成を行う。

入力データ、出力データ

正解データ特徴、属性(連続値/離散値)

データは“ラベル” or “数値”となる。例：

ラベル=「男/女」、「晴/曇/雨」数値=長さ、温度

【学習データ】正解のついたデータで

入力、出力がセットとなる。(こう入力した、こう出力する)

正解の値・正解がラベルの場合は「識別問題」

この時の正解はクラス(class)と呼ぶ

・正解が数値の場合は「回帰問題」この時の正解はターゲット(class)と呼ぶ

教師あり学習

“さかな”



モデル入力データ出力データ

入力データを出力データ（正解）となるようモデルを学習する。

入力データ、出力データ

正解データ特徴、属性(連続値/離散値)

学習データデータの例：ベクトルです

入力データ[(男、28,178, 75, yes), (女、68,165, 44, no)]

出力データ[0,1]

“さかな”[画素,・・・]



正解情報が無いデータを使い、モデル推定、パターンなどの特徴を検出

入力データ

特徴、属性(連続値/離散値)

与えられた入力データに潜む規則性を学習すること目的。

着目すべき規則性①モデル推定

・入力データ全体を支配する規則性・学習によって推定する問題がモデル推定

②パターンマイニング入力データの部分集合内、あるいは部分集合間に成り立つ規則性多くの様相に埋もれて見えにくくなっているものを発見する問題がパターンマイニング。

「教師なし学習」は、入力用データのみを与え、データの中になる一定のパターンやルールを抽出する。（モデル推定、パターンなどの特徴抽出）

教師なし学習

“さかな”っぽいなぁ


３．深層学習

深層学習Deep Learning

ディープラーニングの基本

ディープラーニングの種類

画像認識／音声認識／自然言語処理


３．深層学習

ILSVRC(Imagenet Large Scale Visual Recognition Challenge)2012年カナダのトロント大学（初参加）が開発したSuperVisionが他を大きく引き離して優勝。

# Team name Error (5 guesses) Description

1 SuperVision 0.15315 Using extra training data from ImageNet

Fall 2011 release

2 SuperVision 0.16422 Using only supplied training data

3 ISI 0.26172 Weighted sum of scores from each

classifier with SIFT+FV, LBP+FV,

GIST+FV, and CSIFT+FV, respectively.

4 ISI 0.26602 Weighted sum of scores from classifiers

using each FV.

5 ISI 0.26646 Naive sum of scores from classifiers

using each FV.

6 ISI 0.26952 Naive sum of scores from each

classifier with SIFT+FV, LBP+FV,

GIST+FV, and CSIFT+FV, respectively.

7 OXFORD_VGG 0.26979 Mixed selection from High-Level SVM

scores and Baseline Scores, decision is

performed by looking at the validation

performance

Task 1 (classification) Result

トロント大学のSuperVisionがエラー率15で他を圧倒的に引き離し勝利。

ブレイクスルー

ちなみに2015年はGoogleが

4.82%でトップ

お手軽デモhttp://demo.caffe.berkeleyvision.org/

http://demo.caffe.berkeleyvision.org/


出題ヒョウ

正解

確信度

３．深層学習

1,000クラスある候補の中から、どれだけ正確に答えを識別できるかを競う、学習アルゴリズムの競技。（学習データ1,000万枚、主題15万枚)


３．深層学習

ディープラーニングの基本

ニューラルネットワーク

入力層出力層隠れ層

3

-2

0.5-1

x0.3

0.4b=0.3

X=f(0.5*(-1) + (-2)*0.3 + 3*0.4 + 0.3) = f(0.4)

前の層の出力

重み


３．深層学習

手書き文字の認識・MNIST(エムニスト)

画像認識の世界ではよく使われる標準的な手書き画像データセット

28 x 28 = 784 ピクセル画像は７万枚画像には正解ラベルが付けられている

この画像をピクセル単位に分解してニューラルネットワークに読み込ませ認識させる。


３．深層学習

出力結果出力層0～9まで10個並ぶ

入力層784個並ぶ

入力データ

数字

確率

0 0.05

1 0.05

2 0.05

3 0.40

4 0.05

5 010

6 0.05

7 0.05

8 0.15

9 0.05

28x28 pixel


３．深層学習

出力結果

数字

確率

0 0.05

1 0.05

2 0.05

3 0.15

4 0.05

5 010

6 0.05

7 0.05

8 0.40

9 0.05

×

間違えて認識した場合重みづけを変えて、正しい正解が出せるよう調整する。(学習法：誤差逆伝播 back Propagation)

出力結果

数字

確率

0 0.05

1 0.05

2 0.05

3 0.40

4 0.05

5 010

6 0.05

7 0.05

8 0.15

9 0.05

○

正解が出力されるよう（誤差を小さく）各重みづけを調整します。重みづけを大きくすると誤差が減るのか、小さくすると誤差が減るのかを計算し、誤差が小さくなる方向にそれぞれの重みづけを微調整する。


宣伝

詳しくは、機械学習勉強会へ！

次年度は「人工知能／機械学習勉強会」へパワーアップ！

活動テーマの例“SF映画に学ぶAI”


３．深層学習

研究の最新動向


３．深層学習

Zero-Shot Learnig

ラベル空間

Canada War

事例空間

lion

事例をラベル空間へ写像する行列Mを学習

Y:目的言語

Canada War

X：原言語

lion

カナダウグイス

ライオン

対訳抽出


３．深層学習

Caption Generation


３．深層学習

http://deeplearning.cs.toronto.edu/i2t

http://googleresearch.blogspot.jp/2014/11/a-picture-is-worth-thousand-coherent.html

画像を入力すると説明文を出力する。

画像認識のCNN(Convolutional neural network)と自然言語処理のRNN(Recurrent Neural Network)の組合せ。

http://deeplearning.cs.toronto.edu/i2t

http://googleresearch.blogspot.jp/2014/11/a-picture-is-worth-thousand-coherent.html


３．深層学習

マルチモーダル分散表現

画像とテキストを共通のベクトル空間で表現する「マルチモーダル分散表現」ベクトル表現の間で演算が可能も可能。

例えば青い車の画像から青という単語を引いて、赤という単語を足すと演算先の空間の近傍には赤い車が集まっている事となる。


最新の機械学習デモ

Tensor Flow

Google Cloud API

Raspberry Pi でWatson日本語質問応答システム


４．最新の機械学習デモ

2015/11音声検索、写真認識、翻訳サービスとなど、自社サービスに適用してきたgoogle機械学習の開発基盤がOSSとして公開。

MNIST For ML Beginners

Deep MNIST for Expoerts

Tutorials MNIST

DEMO 自分で書いた文字を認識させよう。

単層、ロジスティック回帰（識別率約91.2%)

多層、畳み込みニューラルネットワーク（識別率約99.2%)

TensorFlow

https://www.tensorflow.org/versions/master/tutorials/mnist/beginners/index.html

https://www.tensorflow.org/versions/master/tutorials/mnist/pros/index.html

http://tensorflow-mnist.herokuapp.com/

http://tensorflow-mnist.herokuapp.com/



What is Cloud Vision API ?

・画像認識機能を簡単のAPIで提供(REST)→ TensorFlow学習しなくとも手軽に

Deep Learnigが試せる。・顔検知

画像上の複数の顔、目鼻口の位置・感情・物体検知・ロゴ認識・ランドマークの認識・セーフサーチ検知・OCR

2015/12/2

Google Cloud Vision API

https://www.youtube.com/watch?v=eve8DkkVdhI&feature=youtu.be



Raspberry Pi で Watson日本語応答システム

デモ動画

https://youtu.be/HcbFX_3okEI


おしまい

機械学習のガクシュウ©Ÿ械学習のガクシュウ 2015年12月16日 技術研究所...

Documents

機械学習のガクシュウ©Ÿ械学習のガクシュウ 2015年12月16日技術研究所...