来栖川電算における 機械学習 活用事例 2016.8.30 来栖川電算 山口 陽平 GCPUG Sapporo vol.2 ML Night

『 T e n s o r F l o w 』 で 『 毎 朝 体 操 』 を 賢 く し た 話

今日話すこと

• 自己紹介 ＆ 会社紹介

• 毎朝体操

• 採点の仕組

• 深層学習の導入

–隔週更新している採点エンジンが１ヶ月前から深層学習に切り変わっている話

• まとめ

• 付録（求人 & 技術紹介）

2

自己紹介 ＆ 会社紹介

とりあえず

3

山 口 陽 平 @melleo1978

• 所属 ＆ 経歴 – 有限会社 来栖川電算 取締役

– Mashup Awards 9 優秀賞受賞

– 名古屋工業大学大学院 博士前期課程修了

– IPA未踏ソフトウェア創造事業 採択

• 自己紹介 企画 ～ 実装まで全部やる人

– 認識技術 & アルゴリズム の研究開発

• 文字認識，物体認識，動作認識，行動認識

– 言語処理系 の研究開発

• 分散DB，仮想機械，コンパイラ

• 好きなGCP BigQuery

※実物に髪の毛はありません。

4

山 口 陽 平 @melleo1978

• ［実践］画像認識 を執筆 WEB+DB PRESS Vol.83

–これから画像認識をはじめる人におススメ

5

– OpenCV の使い方や実装例

– SIFTなどの各種アルゴリズムや特定物体認識のしくみ

–精度改善への取り組み方

来栖川電算 設立 2003年（名古屋工業大学発ベンチャー） 従業員 38人

• SF世界の技術を実現し、社会に役立てる

–人工知能技術のライセンス販売・研究・SI

• 文字認識，物体認識，動作認識，行動認識

–スマホアプリの企画・制作・運営

スマートライフ技術

NTTドコモ様との共同研究

スマートドライブ技術

大手自動車メーカー様むけ

メイドさん もふくめて

6

来栖川電算 様々なアルゴリズムを駆使する技術者集団

• 様々な認識技術

–文字認識，物体認識，モーション認識

• 限界性能を引き出す優れた実装技術

–機械学習・コンパイラ・データベース・仮想機械などのアルゴリズムとバイナリハック

• 高速化，並列化，分散化，省空間化，高精度化

• ビジネスを差別化する認識エコシステム

–スケールに応じた仕組，競争力の自動強化

7

毎朝体操

モーション認識でフィットネスをゲーム化する

8

ラジオ体操アプリ だれでも、いつでも、どこでも、すぐできる

• Android & iPhone ⇒ http://maiasa.jp/

9

スマホ を持って ダンス 腕の動きを認識・採点し、素敵なレポートを作成

• 採点器として利用可能なデバイス

–スマホ，スマートウォッチ

• 対応楽曲 ※どんどん追加予定

–ラジオ体操（第１，第２）

10

150,000 DL 突破 112 ヶ国の 20 ～ 50 代女性が自宅・職場・旅先で活用

11

0.0%

10.0%

20.0%

30.0%

40.0%

18～24歳 25～34歳 35～44歳 45～54歳 55～64歳 65歳以上

男

32.7

% 女

67.3

%

15053 いいね！

知名度上昇中 ”風変わり” なアプリなので様々なメディアが注目

• Mashup Award 9 – 日本最大のアプリコンテストで優秀賞

• アプリソムリエ – 【石井寛子アプリ事始】「毎朝体操」超最先端ラジオ体操第１！？

• 週刊朝日 – 【おすすめアプリ生活】あなたの“ラジ

オ体操度”が測れる「毎朝体操」

• 日経新聞 – 職場で気軽に体ほぐし ヨガ・体操…お助けアプリ

• 文化放送 – ドコモ団塊倶楽部

– 8月23日（土）11:00 ～ 13:00

– アプリ紹介コーナー（生放送）

12

マグニチュード3~4 みんなのラジオ体操の熱量を合計するとヤバい！

• 13.581 GJ 2014年6月22日時点

–実はラジオ体操は運動強度が高い！

熱量 状況

1.500 GJ 雷の平均のエネルギー

1.770 GJ 質量1kgの物体が木星の引力圏から脱出するために必要な運動エネルギー

2.000 GJ マグニチュード3の地震のエネルギー

4.184 GJ TNT火薬1トンの爆発のエネルギー

8.532 GJ 世界の人口1人あたりの年間消費電力量（2002年）

13.581 GJ 毎朝体操の総熱量 2014年6月22日時点

64.100 GJ マグニチュード4の地震のエネルギー

運動強度 状況

2.0 METS 電車の中で立っている

3.0 METS 庭仕事・野球の野手

3.5 METS 平地での自転車

4.0 METS ハイキング・速足

4.5 METS ラジオ体操

6.0 METS 階段昇降・卓球

9.0 METS 水泳・高強度の長距離走・筋力トレーニング

13

採点の仕組

毎朝体操の根幹

14

採点の枠組 スマホを持って体操 ⇒ 腕の動きの正しさを評価

• 時刻ごとに腕の動きが正しいか判定

15

採点の方針 スマホ内で採点し、その場でレポート化

• たくさんのユーザに納得感が高いスコアを待たせることなく提供したい

• 運営費を安くしたい

16

機器の制約 できるだけ多くの人に遊んでもらいたい

• 機器を統一できない

– みんなのスマホ・ウォッチ：〇

– ⇒ 古い機器・OSも視野に入れる必要がある。

– 指定のBLEデバイス：×

– ⇒ 買う必要があると遊んでもらえない。

• 使えないセンサがある

– 加速度センサ：○（ほぼ搭載されている）

– ジャイロセンサ：×（一部搭載されていない）

– ⇒ ONにすると、加速度にノイズがのったり、加速度の周波数が極端に低下する場合がある。

17

センサの制約 腕の軌道を復元できるほどではない

• やっかいなセンサたち

–低い解像度

–狭い値域：±2G

–低い周波数：8Hz

–ノイズ：インパルスがやたらはいる。

–バグ：正の最大値を超えると負になる。

–余計なお世話：省電力モードではとれない。

–⇒ ユーザはセンサを選べない。

18

遊び方の制約 個人差により全く異なるセンサ値になる

• 装着の個人差

–機器（スマホ・ウォッチ）、場所（左右の手・手首）、向き（真っ直ぐ・斜め）

–⇒ 気分や状況で変わる。正しい情報を教えてもらうことは難しい。

• 動作の個人差

–鏡、手の位置、手の返し、強さ、速さ、止め

–⇒ 気分で変わる。そもそも、うろ覚え。

19

導かれた方式 頑健なアルゴリズム × ビッグデータ × エッジヘビー

• 分類タスクへの還元（頑健なアルゴリズム）

–腕の軌道のズレが分かるほどのセンサではないが、腕の動きの種類なら分かりそう。

• 網羅的なデータ収集（ビッグデータ）

–個人差により全く異なるデータになる上、その影響が少ない分析方法がなさそう（データが多様体を形成 ⇒ 部分空間ごとに異なる法則に支配）。

• リアルタイムな分類（エッジヘビー）

–古いスマホでも動作する軽量な実装がいる。

20

分類タスクへの還元 時刻ごとに定められた腕の動きと一致するか？

• スコア ＝ 腕の動きの一致率

21

網羅的なデータ収集 音楽に合わせて体操 ⇒ ユーザによる教師作成

• 教師データ ＝ 音楽の再生開始からの秒数

–継続している人のデータは信用してよい。

–一見してダメなデータを除外すればよい。

22

リアルタイムな分類 限界まで効率を追求しないと実現できない実装

• 高速で省メモリな賢いアルゴリズム

–機械的に生成された膨大な軽量特徴の組み合わせを大規模データから機械学習により獲得

–様々な索引や近似による効率的な実装

– OS・CPUアーキテクチャごとの最適化

• 安くて快適なユーザ体験

–スマホ内で採点することでサーバレス化

–体操中に並行して採点することで即応化

23

深層学習の導入

TensorFlow で楽々！

24

深層学習の導入 膨大な軽量特徴 × 集団学習 ⇒ 深層学習（DNN）

• 1. 手法の変更

–採点における分類タスクを置き換え

–旧手法：膨大な軽量特徴 × 集団学習

–新手法：深層学習

• 2. TensorFlow Manager – TensorFlow で作った深層学習のための環境

• 3. TensorFlow Compiler – TensorFlow で学習したモデルを軽量な実行形式へ変換する最適化コンパイラ

25

手法の変更

1. 深層学習の導入

26

手法の変更 膨大な軽量特徴 × 集団学習 ⇒ 深層学習（DNN）

• 旧手法の複雑さを参考に DNN を設計

27

小規模実験 かなりチューンされた手法に勝つのは容易ではない

• 事例数（データオーギュメンテーションなし）

–訓練 1,409,410，検証 145,452

• 処理時間（サーバで測定）

–旧：訓練 0.5h，検証 17.0s

–新：訓練 16.8h / 95.8epoch (GPU)，検証 72.0s

28

種目 手法 Accuracy※ Recall※ Precision※ F-Measure※

ラジオ体操第１ 旧 78.5% 77.6% 78.2% 77.7%

ラジオ体操第１ 新 79.1% 76.3% 81.2% 76.6%

※種目ごとに、それを構成する運動に関する評価値を求め、平均したものです。

※アプリでは平滑化などの後処理が入っているので、1～3% ほど良くなります。

リリース規模実験１ 事例が増えるとパラメータが多い深層学習が有利に

• 事例数（データオーギュメンテーションなし）

–訓練 27,822,604，検証 27,453,840

• 処理時間（サーバで測定）

–旧：訓練 8.0h，検証 0.9h

–新：訓練 23.7h / 29.4epoch (GPU)，検証 6.2h

29

種目 手法 Accuracy Recall Precision F-Measure

ラジオ体操第１ 旧 83.2% 84.3% 82.8% 83.4%

ラジオ体操第１ 新 86.8% 87.1% 87.6% 87.1%

ラジオ体操第２ 旧 81.8% 81.3% 82.6% 81.7%

ラジオ体操第２ 新 84.5% 83.1% 85.2% 83.7%

※いろいろ改良されているので

小規模実験とは比較できない

リリース規模実験２ パラメータ数を増やすほど深層学習が圧倒的有利に

• 事例数（データオーギュメンテーションなし）

–訓練：27,822,604，検証：27,453,840

• 処理時間（サーバで測定）

–旧：訓練 23.7h / 29.4epoch，検証 6.2h

–新：訓練 6.6h / 2.9epoch (GPU)，検証 67.1h

30

種目 手法 Accuracy Recall Precision F-Measure

ラジオ体操第１ 旧 83.2% 84.3% 82.8% 83.4%

ラジオ体操第１ 新 86.8% 87.1% 87.6% 87.1%

ラジオ体操第１ 新多※ ?.?% 90.6% 90.5% 90.5%

※パラメータ数が 6.1 倍なので、メモリ使用量的にリリースできない。

まとめ 旧新手法は一長一短なので ”使い分け” が重要

• 膨大な軽量特徴 × 集団学習

–学習が大変速いので傾向を把握するにはよい。物理現象に対応するハイパーパラメータにあたりを付けるのに使える。

• 深層学習

–事例とパラメータが増えれば猛烈に賢くなる。

–学習時間が長すぎるので実験を回しづらい。

–推論にかかる時間やメモリ容量を抑える実装を作らないと、スマホには組み込めない。

31

TensorFlow Manager

2. 深層学習の導入

32

TensorFlow Manager めちゃくちゃたくさんの実験を楽に管理する環境

33

WebAPI へ実験スクリプトを投げるだけ 計算資源の確保解放やセットアップなど

の面倒ごとを勝手にやってくれる

なぜ作った？ GCP で秋から使えるようになるアレで解決？

• 自社用にとにかく早く欲しかった

–ハイパーパラメータを探索すると、すぐに実験の数が増えて管理に困る。TensorFlow を入れたサーバを大量に用意し、手動で SSH してとすると取り違えが起こる。WebAPI 一発で面倒なことを全てやってくれる仕組がいる。

• 敷地からデータを出せないお客様がいる

–お客様の敷地にある大量のサーバを使わせてもらえる（使わなければならない）。

34

TensorFlow Compiler

3. 深層学習の導入

35

TensorFlow Compiler TensorFlow で学習した DNN を効率的な実装へ変換

• DNN の推論計算を近似して、高速化・省メモリ化

– 量子化，パラメータの削減，計算順序の変更，計算の共有，基底による分解，確率的近似，カスケード，

…

• 限界性能を引き出す実装

– アーキテクチャに最適化されたコード（専用命令，キャッシュ戦略），…

36

なぜ作った？ 現状の TensorFlow はモバイルアプリにのらない

• メモリ使用量の問題

– TensorFlow を Android で動かすと数百 MB、弊社の実装なら数 MB 未満

• そもそも DNN の推論が遅い問題

–そもそも TensorFlow は汎用性に重きをおいているのであまり速くない。近似により、従来手法に匹敵する速さで、従来手法より賢い、推論器を得られる。しかもタスクごとにドメイン知識を駆使して特徴を設計しなくてよい。

37

まとめ

TensorFlow で楽させてもらっています。

38

まとめ（感想） TensorFlow+α により採点エンジンを素早く実用化

• TensorFlow は使いやすかった

– API や設計が良く考えられており使いやすい

–すぐに試せて豊富なドキュメントがある

–ツールも充実していて素晴らしい！

• TensorFlow Manager

– Docker化されているのでとても楽

• TensorFlow Compiler

– Tensor Graphにアクセスできることが大きい

39

求人

認識技術で驚くような未来を一緒に作りましょう！

40

スタッフ募集中 学生さん、転職者さん、力を貸して！

• 研究（認識技術） – 機械学習・アルゴリズム・高速化・省メモリ・画像・センサーに関する知識，Java，C++

• 開発（サーバサイド） – プロセス・アーキテクチャ・ミドルウェア・ネットワークに関する知識，Scala，Java，C++

• 開発（フロントエンド）

– UI/UX・Android・iOSに関する知識，JavaScript

• 企画（認識アプリ・認識サービス）

– 新しい習慣を考える力，普及のためのアイデア

41

新オフィス 勉強会 もやってるよ！ メイドさん お手製の夕食も出るよ！

• 新オフィス

– 移転：2016 年 6 月

– 面積：以前の 2 倍！

• 最寄駅

– JR中央線 鶴舞駅

– 名古屋市営地下鉄

• 鶴舞線 鶴舞駅

• 名城線 矢場町駅

• 桜通線 新栄駅

42 いつでも

見学OK

情景画像文字認識

技術紹介①

43

情景画像文字認識とは

スマホなどで撮影した画像から文字を読み取る

44

情景画像文字認識とは

様々なパース、様々なレイアウト、様々な書体

45

情景画像文字認識とは

いわゆる “OCR” とは ”扱う画像” が違う

• 悪環境下での文字認識 –手書き・様々な書体・かすれ・点描・きついパース・統一性のない並び・逆光・陰・影・グラデーション・モアレなど

• 使える場面

–屋外でのスマホカメラを使った棚卸し

–車載カメラからの標識認識

–商品パッケージからの成分情報抽出

–キーワードによるアルバム・ビデオの頭出し

46

事例：タンゴチュウ Twitter で情景画像文字認識を体験できるサービス

47

物体認識

技術紹介②

48

物体認識とは

画像中の物体の種類・位置・姿勢を推定

49

物体認識とは

様々な向き・ポーズを学習させ見えの多様性を獲得

• 特定物体認識は素人でも簡単に使える

–どんな画像を学習に使うかを学べばOK

50

物体認識とは

モノをカウント、見た目で分からない情報を表示

• 使える場面

工場内で箱の仕分け

体験や評判の調査

ワインラベルで情報検索

AR付箋

集めて応募キャンペーン

ARフィギュア

51

事例：1000sors 誰でも簡単に使えるクラウド型物体認識エンジン

• 広い適用範囲 – 照明姿勢の変化に強く、様々な撮影環境に対応

• 驚異的な精度 – 数十万種類をほぼ完ぺきに識別

• 圧倒的な性能 – たった１台のＰＣで１００万種類を瞬時に識別

– 台数を増やせばリニアにスケールアウト

52

事例：1000sors 手元の画像で精度や速度をすぐに確認可能

• ShotPreview for Android / iOS

①設定 ②撮影 ③確認

53

事例：ShotSearch 表紙を撮影すると発売日や口コミが分かるアプリ

• きついパースも、帯による隠れも、OK

54

事例：ShotSearch 表紙を撮影すると発売日や口コミが分かるアプリ

• よく似ていても、複数冊同時も、OK

55

事例：Cellars 18万件のワインラベルを認識するアプリ

• 世界で賞を獲得したアプリをダウンロード！ – Asia Smartphone Apps Contest

• 広告マーケティング部門 Silver Award 2位

– 立命館大学 学生ベンチャーコンテスト • 最優秀賞 NICT賞

56

事例：画像認識API 画像を送るだけで写っている商品の情報を取得

• 登録商品：500 万件以上（昨年10月）の市販商品

–書籍，DVD，CD，PCソフト，ゲームソフト，食品パッケージ，… どんどん増加中

• 定期更新：網羅性 と 認識精度 の改善

–データ追加，パラメータ・アルゴリズム改良

57

開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp

事例：画像認識API だれでも、かんたんに、マッシュアップ！

• docomo Developer support より提供中

画像認識 画像に写っている物体の情報を取得

環境センサー 日本全国の気温、降水量、紫外線量を取得

音声認識 話した内容を即座に文字に変換

雑談対話 自然な会話をやり取り

知識Q&A 今知りたいことをピンポイントで回答

音声合成 入力した文字を読み上げ

トレンド記事抽出 今人気の話題をジャンルやキーワードで検索

文字認識 画像の文字を読み取り

発話理解 要求を理解して、適切な機能を提示

動作推定 行っていた動作の推定

58

事例：運転補助 車載カメラに映る車や人などを検出・識別・追跡

• 単眼でも高精度、大きさ・距離も推定

世界中の走行データを活用

59

事例：注目領域抽出 『人の視線を集めそう』な領域をヒートマップ化

• 認識の事前処理に

–交通標識・道路標示・信号・看板・商品パッケージなど

• 教師作成の省力化に

–抽出領域をクラスタリングすることで、教師がなくても類似物体を検索可能

60

交通標識 がありそう

German Traffic Sign Dataset

モーション認識

技術紹介③

61

モーション認識とは

センサー値から動作や行動の種類や発生時刻を推定

62

事例：動作推定API ドコモ と 来栖川電算 の共同研究

• 加速度データから人の動作や行動を検出

–静止，歩き，走り，自転車，睡眠，食事

• 動作と直接対応しない行動も検出可能

• スマホ・スマートウォッチに対応

– Android，Android Wear，… • 加速度データにアクセスできる API を備えたウェアラブルデバイス

– ※次の画像は画像中のデバイスに対応していることを保証するものではありません。

63

開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp

事例：動作推定API だれでも、かんたんに、マッシュアップ！

• docomo Developer support より提供中

画像認識 画像に写っている物体の情報を取得

環境センサー 日本全国の気温、降水量、紫外線量を取得

音声認識 話した内容を即座に文字に変換

雑談対話 自然な会話をやり取り

知識Q&A 今知りたいことをピンポイントで回答

音声合成 入力した文字を読み上げ

トレンド記事抽出 今人気の話題をジャンルやキーワードで検索

文字認識 画像の文字を読み取り

発話理解 要求を理解して、適切な機能を提示

動作推定 行っていた動作の推定

64

事例：ライフログ ドコモの動作推定APIの応用例

65

開発者は今すぐ確認！ ⇒ https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_docs_id=127

事例：毎朝体操 だれでも、いつでも、どこでも、すぐできる

• Android & iPhone ⇒ http://maiasa.jp/

66

事例：なりきり 2.0 ウェアラブルで現実のモノを操作する作品

• ゲームコントローラへの応用

– 格闘ゲームが遊べる程、応答が速く、精度もよい。

67