1

構造適応型深層学習法による異種データの学習速度の向上と深層学習における

逐次的データの自動学習

県立広島大学

高度人工知能プロジェクト研究センター センター長

（兼）経営情報学部 教授

市村 匠

2

内容

①構造適応型深層学習法の開発

②異種データにおける学習速度の向上

③逐次データの自動学習システムの開発

①のアルゴリズムは既に論文発表済み．②，③は未公開特許出願．

3

背景

• 近年，Deep Learning(人工知能)によるビックデータの利活用が盛んに行われている．

• 例：画像認識，機器の制御，医療診断，農業支援・・・

データサーバ

人工知能(AI)

①IoT機器から収集されたデータのアップロード

②AIを用いたデータ分析

③分析結果をダウンロード

センサー

例：時系列予測

4

Deep Learning (深層学習)

• 入力データを階層的に学習し(事前学習)，学習した特徴を組

み合わせることで，全体的な特徴から具体的かつ詳細な特徴を抽出できる．

• 畳み込みニューラルネットワーク (CNN)，自己符号化器(Auto Encoder), Deep Belief Network (DBN)，・・・

. . .

. . .

. . .

. . . . . .各層における特徴抽出(事前学習)

学習した全体の特徴を微調整(fine tuning)

猫: 89%

犬: 10%

車: 1%

上位層

. . .

下位層

具体的かつ詳細な特徴を表現抽象的な特徴を表現

入力画像 入力画像の分類を予測（識別）画素

エッジ 部品 物体

5

従来技術とその問題点①最適なネットワーク構造の設定

データの特徴に応じて最適なネットワーク構造を，学習中に自己組織的(自動)に求める構造適応型学習手法が必要．

ℎ0 ℎ1 ℎ2

𝑣0 𝑣1 𝑣2 𝑣3𝑏0 𝑏1 𝑏2 𝑏3

𝑐0 𝑐1 𝑐2𝑊𝑖𝑗

エネルギー関数:

𝐸 𝒗, 𝒉 = −σ𝑖 𝑏𝑖𝑣𝑖 − σ𝑗 𝑐𝑗ℎ𝑗 − σ𝑖σ𝑗 𝑣𝑖𝑊𝑖𝑗ℎ𝑗

パラメタ:

𝜽 = {𝒃, 𝒄,𝑾}.

RBMDBN [2] 事前学習した複数のRBMを積み重ねる

[1]A.S. Krizhevsky,G.E.Hinton, “ImageNet Classification with Deep Convolutional

Neural Networks” NIPS 2012: Neural Information Processing Systems (2012)[2]G.E.Hinton, S.Osindero and Y.Teh, A fast learning algorithm for deep

belief nets. Neural Computation, vol.18, no.7, pp.1527-1554 (2006)

CNN [1]

• ネットワークの設計は，学習前に手動で設計する必要がある．

• 最適なネットワーク構造はデータによって異なり，通常は試行錯誤的に調整する．→計算コスト・時間がかかる．

CNNでは，フィルタの設計，DBNではRBMの個数（層数），各RBMのニューロン数の調整が必要

各層間でRBM学習を行う

6

新技術の概要①構造適応型深層学習法の開発

Step4）出力層を加えて教師あり学習（DBN）

入力

Step1）１・２層間をRBMで事前学習

学習中にニューロンを自動生成

学習中にニューロンを自動除去

出力

Step2）層を追加し，２・３層間をRBMで事前学習

学習中にニューロンを自動生成

Step3）層を追加し，３・４層間をRBMで事前学習

最適化されたネットワーク構造

入力データに応じて，ニューロンの数，層の数が自動で最適化される

DBNによる構造適応型学習法を開発した．

7

新技術の概要①構造適応型深層学習法の開発

𝛼𝑐 ∙ 𝑑𝑐𝑗 ∙ 𝛼𝑊 ∙ 𝑑𝑊𝑖𝑗 > 𝜃𝐺

ニューロンの振動 重みの振動

(1)

閾値 閾値

前向き計算

入力パタン

0.6 0.9 0.10.4

削除

4321

振動が大きい

挿入

4321 new

コピー

・ニューロンの生成

𝑊𝑗 0

𝑊𝑗 1

𝑊𝑗 2𝑊𝑗 3

𝑊𝑗 4

𝑊𝑗 5𝑊𝑗 6

学習中におけるパラメタの振動に基づき，ニューロンの生成・削除，層の生成を行う．

・ニューロンの消滅

出力に寄与していないニューロンを削除

・層の生成

𝑙=1

𝑘

𝛼𝑊𝐷 ∙ 𝑊𝐷𝑙 > 𝜃𝐿1

𝑙=1

𝑘

𝛼𝐸 ∙ 𝐸𝑙 > 𝜃𝐿2

(3)

(4)

各層の振動に応じて層に生成を決定

1

𝑁

𝑛=1

𝑁

𝑝 ℎ𝑗 = 1|𝒗𝑛 < 𝜃𝐴 (2)

ニューロン活性値

ニューロンの振動が大きい場合に生成

条件を満たすまで階層化を行う．

8

従来技術との比較

手法 CIFAR-10 CIFAR-100

従来手法（CNN) 96.5% 75.7%

提案手法（AdaptiveDBN） [2] 97.4% 84.5%

分類精度（％）CIFAR-10 and CIFAR-100 [1]

• 画像データセット (32 x 32pixel)• 50,000学習用images• 10,000検証用images• 10 カテゴリ(CIFAR-10),

100 カテゴリ(CIFAR-100)

[1] https://www.cs.toronto.edu/~kriz/cifar.html

提案した手法を評価するために，ベンチマークテストを用いて評価した．

CXR8（ChestX-ray8）[3]

[3] X.Wang, Y.Peng, L.Lu, Z.Lu, M.Bagheri, R.M.Summers, “ChestX-

ray8: Hospital-scale Chest X ray Database and Benchmarks on

Weakly- Supervised Classification and Localization of Common

Thorax Diseases”, Proc. of IEEE CVPR, pp.3462-3471 (2017)

症状の種類 従来手法 [3] 提案手法

正常 正常 - 87.0%

異常

癌形状大 56.0% 94.2%

形状小 71.6% 98.7%

その他

肺拡張不全 70.6% 81.8%

心肥大 81.4% 99.5%

胸水 73.6% 99.6%

肺浸潤 61.2% 95.2%

肺炎 63.3% 95.8%

気胸 78.9% 95.9%

• 胸部X線画像ベンチマークテスト．• 30,805 人の患者から収集した

112,120枚の画像．• 訓練画像：86,524 枚，テスト

データ：25,596枚．• 正常＋８種類の異常ラベルを持つ．

分類精度（％）

[2] S.Kamada and T.Ichimura, "An Adaptive Learning Method of Deep Belief

Network by Layer Generation Algorithm", Proc. of IEEE TENCON 2016,

pp.2971-2974 (2016)

提案手法は，従来手法よりも高い分類精度を示している．

9

時系列データに対する予測

手法 誤差 予測精度(%)

従来手法(RBM) 1.704 71.7%

従来手法(DBN) 1.381 75.8%

提案手法(構造適応型LSTM-RBM) 1.240 76.5%

提案手法(構造適応型LSTM-DBN) 0.078 99.4%

誤差 予測精度(%)

2.401 65.2%

2.202 70.8%

1.471 73.1%

0.105 91.4%

Nottingham CMU

Nottingham [1] CMU [2]

2種類のデータに対する予測精度

• MIDI形式のピアノ音（30秒-60秒程度）• 各入力(音域)は88次元の0-1ベクトル(該当する音域が押されたら1, 押されていなければ0)

[1] Nottingham,http://www.iro.umontreal.ca/~lisa/deep/data/Nottingham.zip

[2]CMU, http://mocap.cs.cmu.edu/

• モーションキャプチャ（2605種類の人間の動作）• 各データは，30個のマーカーが取り付けられた30秒程度の人間の動作の動画．(30個のマーカ―で56次元の入力を取得可能)

実際の動画 観測値の一部 再現された3次元モデル

実際の音声

提案手法において時系列データを予測するモデルも構築している．

時刻

音域

0100101010

ある時刻における音

MIDIのプロット図

10

従来技術とその問題点②異種データの分析

• IoT機器の普及により多種多様なデータ収集が容易になった．

• 複数種類のデータ（異種データ）が同時に収集される．

– Twitter（コメント・位置情報・画像）

– 医療データ（血液検査・問診・医療画像等）

• Deep Learningは画像認識に対して非常に高い分類精度を示している(既に人間の能力を上回っている)．

• 画像以外のデータにも適用され始めている．

数値

テキスト

画像

(例：血液検査)

(例：問診，質問紙調査)

(例：医療画像)

データ

11

• リカレンスプロット [1]

– 時系列データの相関関係を図としてプロット．

• Zinrai [2] (富士通)

– 時系列データ学習用のDeep Learningフレームワーク.

– カオス理論と位相幾何学(Topological Data Analysis)により時系列データから特徴ベクトルが抽出される．

– 特徴ベクトルがDeep Learning (CNN)で分類される.

位相関係を表現した画像 最終的な分類

𝑅 𝑖, 𝑗 = ቊ1,0,

𝑖𝑓 𝑥(𝑖) − 𝑥(𝑗) ≤ 𝜀𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒

特徴ベクトル時系列データ

時系列データ リカレンスプロット𝑥(𝑖): 時刻𝑖のデータ．𝑅 𝑖, 𝑗 : プロット図の値(0 or 1).

𝜀: 閾値．

• 事前に行うデータの前処理・特徴分析が必用となる．• IoTによるデータ分析の観点では，分類精度だけでなく，結

果を出力するまでにかかる計算時間も重要な要素である．

[1] D. F. Silva, V. M. A. de Souza, and G. E. Batista, “Time series classification

using compression distance of recurrence plots,” pp. 687-696 (2013)[2] Zinrai , http://journal.jp.fujitsu.com/2016/03/10/01/

従来技術とその問題点②異種データの分析

12

• 提案手法①において，画像，数値データが混在した異種データを1枚の画像として扱い，一度に学習する．

• 提案手法①の自己組織化において，異種データの入力信号の配列の入れ替えを行い，最終的な学習時間を削減する．

IB1

N = 6px

Line1

Line2

・・・

Line6

IB2 IB3

IB4 IB5

IB18

IB11

CB1

CB2

CB3

CB4

CB5

CB7 CB10

CB6

CB8 CB9

IB1 IB2 IB3

IBs of Line1 CB1

IB4 IB5 IB6

IBs of Line2 CB2 ・・・

入力ニューロン

隠れニューロン

＋

＋初期の並びは必ずしも最適ではない.

初期の入力配置

学習時間を削減するために最適と考えられるブロックの並びを求める．

新技術の概要②構造適応型DBNにおける異種データの学習

IB = 画像ブロックCB = CSV ブロック

個別の処理は不要

13

. . .

. . .

. . . . . .

. . .

1 0 1 1 0 0 0 0 0 1

1

IB1 CB4 IB15 CB10

WD = 0.5 WD = 0.01

ある隠れニューロンに対して，同時に発火する入力のニューロンを求める．

新技術の概要②構造適応型DBNにおける異種データの学習

• RBMでは，入力，隠れ層間で前向き・後向き計算を繰り返し，各層の特徴量を｛0, 1｝のパターンで表現する．

• 提案手法①では，パラメタの振動の大きさに応じてニューロンを生成．

• 提案手法①におけるニューロン生成の過程で，

– 入力層で同時に発火する画像・CSVブロックがあれば，関連性が高いとみなす．

– 関連性が高いブロックが近くに位置するようにソート処理を行う．

パラメタの振動に基づいて，関連性が高いニューロンが近くに位置するようソート処理を行う．

14

従来技術との比較

手法分類精度(%)

計算時間(分)

PC1 PC2

従来手法(RBM) 16.7% 44.1 151.8

提案手法①(構造適応型RBM) 16.5% 43.1 150.4

提案手法②(構造適応型RBM) 14.6% 36.6 130.4

従来手法(DBN) 8.9% 228.7 793.0

従来手法①(構造適応型DBN) 5.6% 208.1 715.6

提案手法②(構造適応型DBN) 5.8% 162.2 569.8

検診データ

PC1: Intel Xeon E5-2670 v3 2.3GHz, 64GB, Tesla K80 x 3PC2: Intel Core i5-4460 3.20GHz, 8GB, GTX 1080 x 1

提案手法では，従来手法と比較し，分類精度を維持したまま，計算時間を約30%削減できた．

異種データとして，検診データを用いて提案手法の評価を行った．

検診データ[1]• 広島県環境保健協会から提供された健康診断データ．• 2012年から2015年の4年間で，118,165人の記録．• 定期健康診断（214,683件），胸部X線画像（106,664件），胸部CT画像（224,667件），胃部X線画像（88,970件），マンモ画像（23,962件）．

[1] http://www.kanhokyo.or.jp

検診データにおける数値データ（血液検査）と医療画像を一度に学習した．

15

従来技術とその問題点③逐次データの自動学習

• ＩｏＴ機器からデータがリアルタイムに逐次収集される．

• 収集されたデータは，モデルを微調整（構築）するための訓練データとして使用できる．

• 誤分類（異常値）を引き起こす未知なデータが収集された場合，再度モデルを学習する必要がある．

• 収集されたデータに対して，自動で学習を行い，ＩｏＴ機器の環境に応じて学習モデルを更新する仕組みが必要である．

– 提案手法①，②では，データに応じてネットワーク構造を自動で求められる．また，機器ごとにモデルを構築することができる．したがって，従来手法と比べて環境ごとにプロセス改善が行える．

16

新技術の概要③逐次データの自動学習装置の開発

学習データ

学習結果

Webデータサーバ クライアント

3-1)学習結果転送

1-2)

アップロード

既存 新規 新規学習データ

結果表示

タブレット ＰＣ

GPU計算機

学習データ

構造適応型

深層学習法

2-3)学習結果保存

1-1)

新規データ収集

2-1)

学習データ転送

学習結果

学習結果

2-4)学習結果転送

2-2)学習開始

Push通知3-2学習結果表示

①収集されたデータを逐次Webサーバにアップロードする．

②新規データが一定以上蓄積された段階（データ数，既存のモデルとの誤差）で，GPU計算機での学習を開始．

③学習終了後，結果をクライアント端末に転送する．

17

想定される用途

• 医療データ（エビデンス）に基づいた深層学習診断支援装置．特に，医師の判断分析に対し，高い信頼性をもった予測結果を示すことができ，がん検診等の診断ミスの可能性を低減することが期待できる．

• ＩｏＴ端末の個別の環境において，システム構築後に生じた未知データにも対応できる，異常検査装置．

• 処理速度が求められる制御装置において，抽出した知識（ＩＦ-Thenルールの獲得）のリアルタイム制御が可能．

18

実用化に向けた課題

• 新しい深層学習システムを構築するために，収集された大容量のデータが必要である．

• 高速なＧＰＵ装置が必要で，最適なパラメタの組み合わせを得るためのデータサイエンティストのスキルが必要である．

• 個人情報や医療情報を取り扱うシステムの場合，セキュリティやユーザに対する使用許諾等のプロトコルを確認できるチームが必要である．

19

企業への期待

• 一般的なＡＩ（機械学習）ではうまく処理できない複雑なデータ（特にあいまいな情報を含む画像認識・検出）の分析，予測等を検討している企業．

• 例えば，医療は，専門医による判定結果を含む，大規模なマンモグラフィのデータを持つ企業等との共同研究．

（ＳＣＯＰＥでの研究成果の活用が可能）

• 時系列データによる，異常判定を実現したい企業．

（サポインでの研究成果の活用が可能）

20

本技術に関する知的財産権

発明の名称深層学習自動学習システム、クライアント装置およびサーバ装置

出願番号 特願２０１７－０９３２０５

出願人 公立大学法人県立広島大学

発明者 市村匠，鎌田真

発明の名称異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム（ＳＣＯＰＥにより出願済）

出願番号 特願２０１７－２００８３０

出願人 公立大学法人県立広島大学

発明者 市村匠，鎌田真

21

まとめ

• ネットワークの自己組織化機能を持つ構造適応型深層学習法を開発した．従来手法と比べ，高い分類精度を示している．

• 数値，テキスト，画像等が混在する異種データを１つのデータとして一度に学習し，学習時間を３０％削減する手法を開発した．

• 逐次収集される未知データに対して，提案手法を自動で実行するシステムを開発した．

22

お問い合わせ先

県立広島大学

地域連携センター

センター長 市村 匠

准教授 安藤 由典

ＴＥＬ ０８２－２５１－ ９５３４

ＦＡＸ ０８２－２５１－ ９４０５

e-mail renkei＠pu-hiroshima.ac.jp