製造業の画像検査におけるdeep learningの現状とdeep inspectionの特徴
TRANSCRIPT
©2017RistInc.
製造業の画像検査におけるDeepLearningの現状とDeepInspectionの特徴
株式会社Rist代表取締役社長 遠野宏季
0
Rist概要理念技術を生み出すだけでなく、人類のために役立てる
製造業の検査 医療画像処理DeepLearning
× ×
国内外の自動車関連、通信デバイス、検査ラインの会社や大学、病院などと提携
画像
現在はDeepLearningによる非構造データの処理に特化
音声や動画
©2017RistInc. 1
なぜやってるの？
2
インターネット上だけではなく、医療現場や工場などの現場へ
小さい頃の夢世の中に新しい価値を生み出す科学者
新しいだけではなく経済性や実用性を考慮して役に立つものを生み出したい
アカデミアやめてビジネスしよう
DeepLearning注目されてるけど案外役に立ってる実用例少ない？
現場に課題がたくさんあるんだから誰かさっさとやれよ…
自分たちでやろう
©2017RistInc.
製造業における画像検査
©2017RistInc. 3
従来の検査手法１：目視検査
• なんとなくの違いも、経験により検査可能• 導入のしやすさから、世界的に広く普及• 検査項目・条件が変わっても柔軟に対応可能
人による目視検査
課題：不確定要素が多く、コスト高なことも
少子高齢化による人手不足
熟練検査員のノウハウ継承が難しい
人や体調・環境によって判断基準がずれる
©2017RistInc. 4
従来の検査手法2：画像検査
• 客観的な評価基準による一定の品質保証• 導入出来れば人手・手間いらず• 検査速度を含めた経済的な効率化
機械による画像検査
課題：自動化できない対象が多く、出来ても精度が低い場合がある
個体差があるものなど数値で定義できないものは検査困難
微妙な光の加減などでエラーが起きやすい
左程度だとOK,右ぐらいだとNGという検査は数値化しずらく難しい
左と右は光の加減が違い別物と判断してしまう
©2017RistInc. 5
人のもつ柔軟性と、機械の持つ効率性を組み合わせたい…
これからの画像検査
©2017RistInc. 6
そこでDeepLearning
アナログ世界に、ITの恩恵を！
非構造化データの処理に強い：現実の課題解決に有効画像 音声
「対象の特徴量」がデータに基づく学習により獲得される
Cat(0.7)Dog (0.1)
Fox(0.2) 「ネコ」
©2017RistInc. 7
例えば…
NGOK
NG
OK
大量のOKデータ画像とNGデータ画像によりネットワークをトレーニングする
過去の人間の判定基準と同様に新しい画像を自動で判定することが可能
©2017RistInc. 8
画像検査時のDeepLearningの課題データが少量・偏りが大きいと、信頼の置ける性能が出しにくい
大バカをする時がある
多様な検査手法・項目に応じたアルゴリズム選定が必要
異常B:25枚異常A:30枚正常画像：10000枚• 正しくデータの水増し必要• データ収集から検討• 転移学習、コスト関数の検討など
99.99%の確率でクラス分類したが、明らかに人間では理解できない画像例
参考：http://www.evolvingai.org/files/DNNsEasilyFooled_cvpr15.pdf
幅を測定し、その結果で判定したい…どうする？
DeepLearningでできること• 回帰分析？• 多クラス分類？• セグメンテーション？
検査したいこと• キズの有無？• ランク判定？• 幅測定？…
©2017RistInc. 9
• データに合わせた前処理が重要• 最新の技術を使いたい…
某クライアント「パッケージソフトでは満足した結果を得られなかった…」
©2017RistInc. 10
DeepInspectionの特徴
©2017RistInc. 11
12©2017RistInc.
DeepInspectionの特徴1.最新の技術を、各社毎にアレンジし最適なソリューションを提供
2.ライブラリ・ソースコードなど多様な納品形体に対応し、既存ハードウェアへの組み込みへの対応も可能
Region-Convolutional Neural Network for Detecting Capsule Surface Defects
BoletínTécnico,Vol.55,Issue 3,2017,pp.92-100 Computer-AidedCivilandInfrastructureEngineering32(2017)361–378
Deep Learning-Based Crack Damage Detection Using Convolutional Neural Networks
2017年以降にPublishされた論文例
1.トライアル 2.検査モデル作成 3.ハードウェア連携 4.保守・管理
13©2017RistInc.
事例：位置を踏まえた検査１
ここが異常部分 キズ部分を赤く表示
577枚（異常画像77枚）への適応結果全画像に対して正解
適応例
14©2017RistInc.
事例：位置を踏まえた検査２
ここが異常部分 キズ部分を赤く表示
575枚（異常画像85枚）への適応結果AUC=94%を達成
適応例
15©2017RistInc.
事例：幅測定などへの適応（従来）
実際の検査現場では、単なるキズや異常検知以外にも様々な検査項目がある。例えば以下のような板の幅を測定し、それに応じて検査する場合…
こんな感じで縦線を認識して板の領域を囲いたいけど…
似た縦線がたくさんあり既存の画像処理では対象の特定困難
16©2017RistInc.
画像中の物体を、過去データを参考に領域抽出する技術を転用
http://mi.eng.cam.ac.uk/projects/segnet/
個体差のある板の画像に対しても… 正しく板の領域を抜き取れる！
※画像はイメージです
事例：幅測定などへの適応（弊社手法）
17©2017RistInc.
そうは言っても人間でも判断が分かれる検査対象もある…
自信がなかったら素直に人間に聞いてほしいわぁ
あるクライアントさんの声
18©2017RistInc.
事例：自信度（Confidence）の算出（従来）一般的に言われているDeepLearningの出力確率
400
300
200
100
0.4 0.5 0.6 0.7 0.8 0.9 1.0一般的に出力される判定確率（正解・不正解の閾値決めが困難）
サンプル数
青線：正解 橙色：不正解
サンプル例：精度88%
Cat(0.7)Dog (0.1)
Fox(0.2)
Softmax層の出力を一般的にはクラス確率としている
このsoftmaxの出力自体では、人間に検査を委ねる確率の閾値を決めるのは困難
ある対象への事例
19©2017RistInc.
事例：自信度（Confidence）の算出（弊社手法）DeepInspectionでの自信度算出方法
400
300
200
100
0.4 0.5 0.6 0.7 0.8 0.9 1.0
30
25
20
15
0.2 0.4 0.6 0.8 1.0
35
10
5
0
DeepInspectionの判定自信度（正解・不正解の閾値を決めやすい）
一般的に出力される判定確率（正解・不正解の閾値決めが困難）
サンプル数
サンプル数
青線：正解 橙色：不正解
精度：99%以上
従来通り目視検査
精度：99%以下
自動システム検査
精度88%
全体では88%の精度→使い物にならない
低い自信度のものは従来通り目視検査
過去の結果と比較し、自信度を算出。全体で精度88%のものに対し、自信度50%では全体の半数を99%精度で分類可能
高い自信度のものは自動検査へ
自信がないものは人間に判断を委ねつつ、確実に目視検査の負荷を軽減
20©2017RistInc.
パッケージソフトで諦める前にぜひDeepInspectionへお問い合わせください。
http://www.deep-inspection.com
弊社は国内外の製造業のクライアントと共同で開発を行っています。
21©2017RistInc.
画像検査に関わらず、画像・動画など非構造データへのDeepLearningを用いた開発・コンサルティングを行っています。
今はヘルスケア（画像、姿勢制御）や製薬業界への応用を模索中。
新規案件やメンバー、協業パートナーも募集しているのでお気軽にお問い合わせください。
株式会社Risthttp://www.rist.co.jp [email protected]