リアルタイム画像分析による品質・生産性向上への...

© Hitachi, Ltd. 2018. All rights reserved.

リアルタイム画像分析による品質・生産性向上への取り組み

株式会社日立製作所研究開発グループデジタルテクノロジーイノベーションセンタ主任研究員永吉洋登

1


Contents

１．背景

２．作業動作解析による作業支援

３．画像認識の現場適用のために

４．まとめ

2


Contents

１．背景



４．まとめ

3


Industrie 4.0 (2011)

ドイツ：複数の工場をネットワーク化し、生産効率向上やマス・カスタマイゼーションを推進

Industrial Internet Consortium(2014)

米国：各産業分野でのIoTのテストベッドを推進

現在は、それらに加えてAIが隆盛

IoTの考え方が広まるにつれ、現場のデータは増大傾向

AIを用いた分析へのニーズ増大

モノづくりの高度化にむけた取り組み

4


自動化が進む一方、現在も将来的にも人的資源は必要

保守作業では，80%が人作業 [‘20]

懸念される問題

熟練者不足に起因した生産性低下

人的ミスに起因した重大事故・リコールの発生

人という要素

5

鉄道部品脱落(2015)

展示場エスカレーター逆走

(2008)

航空機炎上事故(2007)

保守作業の際のネジの締め忘れ

原因

人を含めた全体改善が必要


3M+M

グローバルに展開している製造現場の情報を，設備(Machine)，材料(Material)だけでなく、人(Man)の観点からも収集

収集した情報の解析から改善施策(Method)を導き，現場にフィードバック

次世代グローバル製造管理システム

上記コンセプトを実現するためのシステムイメージを下図のように定義

提案コンセプト

6

MES: Manufacturing Execution System

PLC: Programmable Logic Controller


前頁のシステムイメージをあるべき姿とし，順番にステップアップしていくためのモデル

本モデルを顧客協創において，顧客現場のポジショニングや，どの施策をどの順で打っていくかの合意形成に活用

システム成熟度モデル

7

本資料の議論の対象はこの範囲


Contents

１．背景

２．作業動作解析による作業者支援


４．まとめ

8


逸脱動作検知

繰り返し作業向け

標準作業からの逸脱を検知する

作業認識

非繰り返し作業向け

手順や、力の使い方の正しさを判定する

作業動作解析

9


エアバッグの基幹部品を製造している株式会社ダイセルの播磨工場において，2015年2月より協創プロジェクトを開始

レベル2「繋げる」の機能実現に向け，逸脱動作検知などの画像解析システムを開発

協創プロジェクトにおいて開発した逸脱動作検知

10

[参考] (株)日立製作所、(株)ダイセルの共同ニュースリリース(http://www.hitachi.co.jp/New/cnews/month/2016/07/0713.htmlより引用)

http://www.hitachi.co.jp/New/cnews/month/2016/07/0713.html


作業者の動きを3次元カメラで計測し，関節位置情報として取得

作業開始・終了タイミングを，装置から取得

作業時間内の関節位置情報を抽出し，正常動作モデルと比較し，逸脱動作を検知

逸脱動作検知の概要

11

作業者

MES

3次元カメラ

装置(PLC)

目視動作

判定結果

屈み動作

両手動作

正常動作モデル

関節位置情報

統計技術を利用した比較

工程情報タイムスタンプ

MES: Manufacturing Execution SystemPLC: Programmable Logic Controller


逸脱動作検知の特徴

12

関節位置情報

正常動作モデル

手の動き

肘の動き

肩の動き

両手動作の逸脱判定

目視動作の逸脱判定

屈み動作の逸脱判定

平滑化

個人差の正規化

検知結果

作業に関係する関節の選択

正常動作モデルとの統計的な比較特徴量

算出部判定部前処理部

課題

3次元カメラで計測した各関節位置情報を入力として用いる際、作業と関係のない情報が含まれており、逸脱動作との区別が困難

アプローチ

体の大きさに起因する個人差を正規化し、さらに現場観察に基づく関節選択によって、作業に関係する情報のみを抽出

抽出した作業情報に対して，事前に作成した正常動作モデルとの統計的な比較を行い，逸脱動作を検知


ウェアラブルセンサを用いて作業員の目と腕をセンシングし、作業内容を認識

作業認識

13

どんな角度で力を加えたかを腕輪型センサで解析

作業者が何に注目しているかをメガネ型デバイスで把握


一人称視点映像、注視点、筋電位、加速度、角速度、方位を取得可能

作業認識のために用いたウェアラブルセンサ

14

加速度角速度方向

筋電位(8チャネル)

一人称視点映像


Deep Learningに基づく階層型行動認識モデル

注視物体と身体動作の組み合わせで作業内容を認識

物体と身体動作をそれぞれ個別に事前学習することで、多様な作業を認識可能

作業認識の概要

15

物体認識

筋電位などの信号

注視点データ

作業認識

動作認識

押すつかむ

:

ネジ締め

ネジ

ドライバー

:

:

ウェアラブルデバイスを着用し作業 AIによる作業内容の認識

回す人の行動をデータから読み取る

作業支援 / ヒューマンエラー防止（次の作業のガイド/逸脱行動のチェック）

眼鏡型デバイス

アームバンド型デバイス

ニュースリリースhttp://www.hitachi.co.jp/New/cnews/month/2017/03/0308.html関連記事https://www.swr.de/swraktuell/rp/dfki-kaiserslautern-auf-der-cebit-mit-digitalem-begleiter-zur-arbeit/http://advancedmanufacturing.org/japanese-german-innovators-broaden-work-stars-digital-companion/

http://www.hitachi.co.jp/New/cnews/month/2017/03/0308.html

https://www.swr.de/swraktuell/rp/dfki-kaiserslautern-auf-der-cebit-mit-digitalem-begleiter-zur-arbeit/

http://advancedmanufacturing.org/japanese-german-innovators-broaden-work-stars-digital-companion/


Contents

１．背景



４．まとめ

16


画像認識の基本的役割

画像認識は「見える化」まで

問題解決には、画像認識結果をどのように活用するかを含めた運用形態の議論も必要

画像認識を使う理由

人の目を代替したい

人が不得意な対象を認識したい

• 長期間にわたる変化の検知

• 多数の対象の比較

• 危険個所の状況認識

人には見えない対象を認識したい

• 非可視光を用いた認識（紫外、赤外など）

• 超高速認識

画像認識の現場適用に際しては、上記を踏まえた上で (1) 現場理解 (2) 問題整理 (3)手法検討のステップが必要

画像認識の現場適用のために (1)

17


(1) 現場理解

現場視察・ヒアリングによる製造工程/運用形態/問題の理解

問題の背景理解による、解くべき問題に対する考察

(2) 問題整理

問題の大きさ（解決できたときのインパクト）の把握

• 品質、生産性などの、複数効果の観点

• 類似問題が他の現場にあるか、というスケーリングの観点

3M観点からの整理

• 問題に関わる3M要素を列挙、認識対象を明確化


183M: Man, Machine, Material


(3) 手段検討

代替手段の検討

• 既存の情報で解決できないか

• 代替センサは存在しないか

画像認識適用方法の検討

• いずれの画像認識が適するか

• いずれのカメラを利用すべきか

• 現場の工夫により，問題を簡単化できないか

• 連携できる他のシステムの情報はないか

コストの検討

• 選択したセンサ・カメラのコストは、許容範囲か

• 技術難易度・開発工数は、許容範囲か


19

これらの考察の上、画像認識の適用可否と、手法が決定される


(株)ダイセルとの協創プロジェクトにおいては認識対象を下記のように選定

いずれも品質・生産性の両方に効果

画像認識の適用対象の実例 (1)

20

分類認識対象使用カメラ

人 (Man)作業者の作業深度カメラ

監督，部品供給者の位置全方位カメラ

機械 (Machine) 薬品投入，パーツずれ固定カメラ

材料 (Material) 部品供給部 PTZカメラ

表認識対象と使用カメラ

全方位カメラ PTZカメラ

部品供給者

（装置内）固定カメラ

監督作業者

深度カメラ


人 (Man), 作業者の観点から

人 (Man), 監督・部品供給者の観点から


21

深度カメラ

作業者

全方位カメラ

部品供給者

監督

見たいポイント

ワークの取り出し，投入，外観検査等の手作業が正しく行われているか

必要機能あらかじめ定義した標準作業から外れた動作（＝逸脱動作）の検知

カメラ選定身体各部位の動きの捕捉できる，深度カメラを利用


監督および部品供給者はどのタイミングでどの作業をしているか

必要機能監督や部品供給者の作業は場所と相関するため，人物位置検出

カメラ選定各場所の人物を広く捉えるため，魚眼レンズを備えた全方位カメラを利用

作業の認識

監督・部品供給者の位置の認識


機械 (Machine) の観点から

材料 (Material) の観点から


22

全方位カメラ PTZカメラ

部品供給者

（装置内）固定カメラ

(1)所定エリアへの進入検知 (2)対象をズームして撮影


部品供給部に，正しい部品が供給されているか

必要機能所定エリアへの人物進入に対応して，供給部を拡大撮影する機能

カメラ選定 (1)所定エリアへの人物進入用に全方位カメラ

(2)拡大撮影用にPTZ (Pan Tilt Zoom) カメラ


生産機械が正常に動作しているか

必要機能薬品投入が正常か，機械のパーツずれは起きていないかを検知する各機能

カメラ選定機械内に設置する固定カメラ

機械に関する認識

材料の監視


各画像認識を現場で実現するためのシステム構成例

映像解析システム

23

逸脱動作検知用PC

映像解析サーバ

情報収集サーバ制御部MQTTメッセージブローカー

情報収集SVレコード


検知トリガ

検知トリガ逸脱動作検知結果

機械異常検知部

逸脱動作検知部

各種検知結果

機械異常検知結果

人物トラッキング部

映像蓄積サーバ

画像取得部

画像

画像

深度カメラ全方位カメラ PTZカメラ固定カメラ

PTZ制御部

距離画像

PTZ制御

検知結果

作業者

機械監督・部品供給者

材料


生産システムから映像解析システムへ送信すべき情報

情報送信の流れ(1)上記情報を情報収集サーバが収集，画像解析サーバにMQTTメッセージとして送信

(2)制御部では，生産工程IDからカメラ・画像認識種類を特定，検知トリガとして認識部に再送信

(3)認識結果は，情報収集サーバで再収集

システム間連携

24

逸脱動作検知用ＰＣ

映像解析サーバ

情報収集サーバ制御部MQTTメッセージブローカー



機械異常検知部逸脱動作検知部

検知トリガ

検知トリガ逸脱動作検知結果

各種検知結果

機械異常検知結果

機械作業者

作業/機械の動作タイミング特定のタイミングで画像認識を実行するため

製品のシリアル番号画像認識結果と生産情報の紐づけのため

生産工程のID カメラおよび画像認識種類を特定するため


Contents

１．背景



４．まとめ

25


次世代製造管理システムのコンセプト

3M (Man/Machine/Material)の観点で決定した画像認識の対象

生産情報と連携した画像認識を可能とするシステム

作業解析

• 深度カメラを利用した逸脱動作検知

• ウェアラブルセンサを利用した作業認識

まとめ

26

リアルタイム画像分析による 品質・生産性向上への...

Documents

リアルタイム画像分析による品質・生産性向上への...