ai が人を「さがしもの」から解放する日がやって … › ~kudo › research ›...

模擬講義： AI が人を「さがしもの」から解放する日がやってくる！？ 1

AI が人を「さがしもの」から

解放する日がやってくる！？



工藤司

2018年8月19日（その後の経過追記）

情報学部コンピュータシステム学科

静岡理工科大学オープンキャンパス

模擬講義


本資料について

掲載場所：「工藤研究室ホームページ」の「研究内容」のページ

URL: https://www.sist.ac.jp/~kudo/research.html

2018/8/19

学生の研究概要

「卒業研究」のページ

研究業績

（学生との共著含む）

「工藤教授プロフィール」のページ


学生の研究概要

2018/8/19


研究業績（卒業研究に対応したもの）

2018/8/19


目次

1. 周囲は情報システムであふれている

2. 最近の技術動向

a. IoT（モノのインターネット）

b. 深層学習（人工知能）

3. 生産管理システムの事例紹介

4. 「さがしもの」から解放される？

－日常への応用－2018/8/19






１．周囲は情報システムで

あふれている

１．周囲は情報システムで

あふれている

2018/8/19

① シミュレーション系

② 組み込み・制御系 ③ 業務システム系


周囲は情報システムであふれている

大砲の弾道計算

（ENIAC（1946年）：最初？のコンピュータ）

自動車の走行制御

図書館の

蔵書検索

天気予報，航空機の設計，コンピュータグラフィックス（CG)，．．．

家電・発電所制御，．．．スマホ，ネットショップ，．．．

2018/8/19


なぜ情報システムを開発するのか？

8

開発の目的

シーズからの発想：技術を使ってもっと良いものを．

ニーズからの発想：困ったことを解決したい．

開発の目的

シーズからの発想：技術を使ってもっと良いものを．

ニーズからの発想：困ったことを解決したい．

困ったこと

シーズ

情報システム（解決）

独自の技術

ニーズ

「情報通信技術」の進歩

2018/8/19


生活の中で「さがしもの」は結構多い

2018/8/19


生活の中で「さがしもの」は結構多い

2018/8/19

あの本をどこにしまっただろう？

しかし，

現実の世界に検索システムはない．


２．最近の技術動向

a. モノのインターネット（IoT）


２．最近の技術動向



2018/8/19



モノのインターネット（Internet of Things （IoT））

あらゆるモノがインターネットでつながる社会

モノのインターネット（Internet of Things （IoT））

あらゆるモノがインターネットでつながる社会

これまで

「人」が，いつでもどこでもアクセス

ツイッターに投稿，携帯電話で記事を検索

現在の動向

人も機械も全てのモノがアクセス

家電も車も，情報を投稿，情報を共有

2018/8/19


IoTによる世界

インターネット

機械の投稿：速度・位置の情報渋滞地域を回避

車への応用

渋滞回避

信号レス交差点

車への応用

渋滞回避

信号レス交差点

冷蔵庫への応用：食材がなくなると，自動的に注文冷蔵庫への応用：食材がなくなると，自動的に注文

2018/8/19


研究室の状況を表示する（卒業研究）

自走センサの研究：不審者侵入，火災検知，など自走センサの研究：不審者侵入，火災検知，など

自走センサセンサで障害回避，研究室のデータをネットに送信

スマートグラス乗っているように操作

スマートウォッチ（時計）どこでも確認

2018/8/19


b.深層学習（人工知能）

従来方式：人間が指定した特徴を抽出

深層学習：抽出したい特徴を自動的に識別し抽出

推定結果

：40個

推定結果

：40個

2018/8/19


深層学習（人工知能）の普及

【出典】 M. VERHELST, B. MOONS: Embedded Deep Neural Network Processing: Algorithmic and Processor Techniques Bring Deep Learning to IoT and Edge Devices. IEEE Solid-State Circuits Magazine, 2017, 9.4: 55-65.

ILSVRC（大規模画像認識の競技会）での成果

大量の訓練データが収集可能（ビッグデータの活用）

ILSVRC（大規模画像認識の競技会）での成果

大量の訓練データが収集可能（ビッグデータの活用）

従来方式深層学習

様々な分野へ応用

碁，将棋

機械翻訳

顔認証

・・・・・

様々な分野へ応用

碁，将棋

機械翻訳

顔認証

・・・・・

2018/8/19

人間の誤差率

5.1%


２．生産管理システムの

事例紹介

２．生産管理システムの

事例紹介

事例１：画像による在庫量の判定

事例２：在庫量の自動判定（深層学習）

事例３：コンピュータ・グラフィックス（ＣＧ）による深層学習

事例４：動画からの在庫画像自動抽出（IoT）

2018/8/19


背景：企業の生産管理システム構築支援

【本学大学案内より】

2018/8/19

2018/8/19 模擬講義： AI が人を「さがしもの」から解放する日がやってくる！？ 19

生産管理システムの目的

データベース

生産管理：生産計画（いつ，何を，どれだけ作る），

在庫の管理（部品の残りは充分？），．．．．




生産管理システムの目的

データベース





データベース

大量のデータをまとめ，様々な用途に活用できるよう，保存，管理されたデータの集まり．

近年，用途により様々なデータベースが実用化


生産計画システム：スケジュール

2018/8/19


生産計画システム：仕様書（注文）の推移

2018/8/19


生産計画システム：仕様書（注文）の推移

2018/8/19

注文数の推移

いつ，いくつ，どの製品を作る

部品の在庫計画：

いつ，いくつ，どの部品が必要


画像による保管場所の管理（卒業研究）

論文：古川友貴，工藤司：製品地図システムにおけるMySQLとMongoDBの性能比較評価，情報処理学会第80回全国大会，pp. 4- 541-542（Mar. 2018）．

要求：製品の形で所在を知りたい

製品画像の配置地図作成＋データベース比較評価

要求：製品の形で所在を知りたい

製品画像の配置地図作成＋データベース比較評価

2018/8/19


企業の生産管理システム構築支援

2018/8/19


国際会議での発表

論文：Kudo, T. and Furukawa, Y.: A Comparative Study in Enterprise Systems Dealing with Images: MongoDB vs. MySQL, Proc. Int. Workshop on Informatics, pp. 301-308 (Sep. 2017).

2017年9月に，ザグレブ（クロアチア）で発表


事例１：画像による在庫量の判定事例１：画像による在庫量の判定

2018/8/19


在庫管理システムの必要性

2018/8/19

生産管理システムの在庫量 ≠ 実際の在庫量

不良品，加工ミス，工程の遅れ，．．．．

実際には，細かな部品の在庫を数えるのは困難

必要量が分かれば，「画像での充足判定」は容易

生産管理システムの在庫量 ≠ 実際の在庫量

不良品，加工ミス，工程の遅れ，．．．．

実際には，細かな部品の在庫を数えるのは困難

必要量が分かれば，「画像での充足判定」は容易


現場の画像で事務所から判定

在庫管理者

（オフィスで管理）

生産計画データの入力

在庫棚画像データのモニタリング

2018/8/19


国際会議での発表と論文誌採録論文：

Kudo, T., Ito, Y., Serizawa, Y.: An Application of MongoDB to Enterprise System Manipulating Enormous Data，Int. J. Informatics Society，Vol. 9, No. 3，pp. 97-108 (Dec. 2017). リガ（ラトビア）で発表，論文誌に採録

2018/8/19


事例２：在庫量の自動判定

（深層学習）

事例２：在庫量の自動判定

（深層学習）

2018/8/19


画像を使用した在庫判定の課題と対策

2018/8/19

大量の在庫棚を，人間が１つ１つ確認する作業負荷

画像から深層学習（人工知能）を活用して自動カウント

大量の在庫棚を，人間が１つ１つ確認する作業負荷

画像から深層学習（人工知能）を活用して自動カウント


深層学習（人工知能）でカウントする

Inp

ut

Co

nvo

lutio

nal

Po

olin

g

Co

nvo

lutio

nal

Co

nvo

lutio

nal

Po

olin

g

Co

nvo

lutio

nal

Co

nvo

lutio

nal

Po

olin

g

Fla

tten

Dro

po

ut

Ou

tpu

t

Dro

po

ut

Co

nvo

lutio

nal

Po

olin

g

Co

nvo

lutio

nal

Co

nvo

lutio

nal

Po

olin

g

Co

nvo

lutio

nal

Co

nvo

lutio

nal

Po

olin

g

Fla

tten

Fu

lly c

on

ne

cte

d

Dro

po

ut

Fu

lly c

on

ne

cte

d

Dro

po

ut

Fu

lly c

on

ne

cte

d

論文：川中天馬，工藤司：深層学習を用いた在庫数量判定方式の提案，情報処理学会第80回全国大会，pp. 4- 543-544（Mar. 2018）．

2018/8/19


深層学習（人工知能）でカウントする

人間は数が増えると数えられない人間は数が増えると数えられない

2018/8/19

正確性


実システムへの適用可能性評価

生産計画と照合し信頼性・効率性を向上できる．生産計画と照合し信頼性・効率性を向上できる．

2018/8/19

必要数以上必要数未満

必要数以上 (a) 作業なし (b) 確認作業

必要数未満 (b) 確認作業 (c) 自動発注

深

層

学

習

生産計画システム


実システムにおける構成

必要に応じて，在庫管理者に

確認を依頼；他は自動処理．

必要に応じて，在庫管理者に

確認を依頼；他は自動処理．

2018/8/19



論文： Kawanaka, Tenma and Kudo, Tsukasa: Inventory Satisfaction Discrimination Method Utilizing Images and Deep Learning, Int. Conf. Knowledge Based and Intelligent Inf. and Eng. Systems, (Sep. 2018). 9月にベオグラード（セルビア）で発表2018/8/19


事例３：コンピュタグラフィックス

（ＣＧ）による深層学習

事例３：コンピュタグラフィックス

（ＣＧ）による深層学習

2018/8/19


深層学習用画像データの撮影風景

2018/8/19


深層学習の課題と対策

課題：学習のために多くのデータが必要

今回：各々 1,600枚を撮影，8000枚に変換

実際の部品では困難

課題：学習のために多くのデータが必要

今回：各々 1,600枚を撮影，8000枚に変換

実際の部品では困難

対策：画像データをCGで作成する

どのようなGC画像が良い精度か？

実画像を混ぜると改善するのでは？

対策：画像データをCGで作成する

どのようなGC画像が良い精度か？

実画像を混ぜると改善するのでは？

2018/8/19


ＣＧを活用した学習データの作成

1. 対象をランダムに配置，物理シミュレーションで位置決定

2. これをプログラムで自動実行

落下後の最終状態

2018/8/19


ＣＧの要素による画像の状況

2018/8/19


ＣＧでは総合的な改善が必要

2018/8/19

(0) 実画像 (3) 照明の改善

(1) ラフな画像 (4) 材質の改善

(2) 位置の改善 (5) 全改善反映


実画像を混ぜると精度は大幅に改善

論文：滝本廉，工藤司：CG による学習データを活用した在庫把握方式，電子情報通信学会総合大会情報・システム講演論文集1，P. 183（Mar. 2019）．

2018/8/19


学会参加風景

2018/8/19



論文： Kudo, T. and Takimoto, Ren: A Proposal of Deep Learning Training Data Generator for Image Recognition, Int. Workshop on Informatics. 9月にザルツブルク（オーストリア）で発表・論文誌採録

2018/8/19


深層学習の回帰モデルを適用

2018/8/19

概ね，誤差±５以内にできることを確認


南通理工学院とのシンポジウムで発表

論文： Kudo, T.: Utilization of CG in Training Data Preparation for Deep Learning, International Symposium on Advanced Engineering Technology and Engineering Education between SIST and NIT (Mar. 2019). 3月に南通（中国）で発表

2018/8/19


南通理工学院との姉妹校提携調印式

2018/8/19

AI技術を活用した在庫推定の研究 50

しかし，回帰分析にＣＧ画像を適用すると

精度は大幅に劣化した件数

誤差

2019/9/26

CG Utilization for Creation of Regression Model Training Data in Deep Learning

原因：画像の明度と彩度の相違

512019/09/06

MSE

明度: w (weight)_b(bias)

結論: 明度と彩度の調整により精度を改善

(1) MSE (損失) は，0.061 から 0.0173 に改善

(2) これは，実画像を10% から 20% 混合した場合に相当

精度

（深層学習の

損失関数）


国際会議で発表

論文： Kudo, Tukasa and Takimoto, Ren: CG Utilization for Creation of Regression Model Training Data in Deep Learning, Procedia Computer Science, Vol. 159, 2019, pp. 832-841．

9月にブダペスト（ハンガリー）で発表2018/8/19

2019/9/26 AI技術を活用した在庫推定の研究

明度と彩度の調整自動化：GANの適用

53

Cycle-GAN：

敵対的生成ネットワーク（Generative Adversarial

Network，GAN) の１種で，2017年に提案された．

ＧＡＮ：生成者と判別者が相互学習して偽物を作成

ある画像から別の種類の偽画像を生成

Cycle-GANによる，シマウマから馬への変換事例

AI技術を活用した在庫推定の研究

推定精度の評価結果

542019/9/26

偽CG画像CG画像写真

平均自乗誤差（損失関数）

Cycle-GAN の応用により推定精度の向上が可能


国際会議で発表

論文： Kudo, T.: Training Data Generation Method for Deep Learning Using Cycle-GAN, Proceedings of International Workshop on Informatics (IWIN2019), pp. 149-154 (Sep. 2019).9月にハンブルグ（ドイツ）で発表・論文採録; Best Paper Award受賞

2018/8/19


事例４：動画からの在庫画像

自動抽出（IoT）

事例４：動画からの在庫画像

自動抽出（IoT）

2018/8/19


在庫画像の収集上の課題

課題：大量の在庫棚の画像を１枚１枚撮影する負荷

対策：ウェアラブルカメラで常時撮影，

在庫棚の画像を自動抽出




2018/8/19

スマートグラスのカメラ活用


フォグ（エッジ）・コンピューティング

論文：原嵜彩奈，工藤司： Node.jsとMongoDBによる動画データの保存方式，情報処理学会第80回全国大会，pp. 4- 545-546（Mar. 2018）

2018/8/19

近年，提案された方式

データベースを適用，性能評価；充分な効率確認

近年，提案された方式

データベースを適用，性能評価；充分な効率確認

従来：クラウド・コンピューティングフォグ・コンピューティング

大量のビデオ転送

性能上の課題

クラウド・サーバ


不審者侵入検知実験（卒業研究）の課題

課題：画像の自動抽出では，失敗のタイミングがある

対策：必要に応じてビデオ・データにアクセスする

課題：画像の自動抽出では，失敗のタイミングがある

対策：必要に応じてビデオ・データにアクセスする

2018/8/19

画像の自動抽出（失敗）動画を併用した場合（スクリーンショット）

論文：伊藤祐輝，工藤司：IoT とNoSQL を活用した研究室のセキュリティ管理システム，信学会総合大会情・シ論 1，p. 120 (Mar. 2017)．

模擬講義： AI が人を「さがしもの」から解放する日がやってくる！？

分散データベースによるIoT基盤構築の提案

602018/8/19

３階層の分散データモデル

クラウド・サーバは必要に応じてオリジナルデータを参照

３階層の分散データモデル

クラウド・サーバは必要に応じてオリジナルデータを参照


分散データベースによるIoT基盤構築の提案

論文： Kudo, T.: Fog Computing with Distributed Database, Proc. 32nd IEEE AINA2018, pp. 623-630 (May 2018). 5月にクラクフ（ポーランド）で発表・論文誌採録

2018/8/19

Data Correction Management Method Using Temporal Data in Fog Computing

在庫管理システムへの適用上の課題

622019/11/6

フォグノード: 画像から在庫数量を推定，

必要に応じて訂正

(B) 画像 DB: 在庫情報

(C) 結果 DB: 統計情報

在庫情報と統計情報の整合を維持するためには，在庫情報の訂正の都度統計の再計算が必要

これは，性能の劣化を引き起こす．

在庫情報と統計情報の整合を維持するためには，在庫情報の訂正の都度統計の再計算が必要

これは，性能の劣化を引き起こす．

クラウドサーバ: 在庫統計と発注情報


解決策：バイテンポラルデータベースの適用

632019/11/6

Transaction Time

7/１

バイテンポラルデータベースは２種類の時間を管理: 有効時間: 実世界の時間 (センサでの監視時刻) トランザクション時間: システム内の時間 (入力時刻)

バイテンポラルデータベースは２種類の時間を管理: 有効時間: 実世界の時間 (センサでの監視時刻) トランザクション時間: システム内の時間 (入力時刻)

７/２

InventoryNo Quantity

Ａ 10

Valid time 7/1 7/2 スナップショットDB

(トランザクション時刻 = 7/2)

InventoryNo Quantity

Ａ 20

Ａ 30

Valid time 7/1 7/2

S特徴：任意のトランザクション時間の状態を検索

通常はスナップショットデータベース：最新状態を保存


バイテンポラルデータベースによる評価

642019/11/6

バイテンポラルデータベースでは劣化を抑止バイテンポラルデータベースでは劣化を抑止

Elapsed time (sec)

Number of corrections

Increase to 126 sec

Between 2.0 and 2.6 sec



論文： Kudo, T.: Data Correction Management Method Using Temporal Data in Fog Computing, ICMU2019, IEEE, pp. 1-4 (Nov. 2019). 11月にカトマンズ（ネパール）で発表

2018/8/19


ここからは，研究中ですが．．．ここからは，研究中ですが．．．

2018/8/19


在庫画像の収集上の課題







2018/8/19

スマートグラスのカメラ活用


在庫棚エリアへの入退場の検知

(1)

(2)

在庫棚エリア2018/8/19

作業員の負担軽減：ビデオ撮影は常時実施

(1) 入場検知（入口の形状）：画像抽出開始

(2) 退場検知（出口の形状）：画像抽出終了

作業員の負担軽減：ビデオ撮影は常時実施

(1) 入場検知（入口の形状）：画像抽出開始

(2) 退場検知（出口の形状）：画像抽出終了

組立エリア

事務所

・・・・・


在庫画像の特定と抽出（深層学習を応用）

(a) 在庫棚の位置による特定

(b) 形状による特定 (c) ラベルによる特定

2018/8/19

接近・拡大

製品ーA


情報システムの構成

(C) 解析結果データベース

(B) 画像データベース

解析層：在庫判定；画像の深層学習

ネットワーク

クラウド・サーバ

2018/8/19

在庫状況

深層学習の強化学習

(A) ビデオ・データベース

タブレット端末：在庫棚抽出

在庫棚抽出の改善

深層学習在庫棚画像抽出在庫数量判定

深層学習在庫棚画像抽出在庫数量判定


国際会議での発表・研究助成金の獲得

712018/8/19

論文： Kudo, T.: Proposal of autonomous management scheme of many inventory shelves by surveillance cameras, Proc. SAIS2018(Sep. 2018). 9月にインスブルック（オーストリア）で発表，「日本学術振興会」／「東海産業技術振興財団」の研究助成で採択


４．「さがしもの」から解放される？

ー日常への応用－

４．「さがしもの」から解放される？

ー日常への応用－

2018/8/19


生活のシーンに応用してみると

2018/8/19


・本の画像，書籍名，しまった日時・場所

日常生活の中で

データベースに保存

日常生活の中で

データベースに保存


あとは，ネットと同様に検索するだけ

2018/8/19


・本の画像，書籍名，しまった日時・場所

1. 対象書籍の指定

（画像，書名など）

1. 対象書籍の指定

（画像，書名など）

・画像・書籍名：データベース 26・日時： 8月14日 13:00・場所：本棚左端 2段目

2. 検索結果の表示2. 検索結果の表示


技術と共に広がる情報システムの可能性

75

困ったこと

シーズ

情報システム（解決）

独自の技術

ニーズ

「情報通信技術」の進歩・深層学習・IoT ・データべース

・フォグ・コンピューティング

2018/8/19

皆さんは，どんな情報システムが欲しいですか？皆さんは，どんな情報システムが欲しいですか？


総合情報学部コンピュータシステム学科

工藤司

ご静聴ありがとうございました。

模擬講義

ai が人を「さがしもの」から 解放する日がやって … › ~kudo › research ›...

Documents

ai が人を「さがしもの」から解放する日がやって … › ~kudo › research ›...