知的計算システム研究室（icl 2019年度...

20192019年度年度

卒業研究テーマ説明卒業研究テーマ説明2018.92018.9

知的計算システム知的計算システム研究室研究室ICLICL：：IIntelligentntelligent CComputingomputing systemssystems LLab.ab.

I科中島克人[email protected]

2018.8ICL夏合宿

＠河口湖

知的計算システム研究室（ICL）

2

技術の探求とプログラムが大好き／出来る／習熟したい人

機械学習を極めたい等の好奇心旺盛で向上意欲の高い人◆色々な仕組み（アルゴリズム）に興味を持ち，それらを学び，プログラムでそれを実現し，更に自分のアイデアを盛り込みたい学生

頼られる技術者を目指したい◆技術的にも頼りになり，英語もそこそこ使え，チームワークのための連携・連絡もしっかりできる . . . そんな技術者に！

募集募集するする学生像学生像

その他その他3年科目「画像処理」の履修済を想定

大学院進学予定者を歓迎

プログラミングが全く出来ない人は卒研Aのみを推奨

19年度院生： M2：4, M1：4 の計8名

班別打合せの様子


3

深層学習などの最新の高度な技術にどんどん挑戦！

英語も輪読を通してコツコツと上達を目指す

皆で協力しつつ仲良く◆同期のみではなく，先輩や後輩，OB/OGとも交流が盛ん

研究室のモットー研究室のモットー

夏合宿＠河口湖（現役18名＋OB/OG 7名）

現役・OB/OG合同遠足＠鎌倉


4

人の行動解析◆万引き検出

◆実時間受講者動作解析

映像シーン解析◆サッカー放送映像からの特定選手追跡

◆実時間カードゲーム認識

◆高精度道路標識認識のための学習データ生成

◆屋内向け実時間隠消現実感

ARのためのシーン認識◆物体認識を用いた高精度AR空間構築

◆仮想オブジェクトレンダリングのための特定実在物からの光源推定

卒研卒研テーマテーマ群および例（群および例（1/21/2））

デモビデオ等：http://server.icl.im.dendai.ac.jp/~nakajima/Sotsuken/


5

イラスト画像生成，自動着色◆漫画のキャラクター自動着色

◆背景イラスト（樹木・並木・森，繰り返し人工構造物）の半自動生成

自然画像修復支援◆スマホでの暗所撮影画像内のノイズ除去

◆屋外風景写真からの不要人影消去

◆ガラスへの映り込みの除去

楽器演奏支援◆手指動作認識によるバーチャルピアノの精度向上

◆バーチャルパーカッション

◆弦楽器の運指認識とその楽譜との対応付け

卒研卒研テーマテーマ群および例（群および例（2/22/2））

デモビデオ等: http://server.icl.im.dendai.ac.jp/~nakajima/Sotsuken/


6

★★人の行動解析システム人の行動解析システム… 映像による受講生の挙動解析映像による受講生の挙動解析

カメラで撮影した受講生の動きから受講態度を分類◆ 目的: 授業改善の一助，科目選択の指針

動き抽出（フレーム間差分）

：深層学習技術活用：深層学習技術活用

人物検出

統計値集計授業特徴等の出力

挙動解析

受講態度分類

動き有る

無い話を聞いている

前を向いている

ノートを取っている

頭の向き

下を向いている

作業・演習

寝ている


7

★サッカー放送映像からの特定選手追跡● 特長

粒子フィルタを用い団体競技の選手追跡→ 人が行うのと同様に外見的特徴を追跡尤度に利用

深層学習技術を組み合せて選手追跡時の問題を解決→ : 追跡尤度の自動登録，密集に対応→ : 照度変動による色情報変化に対応

入力画像

Mask R-CNN適用結果

フィールド抽出

粒子フィルタによる追跡

追跡尤度の登録

ICLICL研究事例研究事例


YOLOv3Mask R-CNN


8

★ トレーディングゲームカードの実時間認識



実時間検出・識別

結果

ライブ映像

⾃然な画像への変換

学習

学習一定量の

人手作成の学習データ

全カード種に増強された学習データ

全カード種のテンプレート（CG）データ

カード種追加

CGデータ

はめ込み画像

⾃然に⾒える学習⽤画像


9

入力

★ 高精度道路標識認識のための学習データ生成


道路標識認識システム

ドライブレコーダ映像

⼊⼒動画

認識

学習データ

学習

深層⽣成モデル(GAN)

生成テンプレート画像

乱数


認識結果

速度制限40

駐⾞禁⽌


10

キャラクタごとの領域分割画像

の生成

領域分割内で着色

領域分割内で着色

★ 深層学習による漫画キャラクタの自動着色


着色画像の統合

元画像の入力着色画像



11

★★ 画像処理（画像生成）画像処理（画像生成） …… 樹木イラストの自動生成樹木イラストの自動生成● 特長

再帰描画により樹木を表現エネルギーモデルにより成長度合を制御密度を考慮することで枝葉の重なりを制御枝先の回転など，現実の樹木には有り得ない形状を表現

操作インタフェース生成結果例

ICLICL研究事例研究事例知的計算システム研究室（ICL）

12

★★ 画像処理（画像生成）画像処理（画像生成） …… 森林森林イラストイラストの自動生成の自動生成● 特長

樹木イラストをその種類ごとに平面配置任意角度の3次元俯瞰画像を生成

建築物イラストを用い都市景観イラストの生成も可能

森林イラスト例

操作インタフェース①メニューバー② キャンバス，座標確認画面③ 数値入力画面，再生成ボタン，等④ レイヤ操作画面


都市景観イラスト例


13

★ 屋外風景写真からの不要人影消去● 目的

風景の記念写真から不要な人影を消去

● 特長不要な人影の（半）自動指定深層学習による陰消現実感技術を活用

入力画像

出力画像例（一部）


人物検出

陰消現実または

人手指定



14

★ 手指動作認識によるバーチャルピアノ

● 特長紙の鍵盤（または打楽器）上で楽しめる簡易楽器場所を選ばず，設置も容易全く新しい楽器の可能性

● 使用デバイス鍵盤が描かれた紙（ペーパー鍵盤）

深度センサ付きカメラノートパソコン


深度センサ付カメラ

パソコン

ペーパー鍵盤


15

★ 弦楽器の運指認識とその楽譜との対応付け

楽譜

⾃動運指推定システム


学習

学習データ（運指データ）

{⾳符，指番号}{⾳符，指番号}

・・

⾳符位置を⾒ながら演奏

撮影

画像による運指認識


運指情報付楽譜


16

★ 画像認識基盤技術 … Deep Learning （深層学習）

Neural Network◆脳の神経細胞ネットワークを模した計算モデル（多層パーセプトロン）

◆学習型の分類（認識）器を実現

Deep Neural Network◆ニューラルネットワークの階層を深くしたもの

Deep Convolutional Neural Network （DCNN）◆画像認識などに有効な畳み込み（Convolution）機能付きのネットワーク

◆Convolution により画像の特徴を抽出

◆各種ツールが公開されており，ICLでは利用ノウハウを蓄積中

ニューロン（神経細胞）モデル化

Convolutions


17

ACIVS（Advanced Concepts for Intelligent Vision Systems） 2017@ベルギー◆Full Screen Touch Detection for the Virtual Touch Screen

ICCV（International Conference on Computer Vision） 2017@イタリア

◆委託研究技術調査

VISAPP（International Conference on Computer Vision Theory and Applications）

2018@ポルトガル◆Virtual Musical Instrument using a Depth Sensor（デモ発表）

CVPR（Computer Vision and Pattern Recognition） 2018@USA◆委託研究技術調査

海外発表，海外技術調査海外発表，海外技術調査(2017,2018)(2017,2018)

委託研究委託研究(2017,2018)(2017,2018)地図および自動車関連１件


18

本格的な物作りの体験◆FI科ではプログラミングが主要手段

チーム・プレーの体験◆自他の課題・計画・進捗の共有

◆相互相談

◆上下関係

考え抜く力の養成

コミュニケーション能力の向上◆論理的で簡潔な説明能力

◆相手の知識や理解度に合せた説明

英語能力を高めて卒業しよう

毎週英語輪読します

卒業研究とは卒業研究とは …… ICLICL指導方針指導方針

院生英語輪読の様子

夏合宿では初心者も交えて考え抜くゲームを

夏合宿＠河口湖での夕食準備の様子


19

本日の配布資料「知的計算システム研究室」内の下記http://server.icl.im.dendai.ac.jp/nakajima/18boshu-19Sotsuken.pdf

本資料本資料URLURL知的計算システム研究室（ICL）

20

（（MemoMemo））

知的計算システム研究室（icl 2019年度...

Documents