修士論文説明書

ロボットの描画行為における神経回路モデルを用いた

描画像からの運動連想

A Neural Network based Model for Association of Robot's Drawing Motion from Drawn Image

5113E010 佐々木 一磨 指導教員 尾形 哲也 教授

SASAKI Kazuma Prof. OGATA Tetsuya

概要： 本研究は描画行為における基本的能力である，描いている絵（描画像）と運動の統合記憶に着目しロボットによる学習を通して再現を試みた．ロボットに描画運動を学習させる研究はいくつか行われてきたが，これら

の研究では情報量が多い描画像を直接学習させることが困難なため，学習対象は画像ではなく軌道や恣意的なプ

リミティブにもとづいた特徴量が用いられてきた．また画像と運動の統合学習ができないことから画像からの描

画運動連想は扱われてこなかった．そこで本研究では近年注目されている深層学習を利用することで，多次元の

描画像を低次元の特徴量へと圧縮することで運動情報との統合学習を実現し，再帰結合型神経回路モデルを導入

することで描画像からの運動連想を可能にした．本提案手法の機能を確認するため実ロボットを用いた描画実験

を行ったところ，連想機能の実現に加え図形の種類による自己組織化が起こっていることが確認された． キーワード：ロボット，描画行為，神経回路モデル，深層学習

Keywords：robotics， drawing behavior， artificial neural network， deep learning

１. 背景 描画は人間が行う高度な行為の１つである．

我々は状況や知識，心境を絵として表現すること

ができ，また表現されたものを絵から読み取るこ

とができる．描画行為における最も基本的な能力

の１つは描いている絵の視覚情報と運動の統合

記憶である．この統合記憶の存在は書画行為に研

究を中心とした認知科学で近年注目されており

文字の認識能力にも影響があることが示唆され

ている＊1．そこで本研究では実ロボットを利用

して描画像と運動の統合記憶の学習による獲得

を試みた．

２. 既存研究 描画行為をロボットに学習させる研究では主

に，高度な運動の学習に主眼が置かれてきた．望

月らは人間の幼児に見られる描画発達に着目し，

ランダムな描画から簡易な図形の軌道を再現す

るに至る追加模倣学習の手法を提案している＊2．

Mohan らは形の共通項となる Primitive Feature

と呼ばれる要素を規定し，その組み合わせを学習

する手法を提案している＊3．これらの既存研究

では描画運動の学習が行われているが，描画像を

直接学習することはできておらず，描画像から運

動連想を行うことはできていないなかった．

３. 研究目的 本研究では描画像と運動の統合記憶を実ロボ

ットの描画実験を通して獲得させるために既存

手法では困難であった（１）描画像の学習を特定

の特徴量デザインによらず行うこと（２）描画像

と運動の統合学習で得られた経験を用いて描画

像から運動の連想を行うことを目的とした．

４. 学習モデル 本研究では描画像の学習困難さに対して近年

注目されている深層学習を利用することで学習

に必要な時間を短縮することで解決を図った．描

画像と運動情報の統合学習については再帰結合

型神経回路モデルを利用した（図 1）．

図１ 描画行為学習モデル

……

…

Multiple TimescaleRecurrent Neural Network

Joint Angles(t)

Joint Angles(t+1)

Robot& Pen Tablet

IOIOOIIOIOII CfCfCfCC Cs

……

…

…

Deep Neural Network Autoencoder

Image(t)(compressed)

Image(t+1)

Drawn Image

2

深層学習モデルは深い階層をもつ階層型神経

回 路 モ デ ル で あ る Deep Neural Network

Autoencoder（以下 DNN）を用いた．DNN は入力で

ある多次元の描画像を少ない次元の中間層を通

して再符号化するように学習を行うことで中間

層に圧縮表現を自己組織的に得ることができる

＊4．

再帰結合型神経回路モデルは Multiple

Timescale Recurrent Neural Network （ 以 下

MTRNN）を用いた．MTRNN は入出力と発火速度が

異なる２種類の再帰結合ニューロン（Cf， Cs）

から構成されている．MTRNN において Cf， Cs ニ

ューロンは学習するダイナミクスが発火速度に

応じて抽象化され自己組織化されるという特徴

がある＊5．

学習後ダイナミクス全体を位置付ける値であ

る，Cs ニューロンの描き始めにおける出力値（初

期値）を再学習することで任意の描画像を含む状

態に達するためのダイナミクスを生成すること

ができ，本研究では描画像からの運動連想をこの

方法で実現した．

5．実ロボットを用いた実験

提案モデルの機能を確かめるために図 2（上）

のような簡易な図形（丸，三角，四角形）をロボ

ットに描かせる実験を行った．学習用データセッ

トとしてロボットは実験者が直接操作して 3 種

類 15 枚の描画を行い，各ステップにおける描画

像と関節角度情報を記録した．描画像は 30×30

ピクセルとし，中間層には 10 次元となるように

DNN の学習を行った．関節角度は右腕の関節 5自

由度を用いて，DNN によって次元圧縮を受けた描

画像の特徴ベクトルと合わせて MTRNN に学習さ

せた．

モデルの学習後に学習用と似た描画像 3 枚を

新たに用意し，これらについて運動連想を行い得

られた関節角度を用いてロボットに描画を行わ

せた．その結果，描画像から運動の連想を行うこ

とに成功した（図 2（下））．

6. 考察 学習用図形の形と MTRNN のダイナミクスの関

係を調べるために，学習用図形を生成したときの

Cs ニューロンの発火値を，主成分分析を用いて

調べた（図 4）．その結果 Cs ニューロンの値は形

ごとにグループを成すようにして自己組織化さ

れていることがわかった．

注：＊1 Amanda H. Waterman, Jelena Havelka, Peter

R. Culmer, Liam J. B. Hill, Mark Mon- Williams, The

ontogeny of visual-motor memory and its importance

in handwriting and reading: a developing construct,

Proceedings Bof Biological Science in Royal Society,

2015

＊2 Mochizuki, K. Nishide, S., Okuno, H.G. Ogata,

T., Developmental human-robot imitation learning

of drawing with a neuro dynamical system, Systems,

Man, and Cybernetics, 201513

＊3 Vishwanathan Mohan, Pietro Morasso, Jacopo

Zenzeri, Giorgio Metta, V. Srinivasa Chakravarthy,

Giulio Sandini, Teaching a humanoid robot to

draw‘Shapes’, Autonomous Robot VOL31, 2011

＊4 G.E. Hinton, R.R. Salakhutdinov, Reducing the

dimensionality of data with neural networks,

Science, 2006

＊ 5 Yuichi Yamashita, Jun Tani, Emergence of

functional hierarchy in a multiple timescale neural

network model: a humanoid robot experiment, PLoS

Comput Biol VOL6, 2010

10 20 30

10

20

3010 20 30

10

20

3010 20 30

10

20

30

図 2(上)学習用図形 （下）連想による

描画結果

Circle SquareTriangle

図 3 MTRNN Cs 発火値の主成分分析

結果