日用品データベースを利用する家事支援ロボットによる思い出し・片付け支援

○山崎公俊　野沢峻一　植田亮平　槙俊明　森優人　岡田慧　松本潔　稲葉雅幸 (東京大学)

Remenberance and Tidying Supports by Homemaking Assistant Robots withDaily-Commodities Database

*Kimitoshi YAMAZAKI, Shunichi NOZAWA, Ryohei UEDA, Toshiaki MAKI, Yuto MORI,Kei OKADA, Kiyoshi MATSUMOTO and Masayuki INABA (Univ. of Tokyo)

Abstract— Robots which work on homemaking assistance have possibilities of contributing to remenberanceand tidyng support. We combined such robot system with daily-commodities database and illustratedthe effectiveness through some experiments. This extention enables the database system to manage dailycommodities more effectively and also has effects to help remenberance and tidying tasks.

Key Words: Commodities database, homemaking robot, remenberance and tidying support

1. はじめに実環境には色々なものが存在しており，我々は必要に

応じてそれらを扱いながら日常生活を営んでいる．この便利な世の中で一つ問題になることは，使おうとしたものが今どこに存在するかを逐一把握することである．実際，毎日のように使う眼鏡やリモコンなどでさえ，見当たらずに探しまわることは日常茶飯事であろう．筆者らの研究グループでは，情報技術（ＩＴ）とロ

ボット技術（ＲＴ）を融合し，日用品の管理と収納・取り出しの支援を行うことを目指している．この実現により，片付け作業の効率化による時間と空間の節約，複数人が暮らす共同生活の円滑化，独立した生活を支える環境の提供などが期待できる．本稿で述べる日用品管理システム [1]は，環境カメラシステム，日用品DB，認識用計算機，ユーザインタフェース，そして家事支援ロボットから成る．これにより，人やロボットが扱ったものを画像ベースで管理する．そして，ユーザが物品の所在を把握できる視覚インターフェースにより，直感的な指示でデータベース–ロボット間を密に連携させることも可能な構成となっている．一方，物体操作機能を持つ家事支援ロボットは，その管理システムにネットワーク経由でアクセスし，ロボット上に搭載されたカメラの撮影画像をアップロードしたり，データベースに記載された情報を基に行動を行う．本稿では特に，家事支援ロボットの活躍の場として

日用品データベースとの連携を試み，その一例として思い出し・片付け支援を行った成果について述べる．

2. システム構成以下より日用品データベースを日用品DBと略記する．

2·1 日用品DBを利用した思い出し支援

日用品管理システムは，天井等に設置した環境型カメラとそこから得た画像を蓄積・処理する計算機群，そしてユーザインタフェースで構成される．カメラにより引き出し内部などを観測し，撮影画像には画像が取

得された時刻・場所等のメタ情報を付加する．収集された画像に対し，SIFT特徴をベースとした物体認識技術を適用することにより，個々の日用品がいつどこにあったのかを判定する．判定計算は計算機クラスタを用いた並列処理によっ

てオンラインで行い，各日用品が最後に観察された場所をデータベースに蓄積しておく．さらに，GUIを備えることで，ユーザからの要請に応じて特定の物品のありかを画面上に提示することが可能である．

2·2 家事支援ロボットのシステム構成

本研究で用いる家事支援ロボットは，人間に準じた自由度を持つ上半身と二輪駆動型の移動台車で構成される．頭部にステレオカメラ，車体にはＬＲＦを搭載しているため，自己位置や操作対象物の認識処理が可能である．このハードウェアをベースに筆者らが構築した家事支援ロボットのシステム概要をFig.1に示す．基本的な行動の流れは，三次元幾何シミュレータから提供された物体モデルを基に操作対象の認識を行い，その結果よりシミュレータ空間内で動作を生成し，実世界センシングにより検証を行いながら物体操作を実行する，というものである．これまでの成果として，日常にある道具や家具を操作しながら，洗濯物収集や床掃除などの家事支援作業を実現している [2]．

2·3 家事支援ロボットとの連携

2.1節で述べたような日用品DBのコンセプトを，家事支援ロボットとの連携が可能となるよう拡張する．新たに必要となるのはロボットの動作生成に関わる情報である．本研究で用いるロボットシステムには，家具の配置地図や操作対象の形状情報などがあらかじめ与えられているため，日用品 DBからロボットに提供すべき情報は，作業対象の種類や位置である．そこで，タスクと作業対象をペアとした記述を新たに日用品 DBに加える．

Fig.2は，提案システムの概要を示している．”A”と

Fig.1 System overview of the assistant robot

いう名前のロボットがタスクを実行するまでの基本的な流れは以下のようである．まず，環境カメラ，インタフェース，他ロボットなどから，日用品 DBのテーブル (1)へイベントがアップロードされる．このテーブルを一定間隔で監視しているロボットは，新規カラムに自分の名前（“A”）が含まれているのを見つけたら，そこに記載された要求タスクと操作対象の名前（“P”）を取得する．その後，この物体（“P”）がどの場所に納められているかがテーブル（２）から検索される．すると，棚（“X”）の２段目という情報が得られる．この結果を基に，棚（“X”）２段目の三次元位置を検索され，ロボットは，その座標を基に行動を計画・実行する．テーブル（１）は，環境内に存在するエージェント

に何かしらの行為を行わせたいとき更新されるものであり，カラムの追加・削除を前提としている．テーブル（２）は，日用品の移動時のみ変更され，基本的にカラム数は変化しない．一方，テーブル（３）は，日用品管理システムに組み込まれた収納場所の配置情報であり，初期情報として固定化されている．環境に固定されたカメラだけでは，屋内をくまなく

観測することは困難である．しかし，家事支援ロボットとの連携によれば，環境カメラの視野外にある日用品を視野内に移送したり，能動的に屋内を探索することが可能となるため，大きな拡張が見込まれる．

3. 日用品管理に貢献する家事支援ロボットの行動制御

3·1 日用品管理システムからの情報取得

上述したようにタスクテーブルには，「エージェント名」「作業内容」「作業対象」が記載され，RDBMS(リレーショナルデータベースマネージメントシステム)によって管理される．ここでの「エージェント」は家事支援ロボットを指すが，動作環境に他のエージェントが存在している場合には，それらにタスクを任せることもできる．

Fig.2 Relational database

ロボットは，このタスク管理テーブルを一定時間ごとに監視する．新規タスクが追加されたとき，そのタスクを達成すべく行動を計画・実行し，そのタスクを管理テーブルから削除する．

3·2 日用品の認識と把持

日用品の認識に関しては，日用品管理システムとロボットとで共通の特徴量を利用する．日用品管理システムでは，環境カメラで得た画像から SIFT特徴を抽出し，あらかじめ記録された日用品の SIFT特徴と照合を行うことで，認識を行っている．この枠組みを家事支援ロボットの視覚にも適用する．すなわち，ロボットが操作すべき日用品の認識は，頭部カメラで撮影された画像から抽出した SIFT特徴を，既に記録されている日用品の SIFT特徴と照合することで行われる．なお，把持のためには物体形状を知る必要があるが，その情報はあらかじめロボットに与えられていたり，ロボットが自動で獲得できるとする．

3·3 収納場所の操作

我々の構築した枠組みでは，家具は可動関節付きの三次元モデルとして定義できる．Fig.1の右上に示す棚の例では，三次元外形だけでなく，平行駆動関節で可動される５つの引き出しを持つモデルとして定義される．また，引き出しの取っ手部分には把持目標点が貼付される．これらの情報より，ロボットは，引き出しを発見することができれば，それを引き出しを開けたり物品を収納する動作を計画することができる．家具の配置は日用品管理システムに登録されている

ため，この情報とロボットの自己位置推定の結果を用いれば，目的の家具近くまで移動することができる．我々のシステムでは，台車に搭載された LRF を用いてスキャンマッチングを行い，自己位置の推定している．収納動作の手順は以下のようである．まず，ロボット

は棚を操作できる位置まで台車移動を行う．次に，停止した位置から取手を掴むように上半身の姿勢を生成する．これには，腰軸を含めた逆キネマティクス演算を用いる．そして，引き出しの開閉と物品の収納動作を行う．引き出し開閉では，ロボット自身や家具を破損しないよう，手首に搭載された力センサで常に状態監視を行う．

Fig.3 A tidying experiment

3·4 指差しによる置き場所指示

ロボットが人間に日用品の置き場所を知らせる手段として，直感的で素早い伝達手段として発話と指差し動作を組み合わせる．指差しの方向は，収納場所の三次元位置に基づいて行う．その三次元位置は，Fig.2に示したように，探したい日用品をキーとした二段階の検索を行うことで得られる．このように，物品名と置き場所が関連付けられた日

用品 DBと，そこに問い合わせ可能なロボットを組み合わせることで，単純だが効果的な提示が可能になる．

4. 実現例

4·1 日用品の収納

片付け支援の実現例として，箱型物品を棚へしまう動作を行わせた．この物品は事前に日用品 DBに登録されており，住人がそれを使用した後，UIを用いてロボットへ片付け命令を出したという想定である．

Fig.3は，片付け作業の流れを撮影したものである．まず，ロボット頭部に搭載されたステレオカメラから画像を撮影し，そこから SIFT特徴を抽出することで，物品の特定と姿勢の認識を行った．Fig.4は，その結果を示している．これを基に把持姿勢を生成し，物体を掴み上げた．その後，あらかじめ指定した棚の前まで移動し，引き出しの開閉と収納動作を実現した．この一連の流れの中で，引き出しが開けられたとき

に環境カメラがその様子を撮影し，どんな物体の出入りがあったかを観測する．すなわち，ロボットにより収納された箱型物体が認識され，その結果が引き出しの場所とともに DBへ記録される．

4·2 収納場所の指差し

収納場所を指差しによって指示する実験を行った．全体の流れは以下のようである．

1. ユーザがインターフェースを利用して一つの物品を指示する．この結果が日用品 DBへアップロードされる

Fig.4 Object pose recognition based on SIFT features

Fig.5 A pointing experiment

2. 日用品 DBを監視しているロボットは，指差しの命令が来たことを検知し物品の配置を検索する

3. 検索結果より，「○番目の引き出しに入っています」という発話内容と指差しの方向を決定し，発話と動作を同時に行う

Fig.5は指差し動作の様子を示している．なお，ロボットが DBにアクセスする間隔は 1秒ごととした．

5. まとめ本稿では，日用品 DBの拡張手段として家事支援ロ

ボットとの連携を考え，その一例として思い出し・片付け支援について述べた．環境固定のカメラや情報蓄積・検索システムへ，移動型のロボットがアクセスできるようにすることで，物品運搬や収納場所操作などが可能になり，機能の拡張が見込まれることを実機実験を通して検証した．

謝辞この研究は、文部科学省「先端融合領域イノベーショ

ン創出拠点の形成：少子高齢社会と人を支える IRT基盤の創出」で行われたものである．

参考文献

[1] 高橋 他：「思い出し支援のための日用品データベースシステム」第 27回日本ロボット学会学術講演会，2009．

[2] 山崎 他：「掃除片付け作業をこなす生活支援ロボットのための認識行動システム実証研究」, 第 14回ロボティクスシンポジア, pp.1517–1524, 2009.

[3] David G. Lowe: ”Distinctive image features fromscale-invariant keypoints,” International Journal ofComputer Vision, 60, 2, pp. 91–110, 2004.