どのインタラクションがあなたは好きですか？

　私たちはコンピューターと人間との今後の関わり合いを考え、比較的パーソナルな機械であるデスクトップ扇風機を取り上げた。

　インタラクション・カタチ・機能の３つの要素が影響し合い、人とロボットの関係性を決めるのでは無いのか、ということに事例研究を通して気がついた。その中でも私たちはインタラクションに着目した。 機能カタチ

インタラクション

操作型

介入

センシング

15年後10年後5年後ジェスチャー

■ 介入型 ■ センシング型■ ジェスチャー型■ 操作型

　ORF でみなさまの意見を収集し、最適なインタラクションとインテリジェンスのバランスを深堀り、研究したい。

❺ 今後

❶ 事例調査

❷ ビデオで観察

❸ インタラクションとインテリジェンス

❹ プロトタイピング

■ はじめに

■ 研究へのアプローチ

　人と既存の扇風機のインタラクションを６０分間ビデオを撮り、観察すると、風力が強すぎて「目をこする」や「机の上の紙を重りで抑える」という人が無意識にとっているしぐさに気がついた。人のココロを読みとり、操作を自動変換するインテリジェントなコンピュータの可能性について考えた。

　それまでの調査・観察を通して、人はインテリジェンスなコンピューター

に至り、それを実験するべく３つのプロトタイプを作成することにした。を求める一方、インタラクティブな要素も必要としているのではという疑問

人がボタンを押したり、位置を変えることで風量を変える。操作というインタラクションを必要とする、既存の扇風機。

人の焦り度や体感の暑さに対応し、扇風機の風量を自答的に調整する、センシング型の扇風機。人の操作もジェスチャーも必要としない。

ジェスチャーによってコントロールする扇風機。一方的な操作から、より自然なジェスチャーといインタラクションへの移り変わり。

人の表情や顔の動きを感知して、動き豊かに変えることができる。インテリジェントで且つ、人の生活にインタラクティブに介入してくる扇風機。

インタラクションの移り変わり予想図

機械に対する人の動きを観察。

ProcessinglueKeywords : Augmented Environment, Simulation, Visualization, Creative Coding, Processing

CityCompiler の開発には Java ベースゲームエンジン jMonkeyEngine を用いた．シェーダーにより影や水面などを表現できたり物理エンジンが最初から組み込まれているといった幾つかの利点があったが，Processing を利用するユーザにとって，Java による jMonkeyEngine のプログラミングを学習する必要があることがハードルとなっていた．そこで Processing の 3D空間の中で Processing が動作する仮想ディスプレイや仮想カメラを開発した．これにより Processing を知っていれば，様々な入出力装置が動作する空間をデザインすることができる．このシステムを Processing の開発者であるCasey REASにデモンストレーションをする機会を持つことができ，その縁から彼らの書籍の翻訳プロジェクトをスタートしている（BNNより来春に出版予定）．

Processing, second edition, MIT Press

CityCompilerKeywords : Augmented Environment, Simulation, Visualization, Creative Coding, Processing

情報デザインProcessing

カメラやスマートフォン ,プロジェクタや大型ディスプレイの普及と共に入出力機器の空間的な配置が意味を持つ情報システムが我々を取り囲む環境の一部となりつつある .複数の入出力機器を実空間に配置するシステムを開発する際にはプロトタイピングおよび実際的なテストを行う事が難しい .そこでインタラクティブな情報システムが3D空間の中で動作する様子をシミュレーションし開発できる設計開発支援システム：ゲームエンジンをベースに，Processing が動作する仮想ディスプレイや仮想プロジェクタ，Processig の入力にできる仮想カメラや仮想センサを仮想空間に複数配置できるシミュレータを構築してきた．書いたコードはそのまま実空間で使うこともできる．また模型空間を併用するハイブリッドプロトタイピングを提案し，その有効性を検証した．

上段：作品展示のシミュレーション　　　及び実空間への配置中段：仮想プロジェクタ（左）　　　仮想ディスプレイ（右）下段：仮想移動ロボットの群シミュレーション（左）　　　仮想カメラを備えた仮想Drone（右）仮想シミュレーション 模型シミュレーション 実空間への配置

空間デザインSketchUp

jMonkeyEngine

TracePlayer

Parallel Prototyping of Digital SportsKeywords : Sports, Game, Simulation, Visualization

スポーツとゲームを融合したデジタルスポーツのシステムの中でも複数の入出力装置を空間的に配置するシステムを開発するには，CityCompiler や Processinglue のようなシミュレーションが有効であろう．ロボットを用いたデジタルスポーツとそのシミュレーションを並行的に開発した知見から，デジタルスポーツで多く構築される可視化システムおよびデジタルゲームも合わせて開発する過程を提案した．共通の要素を用いながらも異なるシステム達を大きなひとつのシステムとして開発することで，拡張現実感システム／複合現実感システム／仮想現実感システムを同時並行的に開発する手法を提案した．

デジタルスポーツの開発にハイブリッドプロトタイピングは有効か？だとしたらそれはどのようなハイブリッドプロトタイピングか？

PhysicalSpace

VirtualSpace

？デジタルスポーツ＋可視化＋シミュレーション＋ゲーム

VirtualBody

VirtualBody

PhysicalBody

PhysicalBody

ImaginarySpace

VirtualBody

VirtualBody

VirtualSpace

VirtualBody

VirtualBody

VirtualSpace

PhysicalBody

VirtualBody

VirtualSpace

PhysicalBody

PhysicalBody

PhysicalSpace

PhysicalBody

PhysicalBody

物理現象のパラメータのスタディセンシングデータの読み込み

デジタルスポーツ 可視化 可視化＋

シミュレーション

シミュレーション ゲーム

仮想ロボットの動作ルールの読み込み

Keywords : Sports, Training, Skill, Notation, Dance

スポーツにおける上級者の身体動作を学習者に伝える新しい方法として , 舞踊の記譜法を用いて身体動作を床面に表記し , それを学習者自身が再生しさらに他者が再生する様子を学習者が観察できるシステムを構築したいと考えている . その記譜法として舞踊におけるラバノーテーションを , そしてそれを再生する他者として移動ロボットを用いることを提案するにあたり , その基礎的な検討としてカラーセンサを用いたライントレースロボットを試作した . サッカーやバスケットボールにおけるドリブルのような身体的なリズムを伴う移動の再生に車輪ロボットを用いることを提案し今後の課題を検討している．

S9706 カラーセンサ x 4

Intermediate Face

RAM+MOTIONERKeywords : dance, improvisation, sensor, space, speed

YCAM InterLab+Yoko Ando Joint Research and Development Project “Reactor for Awareness in Motion(RAM)”

Team Speed：今西悠介，北川結，北堀あすみ，笹本龍史，原島大輔，中西泰人

RAM および MOIONER は YCAM（山口情報芸術センター（山口情報芸術センター）とザ・フォーサイス・カンパニーの安藤洋子によるダンスの創作と教育のためのツールを研究開発するプロジェクトである．そこで開発されたモーションセンサと汎用性の高い可視化プログラムは，単なる舞台作品の演出のためではなく，ダンスの一つの本質を捉えそれを伝えることを目的としている．RAM では身体やダンサー同士の位置関係や軌跡に対するルールを決めることで創発現象としての新たなダンスが即興的に生まれていく．RAM SUMMER CAMP 2014 最優秀チームである Team Speed は中でも身体の “速度” にフォーカスした新たなシーンを開発している．ダンサーとプログラマの対話を引出し，踊り手と身体の新しい対話を引き出すメディアとしての RAM と MOTIONER の可能性を探っている．

シャドウイングは聞いた音を即座に発話する外国語の学習方法である．発話の音韻やリズムなどより実践的な技術を学ぶことができ，通訳育成などで広く活用されている．また一方で外国語の発音には顔や口，腹筋といった身体の使い方を学ぶ必要もある．そこで本研究では音だけのシャドウイングに加え，画像処理技術を用いて顔や口の動きを真似るシャドウイングを行うシステムを構築した．教師と学習者の顔の動きを Face Tracking により検出し、それぞれの顔の動きを入れ替えて合成した顔である “中間顔：Intermediate Face” を提示する．認知的負荷が高いと言われるシャドウイングにおいて，ゴールである教師との間のサブゴールとして中間顔が機能することが期待できる．Amazon Mechanical Turk を用いた予備的な実験において，音だけのシャドウイングと中間顔を用いたシャドウイングを比較しその有効性を検討した．

camera view学習者の顔を表示

intermediate viewIntermediate Face を表示

teacher view教師の顔を表示

mouth view学習者と教師の口元のアップを表示

the width and the tilt of the the learner’ s face mesh

the teacher’ s face still image

the width and the tilt of the the teacher’ s face mesh

the learner’ s face 3D mesh

the teacher’ s face 3D mesh

the learner’ s face still image

intermediate face A

Intermediate Face A

(学習者の Intermediate Face)Intermediate Face B

(教師の Intermediate Face) cropping the mouth image