t univ

8月26日口述試験：

(3)様々なセンサ技術を用いた人間行動取得の試み

慶應義塾大学河野慎

（受験番号: 40016）

様々なセンサ技術を用いた人間行動取得の試み

背景: ライフログ •  “日々の生活を記録していく”

•  対象領域(日々の生活) ⊆ {実世界 ∪ 情報空間} –  主観的・客観的に人々が認識してきたもの –  無意識的（≠主観≠客観）に認識していたもの

•  クローズドとオープン –  自分のための情報

•  記憶補助 –  他の人と共有する情報

•  食べログ •  Instagram •  Facebook

•  ユーザプロファイリング –  各個人の特徴を抽出 –  情報検索，レコメンド，ヘルスケアに活用

2 8/26 東京大学大学院学際情報学府口述試験

思い出をしっかり保存


分野: 行動認識(Activity Recognition) •  日々のユーザの行動を認識する

–  食事，運動，睡眠

•  データの取得 –  １つの(複数の)ウェアラブルセンサ，ウェアラブルデバイスを装着

•  特徴量(パラメータ)の設定

–  センサから取得した数値 –  対象とする行動に合わせる

•  識別器(機械学習)

–  特徴量をもとに行動を認識 •  SVM •  ベイジアン •  K-means


NIKE Fuelband

Google glass


研究例: BodyScope※ •  取得対象行動:

–  食べている，飲んでいる，話している，笑っている，咳き込んでいる

•  装着デバイス: –  喉にマイクロフォンを装着 –  音の波形を取得する

•  識別器: –  SVM(Support Vector Machine)

•  One-against-One

高い精度で行動を認識可能想定環境だけでなく実際の環境でも利用可能処理に時間がかかるため，リアルタイム☓


※Yatani, Koji, and Khai N. Truong. "BodyScope: a wearable acoustic sensor for activity recognition." Proceedings of the 2012 ACM Conference on Ubiquitous Computing. ACM, 2012.


行動認識手法における課題・困難 •  データ取得

–  ウェアラブルセンサの性能 •  バッテリー・安全性 •  リアルタイム性・精度 •  導入時のユーザの負担

•  データ処理 –  アルゴリズムの性能

•  フィードバック時間の短縮 •  適合率・再現率の向上 •  多くの研究がなされている

–  多様性への対応 •  想定された行動にのみ対応 •  想定外の行動は対象とならない



今後の展望: 多様性への対応 •  多様性対応の重要性

–  センサが取得できる情報に限界 •  精度や粒度は今後向上していくと考えられる

–  人間の行動すべてを記述できない

•  アプローチ –  潜在的因子の発見[1][2][3][4]

•  データ間に存在する関係性 •  教師なし学習や強化学習，集合知

–  SOM(Self-Organizing Map)[3] –  遺伝的アルゴリズム –  協調フィルタリング

–  物理センサ以外ののものを利用 •  物理センサでは難しいコンテクストを取得 •  参加型センシング[13]

–  人間がセンサとなる


Boys be ambitious


まとめ •  ライフログ研究の一分野：行動認識 – ウェアラブルセンサを用いた研究の紹介 – 手法の課題・困難

• データ取得 • データ処理

– 今後の展望 • 多様性への対応

•  ご清聴ありがとうございました 8/26 東京大学大学院学際情報学府口述試験 7


以下予備スライド

8/26 東京大学大学院学際情報学府口述試験 8


解決策の提案 •  ウェアラブルセンサ – 消費電力の制御 – 導入の容易性

• 意識させない = 普段使っているものに取り入れる •  手法 – 特徴量の増加

• 従来では分類しきれなかった行動を細分化 – 識別器の選定

• 教師なし学習



行動認識手法 •  スマートフォン[5][6]

–  スマートフォンに内蔵されているセンサを利用 •  歩いている，階段を登っている(降りている)，座っている

•  GPS[7] –  位置情報をもとに行動を認識

•  仕事している，寝ている •  加速度センサ[8][9][10]

–  身体に(一つもしくは複数の)センサを装着 •  姿勢，歩いている，座っている，話している

•  ウェアラブルカメラ[11] –  (手元の)画像を解析して行動を認識

•  ドアを開ける，拭いている，食べている，寝ている •  RFID[12]

–  手袋にRFIDタグを装着 •  手を洗っている，ご飯の準備をしている



研究紹介: BodyScope •  対象とする行動(12種)：

–  座っている –  深呼吸 –  食事(クッキー) –  食事(パン) –  飲み物(水) –  飲み物(熱いお茶) –  話している –  囁き –  口笛 –  笑い声 –  ため息 –  咳


座っている(平常時) 深呼吸

飲み物(水) 飲み物(熱いお茶)


•  特徴量: – ZCR(Zero-Crossing Rate) – Total Spectram Power – Subband Power – Brightness – Spectral Rolloff – Spectral Flux – MFCC(Mel-Frequency Cepstral Coefficient)

•  識別器: – SVM，Naïve Bayes, K-近傍法


研究紹介: BodyScope


•  実験(想定環境): –  参加者：10人 –  12種の行動をそれぞれ10回ずつやってもらう(1200サンプル)

•  考察： –  同じ行動でもユーザによってスペクトログラムが違う –  トレーニングデータにそれぞれのユーザが含まれている必要がある





•  実験(実世界): – 参加者: 5人 – 普段通りの生活


SVMによる結果

Naïve Bayesによる結果


参考文献


[4]Zhang, Hao, and Lynne E. Parker. "4-dimensional local spatio-temporal features for human activity recognition." Intelligent Robots and Systems (IROS), 2011 IEEE/RSJ International Conference on. IEEE, 2011.

[3]高須賀清隆, 丸山一貴, and 寺田実. "閲覧履歴を利用した協調フィルタリングによる Web ページ推薦とその評価." DBWS2007 107.131 (2007): 115-120.

[2]Yin, Jun, and Yan Meng. "Human activity recognition in video using a hierarchical probabilistic latent model." Computer Vision and Pattern Recognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on. IEEE, 2010.

[1]Wang, Yang, and Greg Mori. "Human action recognition by semilatent topic models." Pattern Analysis and Machine Intelligence, IEEE Transactions on 31.10 (2009): 1762-1774.

[5]Kwapisz, Jennifer R., Gary M. Weiss, and Samuel A. Moore. "Activity recognition using cell phone accelerometers." ACM SIGKDD Explorations Newsletter 12.2 (2011): 74-82.

[7]Liao, Lin. Location-based activity recognition. Diss. University of Washington, 2006.

[9]Farringdon, Jonny, et al. "Wearable sensor badge and sensor jacket for context awareness." Wearable Computers, 1999. Digest of Papers. The Third International Symposium on. IEEE, 1999. [10]Foerster, F., M. Smeja, and J. Fahrenberg. “Detection of posture and motion by accelerometry: a validation study in ambulatory monitoring.” Computers in Human Behavior 15.5 (1999): 571-583. [11]Sundaram, Sudeep, and Walterio W. Mayol Cuevas. “High level activity recognition using low resolution wearable vision.” Computer Vision and Pattern Recognition Workshops, 2009. CVPR Workshops 2009. IEEE Computer Society Conference on. IEEE, 2009. [12]Philipose, Matthai, et al. “Inferring activities from interactions with objects.” Pervasive Computing, IEEE 3.4 (2004): 50-57.

[8]Yuuki Nishiyama，et al. DALT:Detection Algorithm of Throwing form Changing to Prevent the Baseball Player ’s Throwing Related Injuries PERVASIVE 2012 UbiHealth

[6]Botía, J. A. “Real Time Activity Recognition Using a Cell Phone’s Accelerometer and Wi-Fi.” Intelligent Environments; Workshop Proceedings. IOS Press, 2012.

[13]Burke, J., Estrin, D., Hansen, M., Parker, A., Ramanathan, N., Reddy, S. and Srivastava, M.B.: Participatory sensing, SENSYS, ACM (2006) [14]阿部匡伸. ライフログ活用技術の動向と研究所の取り組み. NTT技術ジャーナル2010

t univ

Documents