hci165 kamiyama

主観写真ライフログ探索における

撮影行動の利用可能性に関する検討神山拓史 (明治大学総合数理学部 B3)

中村聡史(明治大学総合数理学部/JST CREST)

★ユーザの日常を撮影し，データとして蓄積する行為

✦ 主観的か客観的かの違いがある[中村，2013]

客観写真ライフログ

写真ライフログ

主観写真ライフログ

主観写真ライフログ

★デジタルカメラやスマートフォンで行う

★撮影者のタイミングで撮影 ✦何のために撮影したかという意図が残る ✦シャッターチャンスを逃すことも

客観写真ライフログ★自動撮影するカメラを用いたライフログ

✦ SenseCam（30秒に1回自動撮影） ★1年間のライフログ[Gurrin，2008]

✦半分以上が作業中の写真 • ブレ • 手が入り込んでいる

★ユーザの日常を撮影し，データとして蓄積する行為

写真ライフログ

✦ 主観写真ライフログ

• 撮影者目線

• 撮影意図が残る

• 撮影しそびれることも

• 後から活用しやすい

✦客観写真ライフログ

• 撮影者目線ではない

• 撮影意図が残らない

• 意図せず撮られている

• 後から活用しにくい

前回行った場所を忘れた

前回会った時の写真を探す

久々に友人と会う

去年褒められてた服を探す

行った場所の写真から遡る

明日のデートの服を決める

写真ライフログの利便性

✦ 昔の写真を振り返り過去を回想できる

✦ ある友人といつどこで会ったかを調べる

✦ デートの際に着ていた服を調べる

★神山の場合 ✦保存期間: ２年半 ✦保存枚数: 約9500枚

★中村の場合 ✦保存期間: 17年 ✦保存枚数: 約30万枚

関連研究（1）

★iPhoto, Google Photos ✦位置情報や顔認識を用いて探索可能

★MIAOW[五味 2011] ✦日時，場所，人間同士の関係性を利用

関連研究（1）

★iPhoto, Google Photos ✦位置情報や顔認識を用いて探索可能

★MIAOW[五味 2011] ✦日時，場所，人間同士の関係性を利用

日時や場所や人物とは違う新たな探索軸が必要

関連研究（2）

★kotoli[後藤 2014] ✦撮影テンプレートによる構造化

★RICOH Caplio G3 model S [2003] ✦音声メモ機能により整理・探索を楽にする

関連研究（2）

★kotoli[後藤 2014] ✦撮影テンプレートによる構造化

★RICOH Caplio G3 model S [2003] ✦音声メモ機能により整理・探索を楽にする

手間をかけないアノテーションが必要

高校の卒業式の後日

撮影する際の無意識な行動や工夫⇒撮影行動

前回会った時の写真を探す

カメラを構えて待っていた

目的

★撮影行動を写真への無意識なアノテーションに

★撮影行動を思い出して，目的の写真を探索

ライフログ写真を死蔵させずに探索可能にしたい

探索イメージ1. 日時や場所から写真を絞り込む

探索イメージ1. 日時や場所から写真を絞り込む2. どのくらい動いたのかを調節する　

探索イメージ1. 日時や場所から写真を絞り込む2. どのくらい動いたのかを調節する　3. 写真を絞りこむ　　　　　　　　　

検証方法

★予備検討 ✦撮影行動の類似性を検証

★評価実験 ✦どの値が探索に有効的なのかを調査

撮影時の行動でライフログ写真が探索できる

★撮影時のセンサ値と撮影された写真を残すプロトタイプシステムを約1ヶ月運用(250枚) ✦ iOS用カメラアプリをSwiftで実装 ✤起動している間，センサ値を取得 • 加速度(x, y, z軸) • 角速度(x, y, z軸) • 現在時刻

✦撮影終了後にCSVファイルを保存

予備検討（1）

予備検討（2）★写真と撮影時の加速度や角速度の変化を表し

たグラフを提示した画像を出力し，類似した

グラフを手作業で分類し，比較

グラフ例

アプリ起動時からの経過時間

３軸を合成した加速度や角速度の量

撮影タイミング

予備検討結果 [撮影後の動き]

予備検討結果 [撮影前の動き]

★カメラの動かし方

✦シャッターを押した後は類似性が見られない ✦シャッターを押すまでは類似性が見られた

予備検討結果

シャッターを押すまでの行動で写真が探索できるのでは？

評価実験シャッターを押すまでの行動で写真が探索できる？

２週間の主観写真ライフログ

２週間空ける

アンケート調査

アンケート内容★2週間後に撮影行動は思い出せるのかを調査

✦どのくらい時間をかけたか（5段階評価） ✦どのくらい動いたのか（5段階評価） ✦予測の自信はどのくらいあるのか（5段階評価） ✦どのような撮影行動を行ったのか (項目別・◯×)

実際にかかった時間(平均)

結果 [撮影までの時間]

小大撮影者が予測したかかった時間（評価）

実際にかかった時間(平均)

結果 [撮影までの時間]

小大撮影者が予測したかかった時間（評価）

撮影までの時間の予測は困難

結果 [動いた量]

小大

実際の動きの量(平均)

撮影者が予測した動きの量（評価）

動きの量：加速度と角速度の積分値を合成

結果 [動いた量]

小大

実際の動きの量(平均)

撮影者が予測した動きの量（評価）

BとDは動きの量の予測はできていない

AとCと著者は動きの量の予測はできている

動きの量：加速度と角速度の積分値を合成

Bさんに関する考察（1）

0"

2"

4"

6"

8"

10"

1" 2"

B"B"

動きの量(平均)

大小

どのくらい動かしたかの評価値

Bさんに関する考察（2）

今後，長期間に渡るライフログ実験が必要

0"1"2"3"4"5"6"7"8"

1" 2" 3"

D"D"

Dさんに関する考察（1）動きの量(平均)

大小


0"1"2"3"4"5"6"7"8"

1" 2" 3"

D"D"

Dさんに関する考察（1）

確信度の低さが原因では？動きの量(平均)

大小


Dさんに関する考察（2）★Dさんはほとんど動いておらず，アプリ起動時

からすぐ撮影したと予測

★実際はかなり時間をかけ，動かして撮影してた




48秒間




飲酒時の撮影行動は思い出しにくい

48秒間

★本人はほとんど動いていないと予測

評価値とデータ値のギャップ

経過時間

動きの量

★本人はほとんど動いていないと予測

評価値とデータ値のギャップ

経過時間

動きの量

乗り物上での認知とデータ値とのギャップ

考察[グラフ]動きの量(平均)

小


大

動きの量(平均)

大小


考慮なし考慮あり

0"

1"

2"

3"

4"

5"

6"

7"

8"

9"

1" 2" 3" 4"

A" B" C" D"

0"

1"

2"

3"

4"

5"

6"

7"

8"

9"

1" 2" 3" 4"

A" B" C" D"

行動タイプと動きの量の関係

暗い場合暗くない場合

A

B

C

D

考察[探索イメージ]1. 日時や場所から写真を絞り込む

考察[探索イメージ]1. 日時や場所から写真を絞り込む2. 撮影行動のタイプを選択する　

考察[探索イメージ]1. 日時や場所から写真を絞り込む2. 撮影行動のタイプを選択する　3. 写真を絞りこむ　　　　　　　　　

まとめ

★主観的写真ライフログにおける撮影行動のア

ノテーションを提案

✦ 撮影行動での探索の有用性ついて検討した • かかった時間の予測は出来ていなかった • 動きの量の予測は多少出来ていた • 動きの量は行動のタイプ（暗さ・接写・覗き込む）に関係している

今後の展望

★評価実験の改善 ✦長期間の写真ライフログのデータセット ✦撮影行動のタイプに基づいた探索 • グラフ化した動きの量との相関性の調査

★動きの量での探索と従来の探索の組み合わせ

hci165 kamiyama

Services