應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 hpx72

142
應用行動科技紀錄與研究 人們日常生活行為與脈絡 張永儒 (Stanley Chang) HPX72 7.16.2015

Upload: armuro-chang

Post on 15-Aug-2015

774 views

Category:

Technology


2 download

TRANSCRIPT

Page 1: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

應用行動科技紀錄與研究人們日常生活行為與脈絡  

張永儒  (Stanley  Chang)  HPX72  

7.16.2015  

Page 2: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

關於我… •  博士後選人@密西根大學

•  研究領域

– Human  Computer  Interac?on  (HCI)  – Ubiquitous  Compu?ng  (Ubicomp)  –  Informa?on  Behavior  –  Interac?on  Design    

人機互動

普及運算

資訊行為

互動設計

Page 3: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Mobile  Data  Collec?on  • Methods  •  Tools  

Mobile  Informa?on  Seeking  

Mobile  Crowdsourcing  

Mobile  Availability  &  Interrup?bility  

Ubicomp  Interac?on  Design  •  Tools  •  Process  

Environmental  Cogni?on  

Memory  •  Bias  •  ForgeSng  •  Reminiscing   Language  

Learning  

Incen?ve-­‐Design  

Page 4: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

今天你不會聽到:

• 行動科技一覽介紹

• 如何設計和製作行動科技

• 研究案例的細節

• 建議買哪一台來研究

廣告一下啊?

Page 5: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

但你會聽到: • 傳統方法研究日常生活行為的缺點

• 行動科技的研究方法,例子,和趨勢

• 三個研究案例摘要

• 行動科技研究過程&注意事項

Page 6: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

日常生活

Page 7: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

食 衣 住行 育 樂

Page 8: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

通訊 交友 購物

健康 心情 運動

上網 工作 其他你自己想

Page 9: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

傳統方法

Page 10: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Survey  •  Facts,  aStudes,  opinion,  tendency,  general  behaviors  

•  Large  and  broad  samples  •  Quan?ta?ve  analysis  

Page 11: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Qualita-ve  Methods  •  Focused  on  why  and  how  in  addi?on  to  what,  where,  when,  how  o+en  

•  Usually  relies  on  small,  in-­‐depth  samples  •  Requires  interpreta?on  

Page 12: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Diary  Study  •  Repor?ng  experiences  &  events  in  context.  •  Hourly,  daily,  weekly,  monthly  •  More  burden  

Page 13: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

調查時間

Page 14: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

你早上幾點出門?    

花了多少時間吃午餐?  

Page 15: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

你今天看了FB幾次?  

看了多久?  

用什麼看?為什麼看?  

看完愉悅的程度?(1-­‐5分)    

Page 16: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

現在請大家拿出你的手機

Page 17: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

花一分鐘自拍 (歡迎跟旁邊一起,也歡迎打卡 J )

Page 18: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

你剛自拍了幾張?  

存了幾張?  

跟誰一起自拍?  

有打卡嗎?  

Page 19: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Retrospec?ve    vs.    

Introspec?ve  

(回顧)

(內省)

Page 20: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Encoding  Problem  Storage  Problem  Retrieval  Failure  Reconstruc?on  Errors  

為何Retrospec?ve不Reliable?

Page 21: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

當然可能還有其他原因

Page 22: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

可透過Memory  Cues來幫助回憶 (e.g.  Prompted  Recall  Diary,    Daily  Reconstruc?on  Method)  

Page 23: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

行動科技特性:

•  你常常帶著它  •  離你很近  •  可以收集Data  

Page 24: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Real  Time  Data  Capture  

Dr.  Saul  Shiffman  Dr.  Arthur  Stone  

Page 25: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Experience  Sampling  Method  (ESM)    

也稱為Ecological  Momentary  Assessment  (EMA)    

Capture  in  situ  experiences    

Page 26: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72
Page 27: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

調查不同情況裡的行為

Page 28: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

調查不同族群的行為

Page 29: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

早期ESM工具

Page 30: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

早期ESM工具

Page 31: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72
Page 32: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

飲食,健康

Page 33: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

隱私感受

Pa?l  et  al.  2014  

Page 34: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

心理狀態

Atz  2013   Weppner  et  al.2013    

Page 35: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

情境

Dunton  et  al.  2011  

Page 36: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

資訊需求 Every  year  since  2011  Google  has  run  an  annual  study  to  learn  what  people  really,  really  want  to  know,  whether  it’s  something  Google  provides  or  not.  It’s  called  Daily  Informa?on  Needs,  but  the  psychologists  at  Google  involved  with  the  project  just  call  it  DIN.    Here’s  how  the  DIN  study  works:  Google  recruits  subjects  who  agree  to  report  their  

informa?on  needs  to  Google  on  demand.  Eight  ?mes  a  day  Google  randomly  pings  them,  and  they  instantly  respond  with  the  ques?ons  they  want  answered  at  that  moment.  At  the  end  of  the  day,  subjects  compile  a  summary  of  their  needs,  no?ng  what,  if  anything,  they  did  to  get  their  ques?ons  answered  and  whether  they  were  

successful.  The  study  began  with  50  people  in  2011,  grew  to  1200  in  2012,  and  this  year  has  a  similar  number.  In  addi?on  to  those  US  numbers,  Google  runs  the  study  in  a  number  of  other  countries.    新聞來源:  heps://medium.com/backchannel/googles-­‐secret-­‐study-­‐to-­‐find-­‐out-­‐our-­‐needs-­‐eba8700263bf  

Kathy  Baxter  

Page 37: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

1.  沒有Recall  Error的問題  2.  資料貼近現實生活的行為跟情境  3.  可研究較大量受試者  

優點:

Page 38: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

1.  你需要肯配合的受試者(是個挑戰)  2.  可能中斷受試者目前活動  3.  不宜太長  (e.g.  一個月)  4.  不適合研究需要注意力的活動  5.  不適合研究太頻繁或太少發生的

行為  6.  不適合需要打字較多的問題  7.  Self-­‐Selec?on  Bias  

缺點:

Page 39: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Context  Extractor  

Sensor  Manager  

App  Manager  

Network  Manager  

Power  Manager  

Google  Play  Service  

Loca?on  Requester  

Ac?vity  Requester  

Sensors  Sensors  Sensors  

Accessibility    Service  

Sensor  Record  

Ac?vity  Record  

Loca?on  Record  

App  Record  

NetworkRecord  

Comm  Manager  

Interac?on  Record  

Power  Record  

Context  Manager  

Log  Manager  

RecordPool  Record  

Record   Record  Record  

Record  

Record  

Record  Record  

Record  

Record  

Record  Record  

Local  DB   File  system  

Store  Records    

Record  

Sensing  &  Logging  Cloud  Service  

Web  Service   DB  

Page 40: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Domains  of  Mobile  Sensing  Apps  

Mobile  Phone  Sensing  

Health  Monitoring  

Traffic  Monitoring  

Environment  Monitoring  

Social  Interac?on  

Special  Purpose  

Human  Behavior  

Commerce  

Khan  et  al.  2013  

Page 41: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

App使用行為

TMT  Do    et  al.  2011,  Nokia  

Page 42: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

移動與通勤行為

Page 43: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

移動與通勤行為

Fan  et  al.  2012  

Page 44: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

運動行為

Page 45: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

加上Eco-­‐Feedback  

Lane  et  al.,  2011  

Froehlich  et  al.  2009  

越健康跟越環保,動物越多

Page 46: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

1.  耗電,  隱私及安全性上的顧慮  2.  可觀察趨勢,  但要靠自己腦補原因  3.  需要操作和分析資料的人材  

缺點:

1.  大量觀察點,  可找趨勢,  相關性,  和作行為預測  

2.  Log有雜訊,  但不會騙人  3.  Scalable,  且有現成的App  

優點:

Page 47: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

行動科技研究近年趨勢

Page 48: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

把已記錄特定事件,  行為,  或情境放到日誌幫助受試者回顧  

趨勢一: 手機Logging  +  Diary  (Event-­‐based  Diary,  Prompted  Recall  Diary)  

Page 49: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Tjondronegoro  and  Chua,  2012  

旅行日誌  

Page 50: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Lane  et  al.,  2011  

健康日誌  

Page 51: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

•  可以針對特定事件發問

•  受試者回應可用來註釋該期間收集資料

•  可記錄不同形態資料來幫助受試者回憶 (照片, 聲音,影片,Loca?on,  Sensor)

•  受試者回應可解釋記錄資料, 記錄資料可驗証受試者回應

優點:  

缺點:  •  Diary變得很耗電

•  可能要自己開發工具(App  &  Backend)  •  整合不同形態Data給受試者檢視需要功夫  

Page 52: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

透過穿戴式相機捕捉日常生活  

趨勢二: Wearable  Life-­‐Logging  

Page 53: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Lam  et  al.  2013  

研究外出時間及活動  

Page 54: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Chen  et  al.  2013  

飲食行為  

Page 55: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Gouveia  &  Karapanos,  2013  

Wearable  Logging  +  Diary  

Page 56: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

•  穿戴式相機或攝影機被認為較準確的方法

•  照片或影片比Sensor容易解讀,情境資料更豐富

•  可和手機Logging一起併用

•  可放在Diary幫助受試者記憶  

優點:  

缺點:  •  受試者顧慮他人看法  •  可能需要大量時間人力整理及分析

•  多數照片沒有資訊性

•  目前沒有夠快拍攝速度的穿戴式相機可撐 >1天 – 電力限制, 容量限制

Page 57: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

針對偵測到特定事件,  行為,  或情境發問    

趨勢三: Context-­‐Triggered  ESM  (event-­‐con?ngent  ESM)  

Page 58: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

研究手機Micro-­‐Usage  

Ferreira  et  al.  2014  

Page 59: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Meschtscherjakov  et  al.  2011  

研究開車行為  

Page 60: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

簡單實作例子:在家時手機放哪?  

事件 種類

滿足 條件

時間 條件

離家<50m

位置

拿起手機

動作

最近五秒內

通知問卷A 動作

Page 61: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

透過ESM拿到的情境資料和受試者回應來讓手機學習和預測行為  

趨勢四: ESM  &  Logging  For  Machine  Learning  

Page 62: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

預測會不會接電話  

預測可不可以打擾  

Pejovic  &  Musolesi  2014    Smith  et  al.  2014    

Page 63: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Wearable  +  Phone  Logging  +  ESM  +  Diary  

當然你可以全部加在一起..  

代價就是:    1.  容易失焦 2.  要做得更多  

Page 64: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Break  Time  

Page 65: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

三個研究案例  • 使用科技

• 研究流程

• 結果摘要分享

Page 66: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

案例  I:    A  Diary  Study  of  Informa?on  Channel  Selec?on  of  Mobile  Users    

   

工具:現成App, 方法:In  Situ  Diary  

(Chang  and  Newman,2015)  

研究目的:  了解Mobile  User選擇如何獲得資訊的方式  

Page 67: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

描述情境 拍照

每次搜尋資訊時 拍照, 並回報搜尋資訊的目的, 情境, 跟最後選擇方式

Page 68: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

照片  

錄音內容  

Page 69: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

•  Pre-­‐Study  •  十五周資料收集

•  Skype及面對面訪談

•  10位常使用手機搜尋的智慧型手機使用者

•  5男5女,年紀26-30 •  除一位手機經驗皆>2年

•  工程師,設計師,研究生,業務,空服員

研究流程     受試者  

Page 70: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

212  Diary  Entries  122為搜尋環境資訊

Topic Number Percentage Percentage  in  Environmental

Direc?on  &  Loca?on   53   25.00%   43.44%  

Points  of  interest   37   17.45%   30.33%  Local  Service  Info  (schedule,  hours,  phone)   32   15.09%   26.23%  

Page 71: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

受試者選擇獲得資訊方式的主要原因:  1.  快,方便

2.  習慣  3.  沒別的方式  4.  資訊品質較好  

應可從Survey或Interview獲得類似結果  

Page 72: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

但發現:  1.  Uncertainty  的顧慮不常出現,  但

一旦出現影響巨大 (尤其時間緊急時)

2.  通常是Local  infrastructural  Informa?on受試者最不確定可否獲得

Page 73: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

73  

Page 74: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

案例  II:    Inves-ga-ng  Mobile  Users'  Ringer  Mode  Usage  and  AJen-veness  and  Responsiveness  to  Communica-on    

工具:自行開發App  方法:Logging,  Event-­‐based  Diary  

(Chang  and  Tang,2015)  

研究目的:  了解Mobile  User如何使用鈴聲系統,  以及鈴聲對觀看與回應訊息的相關性  

Page 75: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Silent   Vibrate   Normal  

Android  5.x  Android  4.x  

鈴聲系統  

iOS  

Page 76: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

•  Pre-­‐Study  •  2  –week  Collec?on  – Logging  – Event-­‐Based  Diary  

•  Post-­‐Study    – Label  Acqusi?on  – Survey –  Interview  

•  38位Android手機使用者(完成人數:28)

•  16男12女,年紀大多介於18-35

•  每日用手機傳收訊息 •  各種全職職業和研究生

研究流程     受試者  

Page 77: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

監控事件:

•  所有語音通話,傳收訊息,發送E-mail動作

•  與通知有關的動作(移除,選取,觀看)

•  調整鈴聲模式

記錄資訊:

•  位置,各種Sensor,網路,電量,聯絡人(如果有)

 

監控,  偵測,  記錄  

Page 78: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

78  

追蹤受試者資料  • 要求受試者至少每兩天要將手機連一次Wifi來上傳資料  • 發現兩天以上有異樣情況寫信給受試者    – 沒有Data  (Android各式各樣問題很多)  – 沒有回Diary  

• 必要時要延長研究時間  

Page 79: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72
Page 80: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

80  

事件問題

偵測到事件

•  Unread  no?fica?ons  •  Missed  calls  •  Changing  ringer  modes  

Event-­‐Based  Diary  

Page 81: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

81  

Post  Study:  標記位置  

Page 82: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

82  

Post  Study:  標記聯絡人  Key          Contact    -­‐331219352    Wife  985669065    Voicemail  -­‐1783692631    Boss  905274088    Telemarketer  1232783555    BasketballFriend  2580550        Myself  

Page 83: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

一個事件的記錄:    1.37687E+12  OUTGOING_MSG  8/18/2013 18:46:17  OutNoResponse  NA  NA  46.56389999  -­‐81.13970184  1.37687E+12  -­‐685505735  NULL  com.android.mms.ui.ComposeMessageAc-vity  com.android.mms  null  Normal  Mod  1  5  s-ll  61  gps  1  1  -­‐9999  -­‐87  -­‐9999  Wifi  1  1  0.867367983  0.15388  6.400090218  6.513850212  FaceUp  6  5  NA  NA  NA  NA  NA  NA  NA  3.51746E+14  46:24.3  null  null  0.899999976  Not  Charging  7  null  Home  MondayBaseballCaptain  NULL  NULL                              

記錄到434,525事件,  81.3%是收到手機通知  

Page 84: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

84  

確認已經標記位置  

輸入受試者ID讓資料跟問卷做連結  

問題例子I:  自我評估程度(可跟Log比對)  

Post  Study:  問卷調查  

問題例子II:  問Typical情況(可跟Diary比對)  

Page 85: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

85  

Post  Study:  回顧訪談  

Page 86: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72
Page 87: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

一些記錄到的例子…  

Page 88: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

0%  

20%  

40%  

60%  

80%  

100%  

Inferred  Ringer  Mode  Usage  From  Logs  

Ringer  Silent  Mode  (%):  

Ringer  Vibrate  Mode  (%):  

Ringer  Normal  Mode  (%):  

0%  

20%  

40%  

60%  

80%  

100%  

Self-­‐Reported  Ringer  Mode  Usage  (From  Survey)  

Ringer  Silent  Mode  (%):  

Ringer  Vibrate  Mode  (%):  

Ringer  Normal  Mode  (%):  

對照Self-­‐Report和Log  

Page 89: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

1. 期待有通知進來

2. 怕被干擾

3. 怕打擾環境

Diary  &  Survey:  三個主要調鈴聲的理由  

Page 90: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

a.Missed  51%  

b.Busy  12%  

c.Chose  20%  

d.Ignore  6%  

e.OtherDev  6%  

???  5%  

Diary:  沒看手機通知的理由  

832    Valid  Responses  

Page 91: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

0  

50  

100  

150  

200  

250  

300  

350  

From  Normal   From  Silent   From  Vibrate  

To  Normal  

To  Silent  

To  Vibrate  

Log:    震動比完全靜音受歡迎  

Page 92: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

0  2  4  6  8  

10  12  14  16  18  20  

1   2   3   4   5   6   7   8   9   10  11  12  13  14  15  16  17  18  19  20  21  22  23  24  

Catchup  

Home  

NA  

Other  

Social  

Sta?on  

Work  

Log:  調鈴聲Paeern  

調成Silent  

Page 93: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

PhoneIn  

PhoneOut  

SMSIn  

SMSOut  

MMAIn  

MMAOut   VOIP  VideoChat  

SMSChat  

SMSAsync  MMAAsync  

MMAChat  

受試者在不同模式上回應訊息

Log:  使用手機的Paeern  

Page 94: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

0%  

20%  

40%  

60%  

80%  

General  AJen-veness    

0%  

20%  

40%  

60%  

80%  

AJen-veness  to    Incoming  SMS  New  

0%  

20%  

40%  

60%  

80%  

AJen-veness  to    Incoming  SMS  Chat  

Log:  不同鈴聲下看通知和SMS訊息的速度和模式  

Page 95: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

0%  

5%  

10%  

15%  

20%  

25%  

30%  

35%  

<6   6-­‐12   12-­‐18  18-­‐24  24-­‐30  30-­‐36  36-­‐42  42-­‐48  48-­‐54  54-­‐60   >60  

%  of    Sessions  

Average  Minutes  Per  AJending  Ac-on  in  a  Session  

Silent   Vibrate   Normal  

Log:  每一個鈴聲Session下的看通知平均速度  

Page 96: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Responsiveness  to  New  Message  

Responsiveness  to  Chat  Message  

0.0%  

20.0%  

40.0%  

60.0%  

80.0%  

100.0%  

Responsiveness  to  Aeended  SMS  

Overall  Responsiveness  

Silent  

Vibrate  

Normal  

Overall  

0.0%  

20.0%  

40.0%  

60.0%  

80.0%  

100.0%  

Responsiveness  to  Aeended  SMS  

Overall  Responsiveness  

Silent  

Vibrate  

Normal  

Overall  

Log:  不同鈴聲訊息回應率  

Page 97: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

案例  III:    A  Field  Study  Comparing  Approaches  to  Collec-ng  Annotated  Ac-vity  Data  in  Real-­‐World  Sedngs    

工具:自行開發App  (Minuku)  方法:Logging,  ESM,  Diary,  Wearable  Camera  

(Chang  et  al.,2015a)  

研究目的:  比較並找出透過Mobile  User收集行為資料的有效方式  

Page 98: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

收集交通行為資料  

Page 99: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

任務:

錄下並標記交通行為(e.g.  開車)

Logging  

Annota?ng  

三種方式: •  Par?cipatory  (PART)  •  In  Situ  (SITU)  •  Post  Hoc  (POST)  

Tool:  Minuku  

Page 100: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Par?cipatory  (PART)  受試者主動參與

Page 101: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

In  Situ  (SITU)  ESM:偵測交通模式後通知註記

Page 102: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Post  Hoc  (POST)  Prompted  Recall:偵測交通模式後記錄,晚點註記

Page 103: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

要(請)求受試者整天戴穿戴式相機

為了保護隱私權,我們允許受試者不舒服時拿掉相機,他們有七天可檢視並刪除照片.但我們強調我們很想要戶外照片  

收集Ground  Truth  

Page 104: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

當時候選相機:  SenesCam  MeCam  Narra?ve  Clip  Parashoot  Looxcie  GoPro  

選擇穿戴式相機  選擇條件:  • 容量跟電力可以撐至少兩天  (受試者很可能忘記上傳照片或充電)  • 拍攝速度越快越好  • 容易上傳照片  • 相機不顯眼  

Page 105: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

最終選擇Narra?ve  Clip  

Page 106: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

•  Pre-­‐Study  •  12-­‐Day  Data  Collec?on  –  Logging  –  Photos  –  Event-­‐Based  Diary  –  (ESM)  

•  Post-­‐Study    –  Interview  

•  37位Android手機使用者(完成人數:29)

•  16男13女,年紀大多介於18-35

•  每天固定通勤的人 •  公車:10,車子:13, 走路:4,腳踏車:2

•  各種全職職業和研究生

研究流程     受試者  

Page 107: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

受試者提供的旅程Recording: • 三個方式都要使用, 一個方式四天, 順序隨機

• 每天至少錄兩段,多錄一段就給15台幣

被動記錄資料:

• 位置,Google  Ac?vity  Recogni?on,手機電量

     (手機靜止的時候不記錄Loca-on)  

Logging  

Page 108: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

• 使用雲端硬碟上傳照片

• 受試者每天將相機連結電腦上傳照片到雲端資料夾,並順便充電  

Page 109: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

109  

錄了但沒標記到的旅途

沒錄到的旅途

1. 詢問沒錄到或沒標記到的旅途的原因

2. 每天遇到的挑戰困難

Event-­‐Based  Diary  

Page 110: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

110  

追蹤受試者資料  • 要求受試者至少每兩天要將手機連一次Wifi來上傳資料  • 發現兩天以上有異樣情況寫信給受試者    – 沒有Data  (各種問題都可能出現)  – 沒有回Diary  

• 必要時要延長該受試者參與時間  

Page 111: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

111  

追蹤受試者照片  •  要求受試者至少每兩天要將電腦連一次Wifi來上傳照片  

•  照片上傳不像Log這麼快

– 量多

– 受試者要花時間檢視和刪除照片,所以通常只能追蹤數量而不看內容

• 需要檢查照片看鏡頭是否有被衣服遮住

Page 112: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

112  

Post  Study:  回顧訪談  • 每個方式遇到挑戰困難

• 每個方式的標記策略

• 喜歡每個方式的什麼地方  • 希望怎麼改進每個方式

Page 113: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

•  有效照片117,000張

•  兩位Coder從照片找旅程 Start  

End  

Post  Study:  Code照片  (Chang  et  al.,2015b)  

Page 114: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Post  Study:  Ac?vity  Logs  

AR  2014-­‐08-­‐14  15:06:08  -­‐0400  1408043168971  s?ll:69;;in_vehicle:31  42.2793599,-­‐83.7473669  Screen_off  

AR  2014-­‐08-­‐14  15:06:08  -­‐0400  1408043168974  s?ll:69;;in_vehicle:31  Screen_off  AR  2014-­‐08-­‐14  15:06:19  -­‐0400  1408043179130  ?l?ng:100  42.2798329,-­‐83.7473109  Screen_off  AR  2014-­‐08-­‐14  15:06:19  -­‐0400  1408043179133  ?l?ng:100  Screen_off  AR  2014-­‐08-­‐14  15:06:28  -­‐0400  1408043188915  in_vehicle:35;;unknown:31;;s?ll:23;;on_bicycle:6;;on_foot:6;;unknown:6  42.2800935,-­‐83.7472938  Screen_off  AR  2014-­‐08-­‐14  15:06:28  -­‐0400  1408043188942  in_vehicle:35;;unknown:31;;s?ll:23;;on_bicycle:6;;on_foot:6;;unknown:6  Screen_off  AR  2014-­‐08-­‐14  15:06:49  -­‐0400  1408043209704  in_vehicle:75;;s?ll:21;;on_bicycle:2;;unknown:2

 42.2804274,-­‐83.7466806  Screen_off  AR  2014-­‐08-­‐14  15:06:49  -­‐0400  1408043209707  in_vehicle:75;;s?ll:21;;on_bicycle:2;;unknown:2

 Screen_off  PROBETR  2014-­‐08-­‐14  15:06:55  -­‐0400  1408043215177  Cancel  Suspec?on:  state:Confirmed  Screen_off  AR  2014-­‐08-­‐14  15:06:55  -­‐0400  1408043215440  in_vehicle:77;;on_foot:8;;s?ll:8;;unknown:8;;unknown:8

 42.280416,-­‐83.746497  Screen_off  AR  2014-­‐08-­‐14  15:06:55  -­‐0400  1408043215443  in_vehicle:77;;on_foot:8;;s?ll:8;;unknown:8;;unknown:8

 Screen_off  AR  2014-­‐08-­‐14  15:07:01  -­‐0400  1408043221268  in_vehicle:92;;unknown:8

 42.2804114,-­‐83.7461414  Screen_off  AR  2014-­‐08-­‐14  15:07:01  -­‐0400  1408043221272  in_vehicle:92;;unknown:8  Screen_off  AR  2014-­‐08-­‐14  15:07:04  -­‐0400  1408043224499  in_vehicle:100  42.2803906,-­‐83.745874  Screen_off  AR  2014-­‐08-­‐14  15:07:04  -­‐0400  1408043224514  in_vehicle:100  Screen_off  AR  2014-­‐08-­‐14  15:07:09  -­‐0400  1408043229534  in_vehicle:100  42.2803725,-­‐83.7455124  Screen_off  AR  2014-­‐08-­‐14  15:07:09  -­‐0400  1408043229537  in_vehicle:100  Screen_off  AR  2014-­‐08-­‐14  15:07:14  -­‐0400  1408043234582  in_vehicle:100  42.2803703,-­‐83.7450593  Screen_off  

•  搜尋交通模式關鍵字判斷時間

•  模糊地帶很多

Page 115: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Post  Study:  Loca?on  Logs  •  用Google Earth播放Location

Page 116: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Intraclass  correla-on      =  87.4%  

Page 117: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

結合照片與Log產生:  1,414  旅程  

受試者產生:  3,070  Recordings  2,587  Valid  Recordings  1919  Labeled  Recordings  994  Noted  Recordings  

Page 118: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

0  

300  

600  

900  

1200  

1500  

All  Recording   Valid  Recording   Labeld  Recording   Noted  Recording  In  Situ  Labeling   Par?cipatory  Labeling  

Post  Hoc  Labeling   Linear  (Par?cipatory  Labeling)  

Linear  (In  Situ  Labeling)   Linear  (Post  Hoc  Labeling)  

做的事越多,  自動優勢越小  

Page 119: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

受試者收集的Recording數目  (8/12  –  12/3  )  

0  

20  

40  

60  

80  

100  

120  

140  

u1   u10   u11   u12   u13   u14   u15   u18   u19   u2   u20   u22   u23   u24   u26   u28   u29   u30   u31   u33   u34   u35   u36   u37   u4   u5   u7   u8   u9  

In  Situ  Labeling   Par?cipatory  Labeling   Post  Hoc  Labeling  

Page 120: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

PART  vs.  SITU  vs.  POST  量化分析  • 與Ground  Truth相比的情況下,  PART  收集的有效資料時間最長,  最少雜訊,  時間最準  – SITU和POST自動錄很多旅程,  但受試者不一定會去標記  

– SITU和POST會切割旅程,  造成中間資料流失  – SITU和POST都有偵測時間造成的Delay  

• 走路比開車和公車的資料含更多雜訊,  也Miss最多部分  

 

Page 121: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

PART  vs.  SITU  vs.  POST  質化分析  • 認為自動化很方便,  但想要能夠控制  • 希望有選擇的彈性  • 減少負擔  •  Context-­‐Aware(情境感知)若準確可造成愉悅使用者經驗,  但若不準確很可能觸怒使用者  

 

Page 122: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

一般研究步驟:

Pre-­‐Study   Data  Collec?on   Post-­‐Study  

Page 123: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

• 確認研究問題和目標群眾

• 想好Incen?ve  • 準備收集資料的Mobile  App  • 測試  (lab  &  pilot  tes?ng)    • 尋找研究受試者

• 研究的行前確認

Pre-­‐Study   Data  Collec?on   Post-­‐Study  

Page 124: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

確認研究問題

•  要研究的行為和情境是否適合透過手機

研究?抓得到嗎?多常發生?一次發生多

久?

•  如果用其他研究方法,得到的資料差異性

在哪裡?

•  目標群眾是否有手機,是否可安裝你的

App,有多少手機使用經驗?

Page 125: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

準備收集資料的系統  • 要記錄什麼? 要偵測什麼? 要不要受試者input? 受試者需不需要檢視記錄的資料?

• 資料收集頻率與方式?會不會用到他們的手機網路?

• 需不需要自己開發App?後端?

• 存資料的格式: 效能 vs. 好處理

• 每款手機sensor設定皆可能不同

Page 126: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

找研究受試者  • 建議先用問卷過濾受試者

• 問卷包含以下問題:

– 手機使用經驗,常用App

– 使用手機廠商,型號,OS

• 找接下來不會長期旅行的受試者

• 先說明會記錄跟追蹤的資料

Page 127: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

行前確認  • 敘述研究目的

•  Informed  Consent  – 說明如何收集,  處理,  和保存資料  – 先提醒他們App  Logging會耗電  

• 同意參與後安裝App

•  App使用教學

– 最好有文件可供參考

Page 128: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

• 追蹤資料收集進度

• 與受試者互動

Pre-­‐Study   Data  Collec?on   Post-­‐Study  

Page 129: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

追蹤資料  • 記得將身份與手機做連結

• 1-2天追蹤一次並記錄

• 請工程師設計一套好追蹤資料的機制

• 若為透過Wifi上傳資料,多給予時間

Page 130: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

與受試者互動  • 儘量客氣跟保持善意

• 定期主動跟受試者聯絡(代表你有在注意)

• 不要討論細節,他們會認為你在持續偷窺他們 (就算你真的是)

• 鼓勵他們研究過程遇到問題或不順心就與你聯絡,

Page 131: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

• 問卷(如果需要)

• 訪談(建議有)

• 給獎勵

• 彙集和處理資料, 移除個人聯絡資訊

• 分析資料

Pre-­‐Study   Data  Collec?on   Post-­‐Study  

Page 132: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

研究後調查及訪談  • 有些資訊需要受試者給予有意義的註解:地方,聯絡人關係

• 看是否需要了解General  behavior • 看了資料後,決定是否需要更深入調查特定行為及情境

• 若要訪談,  帶著(視覺化後)的資料幫助他們回憶  

Page 133: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

彙集處理資料  • 以研究目標為主軸來處理資料

– 因為整理的方式太多種

• 注意Log裡的雜訊,例外,和模棱兩可情況,魔鬼常藏在細節裡

• 質性與Log可分開分析, 但結合在一起資料會更有意義

• 記得移除與身份聯結的資訊

Page 134: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

結論  

Page 135: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Challenges  • 收集,  整理,  和處理不同形態的資料  – 需要有技術人才  

• 讓受試者長期合作  • 隱私,  信任,  和安全性問題  •  Log只能用來”推測”行為  • 耗電問題  

Page 136: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

• 行動科技有其他方法無法取代的優點, 但也有其缺點和限制

• 質化解釋量化,量化驗證質化

• 非適用所有研究,也非所有行為都可以感測的到

• 回到原始點: 你想研究什麼?      

Takeaways  

Page 137: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

• 如何Logging  • 如何整理Data  • 如何執行ESM  • 哪裡有免費工具  • 如何用其他行動科技研究 (e.g. 智慧手機,運動手環,穿戴攝影機)

   

What  I  didn’t  tell  you  

Page 138: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

免費Sensing  &  ESM  APP  

MIT  Funf   PACO  Intel  Sensing  SDK  

Emo?on  Sense     ohmage   AWARE  

Page 139: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

需要ESM靈感?試試這些  

heps://www.onx.ms/   heps://iwe.com/  

Page 140: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

相關書目  

Page 141: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Google  I/O  2014  -­‐  Don't  Listen  to  Users,  Sample  Their  Experience!   Video:  heps://www.youtube.com/watch?v=v1KKsLukIBE  

相關ESM影片  

Page 142: 應用行動科技紀錄與研究人們日常生活行為與脈絡 7/16 HPX72

Stanley  Chang:  [email protected]  FB:  armuro.chang  

謝謝聆聽