what does touch tell us about emotions in touchscreen-based gameplay?
TRANSCRIPT
Artificial Psychology: The Psychology of AI +What Does Touch Tell Us about Emotions in Touchscreen-Based Gameplay?+ Transactions on HCI 2012-Yuan Gao et al./ 나누리x 2016 Spring
목차 1. ’ 기계의 마음’을 찾아서Artificial Psychology 얼개
2. 기계용 ‘인간 감정 독해법’What Does Touch Tell Us about
Emotions in Touchscreen-Based Gamplay?
3. 기계 감정에 관한 생각
Artificial Psychology
구성그 중 이모셔널
분야 소개
Artificial Psychology‘ 기계의 마음’을 찾아서
Artificial Psychology 분야 소개• Keywords : Artificial Psychology, Artificial Cognition, HRI(Human-Robot Interaction)• 관련 문헌들을 살펴보니 , 분야 구성의 얼개를 파악할 수 있었음 .
Mind Design, MITArtificial cognition architectures, Springer ( 그닥 많지 않은 ) 기타 등등 .
Artificial Psychology 분야 소개
AI 가인지하다
( 알다 )판단하다느끼다관계맺다
<Artificial cognition architectures> 의 목차 .
인지사회
• 개괄적인 연구의 focus 들 ( 인간 심리학 측면에서 분류 )
Artificial Psychology 분야 소개
AI 가인지하다
( 알다 )판단하다느끼다관계맺다
<Artificial cognition architectures> 의 목차 .
AI- 인간 ( 주로 HRI):
임상 ( 헬스케어 )발달 ( 교육 )사회 ( 신뢰감 ,
친밀감 )
인지사회
• 개괄적인 연구의 focus 들 ( 인간 심리학 측면에서 분류 )
인간 X 기계응용
Artificial Psychology 분야 소개
AI 가인지하다
( 알다 )판단하다느끼다관계맺다
스탠리 큐브릭의 2001: 스페이스 오디세이와 아톰 작가의 플루토 .
AI- 인간 ( 주로 HRI):
임상 ( 헬스케어 )발달 ( 교육 )사회 ( 신뢰감 ,
친밀감 )
인지사회
• 그 중 , AI 가 갖지 못한다는 (?) 감정 (Emotion) 에 포커스하여
인간 X 기계응용
Artificial Psychology
구성그 중 이모셔널
분야 소개
What Does Touch Tell Us about Emotions in Touchscreen-Based game기계용 ‘인간 감정 독해법’
Intro
What Does Touch Tell Us about Emotions in Touchscreen-Based gameTransactions on Computer-Human Interaction (SCI)
Yuan Gao (University College London)Nadia Bianchi-Berthouze (University College London)Hongying Meng (Brunel University)
2012
연구 개요
Human Factor 측정 기계화 ( 수치화 )
Emotion Recognition System
검증
Human
Computer
머신러닝
• 터치 - 자가보고를 통해 인간의 감정의도 (Excited, Relaxed, Frustrated, Board) 를 수집하고 ,• 수집된 터치의 성격으로 ( 길이 , 압력 , 속도 , 방향 ) 터치를 정량화하여 터치의 감정의도를 구분하고 ,• 이를 바탕으로 머신러닝으로 감정 인식 시스템을 구축하여 , 정확성을 검증함 .
Study DesignStudy1 - Data Collection Study 2 - Building System
머신러닝 모델으로EMOTION RECOGNITION SYSTEM 을 구축하여 15 명의 참가자 데이터로 감정 매칭의 정확도 검증 .
- 15 명 참가자가 아이팟 터치를 통해 2 회씩 20레벨의 Fuit Ninja 게임을 하도록 하여 , - 수집된 터치의 물리적 데이터와- 게임 후 , 본인의 플레이 비디오를 보며 자가보고한 터치 시의 감정을 바탕으로- ‘ 터치 - 감정’을 분석 & 분류 .
Study Design18~40 세의 15 명 ( 남 9, 여 6)사전에 게임에 관한 설명과 트레이닝을 실시 . 참가자
도구 아이팟 / 비디오카메라 / 랩탑자기 보고설문감정 단어가 나타나있어 , 단어의 선택으로 감정상태 보고할 수 있도록 구성 .( 파일럿 스터디를 통한 7 가지의 감정을
Russell 의 Valence-Arousal 감정 사분면 기준에 따라 비슷한 것을 묶어 ,Excited, Relaxed, Frustrated, Board 로 )
Samurai Fruits (Fruits Ninja 를 연구에 맞게 각색 .)과일을 슬래쉬 하여 1 포인트를 획득하는 게임 .20 개의 레벨로 구성 , > 레벨에 따라 과일의 속력과 폭탄의 빈도가 달라짐 .
절차Study Design
0. 실험 및 게임 설명0. 모티베이션을 주기 위해 25 파운드 지급1. 20 레벨의 Fruit Ninja 실시 .2. 각 레벨이 끝날 때 마다 자기보고설문으로 감정을 라벨링하도록 함 .3. 비디오 녹화분을 보고 감정을 재라벨링 시킴 .
(Cued Recall Brief aprroach, 게임 결과에 의한 판단의 영향 지우기 위함 .이를 통해 불일치 하는 것 제함 .)4. 같은 과정을 2 번 실시 .
수집한 데이터Study Design
자기 보고설문개인의 레벨 별 감정 상태 ( Excited, Relaxed, Frustrated, Board )
Samurai Fruits 터치레벨별 , 개인별 터치의길이 (Length)압력 (Pressure)속력 (Speed)Direction Index
Findings• 길이 Positive State 에서 긴 터치가 나타남 .
지루할 때 가장 짧다 .좌절은 터치 길이의 스펙트럼이 넓다 .
길이
속력
압력
방향 (Direction Index)
신남 편안 좌절 지루
평균값중앙값
medianaverage
• 압력에서는 좌절 (Frustrated) 이 가장 두드러진다 .
• 속도는 Arousal(-Valence) 수준과 연관됨 .> 각성수준이 낮은 편안 (relaxed), 지루 (Boared) 에서는 연관이 낮음 .
• 신남 (Excited) 과 좌절 (Frustrated) 은 적은 방향성을 가짐 .
• 조정 평균값을 통해 , 레벨의 영향을 받는 것은 아닌지를 검증 . ( 레벨과 독립적인지 .)• 레벨별로 보아도 감정마다 비슷한 추이를 나타냄 . • (But, 길이의 L1-5 는 Frustrated 에서 정점 . 아웃라이어로 보임 .)
길이
속력
압력
방향
L1-5L6-10
L10-15
L15-20
신남 편안 좌절 지루
조정 평균값
Findings
Findings• Eigenvalues and Wilk’s Lambda 통계로 3 차원 나타냄• 3 차원에서 4 가지 감정 구분이 가능했음 !!
신남
편안 좌절지루
Modeling• 4 가지 감정 데이터를 바탕으로 감정 분석 시스템 빌딩 . • 세가지 모델링 알고리즘이 사용됨 : Discriminant Analysis(DA), Artificial Neural Network(ANN),
Support Vector Machine(SVM) • 15 명 참가자 데이터로 감정 매칭의 정확성 검증 • 네 가지 감정에 관해 69%~77% 의 정확성• arousal (H/L), valence (H/L) 감정 분류에 관해 ~89% 의 정확성
Contribution & Limitation
감정 의도 데이터감정을 아는 ( 것같은 ) AI
감정인간
기계
자연지능
인공지능
터치 - 흔
• 감정을 모으는 방법 . > 게임에서의 터치 로그 .• 감정을 아는 것 같은 기계 .• 자기 보고의 한계 : 생체 - 신경적으로 검증 및 데이터 수집한다면 더 인간 감정에 정확할 것 .• 일반화의 한계
• AI 관점의 어포던스… ?• 감정의도파악• 행동단서들로부터 구분의 기준점
Artificial Psychology
구성그 중 이모셔널
분야 소개
기계 감정에 관한 생각
기계감정의 한계 ?
감정 의도 데이터감정을 아는 ( 것같은 ) AI
감정인간
기계
자연지능
인공지능
터치 - 흔 감정의 왜곡 ?
• 역시 , 기계는 인간 감정을 십분 헤아리지 못하는 것일까 ?
정확도 70%
감정 의도 데이터B 의 감정을 아는
( 것같은 ) A
감정B 인간
A 인간
자연지능 B
자연지능 A
말소리 /몸소리
기계감정의 한계 ?• 사실은 , “ 우리는 우리를 모르고 ..”
감정의 왜곡 ?
감정 의도 데이터감정을 아는 ( 것같은 ) AI
감정인간
기계
자연지능
인공지능
터치 - 흔
그냥 내 생각 :그래서 , AI 의 “마음”이 될 수 있는 것 같다 .마음에의 잣대 =/ 연산에의 잣대
기계감정의 한계 ?• 기계 마음에 대해서는 ‘정확성’외의 다른 잣대가 필요하지 않을까 ?
감정의 왜곡 ?
인공지능이 쓴 소설
기계의 고독을 공감 .나는 기계가 느끼지 못한다고 할 수 있을까 ?
인간 감정 기계 감각 기계 감정독해 표현
나의 경험공감
=
Artificial Psychology
구성그 중 이모셔널
분야 소개
감사합니다 .