hcik 2017 튜토리얼; 인공지능으로 사용자 리서치
TRANSCRIPT
1.년.전.
2016년�hci�학술대회�튜토리얼에서�
ux연구자가�널리�사용하는�포스트
잇�기반의�어피니티�작업을�개선하
는�방법들을�소개하였다.�
소개된�세�개의�툴들은�모두�'방법론
이�녹아�있는(process-embeded)�
도구’로서�칸을�채우다�보면�일이�끝
나게�된다.�
물론�포스트잇이나�엑셀�같은�범용�
도구는�자유도가�높지만,�이런�도구
를�쓰게�되면�불필요한�반복작업이�
많아�일의�목적에�집중하기�어렵다.�
질적�분석의�목표는,�
해석적�독창성(analytical�
originality)에�도달하는�것인데,�과
정을�쉽게�오가며�내용을�조망할�수�
있는(tracability)�도구가�이를�돕는
다.
리프레이머
지난�1년을�돌이켜�보면,�
세�가지�도구�중�리프레이머의�사용
이�가장�많았다.�
인터뷰에서�채집한�수�많은��‘발화’들
을�객체화하여�시각적으로�그루핑�
해주는�리프레이머는,�
우리랩의�질적분석�시간을�20%�정
도�줄여주었다.�중요한건�의미�도출
의�향상과�두려움의�사라짐이다.�
ㅇㄴ고
2016년
2016년은�인공지능�충격의�해이다.�
이세돌-알파고�대결�이후�인공지능
이�대체할�일자리에�대한�논의가�뒤
따랐다.��
연말이�되어감에�딥러닝�오픈소스를�
만져본�엔지니어들에�의해�다양한�
인공지능�응용이�나타나기�시작했
다.�혹자는�‘텐서플로우를�엑셀처럼�
쓰는�시대’가�다가왔다고�했다.
HCI�&�인공지능�
제품에�인공지능을�탑재할때�인터액션은…
ux/hci�분야에서도�인공지능에�대한�
논의가�많이�벌어졌다.�대부분의�논
의는�‘인공지능’을�탑재한�기기의�새
로운�인터액션에�대한�고민이었다.��
화면이�사라지고�에이전트가�강해진�
인공지능머신의�초기�제품들도�시장
에�등장하기�시작하였다.
#인공지능�#사용자경험을�#도울수있을까
관찰
맥락질의
퍼르소나
저니맵
정보설계
화면설계
프로토�타이핑
참여디자인
인터뷰 멘탈모델 평가
메타포�패턴
분석 설계
language Speech VisionData�Insights
Emb.�Cognition
하지만,�
우리�랩에서는�조금�다른�관점을�가
지고�인공지능에�접근하였다.�인공
지능이�우리의�일을�덜어줄�수�있지�
않을까?�
IBM�Watson은�그�기능들을�쓰기�
쉽게�정리하여�웹에�공개하였다.�기
능들을�살펴보면�ux�작업의�많은�단
계에서�인공지능이�개입될�여지가�
보인다.�
그래서�그�가능성을�점검하고자�탐
색적�연구를�진행하였다.�이번�튜토
리얼에서는;�
- 인공지능을�이용한�도큐먼트�분석�
- 챗봇을�이용한�인터뷰�머신�
- 인공지능을�이용한�인터뷰�정리�
를�시도해�보았다.
<�ux�업무�단계�>
<�왓슨의�기능들�>
Sample�Case:
“TV�시청�경험은�어떻게�변하고�있는가?연구를�위해�가상의�시나리오를�상
정하였다.��
xx전자에선�빅스크린�티브이�판매를�
위해�최근�시청경험�변화를�조사하
고자�한다.�‘홀로’족도�많아지고�TV
시청�중�스마트폰을�보는�등�다른�일
과�병행하여�켜�놓는�일도�많아�TV
앞�사용자�경험을�제대로�조사해�보
고자�한다.
2017.02.08.�
서울대학교�융합대학원�사용자경험연구실�
석사과정�나누리
IBM�Watson을�활용한�Document�Analysis�-�Big�Screen�TV에�관한�Desk�Research에�왓슨�부려먹기�-
HCIK�2017�Tutorial�Session
10
이제는,�누구나,�Document�Analysis를�자동화
content analysis
statistical analysis
manual automatic
manualcoding
QDAS
Text Mining
IntelligentSoftware
수동�분석은..
Watson, can you help me?
자동화�가능하지만..
Body�of�Text
URL
Keywords
Concepts
Input
Outpu
�#Concept�#본문에없는�#위키피디아�#시멘틱계층고려�#Evidence
�#본문복붙�#URL복붙
빅스크린�텔레비전�연구를�시작하게�됐거든~�
요즘�TV�관련�서비스나�트렌드�같은�건�대충�다�캐치업�하고�있지?�
그런건�나보다�너네들이�잘�알거�아냐.�내일�얘기하자.
여전한�교수님
그런데�어느날,�교수님의�급-주문
네..교수님..
근심
걱정나누리�(26,�해시태그�연구자)
#TV안본지9년째�
#텔레비전1도모름�#유투브가곧TV아닙니까�
#뉴스언제다보지
정보원�선별
1
검색어�정교화
2자료�수집
3Watson
4키워드�선별
5
어떤��종류의�정보를�찾고�싶은지에�따라�정보원을�선별한다��-�관점이�필요한지(opinion�driven),�사실이�필요한지�(fact�driven)�
�-�최신의�정보가�중요한지(timely),�시간에�관계없는�정보가�필요한지(time-neutral)�
17
fact-drivenopinion-driven
timely
time-neutral
소설���
블로그
인터뷰
기사컬럼
수필
18
전문성
공신력
정보원�선별
1
검색어�정교화
2자료�수집
3Watson
4키워드�선별
5
Document�Analysis�의�핵심은,�좋은�정보를�골라내서�왓슨에게�던지는�것�
심혈을�기울여�좋은�정보를�찾아내야�한다��-�소스�중�fact-driven한�것은�공신력,�전문성을�기준으로�선별�가능하다�
�-�대략�5-6곳�정도로�솎아낸다
19
정보원�선별
1
검색어�정교화
2자료�수집
3Watson
4키워드�선별
5
정보원을�선별했으니�이제�정보원에서��
어떤�검색어를�넣어야�원하는�정보가�‘많이’�나오는지�알아볼�차례��-�적절한�쿼리를�조합한다는�측면에서�기존의�검색과정과�매우�유사��
�-�결과�화면의�제목들만�대강�훑으면서,�어떤�쿼리를�넣으면�relevant한�것을�많이�찾
을�수�있는지�확인
new + big screen tvbig screen tv + technologytv + trendsfuture + tv home + tvnext generation + tv
20
아티클의�URL을�수집
http://www.tvtechnology.com/thewire/smpte-partners-in-producing-2017-nab-shows-future-of-cinema-conference-the-intersection-of-technology-art--commerce-in-cinema/7555/view
정보원�선별
1
검색어�정교화
2자료�수집
3Watson
4키워드�선별
5
뉴스와�아티클�검색은�구글에서�‘메타검색’하기보다는�
각�소스�사이트에서�검색하는�것을�추천���-�메타�검색은�정보원의�특성이�사라지므로�NYT,�Techtimes�등�소스�사이트에서�검
색하는�것이�좋음
22
(20개�기사)X(20개�키워드)�=�400개�키워드�����
정보원�선별
1
검색어�정교화
2자료�수집
3Watson
4키워드�선별
5
(그러나…�기쁨은�잠시)�곧�키워드의�바다에�빠지게�됩니다�
이�많은�거�언제�다봐!�이럴�거면�왜�했어!
23
성실하지만�우둔한�AI�조수�Watson…
정보원�선별
1
검색어�정교화
2자료�수집
3Watson
4키워드�선별
5
시키는대로�했는데�나한테�왜그래..�
키워드�달라며~~??
24
정보원�선별
1
검색어�정교화
2자료�수집
3Watson
4키워드�선별
5
수많은�AI�키워드를�선별하는�거름망이�있다면�- 나라도:�나라도�선택했을�것.�사전지식에�부합하는�키워드.�
- 식상한:�쿼리�자체를�포함하고�있거나,�우리�엄마도�알만한�식상한�내용의�키워드.�
- 특이한:�낯설지만�검색을�하고싶은,�호기심을�자극하는,�신선한�키워드.� ��������������뻔하지만�지속적으로�반복등장하여�무게를�주는�키워드.
A.I. 나
#나라도
#식상한
#특이한
Lee and Lee, Off-the-shelf Artificial Intelligence and Qualitative Research interacting IBM Alchemy Language in HCI research methodology, HCIK, 2017.
누리야,�빅스크린�TV는�OLED�이후에�무슨�변화가�있나?�빅스크린�TV에서�두드러지는�새로운�경험이�있니?�앞으로�빅스크린�TV조사�어떻게�하면�좋을까?�아이디어�있어?
여전한�교수님
오늘도�평화로운�유엑스랩
교수님,�빅스크린� TV�요즘�추세가�Quantum�
dot인�거는�아시죠?�그리고�요즘�밀레니얼�세
대는�Zero� TV�세대라고해서�텔레비전을�보지
않거나,�스맛폰,�랩탑을�통해서�텔레비전�컨텐
츠를�소비한다고�해요.�이렇게�사용자�라이프스타일에�따라서�패턴이�다른�것�같은데,�여기
를�조사해보면�어떨까요?
다.음.날
-�대량�분석을�해야할�때�유용하다.�1시간�동안�텍스트�분석석사�1학기�후배�2개�vs.�AI�조수�40개
—�좋은�데이터가�좋은�결과를�낳는다.�(정보원,�쿼리�중요)�
-�분석하고자하는�목적에�따라,�정보원을�바꾸어�구사할�수�있다.�
-�‘인간-인간’과�‘인간-AI’에서�키워드�수용의�패턴이�유사하다.
Watson을�이용한�텍스트�분석의�recipe�&�tip!
정보원�선별
검색어�정교화
자료�수집
Watson에서�돌리기
키워드�선별
easy recipe + t ip!
29
2017.02.08.�
서울대학교�융합대학원�사용자경험�연구실�
나누리,�이현정,�한수교,�정재원,�고유미
IBM�Watson을�활용한�Document�Analysis�-�Big�Screen�TV에�관한�Desk�Research에�왓슨�부려먹기�-
HCIK 2017 Tutorial Session
32
김진영,�송지은,�윤수경,�김병준,�박주영�@SNU�UX�lab
도전� ‘봇’터뷰!
‘ B o t ’ e r v i e w : I n t e r v i e w i n g w i t h C h a t b o t
챗봇으로�하는�인터뷰
HCIK 2017 Tutorial Session
33
챗봇�인터뷰는..?
챗봇�인터뷰는�메신저라는�플랫폼에서�봇을�활용해�인터뷰를�진행한다는�점에서�여섯�가지�특징이�있다�
각각의�특징은�인터뷰�종류�선정�시�챗봇�인터뷰를�하는�기준이�된다
비대면�• 참여자의�(감정적)�부담을�줄임�• 인터뷰어의�편견이나�감정이�배
제�• 민감한�사항에�대한�답변�도출
In-Situ�• 현장의�경험을�바로�채집
메신저�화법�• 메신저의�화법에서만�드러날�수�있는�만족
도나�의도를�담은�행동을�표현�
Massive�• 다수의�인터뷰이를�다양한�시간대
에�인터뷰�진행
다양한�양식�• GPS,�이미지�등의�형태로�응답�수신�
자동화��• 주기적으로�질문�가능�• 결과�정리�및�분석이�비교적�용이
34
챗봇�저작툴�선정�기준
시중에�다양한�챗봇�저작툴이�있지만�저작툴들의�기능이�각각�향상�되면서��
작업자의�코딩�가능�여부와�다양한�답변�양식이�선정에�가장�큰�영향을�미친다
선정기준api.ai flow XO motion.ai text.it sequel chatfuel
작업자의�능숙도코딩이��
필요없는가? x △ ○ ○ ○ ○
인터뷰이의��메신저�접근성
지원�메신저��다양한가? ○ ○ ○ ○ ○ 페이스북�메신저��
특화
인터뷰�답변�양식다양한��
답변�형식이��제공되는가?
○ x ○ x ○ ○
저작�복잡도저작�과정이��간단한가? x ○ x ○ △ ○
결과�정리응답자별�데이터�추출이�가능
한가?○ ○ ○ ○ ○ ○
2017.2.8. 기준
<저작툴별�특징>�
36
Recipe for ‘Bot’erviewing
1 인터뷰�스크립트를�작성한다
2 스크립트를�로직화한다
3 저작툴에�말풍선을�입력한다
4 인터뷰�결과�추출을�준비한다
5 파일럿�인터뷰를�통해�대화를�최적화한다
6 챗봇인터뷰를�진행한다
7 인터뷰�결과를�분석한다
37
리서치의�목적에�따라�어떻게�실시할�것인지�기획�후�이를�토대로�무엇을�물을지,�질문�스크립트를�작성한다.
1 인터뷰�스크립트를�작성한다
고지사항
인적사항
<계획서�토대로�질문�스크립트�작성>
234555
TV�시청�맥락�
평소�TV시청�패턴
42
4 인터뷰�결과�추출을�준비한다�
대부분의�챗봇�저작툴들은�CS�대응을�목적으로�만들어졌으며,�단순�통계�화면만�보여주는�경향이�있다.�
심층적인�분석을�위해서는�크로스�플랫폼�API를�연동해�사용자별�데이터를�확인한다.
2
555
43
4 인터뷰�결과�추출을�준비한다�
인터뷰�응답결과를�받을�구글�스프레드�시트를�만들고�데이터�속성을�순서대로�행에�기입한다.�
크로스�플랫폼�API인�Flow�XO를�활용해�Webhook&HTTP�블록과�구글�시트�블록을�추가하고�플로
우�상태를�on으로�바꾼다.�인터뷰�결과를�받고자�하는�단계에�Json�API�플러그인을�추가한다.
2
555
44
5 파일럿�인터뷰를�통해�대화를�최적화한다
대화�맥락에�벗어나는�응답을�받았을�때�플로우가�깨지는�것에�대비할�필요가�있다.�
이�경우�Default�Answer�블록�기능을�활용하여�이전�대화�블록으로�잇는다.
2
55
45
5 파일럿�인터뷰를�통해�대화를�최적화한다
로직(분기점�관리),�표현(대화체),�인터랙션(대화의�자연스러움)�위주로��
플로우를�확인하고�피드백을�정리한다.
2
55
““
다시�입력하려고��하니�멈췄어요
•�로직의�경우
46
5 파일럿�인터뷰를�통해�대화를�최적화한다
로직(분기점�관리),�표현(대화체),�인터랙션(대화의�자연스러움)�위주로��
플로우를�확인하고�피드백을�정리한다.
2
55
““
직업�선택지�중에��주부가�없어요
•�로직의�경우
49
챗봇�인터뷰,�이렇게�설계하면�더�좋다!
마치며:�챗봇�인터뷰�TIP
-�리서치�대상이나�인터뷰이가�highly�engaged�할�때�적합하다.
-�말풍선의�길이를�고려해�문장을�나누면�인터뷰이의�가독성을�높일�수�있다.
-�대화의�단계�사이에�전환이�있음을�알려주어�인터뷰이의�혼란을�줄인다.
-�응답자의�답변을�토대로�변수화한�후�다음�대화�반응에�넣으면�대화가�더�매끄러워진다.
-�프로젝트�복사본을�만들어�테스트하면�수정사항을�본�프로젝트에�반영하기�편하다.
1 인터뷰�스크립트를�작성한다
2 스크립트를�로직화한다
3 저작툴에�말풍선을�입력한다
4 인터뷰�결과�추출을�준비한다
5 파일럿�인터뷰를�통해�대화를�최적화한다
6 챗봇인터뷰를�진행한다
7 인터뷰�결과를�분석한다
-�메신저�페이지�관리자에서�실시간�인터뷰�진행�상황을�볼�수�있다.
-�자유형식으로�입력한�응답의�경우�메신저�화법의�특수성을�고려해�맥락과�뉘앙스를�파악한다.
HCI-K 2017TUTORIAL
AI를�활용한�사용자�조사:�왓슨과�인터뷰�분석하기HCI KOREA 2017 TUTORIAL
2017. 1. 1. Tue. @UX Lab 409김민준, 김유정, 윤종묵
52
질적�데이터�분석은�사금을�골라내는�일
아주�넓은�강가에�서서�일일이�사금을�골라내는�것과�
인터뷰�분석�데이터에서�의미있는�결과를�도출하는�것은�본질적으로�다르지�않다�
우리는�많은�양에�압도당하고,�반복적인�분류�작업에�지치고,�결과에�대해서는�의심당하기도�한다
망망대해�같은�인터뷰�데이터�속에서�분석을�해내는�것은
사금을�골라내는�작업�만큼이나�지난한�과정이다
53
인공지능,�기성제품화�되다
전통적으로�질적�분석은�데이터를�늘어놓고�인간의�예리한�눈으로�하나씩�골라내는�작업�
오랜�시간이�걸리고,�많은�노고가�필요하다�
하지만�이제는�AI가�Off-the-shelf�서비스로�제공되는�시대�
인터뷰�분석에�기계의�빠른�손을�빌려,�우리의�눈을�대체해본다
원두를�볶고,�커피를�고르고,�끓이는�과정의�패키지화
이제는�마트�선반에서�커피믹스를�손쉽게�고르고�꺼내�쓸�수�있다
54
의도Intent를�읽어내는�Watson�Conversation
AI가�이제는�훈련을�통해�우리의�의도를�읽어낼�수�있다�
Watson�Conversation은�발화에�대해�숨겨진�의도를�훈련하면,��
비슷한�의도를�가진�다른�말을�골라낼�수�있다�
따라서,�왓슨으로�인터뷰를�분석하려면�’의도가�담긴�사용자의�말’을�획득하는�게�필수적이다
발화 반응
뭐�좀�추천해줘!
숨겨진�의도(intent)
“나�심심해”
“뭐�할�거�없나?”
“이거�다썼다”
“살�거�있는데”
영화볼래?
놀이공원�갈래?
쇼핑하러�가야해!마트에서�쇼핑할래?
백화점�둘러볼래?
왓슨에게�훈련(Training)시킨다
55
의도Intent를�읽어내는�Watson�Conversation
AI가�이제는�훈련을�통해�우리의�의도를�읽어낼�수�있다�
Watson�Conversation은�발화에�대해�숨겨진�의도를�훈련하면,��
비슷한�의도를�가진�다른�말을�골라낼�수�있다�
따라서,�왓슨으로�인터뷰를�분석하려면�’의도가�담긴�사용자의�말’을�획득하는�게�필수적이다
발화 반응
뭐�좀�추천해줘!
숨겨진�의도(intent)
“나�심심해”
“뭐�할�거�없나?”
“이거�다썼다”
“살�거�있는데”
영화볼래?
놀이공원�갈래?
쇼핑하러�가야해!마트에서�쇼핑할래?
백화점�둘러볼래?
“이제�뭐하지?” 분류
분류“나�필요한�거�있어”
56
RECIPE
1
2
3
의도가�담긴�발화�수집하기
번역:�임시방편
트레이닝셋�—�오픈코딩
4 트레이닝셋�—�의도(intent)�도출/코딩
5 왓슨�트레이닝(Training)
6 왓슨�솎아주기�—�On-The-Fly�Adjusting
7 결과�분석
59
3 트레이닝셋�—�오픈코딩
전체�코드의�10%만�코딩�하시면�됩니다�
인텐트를�뽑기위한�중간�단계로서의�—�발화에�대한�‘인수분해’�인텐트를�바로�뽑을�수도�있지만,�오픈코딩�및�인수분해는�뒤의�과정을�원활하게�해줍니다�
여러분의�인스타그램�#해쉬태그�실력을�마음껏�발휘해주세요
60
4 트레이닝셋�—�의도(intent)�도출/코딩
인수분해한�것들�중�공통되는�것�묶어내기�
1�의도�당�최소�5개�이상의�발화�포함�
다다익선,�but�편리함�—�성능�balancing
발화는�의도로�코딩
#오픈코딩 의도Intent
63
6
왓슨이�“모르겠어요”�라고�하면�
>>�다시�가르쳐주거나:�“왓슨아,�그거�#context_aware야”�
>>�새롭게�가르쳐주거나:�“새로�#summarize�인텐트를�만들어서�알려줘야겠다”
왓슨�솎아주기�—�On-The-Fly�Adjusting
64
7 결과�분석
잘못�풀린�실제�텍스트
잘풀린�실제�텍스트
트레이닝�텍스트
“광고나�소음�지나치게�큰�음악소리�등을�알아서�걸러주고�
듣고�싶은�소리만�명확하게�들을수�있게해주면�좋겠다"
“TV로�카톡�내용을�보고싶어
"
66
7 결과�분석
n�수:�총�두번째로�많은�VOC
“맞춤형”과�관련된�감정분석:���
1위�-�기쁨�joy�/�2위�-�슬픔�sad�
#맞춤형�의도�분류�대한�왓슨의�자신감:��
67.62%
맞춤형에�대한�요구사항이�많구
나
아마도�맞춤형은�이렇게�되면�더�좋겠다는��
것�때문에�기쁨의�감정도�있지만�
동시에�맞춤이�안되는�상황이�부정적으로�
나타나고�있는가보다
맞춤형에�대해서�말한�발화들은�대부분��
누가�봐도�‘그�의도’를�가진�말들인가보네.�
그러면�굉장히�강하고�뚜렷한�요구사항일�가능성…
67
RECIPE
1
2
3
의도가�담긴�발화�수집하기
번역:�임시방편
트레이닝셋�—�오픈코딩
4 트레이닝셋�—�의도(intent)�도출/코딩
5 왓슨�트레이닝(Training)
6 왓슨�솎아주기�—�On-The-Fly�Adjusting
7 결과�분석
- 인공지능이�잘하는�분석에�맞는�재료:� 발화를�모아야한다
- confidence�값은�참고용:�낮다고�무조건�틀린�것은�아니다�
��높은�것들은�그만큼�‘명확한�의도’
- 왓슨�한글서비스까지…�구글�번역기를�쓴다
- 전체의�10%�정도,�인수분해!�(6에서�조정)
- 표면적인�코딩�보다는�행동과�의도를�파악(광고가�싫다�vs.�스킵하기)�
- 인텐트는�서로�겹치지�않도록�- 최소�5개�이상;�다다익선
- 분석불가�예시에�대해�리뷰할�필요(빠진�코드가�있을�수�있음)�
- 유목별�중요도,�감정의�파악
짧은�의심�후�긴�맹신�그�pivoting�moment
재료
결과
본�레시피는�질적연구에서�인공지능�
사용의�가능성을�점검해�본�탐색�연
구이다.�몇�가지�레슨은�다음과�같다.
1.�레시피는�‘인간이�할�일’과�‘인공
지능이�할�일’로�나뉘어져�있다.�인공
지능이�모든�걸�다�해결해�줄�수는�
없다.�
2.�인공지능을�쓴다는�건�기존의�도
구들을�쓰는�것과�크게�다르다.�과정
과�단계를�조절할�수�없는�대신,�좋
은�재료�넣기와�기계를�얼마나�돌릴
지만�할�수�있다.�
3.�인공지능은�과정을�은닉(hidden)
한다.�과정에서�소외되면�사람은�결
과에�대해�판단하기�어렵다.�연구자
들은�짧은�의심�후�근거�없는�맹신의�
상태에�들어가게�된다.�hci연구자로
서�우리는�그�모멘트를�어떻게�디자
인�할�것인가?
출입금지�-�Do�not�cross�-�인공지능�-�Do�not�cross�-�출입금지
인공지능과의�협업이란�건…