hcik 2017 튜토리얼; 인공지능으로 사용자 리서치

70

Upload: seoul-national-university

Post on 20-Feb-2017

559 views

Category:

Technology


6 download

TRANSCRIPT

1.년.전.

2016년�hci�학술대회�튜토리얼에서�

ux연구자가�널리�사용하는�포스트

잇�기반의�어피니티�작업을�개선하

는�방법들을�소개하였다.�

소개된�세�개의�툴들은�모두�'방법론

이�녹아�있는(process-embeded)�

도구’로서�칸을�채우다�보면�일이�끝

나게�된다.�

물론�포스트잇이나�엑셀�같은�범용�

도구는�자유도가�높지만,�이런�도구

를�쓰게�되면�불필요한�반복작업이�

많아�일의�목적에�집중하기�어렵다.�

질적�분석의�목표는,�

해석적�독창성(analytical�

originality)에�도달하는�것인데,�과

정을�쉽게�오가며�내용을�조망할�수�

있는(tracability)�도구가�이를�돕는

다.

리프레이머

지난�1년을�돌이켜�보면,�

세�가지�도구�중�리프레이머의�사용

이�가장�많았다.�

인터뷰에서�채집한�수�많은��‘발화’들

을�객체화하여�시각적으로�그루핑�

해주는�리프레이머는,�

우리랩의�질적분석�시간을�20%�정

도�줄여주었다.�중요한건�의미�도출

의�향상과�두려움의�사라짐이다.�

ㅇㄴ고

2016년

2016년은�인공지능�충격의�해이다.�

이세돌-알파고�대결�이후�인공지능

이�대체할�일자리에�대한�논의가�뒤

따랐다.��

연말이�되어감에�딥러닝�오픈소스를�

만져본�엔지니어들에�의해�다양한�

인공지능�응용이�나타나기�시작했

다.�혹자는�‘텐서플로우를�엑셀처럼�

쓰는�시대’가�다가왔다고�했다.

HCI�&�인공지능�

제품에�인공지능을�탑재할때�인터액션은…

ux/hci�분야에서도�인공지능에�대한�

논의가�많이�벌어졌다.�대부분의�논

의는�‘인공지능’을�탑재한�기기의�새

로운�인터액션에�대한�고민이었다.��

화면이�사라지고�에이전트가�강해진�

인공지능머신의�초기�제품들도�시장

에�등장하기�시작하였다.

#인공지능�#사용자경험을�#도울수있을까

관찰

맥락질의

퍼르소나

저니맵

정보설계

화면설계

프로토�타이핑

참여디자인

인터뷰 멘탈모델 평가

메타포�패턴

분석 설계

language Speech VisionData�Insights

Emb.�Cognition

하지만,�

우리�랩에서는�조금�다른�관점을�가

지고�인공지능에�접근하였다.�인공

지능이�우리의�일을�덜어줄�수�있지�

않을까?�

IBM�Watson은�그�기능들을�쓰기�

쉽게�정리하여�웹에�공개하였다.�기

능들을�살펴보면�ux�작업의�많은�단

계에서�인공지능이�개입될�여지가�

보인다.�

그래서�그�가능성을�점검하고자�탐

색적�연구를�진행하였다.�이번�튜토

리얼에서는;�

- 인공지능을�이용한�도큐먼트�분석�

- 챗봇을�이용한�인터뷰�머신�

- 인공지능을�이용한�인터뷰�정리�

를�시도해�보았다.

<�ux�업무�단계�>

<�왓슨의�기능들�>

Sample�Case:

“TV�시청�경험은�어떻게�변하고�있는가?연구를�위해�가상의�시나리오를�상

정하였다.��

xx전자에선�빅스크린�티브이�판매를�

위해�최근�시청경험�변화를�조사하

고자�한다.�‘홀로’족도�많아지고�TV

시청�중�스마트폰을�보는�등�다른�일

과�병행하여�켜�놓는�일도�많아�TV

앞�사용자�경험을�제대로�조사해�보

고자�한다.

2017.02.08.�

서울대학교�융합대학원�사용자경험연구실�

석사과정�나누리

IBM�Watson을�활용한�Document�Analysis�-�Big�Screen�TV에�관한�Desk�Research에�왓슨�부려먹기�-

HCIK�2017�Tutorial�Session

9

Document�Analysis:�누가�좀�대신�읽어서�요점만�말해주었으면…

공유경제의�대두의�원인은

1.�정보화�

2.�경제악화

흔한_대학원생의_책상_ㅠㅠ.jpg

10

이제는,�누구나,�Document�Analysis를�자동화

content analysis

statistical analysis

manual automatic

manualcoding

QDAS

Text Mining

IntelligentSoftware

수동�분석은..

Watson, can you help me?

자동화�가능하지만..

Body�of�Text

URL

Keywords

Concepts

Input

Outpu

Body�of�Text

URL

Keywords

Concepts

Input

Outpu

�#Keywords�#본문에등장한�#감정적뉘앙스

�#본문복붙�#URL복붙

Body�of�Text

URL

Keywords

Concepts

Input

Outpu

�#Concept�#본문에없는�#위키피디아�#시멘틱계층고려�#Evidence

�#본문복붙�#URL복붙

빅스크린�텔레비전�연구를�시작하게�됐거든~�

요즘�TV�관련�서비스나�트렌드�같은�건�대충�다�캐치업�하고�있지?�

그런건�나보다�너네들이�잘�알거�아냐.�내일�얘기하자.

여전한�교수님

그런데�어느날,�교수님의�급-주문

네..교수님..

근심

걱정나누리�(26,�해시태그�연구자)

#TV안본지9년째�

#텔레비전1도모름�#유투브가곧TV아닙니까�

#뉴스언제다보지

하루�안에,�혼자서

빅스크린�TV의�기술과�서비스에�관한�트렌드를�알아내야�한다

MISSION START !MISSION START !

16

정보원�선별

검색어�정교화

자료�수집

Watson에서�돌리기

키워드�선별

Watson을�이용한�텍스트�분석의�recipe

1

2

3

4

5

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

어떤��종류의�정보를�찾고�싶은지에�따라�정보원을�선별한다��-�관점이�필요한지(opinion�driven),�사실이�필요한지�(fact�driven)�

�-�최신의�정보가�중요한지(timely),�시간에�관계없는�정보가�필요한지(time-neutral)�

17

fact-drivenopinion-driven

timely

time-neutral

소설���

블로그

인터뷰

기사컬럼

수필

18

전문성

공신력

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

Document�Analysis�의�핵심은,�좋은�정보를�골라내서�왓슨에게�던지는�것�

심혈을�기울여�좋은�정보를�찾아내야�한다��-�소스�중�fact-driven한�것은�공신력,�전문성을�기준으로�선별�가능하다�

�-�대략�5-6곳�정도로�솎아낸다

19

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

정보원을�선별했으니�이제�정보원에서��

어떤�검색어를�넣어야�원하는�정보가�‘많이’�나오는지�알아볼�차례��-�적절한�쿼리를�조합한다는�측면에서�기존의�검색과정과�매우�유사��

�-�결과�화면의�제목들만�대강�훑으면서,�어떤�쿼리를�넣으면�relevant한�것을�많이�찾

을�수�있는지�확인

new + big screen tvbig screen tv + technologytv + trendsfuture + tv home + tvnext generation + tv

20

아티클의�URL을�수집

http://www.tvtechnology.com/thewire/smpte-partners-in-producing-2017-nab-shows-future-of-cinema-conference-the-intersection-of-technology-art--commerce-in-cinema/7555/view

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

뉴스와�아티클�검색은�구글에서�‘메타검색’하기보다는�

각�소스�사이트에서�검색하는�것을�추천���-�메타�검색은�정보원의�특성이�사라지므로�NYT,�Techtimes�등�소스�사이트에서�검

색하는�것이�좋음

21

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

킬.링.파.트.�

가장�보람차고�희열이�느껴지는�순간!

22

(20개�기사)X(20개�키워드)�=�400개�키워드�����

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

(그러나…�기쁨은�잠시)�곧�키워드의�바다에�빠지게�됩니다�

이�많은�거�언제�다봐!�이럴�거면�왜�했어!

23

성실하지만�우둔한�AI�조수�Watson…

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

시키는대로�했는데�나한테�왜그래..�

키워드�달라며~~??

24

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

수많은�AI�키워드를�선별하는�거름망이�있다면�- 나라도:�나라도�선택했을�것.�사전지식에�부합하는�키워드.�

- 식상한:�쿼리�자체를�포함하고�있거나,�우리�엄마도�알만한�식상한�내용의�키워드.�

- 특이한:�낯설지만�검색을�하고싶은,�호기심을�자극하는,�신선한�키워드.� ��������������뻔하지만�지속적으로�반복등장하여�무게를�주는�키워드.

A.I. 나

#나라도

#식상한

#특이한

Lee and Lee, Off-the-shelf Artificial Intelligence and Qualitative Research interacting IBM Alchemy Language in HCI research methodology, HCIK, 2017.

25

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

거름망도�준비되었으니,�이제�골라보자!!!

26

정보원�선별

1

검색어�정교화

2자료�수집

3Watson

4키워드�선별

5

#특이한

#식상한

#나라도

누리야,�빅스크린�TV는�OLED�이후에�무슨�변화가�있나?�빅스크린�TV에서�두드러지는�새로운�경험이�있니?�앞으로�빅스크린�TV조사�어떻게�하면�좋을까?�아이디어�있어?

여전한�교수님

오늘도�평화로운�유엑스랩

교수님,�빅스크린� TV�요즘�추세가�Quantum�

dot인�거는�아시죠?�그리고�요즘�밀레니얼�세

대는�Zero� TV�세대라고해서�텔레비전을�보지

않거나,�스맛폰,�랩탑을�통해서�텔레비전�컨텐

츠를�소비한다고�해요.�이렇게�사용자�라이프스타일에�따라서�패턴이�다른�것�같은데,�여기

를�조사해보면�어떨까요?

다.음.날

하루�안에,�혼자서

빅스크린�TV의�기술과�서비스에�관한�트렌드를�알아내야�한다MISSION SUCCESS

-�대량�분석을�해야할�때�유용하다.�1시간�동안�텍스트�분석석사�1학기�후배�2개�vs.�AI�조수�40개

—�좋은�데이터가�좋은�결과를�낳는다.�(정보원,�쿼리�중요)�

-�분석하고자하는�목적에�따라,�정보원을�바꾸어�구사할�수�있다.�

-�‘인간-인간’과�‘인간-AI’에서�키워드�수용의�패턴이�유사하다.

Watson을�이용한�텍스트�분석의�recipe�&�tip!

정보원�선별

검색어�정교화

자료�수집

Watson에서�돌리기

키워드�선별

easy recipe + t ip!

29

30

이�레시피는��3�projects,�40�topics,�659�docs,�10,590�kewords�를�통해�도출된�ㅠㅠ

2017.02.08.�

서울대학교�융합대학원�사용자경험�연구실�

나누리,�이현정,�한수교,�정재원,�고유미

IBM�Watson을�활용한�Document�Analysis�-�Big�Screen�TV에�관한�Desk�Research에�왓슨�부려먹기�-

HCIK 2017 Tutorial Session

32

김진영,�송지은,�윤수경,�김병준,�박주영�@SNU�UX�lab

도전� ‘봇’터뷰!

‘ B o t ’ e r v i e w : I n t e r v i e w i n g w i t h C h a t b o t

챗봇으로�하는�인터뷰

HCIK 2017 Tutorial Session

33

챗봇�인터뷰는..?

챗봇�인터뷰는�메신저라는�플랫폼에서�봇을�활용해�인터뷰를�진행한다는�점에서�여섯�가지�특징이�있다�

각각의�특징은�인터뷰�종류�선정�시�챗봇�인터뷰를�하는�기준이�된다

비대면�• 참여자의�(감정적)�부담을�줄임�• 인터뷰어의�편견이나�감정이�배

제�• 민감한�사항에�대한�답변�도출

In-Situ�• 현장의�경험을�바로�채집

메신저�화법�• 메신저의�화법에서만�드러날�수�있는�만족

도나�의도를�담은�행동을�표현�

Massive�• 다수의�인터뷰이를�다양한�시간대

에�인터뷰�진행

다양한�양식�• GPS,�이미지�등의�형태로�응답�수신�

자동화��• 주기적으로�질문�가능�• 결과�정리�및�분석이�비교적�용이

34

챗봇�저작툴�선정�기준

시중에�다양한�챗봇�저작툴이�있지만�저작툴들의�기능이�각각�향상�되면서��

작업자의�코딩�가능�여부와�다양한�답변�양식이�선정에�가장�큰�영향을�미친다

선정기준api.ai flow XO motion.ai text.it sequel chatfuel

작업자의�능숙도코딩이��

필요없는가? x △ ○ ○ ○ ○

인터뷰이의��메신저�접근성

지원�메신저��다양한가? ○ ○ ○ ○ ○ 페이스북�메신저��

특화

인터뷰�답변�양식다양한��

답변�형식이��제공되는가?

○ x ○ x ○ ○

저작�복잡도저작�과정이��간단한가? x ○ x ○ △ ○

결과�정리응답자별�데이터�추출이�가능

한가?○ ○ ○ ○ ○ ○

2017.2.8. 기준

<저작툴별�특징>�

35

Chatfuel은�코딩할�필요�없이�다양한�입력�형태의�답변을�받을�수�있는�장점이�있다

Chatfuel로�챗봇�인터뷰�만들기

36

Recipe for ‘Bot’erviewing

1 인터뷰�스크립트를�작성한다

2 스크립트를�로직화한다

3 저작툴에�말풍선을�입력한다

4 인터뷰�결과�추출을�준비한다

5 파일럿�인터뷰를�통해�대화를�최적화한다

6 챗봇인터뷰를�진행한다

7 인터뷰�결과를�분석한다

37

리서치의�목적에�따라�어떻게�실시할�것인지�기획�후�이를�토대로�무엇을�물을지,�질문�스크립트를�작성한다.

1 인터뷰�스크립트를�작성한다

고지사항

인적사항

<계획서�토대로�질문�스크립트�작성>

234555

TV�시청�맥락�

평소�TV시청�패턴

38

2 스크립트를�로직화한다

스크립트를�말풍선�단위로�나누고,�말풍선이�자연스럽게�이어지도록�대화의�흐름을�만든다.

234555

39

저작툴에�탑재되어�있는�다양한�기능들을�활용하여�대화를�입력한다

3 저작툴에서�말풍선을�만든다

•기본적인�메시지�입력은�Text�Card�기능을�이용한다.

24555

40

3 저작툴에서�말풍선을�만든다:�선다형

저작툴에�탑재되어�있는�다양한�기능들을�활용하여�대화를�입력한다

•�선다형의�경우�Quicky�Reply�기능을�이용한다.

24555

41

3 저작툴에서�말풍선을�만든다:�자유입력

저작툴에�탑재되어�있는�다양한�기능들을�활용하여�대화를�입력한다

•�자유입력의�경우�User�Input�기능을�이용한다.

24555

42

4 인터뷰�결과�추출을�준비한다�

대부분의�챗봇�저작툴들은�CS�대응을�목적으로�만들어졌으며,�단순�통계�화면만�보여주는�경향이�있다.�

심층적인�분석을�위해서는�크로스�플랫폼�API를�연동해�사용자별�데이터를�확인한다.

2

555

43

4 인터뷰�결과�추출을�준비한다�

인터뷰�응답결과를�받을�구글�스프레드�시트를�만들고�데이터�속성을�순서대로�행에�기입한다.�

크로스�플랫폼�API인�Flow�XO를�활용해�Webhook&HTTP�블록과�구글�시트�블록을�추가하고�플로

우�상태를�on으로�바꾼다.�인터뷰�결과를�받고자�하는�단계에�Json�API�플러그인을�추가한다.

2

555

44

5 파일럿�인터뷰를�통해�대화를�최적화한다

대화�맥락에�벗어나는�응답을�받았을�때�플로우가�깨지는�것에�대비할�필요가�있다.�

이�경우�Default�Answer�블록�기능을�활용하여�이전�대화�블록으로�잇는다.

2

55

45

5 파일럿�인터뷰를�통해�대화를�최적화한다

로직(분기점�관리),�표현(대화체),�인터랙션(대화의�자연스러움)�위주로��

플로우를�확인하고�피드백을�정리한다.

2

55

““

다시�입력하려고��하니�멈췄어요

•�로직의�경우

46

5 파일럿�인터뷰를�통해�대화를�최적화한다

로직(분기점�관리),�표현(대화체),�인터랙션(대화의�자연스러움)�위주로��

플로우를�확인하고�피드백을�정리한다.

2

55

““

직업�선택지�중에��주부가�없어요

•�로직의�경우

47

6 리서치를�진행한다

인터뷰�시작�및�진행방법을�포함한�가이드라인을�인터뷰이에게�제공한다�

경험하는�순간을�포착하기�위해,�일정한�시간�간격으로�질문을�푸시한다

2

5

48

FlowXO와�연동되어�있는�구글스프레드시트에서�객관식으로�받은�정보�위주로�기술�통계를�확인할�수�있

다�

7 수집된�인터뷰�응답을�분석한다2

49

챗봇�인터뷰,�이렇게�설계하면�더�좋다!

마치며:�챗봇�인터뷰�TIP

-�리서치�대상이나�인터뷰이가�highly�engaged�할�때�적합하다.

-�말풍선의�길이를�고려해�문장을�나누면�인터뷰이의�가독성을�높일�수�있다.

-�대화의�단계�사이에�전환이�있음을�알려주어�인터뷰이의�혼란을�줄인다.

-�응답자의�답변을�토대로�변수화한�후�다음�대화�반응에�넣으면�대화가�더�매끄러워진다.

-�프로젝트�복사본을�만들어�테스트하면�수정사항을�본�프로젝트에�반영하기�편하다.

1 인터뷰�스크립트를�작성한다

2 스크립트를�로직화한다

3 저작툴에�말풍선을�입력한다

4 인터뷰�결과�추출을�준비한다

5 파일럿�인터뷰를�통해�대화를�최적화한다

6 챗봇인터뷰를�진행한다

7 인터뷰�결과를�분석한다

-�메신저�페이지�관리자에서�실시간�인터뷰�진행�상황을�볼�수�있다.

-�자유형식으로�입력한�응답의�경우�메신저�화법의�특수성을�고려해�맥락과�뉘앙스를�파악한다.

50

T h a n k y o u

HCI-K 2017TUTORIAL

AI를�활용한�사용자�조사:�왓슨과�인터뷰�분석하기HCI KOREA 2017 TUTORIAL

2017. 1. 1. Tue. @UX Lab 409김민준, 김유정, 윤종묵

52

질적�데이터�분석은�사금을�골라내는�일

아주�넓은�강가에�서서�일일이�사금을�골라내는�것과�

인터뷰�분석�데이터에서�의미있는�결과를�도출하는�것은�본질적으로�다르지�않다�

우리는�많은�양에�압도당하고,�반복적인�분류�작업에�지치고,�결과에�대해서는�의심당하기도�한다

망망대해�같은�인터뷰�데이터�속에서�분석을�해내는�것은

사금을�골라내는�작업�만큼이나�지난한�과정이다

53

인공지능,�기성제품화�되다

전통적으로�질적�분석은�데이터를�늘어놓고�인간의�예리한�눈으로�하나씩�골라내는�작업�

오랜�시간이�걸리고,�많은�노고가�필요하다�

하지만�이제는�AI가�Off-the-shelf�서비스로�제공되는�시대�

인터뷰�분석에�기계의�빠른�손을�빌려,�우리의�눈을�대체해본다

원두를�볶고,�커피를�고르고,�끓이는�과정의�패키지화

이제는�마트�선반에서�커피믹스를�손쉽게�고르고�꺼내�쓸�수�있다

54

의도Intent를�읽어내는�Watson�Conversation

AI가�이제는�훈련을�통해�우리의�의도를�읽어낼�수�있다�

Watson�Conversation은�발화에�대해�숨겨진�의도를�훈련하면,��

비슷한�의도를�가진�다른�말을�골라낼�수�있다�

따라서,�왓슨으로�인터뷰를�분석하려면�’의도가�담긴�사용자의�말’을�획득하는�게�필수적이다

발화 반응

뭐�좀�추천해줘!

숨겨진�의도(intent)

“나�심심해”

“뭐�할�거�없나?”

“이거�다썼다”

“살�거�있는데”

영화볼래?

놀이공원�갈래?

쇼핑하러�가야해!마트에서�쇼핑할래?

백화점�둘러볼래?

왓슨에게�훈련(Training)시킨다

55

의도Intent를�읽어내는�Watson�Conversation

AI가�이제는�훈련을�통해�우리의�의도를�읽어낼�수�있다�

Watson�Conversation은�발화에�대해�숨겨진�의도를�훈련하면,��

비슷한�의도를�가진�다른�말을�골라낼�수�있다�

따라서,�왓슨으로�인터뷰를�분석하려면�’의도가�담긴�사용자의�말’을�획득하는�게�필수적이다

발화 반응

뭐�좀�추천해줘!

숨겨진�의도(intent)

“나�심심해”

“뭐�할�거�없나?”

“이거�다썼다”

“살�거�있는데”

영화볼래?

놀이공원�갈래?

쇼핑하러�가야해!마트에서�쇼핑할래?

백화점�둘러볼래?

“이제�뭐하지?” 분류

분류“나�필요한�거�있어”

56

RECIPE

1

2

3

의도가�담긴�발화�수집하기

번역:�임시방편

트레이닝셋�—�오픈코딩

4 트레이닝셋�—�의도(intent)�도출/코딩

5 왓슨�트레이닝(Training)

6 왓슨�솎아주기�—�On-The-Fly�Adjusting

7 결과�분석

57

1 의도가�담긴�발화�수집

분석에�용이한�표현을�수집하기�위해서는�의도가�잘�드러나야�한다��(인터뷰에서�질문을�이쪽으로�유도하는�것이�중요)

58

2 번역:�임시방편

구글�번역기를�사용합니다 tip:�구글�번역기를�직접�이용하거나��구글�시트의�=GOOGLETRANSLATE()�함수�이용

쓸만하죠?

59

3 트레이닝셋�—�오픈코딩

전체�코드의�10%만�코딩�하시면�됩니다�

인텐트를�뽑기위한�중간�단계로서의�—�발화에�대한�‘인수분해’�인텐트를�바로�뽑을�수도�있지만,�오픈코딩�및�인수분해는�뒤의�과정을�원활하게�해줍니다�

여러분의�인스타그램�#해쉬태그�실력을�마음껏�발휘해주세요

60

4 트레이닝셋�—�의도(intent)�도출/코딩

인수분해한�것들�중�공통되는�것�묶어내기�

1�의도�당�최소�5개�이상의�발화�포함�

다다익선,�but�편리함�—�성능�balancing

발화는�의도로�코딩

#오픈코딩 의도Intent

61

5 왓슨�트레이닝Training

인터뷰�데이터를��

[utterance,intent]�형식의��

csv�파일로�만들어서�import

62

6 왓슨�솎아주기�—�On-The-Fly�Adjusting

1

2

63

6

왓슨이�“모르겠어요”�라고�하면�

>>�다시�가르쳐주거나:�“왓슨아,�그거�#context_aware야”�

>>�새롭게�가르쳐주거나:�“새로�#summarize�인텐트를�만들어서�알려줘야겠다”

왓슨�솎아주기�—�On-The-Fly�Adjusting

64

7 결과�분석

잘못�풀린�실제�텍스트

잘풀린�실제�텍스트

트레이닝�텍스트

“광고나�소음�지나치게�큰�음악소리�등을�알아서�걸러주고�

듣고�싶은�소리만�명확하게�들을수�있게해주면�좋겠다"

“TV로�카톡�내용을�보고싶어

"

65

7 결과�분석

70개를�가지고 700개를�분석

센티멘트�분석

인텐트�코딩

컨피던스�분석

66

7 결과�분석

n�수:�총�두번째로�많은�VOC

“맞춤형”과�관련된�감정분석:���

1위�-�기쁨�joy�/�2위�-�슬픔�sad�

#맞춤형�의도�분류�대한�왓슨의�자신감:��

67.62%

맞춤형에�대한�요구사항이�많구

아마도�맞춤형은�이렇게�되면�더�좋겠다는��

것�때문에�기쁨의�감정도�있지만�

동시에�맞춤이�안되는�상황이�부정적으로�

나타나고�있는가보다

맞춤형에�대해서�말한�발화들은�대부분��

누가�봐도�‘그�의도’를�가진�말들인가보네.�

그러면�굉장히�강하고�뚜렷한�요구사항일�가능성…

67

RECIPE

1

2

3

의도가�담긴�발화�수집하기

번역:�임시방편

트레이닝셋�—�오픈코딩

4 트레이닝셋�—�의도(intent)�도출/코딩

5 왓슨�트레이닝(Training)

6 왓슨�솎아주기�—�On-The-Fly�Adjusting

7 결과�분석

- 인공지능이�잘하는�분석에�맞는�재료:� 발화를�모아야한다

- confidence�값은�참고용:�낮다고�무조건�틀린�것은�아니다�

��높은�것들은�그만큼�‘명확한�의도’

- 왓슨�한글서비스까지…�구글�번역기를�쓴다

- 전체의�10%�정도,�인수분해!�(6에서�조정)

- 표면적인�코딩�보다는�행동과�의도를�파악(광고가�싫다�vs.�스킵하기)�

- 인텐트는�서로�겹치지�않도록�- 최소�5개�이상;�다다익선

- 분석불가�예시에�대해�리뷰할�필요(빠진�코드가�있을�수�있음)�

- 유목별�중요도,�감정의�파악

HCI-K 2017TUTORIAL

THANK YOU

사용자경험�연구실

D-409, 145, Gwanggyo-ro, Suwon-si, Gyeonggi-do

짧은�의심�후�긴�맹신�그�pivoting�moment

재료

결과

본�레시피는�질적연구에서�인공지능�

사용의�가능성을�점검해�본�탐색�연

구이다.�몇�가지�레슨은�다음과�같다.

1.�레시피는�‘인간이�할�일’과�‘인공

지능이�할�일’로�나뉘어져�있다.�인공

지능이�모든�걸�다�해결해�줄�수는�

없다.�

2.�인공지능을�쓴다는�건�기존의�도

구들을�쓰는�것과�크게�다르다.�과정

과�단계를�조절할�수�없는�대신,�좋

은�재료�넣기와�기계를�얼마나�돌릴

지만�할�수�있다.�

3.�인공지능은�과정을�은닉(hidden)

한다.�과정에서�소외되면�사람은�결

과에�대해�판단하기�어렵다.�연구자

들은�짧은�의심�후�근거�없는�맹신의�

상태에�들어가게�된다.�hci연구자로

서�우리는�그�모멘트를�어떻게�디자

인�할�것인가?

출입금지�-�Do�not�cross�-�인공지능�-�Do�not�cross�-�출입금지

인공지능과의�협업이란�건…

ux.snu.ac.kr