All the News that’s Fit to Read: A Study of Social Annotations for News Reading

+ CHI 2013

-Chinmay Kullkarni & Ed Chi

/정다미

x 2013 fall

Author

• Ed H. Chi – Research Scientist at Google

– Research Area : HCI & Visualization, Data Mining, IR

– University of Minnesota

• Chinmay Kulkarni

– Ph. D. Student at Stanford University’s HCI Group

Introduction

온라인 뉴스 서비스 사용자들에게 소셜읽기 경험 제공

추천 알고리즘, 뉴스 전문업체의 추천, 지인 추천 등이 있고 공유 가능

Annotation이란? : 누가누가 읽었다, 추천한다에 대한 표시

annotation 종류에 따라 사용자의 ‘뉴스읽기’가 어떤 영향을 받을 것인가?

[Google News ‘Spotlight’] [New York Times] [Facebook ‘social reader’ & timeline]

Introduction

• 실험 2개 진행 – 로그아웃된 상태와 로그인 된 상태에서의 annotation에 대한 실험

– Annotation 타입에 따라 피실험자의 ‘뉴스 읽기’ 행동이 어떻게 달라지는가?

실험1 : 로그아웃 된 상태

‘non-personalized’ 낯선 사람, 컴퓨터 알고리즘, 허구의 신문업체의 Annotation의 영향력

실험2 : 로그인 된 상태

‘personalized’ 실제 피실험자의 친구들의 annotation의 영향력

Annotations as decision aids

• 검색과 같이 정보요구가 명확할 때, annotation 은 적절한 리소스를 결정하는데 도움을 줌 – 어떻게 annotation을 나타낼 것인가, 어떤 종류가 가장 유용할 것인가

– 전문가의 social annotation은 가장 큰 도움이 됨

• 정보요구가 특정하지 않을 때, annotations은 다르게 기능할 것 예) 뉴스추천 시스템

– 진실성, 중요도, 흥미도 등이 높은 기사를 찾기 위해 가장 핵심이 되는 cue를 사용

– 저널리스트는 지리정보, social proximity 등을, 일반 독자는 인기도를

– Annotation도 뉴스 선택에 중요한 cue가 될 수 있을까?

– 뉴스전문업체, 에디터, 컴퓨터에 의한 annotation은?

Annotations as persuasion

• Annotation은 사람들로 하여금 어떤 행동을 수행하도록 설득(persuade) 시킬 수 있을 것이다 – 자신과 반대의 사회적 의견에 마주했을 때, 자신의 선택을 변경하거나 새로운 행동을

수행하기도 함

– 그동안의 연구는 여러 형태의 annotation에 대해 다루지 않음

– annotation의 persuasion 외에 다른 이익을 무시함

ex) 단순히 설득력(persuasiveness)를 최대화 하면 좋은 컨텐츠를 알아보는데 도움을 주는 등의 순기능을 줄일 수 있음

Annotations as Social Presentation

• Social Presentation – 자신이 다른 사람들에게 어떻게 보이기를 원하는지를 반영해 특정 사회적 상황에서 자

신의 행동을 변화시킨다 (Goffman)

– 온라인 소셜 네트워크에서도 나타남

• Social presentation으로서의 social annotation – 읽기 행위를 공유하는 audience와 콘텐츠 종류에 따라 뉴스기사 읽기 행동에 변화

– 사용자가 어떤 뉴스를 읽었는지 기록되고, 공개적으로 공유될 때 읽기행위는 달라지게 될 것인가?

Goal

Non-personalized*의 뉴스기사들 중에서,

지인이 아닌 다른 무언가에 의한 annotation

이사람들의 뉴스읽기에 어떤 영향을 끼치는지 조사

*personalized : 사용자의 친구가 추천한 뉴스 기사를 바탕으로 맞춤형 뉴스목록 제공하는 것, non- 은 이러한 맞춤형 서비스를 제공하지 않는 것

Experiment 1

Procedure

• Particpants – Amazon’s Mechanical Turk(online crowdsourcing marketplace)을 통해 실험 진

행

– 영어 가능한 미국 거주민, 560명 (237 female)

• condition – 변인 1 : annotation 타입(non, computers, strangers, company)

– 변인 2 : recording 여부 (Present or Absent)

– 4x2 between-subjects design (피험자간설계)

Experiment 1

Setup and Procedure

4 개의 뉴스 페이지 제공

페이지당 6개의 뉴스기사 박스가 있음

피실험자에게 흥미로운 기사 클릭하게 함

News1 News2

News3 News4

News5 News5

Experiment 1

Setup and Procedure

– Recording : 피실험자가 뉴스 기사를 읽었다는 것을 나타내는 것.

피실험자에게는 다음 실험할 사람에게 그들의 이름이 나타날 것이라고 말해둠

– 모든 피실험자들에게 동일한 뉴스기사 셋트 제공 (구글 뉴스 사용)

Recording

낯선 회사명으로 annotation을 가짜로 꾸밈

Experiment 1

Result

• ANOVA 분석결과 – annotation condition에 따라 클릭된 기사 수에 유의미한 차이가 있었음 (X^2(3,

N=308) = 12.89, p <0.05)

* 252명 아무 기사도 클릭하지 않아 제외

• 사후 검정 결과 – Computer, company annotation는 더 많은 뉴스기사를 클릭 하게 함

(t300 = +2.03, p<0.05), (t300 = +1.93, p=0.05)

– 낯선사람의 annotation은 뉴스기사 클릭에 영향을 끼치지 않음 (t300 = -0.49, p>06)

– 레코딩 했을 때와 안했을 때 클릭된 기사 수에 유의미한 차이 없었음

– 단, Company annotation 있을 때, 레코딩을 하게되면 기사를 덜 클릭하게 된다 (t300=-2.46, p<0.05)

Experiment 1

Discussion

클릭 비율을 통해 사용자의 관심을 측정할 수 있음

-> 뉴스기사를 얼마나 클릭했느냐를 통해 특정 타입의 annotation이 얼마나 설득력 있는지(persuasive)를 측정함

레코딩 annotation의 persuasiveness를 감소시킴

-> 뉴스 읽기는 social presentation와 관련된 social activity로 볼 수 있음

Experiment 1

Goal

Personalized 뉴스 기사에서의

친구 annotation은

뉴스읽기에 어떤 영향을 미치는가?

1) decision aids : 개인화된 social annotations는 사람들이 좀더 재미있는 콘텐츠를 발견하고 선택하는데 도움을 주는가?

2) persuasion : 사람들은 친구로부터 추천 받은 뉴스기사를 더 잘 읽게 되는가?

Experiment 2

Participants

– N = 59, Google 직원(non-technical position)

– 피실험자 모집 : Google+ 최소 12개 이상의 news-like URL이 있는 사람

– 실험1 참여자와 공통 점 :

• 미국 거주자, 성별(여성 42% /39%), 나이 (중간값 30세/28세),

• 같은 종류의 뉴스기사 읽음

• 가까운 친구와 가족들과 뉴스 콘텐츠 공유

• social netwrok를 통해 흥미로운 기사 받아본다(매주마다 몇개씩)

– 실험 2 참여자만의 특징

• Technology 기사 좀 더 자주 봄,

• 더 자주 뉴스기사 공유(18%/ 29% ’at least once a day’),

• 직장 동료와 좀 더 기사 많이 공유(21%/58%)

Experiment 2

Procedure : Conditions and measures

– 피실험자들 흥미있는 기사 클릭하고, 그 기사에 대한 흥미정도 체크

– 독립변수

• Annotation type(없음, 친구, 낯선 사람)

• recording(you read this) 여부,

• personalized 여부

– 변수 combination

– 종속변수

• 실험참여자가 클릭한 뉴스기사 개수

• 각 기사별 흥미도 점수(1-5 리커트척도)

Experiment 2

Setup and Procedure

– annotation type별로 4 개의 뉴스 페이지 구성

– 페이지당 6개의 뉴스기사 박스가 있음

– 피실험자에게 흥미로운 기사 클릭하게 함 + 흥미도 체크 위젯

None+personalized

Friend+personalized

None+non-personlized

Stranger+non-personlized

News1 News2

News3 News4

News5 News5

None+personalized

Friend+personalized

None+non-personlized

Stranger+non-personlized

News1 News2

News3 News4

News5 News5

Recording 있음 Recording 없음

집단 A 집단 B

Experiment 2

Setup and Procedure

personalized contents

• 참여자의 구글플러스 friend들이 +1 한 기사들 보여줌

• Friend annotation은 친구 이름 보여줌

Non-personalized contents

• 구글 뉴스로부터 아무 기사 보여줌

• stranger annotation은 낯선이의 이름 보여줌

친구 or 낯선사람

Experiment 2

H1. Personalization annotation 없을 때, personalization은 ‘읽기’를 더 증가시킬 것이다

H2. Friend Annotations personalized 콘텐츠일 때, 친구의 annotation은 ‘뉴스 읽기’를 더 증가시킬 것이다

H3. Stranger Annotations non-personalized 콘텐츠일 때, 낯선이의 annotation은 ‘읽기’를 증가시킬 것이다

H4. Net effect personalization & friend annotation은 non-personalization & unannotation 보다 ‘뉴스읽기’를 더 증가시킬 것이다

H5. Recording 레코딩은 사람들의 ‘읽기’ 레벨을 감소시킬 것이다

H6. Recording interaction 레코딩은 annotation이나 personalization과 상호작용할 것이다

Hypotheses Experiment 2

Result

• H1. Personalization (with nonannotation) – personalization 이거나 non-personalization 이었을 때

클릭된 기사 수와 흥미도 점수에 유의미한 차이 없음

클릭(t(58) = 0.87, p>0.2), 흥미도(t(138) = -.0.36, p>0.5)

-> Personalization은 기사 읽기 행동에 영향을 끼치지 않는다

• H2. Friend Annotations (with personalization) – 친구 annotation이 있을 때가 없을 때보다 더 많은 기사를 클릭하고, 흥미도 점수도

높음

클릭(t(58) = 1.62, p = 0.05 (평균 2.16 > 1.98)

흥미도(t(138) = 3.96, p<0.01 (평균 3.61 > 3.11)

-> 친구 annotation은 개인화된 콘텐츠에서 사용자의 기사 읽기 행동을 증가시킨다

Experiment 2

Result

• H3. Stranger Annotations (with non-personaliztion) – 낯선 사람의 annotation은 annotation 없을 때보다는 뉴스 기사를 더 많이 클릭하게

함 (실험1과 반대)

– 흥미도는 더 떨어짐 (t(138) = -2.46, p<0.01)

• H4. Net effect – Personalized + friend annotation과

nonPersonalized + no annotation를 비교

-> Personalization and annotation 의 경우가 사람들이 더 기사를 많이 클릭하고, 기사에 대한 흥미도도 높다

Experiment 2

Result

• H5. Recording & H6 : Recording Interaction – Recording 했을 때와 안했을 때 클릭한 기사 수와 흥미도 에서 모두 유의미한 차이가

없었음

– 실험 1과(company annotation & recording은 효과 있었음 는 반대 결과

• Summary Personalized 콘텐츠에 친구 annotation이 있을 경우 전체적으로 뉴스 읽기에 대한 사용자 경험을 더 증진시킨다.

Experiment 2

Interviews

• Interviewee – 실험 2 참여했던 사람 중 8명 (남4, 여4)

• Method – Retrospective-think-aloud (RTA)

– 전화 통해 20분간, 실험 끝난지 2시간 안에 인터뷰

– 실험2 때 피면접자가 클릭한 기사 중 랜덤으로 하나 선택하여 보여줌

– 해당 기사에 대한 실험 당시의 condition도 함께 제시

Experiment 2

Interviews

• Annotators above a threshold of social proximity – 주어진 기사가 친구로부터 annotated 된 것을 알지만, 그 친구가 누구인지는 모름

“크리스탈이 추천해준 것은 대부분 읽을 것이다”

• Annotators with subject expertise – 특정 분야 전문가인 친구가 추천해준 기사이기 때문에 클릭했다

“Doug는 내 친구인데 만화가이다, 만약 Doug가 보는 카툰이라면 나도..”

• Annotations that provided context – Annotation은 뉴스 추천에 맥락을 더해준다

– 필라델피아에서 온 친구가 annotate했기 때문에 필라델피아의 새로운 열차에 대한 뉴스 봄

Experiment 2

Discussion

• Annotations as persuasion – 실험2에서 낯선 사람, 친구 annotation 모두 기사 더 많이 보게 함

(실험 1과는 반대)

-> 낯선사람과 별로 친하지 않은 지인을 확실히 구분하기 힘듦

• Annotation for engagement – 실험2에서 낯선사람의 annotation이 뉴스 흥미도는 오히려 떨어뜨림

-> 낯선사람이나 친구 모두 비슷한 설득력을 가질지라도, 낯선 사람은 동질성(homophily)*이 부족하기 때문에 흥미도 증가 못시킴

– 동질성(homophily)는 친구의 annotation에 추가적인 맥락을 부여

* Homophily : i.e. ‘love of the same’, 비슷한 사람들과 묶이고자 하는 경향

Discussion

• Annotation as social presentation – 실험1과 실험2에서 서로 모순된 결과 나옴

-> 좀 더 연구 필요

• Annotations and recommendations – 친구추천이나 top 헤드라인 등 추천이 이루어지는 방식이나, 드러내는 방식이 ‘뉴스읽

기’ 행위에 영향을 끼침

• Limitation – Annotation 영향력에 관한 첫 연구

-> 후속 연구는 미묘한 effect 더 잘 잡아낼 수 있을 것

Conclusion

– Social annotation은 persuasiveness의 정도나 사용자의 참여도를 변화시키는 능력 등이 다양함

-> 로그아웃 상태에서 업체 annotation이, 로그인 상태에서는 친구 annotation이 persuasive 함. 얼마나 친밀하냐도 중요

– Annotation은 social presence에 의해서 annotated 콘텐츠에 맥락을 부여함으로써 콘텐츠를 더 재미있게 만듦

– 뉴스 읽기에 대한 Social annotations에 대한 첫 논문

– ‘뉴스읽기’행위에 영향을 끼치는 세세한 부분에 대한 향후 연구와 추천시스템 디자인에 도움을 줄 수 있을 것

Discussion

1. 주로 뉴스기사를 보는 곳은? (포털? 페이스북?)

2. 뉴스 공유를 자주 하는지, 그렇다면 어떤 종류의 뉴스를 공유 하는지

3. 어떤 뉴스기사를 읽을 것인지에 대한 판단 기준은 무엇인지 (유명한 사람이 추천했다, 댓글이 많이 달렸다 등)