인터넷정치연구소개(25 nov2009)행정대학원2009년12월3일강의

50
인인인 인인인인인인 인인인인 인인인 인인인인인 인인인인인인 인인 인인 인인인인인 ( 인인인 ) 인인 WCU 인인인인인인 인인인인 [email protected] http://www.hanpark.net http://english-webometrics.yu.ac.kr

Upload: han-woo-park

Post on 22-Apr-2015

1.343 views

Category:

Education


0 download

DESCRIPTION

영남대 행정대학원 최고위정책과정 특강 (2009년 12월3일 강의

TRANSCRIPT

Page 1: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

인터넷 정치캠페인의 지형분석

박한우영남대학교 언론정보학과 교수

미국 뉴욕주립대 ( 버팔로 ) 박사WCU 웹보메트릭스 연구단장

[email protected]://www.hanpark.net

http://english-webometrics.yu.ac.kr

Page 2: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

WCU (World Class University)

WCU 는 World Class University 의 약자로 , 핵심적 성장분야에서 학술 프로그램을 구축하고 세계적 석학을 초빙하는 정부로부터 재정적 지원을 받는 <세계수준연구중심대학 > 프로그램 입니다 .

* WCU ?

영남대학교 웹보메트릭스 사업단은 한국에서 광범위한 웹 2.0 플랫폼의 전반에 걸친 네트워크화된 정치 캠페인의 효율성을 확인 , 관찰하며 분석합니다 . 이번 프로젝트의 목표는 하이퍼링크와 웹 분야의 분석 방법을 확대하여 웹 2.0 환경에 맞추는 일입니다 .

* 웹보메트릭스 사업단

Page 3: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

1. 웹 2.0 & 한국 정치 2. 사회과학에서의 e- 리서치

* 웹보메트릭스 사업단의 연구 분야

WCU (World Class University)

Page 4: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

userDemand

producerSupply

userDemand

producerSupply

측정대상측정대상

피쳐링크피쳐링크

이용패턴이용패턴

하이브리드하이

브리드

인터넷의 정치적 활동에 대한 측정

Page 5: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

최근 연구결과부터

Page 6: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

실시간 인터넷이슈 추적도구개발

Page 7: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

2009 년 10 월 28 일 재보선

- 결과 정확히 예측

Page 8: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

박찬숙 이찬열 안동섭 윤준영

33,106

38,187

5,570

716

NAVER 실시간 블로그스피어 모니터링(10.28 재보궐 선거를 중심으로 )

수원시 장안구

선거 결과추세분

후보별

평균

0

50

100

150

200

250

300

350

박찬숙 후보

이찬열 후보

안동섭 후보

윤준영 후보

Page 9: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

안산시 상록구

0

50

100

150

200

250

300

350

400

450

500 송진섭 후보

김영환 후보

장경우 후보

김석균 후보

윤문원 후보

이영호 후보

임종인 후보

송진섭 김영환 장경우 김석균 윤문원 이영호 임종인

11,420

14,176

1,145 896 439 987

5,363

선거 결과추세분

후보별

평균

NAVER 실시간 블로그스피어 모니터링(10.28 재보궐 선거를 중심으로 )

Page 10: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

강원도 강릉시

선거 결과추세분

후보별

평균

0

20

40

60

80

100

120

140

권성동 후보

홍재경 후보

송영철 후보

심기섭 후보

권성동 홍재경 송영철 심기섭

29,010

2,100

19,867

6,054

NAVER 실시간 블로그스피어 모니터링(10.28 재보궐 선거를 중심으로 )

Page 11: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

경대수 정범구 정원헌 박기수 이태희 김경회

19,427

29,120

3,071 2,125504

14,218

충청북도 4 개군 ( 증평군 , 진천군 , 괴산군 , 음성군 )

선거 결과추세분

후보별

평균

0

50

100

150

200

250

300경대수 후보

정범구 후보

정원헌 후보

박기수 후보

이태희 후보

김경회 후보

NAVER 실시간 블로그스피어 모니터링(10.28 재보궐 선거를 중심으로 )

Page 12: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

박희태 송인배 박승흡 김상걸 김양수 김용구 김진명 유재명

16,59715,577

1,550900

5,875

234 325

2,710

경상남도 양산시

선거 결과추세분

후보별

평균

0

50

100

150

200

250

300

350

400

450박희태 후보송인배 후보박승흡 후보김상걸 후보김양수 후보김용구 후보김진명 후보유재명 후보

NAVER 실시간 블로그스피어 모니터링(10.28 재보궐 선거를 중심으로 )

Page 13: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

How to use the data from WeboNaver

Web-mentions of ten Korean MPs on Naver during September 2009

Page 14: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의
Page 15: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

Data : 3/Sep/2009 ~27/Sep/2009, 25 times

Query : 이명박 , 신종플루 , 신종인플루엔자 신종 인플루엔자

• Social issues: President Myung-Bak Lee, Swine flu

Website

Knowledge-In( 지식인 ) VS Naver Scholar( 전문지식 )

Page 16: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

싸이월드 미니홈피 분석하기

Page 17: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

싸이월드 공개 데이터 수집 및 분석Java-based software tool that, given the URL of a politician on Cyworld, extracts comments given by citizens along with related profile attributes.

The stored data, which can amount to thousands of records, is stored in a suitable format for import into statistical software

Page 18: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

①②③

미니홈피의 활동성 지수

성별

이름

Geun-Hye Park’s mini-hompy

방문자 수

Page 19: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

IP 주소

Cyworld-IP screen capture

Seong-Min Yoo’s mini-hompy

Page 20: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

IP 주소를 활용한 방문자 위치 추적

One example of possible uses for the collected data is to determine the region of posters commenting from Korea

Page 21: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

The country of origin of those users commenting from outside Korea is also possible

IP 주소를 활용한 방문자 위치 추적

Page 22: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

싸이월드 지수별 상위 10 위 18 대 국회의원 명단

Cyworld Comments

Visitor counts

Bookmarked by Others

Scraped Posting Active Score

Famous Score

Friendly Score

Kyoeng-Won Na Geun-Hye Park Geun-Hye Park Geun-Hye Park Geun-Hye Park Geun-Hye Park Geun-Hye Park

Geun-Hye Park Hoi-Chang Lee Jung-Wook

Hong Guk-Hyun

Moon Kyoeng-Won

NaKyoeng-Won

NaGuk-Hyun

Moon

Hoi-Chang Lee Kyung-Won Na Guk-Hyun

Moon Jung-Wook

Hong Dong-Yong

ChungDong-Young

JungDong-Young

Jung

Kyeong-Tae JoDong-Young

JungDong-Young

Jung Hoi-Chang Lee Soo-hee Jin Guk-Hyun

Moon Kyoeng-Won

Na

Dong-Yong Chung

Guk-Hyun Moon

Kyoeng-Won Na

Dong-Yong Chung

Hee-Ryong Won Woon-Tae Kang Gi-Gab Kang

Kook-Hyn Moon

Jung-Wook Hong Hoi-Chang Lee

Kyoeng-Won Na Hong-jun An Kyung-Tae Cho

Hee-Ryong Won

Gi-Gab Kang Woon-Tae Kang Hee-Ryong

Won Eul-Dong Kim Jin-ha Hwang Hee-Ryong

Won Mong-Jun

Chung

Sook-Mi Son Kyung-Tae Cho Mong-Jun

Chung Sun-Kyo Han Jae-chul Sim Eul-Dong Kim Jae-chul Sim

Mong-Jun Chung

Hee-Ryong Won Eul-Dong Kim

Mong-Jun Chung Woon-tae Kang

Mong-Jun Chung Sun-Kyo Han

Jeong-Wook Hong Eul-Dong Kim Sun-Kyo Han Gi-Gab Kang Sun-Kyo Han Jun-pyo Hong Jun-pyo Hong

Captured on 19th June, 2009

*Female: Red, Male: Blue, Ruling party: italic

Page 23: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

Correlations

Web

visibility

Visitor

Count

Book

marked

Scraped

Postings

Active

Score

Famous

Score

Friendly

Score

Web

visibility

Pearson Correlation 1 .814** .787** .783** .793** .812** .824**

Sig. (2-tailed) .000 .000 .000 .000 .000 .000

N 88 88 88 88 74 76 74

Visitor

Count

Pearson Correlation .814** 1 .990** .988** .989** .999** .935**

Sig. (2-tailed) .000 .000 .000 .000 .000 .000

N 88 90 90 90 75 77 75

Book

marked

Pearson Correlation .787** .990** 1 .998** .996** .999** .924**

Sig. (2-tailed) .000 .000 .000 .000 .000 .000

N 88 90 90 90 75 77 75

Scraped

Postings

Pearson Correlation .783** .988** .998** 1 .998** .995** .914**

Sig. (2-tailed) .000 .000 .000 .000 .000 .000

N 88 90 90 90 75 77 75

Active

Score

Pearson Correlation .793** .989** .996** .998** 1 .994** .921**

Sig. (2-tailed) .000 .000 .000 .000 .000 .000

N 74 75 75 75 75 75 74

Famous

Score

Pearson Correlation .812** .999** .999** .995** .994** 1 .925**

Sig. (2-tailed) .000 .000 .000 .000 .000 .000

N 76 77 77 77 75 77 75

Friendly

Score

Pearson Correlation .824** .935** .924** .914** .921** .925** 1

Sig. (2-tailed) .000 .000 .000 .000 .000 .000

N 74 75 75 75 74 75 75

**. Correlation is significant at the 0.01 level (2-tailed).

Page 24: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

Correlations

Web

visibility

Visitor

Count

Book

marked

Scraped

Postings

Active

Score

Famous

Score

Friendly

Score

Spearman Web

visibility

Correlation Coefficient 1.000 .303** .461** .307** .076 .320** .327**

Sig. (2-tailed) . .004 .000 .004 .517 .005 .004

N 88 88 88 88 74 76 74

Visitor

Count

Correlation Coefficient .303** 1.000 .875** .833** .573** .997** .921**

Sig. (2-tailed) .004 . .000 .000 .000 .000 .000

N 88 90 90 90 75 77 75

Book

marked

Correlation Coefficient .461** .875** 1.000 .838** .484** .902** .871**

Sig. (2-tailed) .000 .000 . .000 .000 .000 .000

N 88 90 90 90 75 77 75

Scraped

Postings

Correlation Coefficient .307** .833** .838** 1.000 .626** .843** .791**

Sig. (2-tailed) .004 .000 .000 . .000 .000 .000

N 88 90 90 90 75 77 75

Active

Score

Correlation Coefficient .076 .573** .484** .626** 1.000 .586** .519**

Sig. (2-tailed) .517 .000 .000 .000 . .000 .000

N 74 75 75 75 75 75 74

Famous

Score

Correlation Coefficient .320** .997** .902** .843** .586** 1.000 .929**

Sig. (2-tailed) .005 .000 .000 .000 .000 . .000

N 76 77 77 77 75 77 75

Friendly

Score

Correlation Coefficient .327** .921** .871** .791** .519** .929** 1.000

Sig. (2-tailed) .004 .000 .000 .000 .000 .000 .

N 74 75 75 75 74 75 75

**. Correlation is significant at the 0.01 level (2-tailed).

Page 25: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

국회의원 남자 여자 모름 합계

나경원 (Kyeong-Won Na) 10547 6611 2288 19446

박근혜 (Geun-Hye Park) 10086 7199 1651 18936

이회창 (Hoi-Chang Lee) 8970 6284 2380 17634

조경태 (Kyeong-Tae Cho) 2889 2412 11101 16402

정동영 (Dong-Yong Chung)

4872 4430 981 10283

문국현 (Kook-Hyn Moon) 3104 4229 711 8044

강기갑 (Gi-Gap Kang) 1405 1065 3997 6467

손숙미 (Sook-Mi Son) 1634 771 586 2991

정몽준 (Mong-Jun Chung) 1146 409 842 2397

홍정욱 (Jeong-Wook Hong)

913 753 126 1792

방명록 메시지가 가장 많은 18 대 국회의원 10 명 (2008 년 4 월 ~2009 년 6 월 )

Page 26: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의
Page 27: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

South Koreans fearing 'mad cow disease' fight US beef imports in May and June 2008

Page 28: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

08 년 4 월부터 09 년 6 월까지 나경원의원 ( 한나라당 ) 의 ‘싸이월드 미니 홈페이지’ 방명록에 오른 글이 제 18 대 국회의원 가운데 가장 많음 .

원인 분석 ① 미모의 여성정치인으로서 온라인 / 오프라인에서 인기가 많음 ② 누리꾼의 ‘미국산 쇠고기 수입 관련 비난 · 질책’도 있음 지난해 6 월 5 일 나의원이 ‘ MBC TV 100 분 토론’에서 쇠고기 수입과 관련한 태도와 발언이 이슈가 됨

전자신문 [2009 - 8 - 18] 연구결과 보도됨

인터넷 정치 사례국회의원 싸이홈피 방명록 글

Page 29: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

■ 조경태 의원 사례

조경태 의원의 미니 홈페이지 방명록 글 수가 08 년 5 월에만 1 만 2387 건이나 오른 사례가 있음 . ( 긍정적 반응 99%)

원인분석: 조 의원이 지난해 5 월 7 일 쇠고기 청문회에서 정운천 옛 농림수산식품부 장관에게 논리적으로 책임을 물음 .

인터넷 정치 사례국회의원 싸이홈피 방명록 글

Page 30: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

조경태 (5 월 ) 와 나경원 (6 월 ) 미니홈피 내용분석

Date Total Irrelevant

Related in issue on American beef

Positive Negative

June, 2008 9935 2309 23.24% 378 3.80% 7248 72.95%

<Comments on Kyeong-Won Na’s mini-hompy>

Date Total IrrelevantRelated in Issue on American beefPositive Negative

7th May, 08 7,545 23 0.30% 7,514 99.59% 8 0.11%

8th May, 08 2,744 6 0.22% 2,734 99.64% 4 0.15%9th May, 08 826 2 0.24% 818 99.03% 6 0.73%

Total 11,115 31 0.28% 11,066 99.56% 18 0.16%

<Comments on Kyeong-Tae Jo’s mini-hompy>

Page 31: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

나경원의원 , 조경태의원 두 사례는 ..

사회적 이슈에 대한 정치인들의 입장이나 발언이 시민을 통해 인터넷에서 재생산되고 확대 되는 과정을 보여줌 .

정치인들의 평판과 이미지 , 잠재적인 지지율까지 좌우할 수 있음을 보여줌 .

인터넷 정치 사례국회의원 싸이홈피 방명록 글

Page 32: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

1. 감정 분석

* 10 명의 한국 국회의원에게 남겨진 코멘트 200개를

무작위 추출 . 총 200 개* 코멘트는 ‘긍정적 , 부정적 , 관련 없음’으로 분류 .

(1) 긍정적 메시지 : 국회의원에게 존경 , 지지 , 심리적 유대감을 나타냄 . 예의바른 단어로 정책을 제안함 .

(2) 부정적 메시지 : 적대적이거나 국회의원에 대한 비판 , 비난 , 욕설을 포함하는 코멘트 .

(3) 관련없는 메시지 : 국회의원과 관련이 없거나 정책과 관련이 없는 코멘트 . 정치에 대한 일반적인 의견이나 스팸 .

18 대 국회의원의 미니홈피 방명록 정서분석

Page 33: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

• Number of labels by category

Mong-jun Chung Dong-yong Chung Geun-Hye Park Hoi-chang Lee Kyeong-tae Cho J eong-wook Hong Kyeung-won Na Sook-mi Son Kook-hyn Moon Gi-gap Kang

Positive 62 105 99 107 160 141 29 1 138 166

Negative 84 1 10 2 3 20 113 170 3 2

Irrelevant 47 94 85 91 37 34 49 23 57 31

The number of all corder disagreement 7 0 6 0 0 5 9 6 2 1Sum 193 200 194 200 200 195 191 194 198 199

Positive Negative Irrelevant

F 19 20 15

M 43 64 32

F 0 46

M 52 1 48

F 38 6 39

M 61 4 46

F 47 1 31

M 60 1 60

F 79 1 10

M 81 2 27

F 78 9 13

M 63 11 21

F 10 54 23

M 19 59 26

F 0 68 6

M 1 102 17

F 82 1 39

M 56 2 18

F 82 0 8

M 84 2 23

Kyeung-won Na

Sook-mi Son

Kook-hyn Moon

Gi-gap Kang

Mong-jun Chung

Dong-yong Chung

Geun-Hye Park

Hoi-chang Lee

Kyeong-tae Cho

Jeong-wook Hong

Page 34: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

18 대 국회의원의 미니홈피 방명록 정서분석

Page 35: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

The Result of Sentimental Analysis

32%

53% 51% 54%

80%72%

15%

1%

70%

83%

44% 1% 5% 1%

2%10%

59% 88%

2%

1%24%

47% 44% 46%

19% 17%26%

12%

29%

16%

Irrelevant

Negative

Positive

18 대 국회의원의 미니홈피 방명록 정서분석

Page 36: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

n = 650n = 756

남자와 여자 방문자는 차이가 있을까 ?

Page 37: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

Sentimental Analysis of Korean Politicians’ Cyworld mini-hompy

Chi-square = 11.472, df = 1, p<.01, two-tailed

The results indicates a significant relationship between gender and online comments.

GenderTotal

Male Female

Com-ments

Positive 509 491 1000

Negative 247 159 406

Total 756 650 1406

Page 38: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

남자와 여자 방문자는 차이가 있을까 ?

Page 39: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

남자와 여자 방문자는 차이가 있을까 ?

Page 40: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

우호적 방문자 VS 적대적 방문자

Positive comments Negative comments

• 안녕하세요 ^^ 힘내시고요 . 화이팅 !! • 존경해요 !!!!!!!!!!! • 의원님 너무 멋지십니다 ^^• 멋지십니다 !! 최고 !!^^ • 사랑하는 의원님 ! 오늘하루도 힘내세요 ! • 응원합니다 . ^0^ • 힘내세요 당신을 믿습니다 .^^ • 당선 축하드립니다 ^^ 정말 멋지신 분 ! • 감사합니다 . 사랑합니다♡ • 쏘핫 .. 머싯쓰세영ㅋ 저흰일촌 ..♡ ㅋㅋ

• XX 야 ! 쌍판 내밀지 마라 ! 토나온다 • 역겨워 ..• 창피한 줄 아세요 • 대가리 먹물깨나 든거 같은데 헛지랄했구나• 그대가 짱먹으세요 빈정대기짱 말꼬리잡기짱 • 우즈 플리즈 !닥쳐줄래 ??? 실실 쪼개지도 말고 가만있어 ! • 니들은 짖어라 그거군 ㅋㅋㅋㅋ 인간부터 되시오 X 양 !• 그저 웃긴다 참나

Page 41: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

* Top 10 Words per each politician

positive

negative

center

male

female

Page 42: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

*Occurred at least 10 times among the Top politicians

positive

negative

center

male

female

Page 43: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

* Occurred at least 15 times among the Top politicians

positive

negative

center

male

female

Page 44: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

인터넷에서뜨려면 웃는 사진을 올려라 !

Page 45: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

홈페이지에 업로드 된 사진에 포함된 얼굴 표정무표정 / 찡그린 얼굴 / 웃는 얼굴로 분류

18 대 국회의원 홈페이지에 나타난 얼굴표정 분석- 첫번째 페이지에 포함된 이미지만 분석

Page 46: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

Types Content

Smiling face Turning up the corners of the mouth, usually showing their teeth;

an upward curving of the corners of the mouth, revealing pleasure,

happiness, or amusement; a downward curving of the corners of

the eyes, expressing moderate joy.

Frowning face Wrinkling of the brow, showing displeasure, anger, unrest, disap-

proval, and tiredness; a downward curving of the corners of the

mouth; staring at something with anger, discontent, or unkindness.

No-expression No movement around mouth, eyes, or brow, revealing no emo-

tional information.

Online Image content analysis of Web 2.0 politics

Page 47: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

유형 찡그린

표정

무표정 웃는

표정

빈도

(백분

율 )

154

(8.20)

471

(25.07

)

1,254

(66.74)

1,879

(100.0

0)

18 대 국회의원 홈페이지에 나타난 얼굴표정 분석- 첫번째 페이지에 포함된 이미지만 분석

Page 48: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

흥미로운 연구결과

웃는 얼굴이 많은 국회의원은 네이버 검색결과에서 더 자주 노출됨 : 가시성 높음 야당의원이 찡그린 /무표정 상대적으로 많음여당의원들은 웃는 표정이 상대적으로 많음다선 의원일수록 더 많이 웃고 있음다선은 동일 연령대보다 더 자주 웃고 있음서울 및 수도권 의원들이 더 자주 웃음

Page 49: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

18 대 국회의원 홈페이지에 나타난 얼굴표정 분석- 프론트페이지뿐만 아나라 홈페이지 전체분석한 10 명

■ 10 명 무작위 선정-현재 전체 국회의원 분석중

Page 50: 인터넷정치연구소개(25 Nov2009)행정대학원2009년12월3일강의

Thank you

for listening.