a study for emotion search, inference, technology, service based on context awareness

상황인식 기반의 감성 검색 및 추론 기술과 서비스에 관한 연구[A study for emotion search, inference, technology,

service based on context awareness]

2009. 11. 06. 16:10-16:40(15-20 분 발표 , 10-15 분 질의응답 )

세종대학교 정보통신공학과 사업단 소속 공학박사 강장묵 ([email protected])

발표장소 : 중앙고등학교 내 인문학 박물관행사 주관 : 한국학중앙연구원 현대한국연구소

Blog : http://blog.ohmynews.com/UCnam/category/10203Blog : http://blog.ohmynews.com/UCnam/category/10203Blog : http://blog.ohmynews.com/UCnam/category/10203Blog : http://blog.ohmynews.com/UCnam/category/10203

Kang, Jang Mook

[email protected]@gmail.com

November. 2009.

Kang, Jang Mook

[email protected]@gmail.com

November. 2009.

1. A brief overview

2. Technology

3. CASE STUDY

4. Service

5. Interdisciplinary study and research

6. Q&A

Contents

The Twittersphere

Say hello in 140 characters

생각해보기 감성 방송 ?

http://applicant.com/twitter-guide ( 사이트방문 :2009.10.)

- 1 -

개요

상황인식기반의 유비쿼터스 컴퓨팅은 웹에 흩어진 정보를 실생활에 침투시키는 퍼베이시브 컴퓨팅과 USN 으로 구현된다 . 소프트웨어적으로는 XML, AJAX 등으로 웹은 보다 구조화된 언어로 표현된다 . 특히 개체 간의 관계와 표준화된 어휘의 구축은 시맨틱한 추론과 예측이 가능하다 . 따라서 웹에서 수렴된 감성 기반의 어휘 검색 및 추론이 가능하다 . 특히 웹에 수렴된 감성 정보를 다시 실생활에 침투시키는 기술 및 서비스는 킬러 어플리케이션이 될 전망이다 . 이를 위해 상황인식 기반의 감성정보에 대한 정의 , 분류를 가능하게 하는 OWL 과 SVM 과 같은 방법론을 기술한다 . 사례 연구로 특허를 분석함으로 실생활에 구현될 수 있는 감성 맥락의 서비스와 기술을 고찰한다 . 이 글은 미시적 감성의 상호작용을 분석하는 방법론과 메커니즘을 이용하여 거시적 수준의 감성 서비스 즉 집단의 감성을 추론하거나 예측하는 방법과 절차에 대하여 고찰하고 이를 감성 정보의 검색 , 처리 , 추론의 과정별로 구분하여 연구한다 .

( 그림 1) 상황인지 개념도

- 2 -

Sensor Sensation

Perception

Description

Stimulus SituationhasPart

triggers

hasInput

hasOutput

describes

Emergent Emotion

Emotion Expression System

hasOutput

hasInput

hasInput

hasOutput

Memorystores

uses

Interface

( 그림 2) 정보 처리 시스템과 감성

- 3 -

인용 :Juan Miguel López, Rosa Gil, Roberto García, Idoia Cearreta, Nestor Garay, “Towards an Ontology for Describing Emotions,” 1st World Summit of the Knowledge Society, p. 99, 2008.09., http://www.slideshare.net/rogargon/towards-an-ontology-for-describing-emotions-presentation( 사이트방문 :2009.10.)

- 4 -

( 그림 3) 로버트 플러치크의 3 차원적 감성지도

( 그림 4) 감성과 인식

인용 :trevor, Emotion, Arousal, Attention and Flow: Chaining Emotional States to Improve Human Computer Interaction, http://www.slideshare.net/trevor.vangorp/emotion-arousal-attention-and-flow-chaining-emotional-states-to-improve-human-computer-interaction( 사이트방문 :2009.10.) - 5 -

dul:Action

Behavioural

Psychophysiological

Hearing

dul:Event

EmergentEmotion

Stimulus

dul:Process

dul:PhysicalObject

dul:PhysicalAgent

Sensor

dul:PhysicalBody

dul:PhysicalArtifact

Touch

SocialContext dul:Situation

BiologicalSensor Sense

Verbal

DiscreteStimulus

dul:Description ofntb:Frame

Taste

Gestural

Sight

Smell

Sensation

ArtificialSensor

EmotionExpressionSystem

Perception

PersonalContextInterface

Speech

Facial

EnvironmentalContext

ContinuousStimulus

Memory

dul:BiologicalObject

dul:SocialObject

( 그림 5) 감성의 온톨로지

인용 :Juan Miguel López, Rosa Gil, Roberto García, Idoia Cearreta, Nestor Garay, “Towards an Ontology for Describing Emotions,” 1st World Summit of the Knowledge Society, pp.101, 2008.09. - 6 -

( 그림 6)레이어 별 정보의 계층적 분류

인용 :Francisco J. Martínez Ruiz, Jean Vanderdonckt and Jaime Muñoz Arteaga, “Context-aware Generation of User Interface Containers for Mobile devices,” The Mexican International Conference on Computer Science ENC 2008, http://www.slideshare.net/jeanvdd/contextaware-generation-of-user-interface-containers-for-a-mobile-device( 사이트방문 :2009.10.)- 7 -

( 그림 7) 추론을 위한 가중치 부여

인용 : Francisco J. Martínez Ruiz, Jean Vanderdonckt and Jaime Muñoz Arteaga, “Context-aware Generation of User Interface Containers for Mobile devices,” The Mexican International Conference on Computer Science ENC 2008, http://www.slideshare.net/jeanvdd/contextaware-generation-of-user-interface-containers-for-a-mobile-device( 사이트방문 :2009.10.)- 8 -

1. 감성기반 위젯의 특성2010 년 전후로 감성 기반의 킬러 상품 및 서비스가 필요

- 9 -

2. 연구개발과제의 개요 및 기대

휴대폰 기반 개인화 정보

위도 , 경도 , 시간 , 라이프스타일 ,

문자 등웹 플랫폼 연동

( 동의기반 )메타 정보

웹 기반Mash-Up 정보

구글 어스 ( 무료 지도 ),플리커 ( 무료 이미지 ),

네이버 Me2Day( 개인 일정 ),다음 지도 서비스

등을 휴대폰 기반 메타정보와

Mash-Up 하는시스템 개발( 집단의 경우

개인 식별 코드 삭제 )

감성 기반 위젯 개발

감성 지도 위젯 ,감성 안전 위젯

을 통한 개인화된

감성 휴대폰 위젯 및 서비스

- 가상공간과 현실공간을 매개하는 감성을 USN 기반의 센싱과 인터넷 기반의 웹 콘텐츠 분석으로 수집

- 개인의 적극적 참여에 의한 감성표현방식 ( 동의기반 ) 과 웹 등에서 수집된 자료 기반의 감성추론방식 ( 비동의 , 집단추론에만 활용 , 동의할 경우 개인화 서비스제공 )

집단 및 국가 감성 , 지역 및 거리감성 , 시간대별 및 주야 , 계절 감성 , 매체감성 , 이웃감성 ,거실 및 가정 감성 , 카페감성 등에 따라 변화하는 위젯 서비스 및 시스템 개발

- 10 -

사 례

- 11 -

1. 감성 기반 휴대폰 위젯 구성도

- 12 -

< 위젯화면 > < 위젯처리흐름도 >


< 위젯화면 > < 위젯처리흐름도 >

- 13 -


< 위젯화면 > < 위젯처리절차 >

- 14 -

- 15 -


< 감성기반 스마트폰 소프트웨어 구성도 >

5. 원천기술 : 계량화 과정 , 분석이론설계

기본 설계기본 설계

Online 리서치 설계


Offline 리서치 설계

Offline 리서치 설계 통계학자

와공학자 간 인터뷰

통계학자와공학자 간 인터뷰

Online 페이지 설계Online 페이지 설계

웹 페이지 레이아웃 설계


리서치 웹 페이지 구조 정의


Offline 인터뷰 설계Offline 인터뷰 설계

전문가 및 일반인

감정정보 리서치


감정정보 리서치 정성적 인터뷰

설계정성적 인터뷰

설계

정량적 인터뷰 설계


감성 DB 설계

표준감성형용사

통계분석 통계+

컴공

감성기반 분석이론 설계

감성콘텐츠 DB 설계

감성기반콘텐츠

메타 DB 설계웹 분석 이론 의미분석 설계

메타 DB 설계

관계 DB설계


웹설계

웹 분석 이론

네트워크이론

웹 분석학

학제간토의

의미분석설계

시소러스구조설계

의미검색기능

학제간토의- 16 -

6. 원천기술 : 계량화 과정 , 분석이론설계

기본 설계기본 설계



Offline 리서치 설계

Offline 리서치 설계 통계학자

와공학자 간 인터뷰

통계학자와공학자 간 인터뷰

Online 페이지 설계Online 페이지 설계





Offline 인터뷰 설계Offline 인터뷰 설계


감정정보 리서치


감정정보 리서치 정성적 인터뷰

설계정성적 인터뷰

설계



감성 DB 설계

표준감성형용사


컴공

감성기반 분석이론 설계

감성콘텐츠 DB 설계

감성기반콘텐츠

메타 DB 설계웹 분석 이론 의미분석 설계

메타 DB 설계

관계 DB설계


웹설계

웹 분석 이론

네트워크이론

웹 분석학

학제간토의

의미분석설계

시소러스구조설계

의미검색기능

학제간토의- 17 -

7. 원천 기술 : 알고리즘 개발 중

- 18 -

8. 관련 기술특허 현황 : 기술수준 및 경쟁력

콘텐츠 보상 시스템 및 방법출원번호 10-2008-0037278, 출원인 :( 주 ) 인스비젼아이넷 , 출원

일 :2008.04.22.

VideosVideosImagesImages

StatsStats

NewsNews

EventsEvents

Projects

Platform for interacting with content

BiosBios

Stories

UCCUCC

• Structured/controlled metadata– Categories & Relationships– Content Fields in the Structure

• Unstructured/ free form metadata– Tags– Ratings– Usage Data

광고효과의 동태적 추적

가능한 기술 및 방법

특허를 활용하여

감성정보의 동학적 진화와 경로를 추적하여

메타감성 데이터 및 개인화 서비스 구현

- 19 -

9. 관련 기술특허 현황 : 기술수준 및 경쟁력

감성정보 서비스 시스템 및 방법출원번호 :10-2009-0014087, 출원인 ( 주 ) 인스비젼아이넷 , 출원

일 :2009.02.19.

감성정보를 활용한 시스템 , 서비스 , 콘텐츠 제작 및 유통 기술 , 지능기반 감성 네트워크 등을 위한 Root 특허로서 향후 가지 특허 출원 및 관련 분야 연구에 기여 .보유 및 향후 기술 : 감성정보를 정의하고 감성정보를 테이블 형태의 바이너리 코드로 전화하여 on/off 환경에서 검색하여 가져올 수 있는 다양한 문서 포맷 및 태그 (tag) 식별 기술임 . 특히 감성정보를 서비스하는 전체 시스템의 구축과 상호작용에 대한 이해를 바탕으로 개인화된 감성정보 또는 집단화된 감성정보를 어떤 기술적 절차와 방법론으로 구현할지에 대한 개괄도와 사업 아이템을 보유 .

- 20 -

서비스 응용 사례

- 21 -

1. 감성 기반의 지도 서비스

- 22 -

이동통신사

구글 , 네이버 등 인터넷 콘텐츠 사업자 감성 맥락으로 시각화 처리

Mash-Up

Widget

기술개발 활용도 /파급효과

- 23 -

지역별 날씨 정보

지역별 사건 /사고

도로교통정보 감성 MetaDB

감성분류

RSS/XML

Parsing

콘텐츠서버

스마트폰 지역감성서비스

인터넷 상의 지역별 날씨 , 사건 /사고 , 교통 등 정보들을 RSS/XML 형태로 수신한 Raw 정보를 Parsing/ 분류하여 감성정보로 Meta 화 하고 , Meta 감성 정보와 지역의 지도정보와 Mapping하여 , 해당 지역의 위험도 , 상쾌함 , 도로의 편안함 등을 도식화하여 함께 표현

맵서버

E 12M 12

감성메타데이터

감성 기반 표현 사례( 지역감성 )

- 24 -

위젯화면 로그인 1 촌동선 검색 현재위치 /감성상태

감성 기반 표현 사례( 감성 1 촌 위치정보 )

- 25 -

감성 MetaDB

감성필터

메시와 쪽지등을 주고 받는 메신저 서버 사이와 SMS/MMS 를 전달 받은 MO(Mobile Originated)서버 사이에 감성필터를 두어 전달 되는 감성데이터를 수집 , 분류 하여 개인들의 감성 정보를 Meta data 화 하여 상대방에게 전달하여 개인 감성표현

메신저서버 메신저서버

메시지 , 쪽지

오늘 날씨도 꿀꿀한데 어떻게 지내니 저녁에 시간되면…

SMS, MMS

이통사SMS/MMS

MO 서버감성필터

개인감성데이터전달

감성 기반 표현 사례( 감성메신저 )

- 26 -

스마트 폰 경쟁력강화를 위한

일상화된 감성 서비스

- 27 -

감성 서비스 응용 사례 : Web2.0

• Web2.0 에서는 온라인 정체성으로서 ID 의 중요성이 증대되기에 FIDIS (Future of Identity in the Information Society) 의 Identity2.0 와 같은 프로젝트가 진행중 .

• 이 프로젝트에 의하면 개인을 주민번호로 식별하지 않으면서 , 웹에서의 특성을 효과적으로 인식할 수 있음 .

• 따라서 감성정보플랫폼 개발 시 아래 그림과 같이 응용하여 감성정보를 다양한 응용서비스에 mash-Up 하는 콘텐츠 판매 및 부가가치 사업 등이 가능함 .

- 28 -

기술의 시장 개척

감성서비스 응용사례 : 감성 기반 플리커 위젯

개요 : 웹 상의 지도로 표시된 특정 지점을 설정하여 여행기나 개인의 사진 , 상점 정보 등의 내용을 등록하고 , 전체 공개 또는 그룹 단위로 공유 가능

Benefit: 개인이 축적한 일상과 관련한 정보를 지도 상에 구현하고 공유하는 등 참여로 생성된 생생한 콘텐츠라는 정보적 가치와 추억을 공유한다는 감성적 가치를 가짐

Issue: 1) 여행기록 , 방문 레스토랑 정보 등 개인의 행동정보와 행동패턴정보 도출이 가능 2) 추억 기반 개인의 사진과 설명 태그 등과 같은 개인식별정보의 공유 3) 행동정보를 토대로 경제적 정보 등의 민감 정보 추론이 가능 4) 개인 행동패턴정보와 개인식별정보가 결합되어 , 오프라인에서의 로의 연계 및 집단 감성 도출 가능 5) 온 /오프라인을 관통하는 이미지 기반의 감성 플랫폼 설계 가능 6) 무료로 플리커 등의 ‘이번 달에는 2.8백만개의 사진에 위치태그가 등록되었습니다’ 고급 정보를 활용 가능

휴대폰과 이미지가 연동된 지도 서비스로 , 플리커를 이용하여 구현 + 감성값 부여 (Tag 형식 등 )

- 29 -


• SNS(Social Networking Service) 은

개인들의 성향과 특성을 분석하여 공통의 관심사를 기초로 서비스를 제공하여 온라인에서 관계 맺기와 인맥 확대에 크게 기여함 . 이러한 맞춤 서비스를 이용하기 위하여서는 다양한 감성을 공유 , 소셜네트워크란 감성의 공유를 통한 접점의 확대이기 때문 .

• 특히 , 최근 Facebook 이나 MySpace 의 상업화에 따라 제 3 자와 연계하여 맞춤형 광고를 제공하고자 하는 경향이 있음 . 감성정보가 활용될 수 있음 .

감성서비스 응용 사례 : 감성 기반 SNS

- 30 -


• 위치정보를 기반으로 한 부가서비스를 창출하는 위치기반서비스 (LBS) 는 GPS 와 달리 위치를 메타 태그로 활용하여 부가서비스를 창출하는 것을 의미함 . 예 ) 인터넷 지도 서비스 -구글의 지도서비스인 ‘스트리트 뷰 (Street view)‘, 내비게이션 , 친구 찾기 등이를 활용할 경우 , 감성 기반의 지도 서비스와 스마트폰 기반의 감성 지도 실시간 연동 서비스 가능

• 국내에서도 최근 잦은 강력범죄로 불안감이 높아지면서 가족 찾기 , 친구 찾기와 같은 서비스에 관심이 증가하고 있음 . 개인의 위치정보에 대한 축적데이터 , 지도데이터 그리고 지도 및 거리별 감성에 대한 표현은 지역별 시위 , 격한 감정 , 폭력 , 사건 사고 등을 기반으로 표식함으로 개인에게 안전을 보장하는 위젯 구현 가능• 마이스페이스 , LinkIn( 국내 ) 과 연계하여 위치 기반 친구의 분포를 파악하여 지도 위젯 개발

감성 서비스 응용 사례 : 위치기반서비스 (LBS)

- 31 -

감성정보

감성 기반스마트폰

- 위치기반 감성 -

서비스 이용전 /후의 감성- 변화하는 감성 -

특정 정치인및 사회 이슈별 감성 뉴스

- 특정시점 감성 -

감성지도 서비스

- 공간기반 감성 -

IP-TV 기반감성 플랫폼- 매체별 감성 -

사업장별감성조명

- 도메인별 감성 -건물의 감성조명에 관한

네트워크설계

- 감성조명의 통제 /관리 시스템 -

연구개발 기술의 응용 및 파급 효과

- 32 -

[email protected]

인용 및 참조된 문헌과 강의 내용에 대한 간략한 소개는 본 파워포인트 자료를 다운로드받은 후슬라이드 아래 요약 창에 기술되어 있습니다 .

연구와 강연에배경으로 통찰력과 지식을 주신

앞선 연구자의 노고에 감사드립니다 .

iQoncept, http://www.flickr.com/photos/37418570@N03/3976394233/sizes/o/ ( 사이트방문 :2009.10.)