Download - 시맨틱 소셜 네트워크 분석 사례 소개
2009.12.04 이 경 일 [email protected]
시맨틱 소셜 네트워크 분석
2
Communicating Knowledge
Linked World
3
Communicating Knowledge
Web
연결된 세상 : Web
4
Communicating Knowledge연결된 세상 : Brain
Brain
5
Communicating Knowledge
People
연결된 세상 : People
6
Communicating Knowledge
WordNet
연결된 세상 : Wordnet
7
Communicating Knowledge연결된 세상 : Mobile
8
Communicating Knowledge
Ontoloy
연결된 세상 : Ontology
9
Communicating Knowledge
Data
연결된 세상 : LOD
10
Communicating Knowledge
• 예기치 못한 일들이 한 순간에 폭발하는 세계…• Network + Message (Information) + Context
지식의 공유와 전파
11
Communicating Knowledge연결된 지식과 사람 그리고 통찰력
12
Communicating Knowledge오늘의 주제 : Semantic Social Network
Social NetworkInformational Network
Text Min-ing SNA
Semantic Social Network Analy-sis
13
Communicating KnowledgeSSNA Technology Stack
14
Communicating Knowledge시맨틱 네트워크 그리고 시맨틱 검색
15
Communicating Knowledge
휴대폰
휴대전화
모바일폰
동의어
터치폰 스마트폰
하위어
기업생산자
휴대단말기
하위어
전자제품
하위어
애니콜
O/S탑재
핸드폰
동의어
햅틱
사이언
브랜드
소유
제품
블랙잭
WinCE
LG
삼성
소유
소유
제품제품
탑재
시맨틱 네트워크 어떻게 만들 것인가 ?
이 복잡한 체계를 어떻게 구축 , 저장하지 ?
자동화 방법은 없을까 ????
16
Communicating Knowledge
삼성전자는 휴대폰
햅틱을 새롭게 출시를 하였다 . 햅틱은 풀 터치폰 기능을 가지고 있고 , 애니콜 브랜드 중 가장 고가의 제품이 될 것으로 보인다 .
삼성전자는 휴대폰
햅틱을 새롭게 출시를 하였다 . 햅틱은 풀 터치폰 기능을 가지고 있고 , 애니콜 브랜드 중 가장 고가의 제품이 될 것으로 보인다 .
삼성전자 휴대폰 햅틱 터치폰 애니콜
삼성전자
휴대폰
햅틱
터치폰
애니콜
핸드폰 시장에 새로운 바람이 불고 있다 .
특히 , 고가 핸드폰 중 햅틱과 iPhone 이 터치폰 이라는 새로운 기능으로 고객을 유혹한다 .
핸드폰 시장에 새로운 바람이 불고 있다 .
특히 , 고가 핸드폰 중 햅틱과 iPhone 이 터치폰 이라는 새로운 기능으로 고객을 유혹한다 .
핸드폰
핸드폰
삼성전자 휴대폰 햅틱 터치폰 애니콜 핸드폰
삼성전자 7 5 3 6 2
휴대폰 9 4 3 0
햅틱 5 4 2
터치폰 2 0
애니콜 0
핸드폰
휴대폰핸드폰
삼성전자
햅틱
애니콜
어휘 통계 활용 ( 공기 분석 )
17
Communicating Knowledge혹시 ‘뜻’도 구별 ?
보르도
프랑스
와인
포도
보르도
LCD
TV
삼성
18
Communicating Knowledge어휘 통계적 의미 분석 : LSA, PLSA
• Singular Value Decomposi-tion
{A}={U}{S}{V}T
• Dimension Reduction {~A}~={~U}{~S}
{~V}T
• Probabilistic LSA
LSA(Latent Semantic Analysis)PLSA(Probabilistic Latent Semantic Analysis)
방대한 매트릭스 계산 : 메모리와 시간 증분 문서에 대한 실시간 갱신 ? : T_T
19
Communicating Knowledge발전된 알고리즘 : TopicRank
특성 벡터 추출 / 색인 문서 집합 선정 : VSM
토픽 클러스터링
linear
systems
systems
constraintsdiophantine
equations
compatibility
natural numbers
Criteria
strict
inequations
nonstricttypes
solutions
components
Upperbounds
set
minimal construction
algorithms
토픽간의 네트워크 구성
Word Co-occurrence 분석
20
Communicating Knowledge용어의 개념과 관계를 이해
애니콜
햅틱사이언
블랙잭
WinCE
LG
삼성
휴대폰휴대전화
모바일폰동의어
터치폰 스마트폰
하위어
기업생산자
휴대단말기
하위어
전자제품
하위어
애니콜
O/S탑재
핸드폰
동의어
햅틱
사이언
브랜드
소유
제품
블랙잭
WinCE
LG
삼성
소유
소유
제품제품
탑재
개체명 / 관계 인식
21
Communicating Knowledge
Density, n-Clan, n-Clique
Degree, ClosenessBetweenness
Centrality
Shortest PathAlgorithms
vk : weighting of relation n : number of relations g : total number of en-tity
가족 , 동료 , 부서 , 동아리
gjk : j 와 k 사이에 존재하는 최단 경로 수gjk(i) : j 와 k 경로 중 i 를 경유하는 수 )
정보소통의중심 , 매개자
Dijkstra’s algorithm
O( | E | + | V | log | V | )
빨리 사람 찾기
이제 “사람들의 관계”를 연결하자
22
Communicating Knowledge
온톨로지
업무
인물
조직
제품
이벤트
장소
인물 – 주제 상관성 분석
23
Communicating Knowledge
^ ^ ^ ^
주제별 ( 개체별 )In-Degree / Out-Degree 분석
1
2
34 1 2
3
4^ ^
^ ^
23
주제별 중심성 판단
24
Communicating Knowledge
^ ^ ^ ^
주제별 ( 개체별 )주관적 / 객관적 지표 분석
주제별 업무 긴밀성 판단
25
Communicating Knowledge
Building and Manag-ing Social Network
Search and Discovery
Service En-abling
(Platform API)
Services and Appli-
cations
Collecting Social In-formation
e-Mail 학력 / 경력정보
블로그 / 뉴스실적정보
( 논문 / 특허 등 )
외부 DB 연동
PIMS 연동
웹 크롤링 수동 입력
LOD 연동모바일 연동
기본인력정보
사람 조직 지역 사건 서비스
관계 가치 분석 인지 가치 , 공유 가치 , 행위 가치
파편적 네트워크의 연결 온톨로지 추론을 통한 확장
개인 / 조직 인맥 개인 / 조직 활동력 개인 / 조직 영향력 개인 / 조직 정보 획득 능력
네트워크 및 하위 네트워크 발견 네트워크 중심성 네트워크 구속력 , 자율성 , 단결성 네트워크 계층 구조
OpenSocial API Semantic Social Networking API
Person Activity
Email Phone
Semantic Search & Discov-ery
Social Business
Dynamic Query based on SPARQL
Social Resource Provisioning APISocial Resource Collection Frame-
work
외부 SNS
Address Message
Organization …
Communication Services
Community Ser-vices
메신저 연동 이메일 자동 발송
Media ServicesIntegrated Per-sonal Identity
Mobile Media IPTV 등과 연계
Open ID based SSO
지역 기반 포털 연동 부산시 / 구 서비스
연동
통합 시스템의 구성
26
Communicating Knowledge
토픽 클러스터링 기술을 적용 , 웹에서 추출된 지식을 연결하고 , 그 연관관계를 밝힘으로 사용자에게 통찰력을 제공
사례 : 아울림 서비스
Powered by [IN2]Discovery & RDF
27
Communicating Knowledge
링크 : 분류명 ( 분류 체계 및 기타 관련 용어 )
①
※ 특정 특허 문서에 마우스 커서를 올려 놓으면 선택 특허에 대한 상세 정보 표시
①
사례 : LG 전자 특허 및 지식맵 분석
중심 특허
중심 특허
한국 , 일본 , 미국 ( 영어권 ) 의 특허 3000 만건을 분석하여 , 기술 주제 별 특허 맵을 자동 생성 , 연관 / 선행 특허를 자동 분석
Powered by [IN2]Discovery & RDF
28
Communicating Knowledge사례 : 삼성전자 신기술 센싱
KMS 운영 DB
미국특허 DB
KMS 첨부파일
분석모듈- Top N
- 추이분석
- 관계분석
분석결과 (
인덱스 )
각 분석대상의 update 부분만 선별하여 분석실행
분석결과 S-KMS 전송
인덱스 재구성
논문 DB
기술문서 DB
국내특허 DBDB변환XML 데이터
10 GB
80 GB
400 GB
100 GB
기술문서
논문
10 GB
결과 DB5 GB
삼성전자 KMS 의 비정형 정보과 특허 , 논문 등 외부의 비정형 정보를통합 분석하여 , 새로운 지식 , 기술을 발견하고 , 이를 분석하도록 지원
Powered by [IN2]Discovery & RDF
29
Communicating Knowledge사례 : 삼성전자 신기술 센싱
Powered by [IN2]Discovery & RDF
30
Communicating Knowledge
논문에 대해서 국가 , 기관 , 저자 등 분석 대상을 설정하고 ,
개체 간 존재하는 동시출현 패턴과 지식 네트워크를 분석
사례 : KISTI 학술 지식 네트워크 분석
Powered by [IN2]Discovery & RDF
31
Communicating Knowledge
e-mail 과 첨부 문서에 기반한 기반한 시맨틱 소셜 네트워크 및 지식 유통 구조분석 시스템
데이터정제
데이터요약
1차네트워크
구성
업무긴밀도 및 중심성 분석
주제별 관계성분석
시간대별 연결성 분석
Triple Store
Instantia-tor
Query & Reasoning
SOR API
2차네트워크
구성
쌈지
개체명추출
정보네트워크
사례 : Discovery 쌈지
Powered by [IN2]Discovery & OWL
32
Communicating Knowledge사례 : Discovery 쌈지
Powered by [IN2]Discovery & OWL
33
Communicating Knowledge사례 : 부산지식네트워크 (BKM-net)
“ 창조적 지식 도시 부산” 달성 위해 , 신뢰도 높은 시맨틱 소셜 네트워크의 구축과 분석 , 검색 서비스를 제공함으로 전문가 발굴과 지식
소통 활성화
BKM-net
전문가 네트워크
외부 SNS 사이트
일반인 네트워크
전문가 DB
• 일반인 멘토링 서비스• 전문가 인사 / 동정 / 부고
뉴스• 인기 검색 인물 태그 서비스• 전문가 인물뉴스 서비스• 전문가들 SNS 서비스• JOINS 인물 DB 연계
서비스
• 전문가 멘토링 서비스 의뢰• 전문가 저작물에 대한 비평 태그 작성• 일반인 SNS 서비스• 부산 SNS 서비스• Friendster, Linknow 유사 서비스
• 부산 SNS 서비스• 부산 R&D 정보 ,
언론의 인사 / 동정 / 부고 정보 등
“ 창조적 지식 도시 부산 구현”
전문가 DB논문 , 특허실적주제별 콘텐츠
지식인의 발굴 및 활용
• 경제발전을 비롯한 부산의 각 기업 , 기관 , 시민들이 성공적인 사업 및 업무 발전을 위해 활용할 수 있는 대상
부산 지식 네트워크(BKMnet)
참여 서비스 구현
• 전문가 DB 및 검색 서비스를 이용하여 SNS 및 각종 커뮤니티 서비스 제공
검색 서비스 구현
• 자원간의 연관 관계를 파악하고 의미적 구조를 규명하여 개인화 서비스 구현
34
Communicating Knowledge사례 : 부산지식네트워크 (BKM-net)
Powered by [IN2]Discovery & OWL
35
Communicating Knowledge
subscribing
billing
phone call
location
m-commerce
content usage
promotion
CRM
• 모바일 서비스
개인화
• 모바일 컨텐트 추천
• 모바일 사회망 분석
• 상황인지 서비스
사례 : KT 모바일 SNA , 선호 분석
“ 모바일 데이터 상호운용”
36
Communicating Knowledge
Legacy Network
IMS GatewayIMS GatewayUser De-vice
IMS Network
CDR(Call Detailed
Record)
CDR(Call Detailed
Record)
Membership Service History
Membership Service History
Content Service History
Content Service History
Legacy Data Collector
Legacy Data Collector
Content Recommendation
Agent
Content Recommendation
Agent
Subscriber Information Extractor &
Analyzer
Subscriber Information Extractor &
Analyzer
Social Relationship
KB
Social Relationship
KBUser
Preference KBUser
Preference KBContents Metadata Repository
Contents Metadata Repository
Content Recommender
Content Recommender
Application Services Contents
Application Services Contents
Dynamic UI & Contents Generator
Dynamic UI & Contents Generator
Intelligent and Unified Notification
Gateway
Intelligent and Unified Notification
Gateway
Reco. Rule RepositoryReco. Rule Repository
AS Information Collector
AS Information Collector
HTTP on the IMS Network
Content Reco. KB
Content Reco. KB
User ProfileUser Profile
• Intelligent Mobile Service Platform based on IMS (IP Multi-
media Subsystem)
사례 : KT 모바일 SNA , 선호 분석
37
Communicating Knowledge
User Devices
Legacy Data
CDR(Call Detail
Record)
CDR(Call Detail
Record)
Membership Service History
Membership Service History
Content Service History
Content Service History
User ProfileUser Profile
User Behavior History
User Behavior History
User ContextUser Context
Discovery Social Relationship
Discovery User Preference
Awareness of User Context
Profile Identification
Profile Identification
Intimacy AnalysisIntimacy Analysis
Discovery Basic Social Relationship
Discovery Basic Social Relationship
Reasoning Social Relationship
Reasoning Social Relationship
Analysis Implicit User Behavior
Analysis Implicit User Behavior
Classification User Behavior
Classification User Behavior
Discovery Personal Preference
Discovery Personal Preference
Analysis Explicit User Behavior
Analysis Explicit User Behavior
Clustering Personal Preference
Clustering Personal Preference
Discovery Representative
Group Preference
Discovery Representative
Group Preference
Reasoning User Intension
Location(from Cell and GPS)
Location(from Cell and GPS)
Time(from System
Clock)
Time(from System
Clock)
Weather(from Ext. Service)
Weather(from Ext. Service)
Profile AnalysisProfile Analysis
Call Location Analysis
Call Location Analysis
User PreferenceUser Preference
User ContextUser Context
Scenario based Rule
Scenario based Rule
Preference and Contents MappingPreference and
Contents Mapping
Event driven Triggering
Event driven Triggering
Discovery Social Preference
Discovery Social Preference
• Knowledge Discovery from 2G/3G Legacy Data
사례 : KT 모바일 SNA , 선호 분석
38
Communicating Knowledge
Pay for
Call
Call
CallCall
Call
Profile
• Name: Jerry Obama
• Age: 12• Sex: Woman
Profile
• Name: Elizabeth Cox
• Age: 12• Sex: Woman
Profile
• Name: Jane Bush
• Age: 12• Sex: Woman
Profile
• Name: Edward Adams
• Age: 11• Sex: Woman
Profile
• Name: Jessica Bailey
• Age: 13• Sex: Woman
Profile
• Name: Tom Obama
• Age: 16• Sex: Man
Profile
• Name: Nancy Obama
• Age: 42• Sex: Woman
Call
lives inlives in
attend
attend
attend attend
attend
lives in
Major Residential AreaMajor Activity Area
Family Friends
사례 : KT 모바일 SNA , 선호 분석
39
Communicating Knowledge
Building Intimacy Network
Profile Identification
Profile Identification
Intimacy AnalysisIntimacy Analysis
Discovery Basic Social Relationship
Discovery Basic Social Relationship
Reasoning Social Relationship
Reasoning Social Relationship
Profile AnalysisProfile Analysis
Call Location Analysis
Call Location Analysis
[Typical social network measure of ties (Brass, 1995a)]
Intimacy Score = α * Subject_Score * β * Object_Score
Subject Score based on comparing all receivers of a caller
Object Score based on comparing all receivers of all caller
[Scoring Method]
Subject Score
Object Score
(6,9) 54
(8.5, 4) 34
사례 : KT 모바일 SNA , 선호 분석
40
Communicating Knowledge
Discover social relationships and Build Social Network
Profile Identification
Profile Identification
Intimacy AnalysisIntimacy Analysis
Discovery Basic Social Relationship
Discovery Basic Social Relationship
Reasoning Social Relationship
Reasoning Social Relationship
Profile AnalysisProfile Analysis
Call Location Analysis
Call Location Analysis
Minimum and Maximum Condition Analysis
Inference Condition Analysis
Relationship Conflict Me-
diation
friend
Father
Mother
Sister
* Important Variables
- Intimacy Analysis- Intimacy Score
- Profile Analysis- Last Name- Age- Sex
- Call Location Analysis- Call Location- Major Residential Area- Major Activity Area
* Minimum Condition Example
IF Receiver’s Last Name is same and Major Residential Area is same THEN their relationship will be family.
* Maximum Condition Example
IF Receiver’s Age is bigger by more than 20, SEX is woman and she pay for CallerTHEN she will be mother.
사례 : KT 모바일 SNA , 선호 분석
41
Communicating Knowledge
Extend social relationships
Profile IdentificationProfile Identification
Intimacy AnalysisIntimacy Analysis
Discovery Basic Social RelationshipDiscovery Basic Social Relationship
Reasoning Social RelationshipReasoning Social Relationship
Profile AnalysisProfile Analysis
Call Location AnalysisCall Location Analysis
* Social Relationship Ontology
50 Classes58 Relationships15 Properties57 Rules
사례 : KT 모바일 SNA , 선호 분석
42
Communicating Knowledge
Using Implicit User Behavior
Analysis Implicit User Behavior
Analysis Implicit User Behavior
Classification User Behavior
Classification User Behavior
Discovery Personal Preference
Discovery Personal Preference
Analysis Explicit User Behavior
Analysis Explicit User Behavior
Clustering Personal
Preference
Clustering Personal
Preference
Discovery Representative
Group Preference
Discovery Representative
Group Preference
Discovery Social Preference
Discovery Social Preference
CDR Analy-sis
URLAnalysis
Collect CDR
Extract Company
Name
Classify Business
Type
Map Busi-ness Types to Prefer-
ence Classes
Measure Preference based on
Frequency
Content / Service Do-main Prefer-
ence
Collect URL Ac-cess Log
Classify URL
Domain
Extract Services
from URL
Extract URL
proper-ties
Analysis property values
Content / Service Pref-
erence
Map val-ues to
Preference Classes
Search KeywordAnalysis
Collect Search
Log
Extract Search
Keyword
Classify Search
Keyword
Map Search Keyword to Preference Classes
Content / Service Pref-
erence
Indentify Target
Services
Member-ship Card
UsageAnalysis
Collect CDR
Extract Company
Name
Classify Business
Type
Map Busi-ness Types to Prefer-
ence Classes
Measure Preference based on
Frequency
Content / Service Do-main Prefer-
ence
사례 : KT 모바일 SNA , 선호 분석
43
Communicating Knowledge
User Behavior and Personal Preference
Analysis Implicit User Behavior
Analysis Implicit User Behavior
Classification User Behavior
Classification User Behavior
Discovery Personal Preference
Discovery Personal Preference
Analysis Explicit User Behavior
Analysis Explicit User Behavior
Clustering Personal
Preference
Clustering Personal
Preference
Discovery Representative
Group Preference
Discovery Representative
Group Preference
Discovery Social Preference
Discovery Social Preference
Legacy History
CDE History
Preference Classification
User Behav-ior Classifica-
tion
User Prefer-ence
Content and Service Clas-
sification
MappingMapping
People
genre
brand
…
Bee
base-ball
anycall
…
Singer
Sport
sam-sung
…
사례 : KT 모바일 SNA , 선호 분석
44
Communicating Knowledge
Start Personalized Dynamic UI
Tour Shopping
VOD with Ad. Mobile Search Stock Advertisement
사례 : KT 모바일 SNA , 선호 분석
Powered by [IN2]Discovery & OWL
45
Communicating Knowledge
Online Contents Rec-ommendation
Offline Advertisement Recommendation
Online Advertisement Recommendation
Samsung SPH-M4800
사례 : KT 모바일 SNA , 선호 분석
Powered by [IN2]Discovery & OWL
46
Communicating Knowledge
Lessons Learned
47
Communicating Knowledge시맨틱 웹을 바라보는 5 개의 시각
확장된 웹• URI , RDF 기반 데이터의 웹• 의미 주석 달린 웹 (RDFa)
지식 표현
• 온톨로지와 술어논리• OWL 과 DL
인공 지능
• 추론과 계획 , 의사결정• 전문가 시스템 , 상황인지
메타데이터
• 트리플과 그래프• 데이터 상호 운용성
정보 검색
• 시맨틱 검색 , 마이닝• 정보 추천 , 정보 발견
48
Communicating Knowledge4 Dimensions of Semantic World
2D World(13C, Marco Polo)
3D World(After Columbus)
4D World(Semantic World)
Scala
bilit
y
Performace
ExpressivityData
Dynamics
49
Communicating Knowledge
Search
Current State of the Art of Technology
Expressivity
Scala
bilit
y
Scala
bilit
y
Performance
Scala
bilit
y
Data Dynamics Expressivity
Perf
orm
an
ce
Telco
EnterpriseSearch
Medical
UbiComp
Socia
l N
et
TelcoEnterpriseSearch
Medical
UbiComp
Socia
l N
et
Telco
EnterpriseSearch
Medical
UbiComp
Socia
lN
et
Telco
Socia
l N
et
Medical
UbiComp
50
Communicating KnowledgeChallenging levels
0
2
4
6
8
10Scalability
Performance
Expressivity
Data Dynamics
EnterpriseSearch
0
2
4
6
8
10Scalability
Performance
Expressivity
Data Dynamics
Social Net
0
2
4
6
8
10Scalability
Performance
Expressivity
Data Dynamics
Medical
0
2
4
6
8
10Scalability
Performance
Expressivity
Data Dynamics
0
2
4
6
8
10Scalability
Performance
Expressivity
Data Dynamics
UbiComp
Mobile
51
Communicating KnowledgeHow to move Maginot Lines?
Expressivity
Scala
bilit
y
Expressivity
Scala
bilit
y
?
52
Communicating Knowledge6 Solutions
Enhanced algorithm
Materialization
Distributed Computing
Approximation
Lean KR model
Query optimization
CurrentState of the Art
ImprovedResults
+ Query/Data Cache
53
Communicating KnowledgeWining Strategies
Algorithm Materialization
Distribution
ApproximationLean KR model
QueryOptimization(+ Cache)
Medical
E. Search
Social Net
Mobile
UbiComp
54
Communicating Knowledge결 언
Cu
sto
mer’
s B
en
efi
tor
Pro
fita
bilit
y
Trap
Cost based Biz Model Differentiation based Biz Model
Price
“ Customer's Benefit > Price > Cost ”
InteroperabilityIntellig
ence/Reaso
ning
55
Communicating Knowledge
“Thank you for
your atten-tion.”
보다 상세한 설명이 필요하시면…
이경일[email protected] 010-9123-0081
in2.saltlux.com , www.saltlux.-com