인공지능과 빅데이터 · 기타 활용 사례 분야 적용 사례 소매/마케팅...
TRANSCRIPT
1 Data Science 연구실
숭실대학교 소프트웨어학부
Data Science 연구실
이수원 ([email protected])
2016년 11월 2일
인공지능과 빅데이터
Big Data
Intelligence
Data Science Lab.
Soongsil University
Big Data 시대
트위터에서는 매일 1억 개 이상의 트윗이 발신되고 있는 것으로 파악
매 가정에서 매일 소비하는 데이터 : 375메가바이트
매초 전송되는 이메일 : 2백 90만 통
1분마다 유튜브에 업로드 되는 비디오의 분량 : 20시간 분량
모바일 인터넷 이용자들이 주고받는 데이터의 양 : 1.3엑사바이트
구글이 매일 처리하는 데이터의 용량 : 24페타바이트
2
3 Data Science 연구실
빅데이터 정의 및 특성 – 3v
From Bigdatablog.emc.com
• 빅 데이터란 기존 데이터베이스 관리도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다 (wikipedia)
소셜 데이터
센서 데이터
거래 데이터
생산 데이터
과학 기술 데이터
공공 데이터
4 Data Science 연구실
빅데이터의 경제적 가치
데이터는 자본이나 노동력과 거의 동등한 레벨의 새로운 원자재 역할 비즈니스 트렌드 파악, 질병 예방, 범죄 해결 등 효과
데이터 분석을 잘 활용하는 조직일수록 차별적 경쟁력을 갖추고 높은 성과 창출 조직 분석 열량 3단계(열망, 숙련, 변혁 단계) 특징 제시
빅데이터는 이전까지는 다루지 못하고 시도하지 못했던 데이터의 활용을 가능하게 하며 잠재적 가치와 영향력이 높음
빅데이터의 중요성에 대해 기업들이 주목하고 있으며 새로운 비즈니스 가치창출의 핵심키가 될 것
Economist
MIT
PwC
Gartner
데이터는 21세기 원유, 데이터가 미래 경쟁 우위를 좌우 기업은 다가올 ‘데이터 경제 시대’를 이해하고 정보 고립(information silo)을 경계
해야 성공 가능 빅데이터는 향우 주목해야할 이머징 기술 (2~5년 후 성숙)
McKinsey
글로벌 비즈니스 지형을 뒤바꿀 기술 트렌드의 3가지 핵심은 클라우드, 빅데이터, 스마트 자산(smart assets)
빅데이터는 혁신, 경쟁력, 생산성의 핵심 요소 의료, 공공행정 등 5대 분야에서 6천억불 이상 가치 창출
5 Data Science 연구실
국가 활용분야 내 용
미국
국토보안 - 9.11 이후 미국은 국토안보부를 중심으로 테러 범죄 방지를 위한 범정부적 빅데이터 수집, 분석 및 예측체계를 도입 - 국내외 금융 시스템의 개인, 기관의 금융거래 감시로 자금 세탁 및 테러 자금 조달 색출 강화
치안 - FBI의 종합 DNA 색인/분석 시스템(CODIS)을 통해 2007년 45,400건의 범인 DNA hit rate 달성 - 1시간 내 범인 DNA 분석을 위한 주정부 데이터 연계 및 빅데이터 실시간 분석 솔루션 확보
의료
- 오바마 Health.20. 필박스 프로젝트(Pillbox) : 국립보건원(National Library of Medicine)의 사이트 로 약 검색 서비스 - Pillbox를 통해 수집된 빅데이터를 통해 후천성면역 결핍증(HIV) 등 관리대상 주요 질병의 분포, 연도별 증가 등에 대한 통계치 확보 가능
영국 정보공개 - 정부사이트(data.gov.uk)를 통해 정부의 투명성 제고, 국민의 권리 향상, 데이터의 공개를 통한 경제적 사회적 가치 증대, 차세대 웹(web of data)에서 주도권 획득 목표 - 일반인들의 참여를 장려하고 아이디어 수렴, 앱 개발, 데이터 공개 등의 주제에 대한 커뮤니티 제공
싱가포르 국가
위험관리
- 빈번히 발생하는 테러 및 전염병으로 인한 불확실한 미래 대비를 위하여 2004년부터 빅데이터 기반 위험 관리 계획을 추진 - RAHS(Risk Assessment & Horizon Scanning) 시스템을 통해 질병, 금융위기 등 모든 국가적 위험 을 수집 및 분석하여 위험을 선제적으로 관리
호주 정보공개 - 호주 정보관리청은 정부 2.0을 통한 정보 개방 - AGIMO 산하 정부 2.0 전략/서비스 팀에서는 정부 데이터에 대한 리포지터리 및 검색 툴을 서비스 하는 data.gov.au 웹사이트 운영
주요국 빅데이터 활용 현황
6 Data Science 연구실
Google Flu Trends
여론조사 vs 빅데이터 분석
• Predictive Analytics의 대표적 사례
• 독감 확산 지역 및 시기를 예측하는 서비스
• 실제 질병관리본부(CDC)에서 제공하는 독감 환자 정보와 거의 일치
A two-day gain in detection time could reduce fatalities by a factor of six (DARPA)
• 대선 후보 지지율 조사에 있어서, 여론조사보다 빅데이터 분석 결과가 더욱 정확했던 것으로 나타남
빅데이터 활용 사례
7 Data Science 연구실
Baseball Analysis Tool : SaberMetrix
8 Data Science 연구실
주류에 따른 감성 분석
8
9 Data Science 연구실
주류에 따른 안주 분석
9
10 Data Science 연구실
데이터 사이언스
11 Data Science 연구실
개인화 추천 - Amazon
12 Data Science 연구실
• 개요
– 기존 Intelligent Assistant System에서 사용자의 질문(Query)가 있어야 해당하는 결과를 내는 것과 다르게 미리 정보를 알려주는 형태의 System
개인화 추천 – Google Now (1)
13 Data Science 연구실
• Data Source
– 구글이 가진 모든 데이터와 개인 정보를 비교적 많이 가지고 있는 SNS나 Gmail 정보를 이용
– 한국에서 제공하는 카드 서비스 중 개인의 선호도가 바로 반영되는 부분은 구글 검색 키워드를 이용한 ‘읽을 스토리’(요즘 뜨는 이야기)임
개인화 추천 – Google Now (2)
14 Data Science 연구실 14/16
Movie
News
Research
개인화 추천 – Google Now (3)
(상황인지, 개인맞춤형) 사용자가 장치에 수행하는 반복되는 동작을 인지하여 "카드"라는 형태로 사용자에게 개인화 서비스 제공
• 활동 요약(Activity Summary) • 영화(Movies) • 뉴스(News) • 차기 미팅(Next Meeting) • 주변 사진 촬영지(Photo Spot Nearby) • 연구 주제(Research Topics) • 스포츠(Sports) • 주식(Stocks) • 교통 정보(Traffic) • 여행: 주변 명소(Travel: Attractions Nearby) • 번역(Translate) • 날씨(Weather) • 생일(Birthday) • 일정(Events) • 항공편 정보(Flights)
15 Data Science 연구실
•검색창서 발열, 기침 등의 검색 빈도로 독감 예보 •수십억 장의 문서를 통계적으로 비교해 자동 변역
구글
•취향에 맞는 영화 추천 서비스 시네매츠(cinematch)
넷플릭스
•전세계 매장의 판매 데이터로 유행 파악, 재고 관리 자라(zara)
•SNS 분석을 통해 제품 개선 한국
야쿠르트
•SNS 분석을 통해 칼 판매량이 줄어든 이유 파악 헹켈
•데이터 분석으로 음성인식 인공지능 서비스 제공 애플
기타 활용 사례
분야 적용 사례
소매/마케팅 고객의 구매패턴과 선호도 발견 고객분류, 그룹별 특성 발견
은행/카드 신용평가 모형 우수 고객 선정 및 특성 분석, 카드 부정사용 적발
보험 고객 분류를 통한 보험료 정책 수립
통신 우수고객 선정 및 특성 분석 장거리 전화/ 무선 전화의 부정한 이용패턴 추적 이탈고객 모델 선정 및 타겟마케팅
제조 제품 수요 예측 최종 생산품의 품질에 영향을 미치는 요인 발견
유통 매장 진열 전략 상품 카탈로그 디자인
의료 환자 특성에 따른 의약품의 부작용 분석
16 Data Science 연구실
빅데이터 Process
From www.zdnet.com
17 Data Science 연구실
빅데이터 정의 및 특성 –4v
From Bigdatablog.emc.com
Value
• 빅 데이터란 기존 데이터베이스 관리도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다 (wikipedia)
소셜 데이터
센서 데이터
거래 데이터
생산 데이터
과학 기술 데이터
공공 데이터
18 Data Science 연구실
빅데이터 Positioning
과거에는 주로 Knowledge까지만 언급되었으나, 최근에는 Insight의 획득이 강조됨
Social Data
Sensor Data
Transaction Data
Research Data
Business Data
Open Data
Data Science Lab.
Soongsil University
공간
시간
인간
지능
컴퓨터 시스템의 발전 방향
컴퓨터 발전의 네 가지 축
19
20 Data Science 연구실
지능이란(1)?
IQ Test?
- 계산 능력
- 기억 능력
- 언어 능력
- 추론 능력
- 등등
또는 EQ?
…
Data Science Lab.
Soongsil University
지능이 있는지 어떻게 아나?
• Turing Test
– 단말기로 연결된 사람과 컴퓨터를 질의/응답을 통해서 구별할 수 없으면 지능이 있는 것이다.
21
앨런 튜링(Alan Turing) (1912년 6월 23일~1954년 6월 7일)은
영국의 수학자, 암호학자, 논리학자이다.
특히 컴퓨터 과학에 지대한 공헌을 했기 때문에 '컴퓨터 과학의 아버지'라고 불린다.
튜링 테스트와 튜링 기계의 고안으로도 유명하다.
계산기 학회에서 컴퓨터 과학에 중요한 업적을 남긴 사람들에게 매년 수상하는 튜링상
은 그의 이름을 딴 것이다.
22 Data Science 연구실
WAIS-III (Wechsler Adult Intelligence Scale) 지수점수 구성요소
23 Data Science 연구실
K-WISC -III (Wechsler Intelligence Scale for Children) 소검사 항목 소검사 설명
1.빠진곳 찾기 여러 색상의 그림으로 된 각 물건이나 장면 그림에는 아동들이 구별할 수 있는 중요한 부분이 빠져 있다.
2.상식 일상적인 사건,물건,장소,사람들에 대한 아동들의 지식을 알아보기 위한 것으로, 정해진 일련의 질문들을 말(구두)로 제시한다.
3.기호쓰기
일련의 간단한 형태(기호쓰기 A형)나 숫자(기호쓰기 B형)가 단순한 기호와 짝지어져있다. 아동은 대응하는 형태(기호쓰기 A형)나 대
응하는 숫자(기호쓰기 B형)를 아래의 설명에 따라 기호를 그려 넣는다. 기호쓰기 A형과 B형은 기록용지에 한 장의 절취선으로 된 종
이에 포함되어 있다.
4.공통성 구두로 제시되는 쌍으로 짝지어진 일련의 낱말에 대해 아동은 낱말이 나타내고 있는 공통성을 설명한다.
5.차례맞추기 여러 가지 색채의 그림들이 순서가 뒤섞인 채 제시되고 아동들은 논리적인 이야기 순서로 재배열을 한다.
6.산수 일련의 산수문제로 아동들이 암산으로 폴고 구두로 대답한다.
7.토막짜기 모양이 있거나 또는 인쇄된 두 가지 차원의 기하학적 형태에 대해 아동들은 두 가지 색상의 정육면체를 사용하여 똑같은 형태를 만들
어낸다.
8.어휘 일련의 구두로 제시된 단어로 구성되어 있으며, 아동들은 구두로 정의를 내린다.
9.모양맞추기 일상적인 물건의 퍼즐로, 모양마다 표준화된 모양이 한 개씩 제시되고 아동들은 그 퍼즐을 모아서 의미 있는 하나의 전체 모양으로
만든다.
10.이해 일련의 구두로 제시되는 질문으로 아동의 일상생활에서의 문제해결 능력과 사회적 규칙 및 개념에 대한 이해 능력을 요구한다.
11.동형찾기 일련의 쌍으로 이루어진 기호들로서, 각 쌍은 목표집단과 탐색집단으로 구성되어 있다. 아동은 두 개의 집단을 훑어보고 목표 기호
가 찾기 집단에 있는지 여부를 지적하는 것이다. 소검사의 양쪽 수준 모두 단행본으로 발간된 소책자에 실려 있다.
12.숫자 검사자가 차례대로 숫자를 말하면 아동은 숫자를 순서대로 그리고 역순으로 따라한다.
13.미로 미로는 점차 곤란도가 높아지도록 구성되어 있고 단행본으로 발간된 소책자에도 실려있으며 아동들은 연필을 사용하여 문제를 푼다.
24 Data Science 연구실
WISC 변화 추이
1947~2002 미국 WISC 변화 추이
25 Data Science 연구실
지능이란 매우 일반적인 정신 능력으로 추론, 계획, 문제해결, 추상적 사고, 복잡한 생각의 이해, 빠른 학습, 경험에서 배우는 능력을 포함한다.
지능은 단순히 책을 통한 학습 능력이나 좁은 의미의 학업능력, 혹은 시험을 잘보는 능력이 아니다.
지능은 좀 더 광범위하고 깊이 있는 차원에서 주변 환경을 파악하는 능력을 말한다.
즉 무슨 일이 일어나는지 알아차리고, 대상을 이해하며, 어떻게 행동해야 할지 알아내는 능력이다.
지능이란(2)?
Linda Gottfredson의 정의
26 Data Science 연구실
유동지능 (Fluid Intelligence) : 새롭고 추상적인 문제를 해결하는 능력
- 동작성 (Performance IQ) 지능
- WISC 하위검사 중 빠진 곳 찾기, 모양 맞추기, 차례 맞추기 등
- 추론, 작업기억, 주의 조절, 억제 조절 능력을 포함
- 실행기능이라고 불리우는 정신작용을 통해 발휘
- 경험을 통해 얻은 지식에는 거의 의존하지 않음
결정지능 (Crystallized Intelligence) : 세상의 법칙이나 그 법칙을 알아 내기 위해 필요한 절차에 관한 정보
- 언어성 (Verbal IQ) 지능
- 상식, 어휘, 이해, 공통성, 산수 등과 관련
- 학습에 의해 축적
협의의 지능 (분석지능)
27 Data Science 연구실
Robert Sternberg
분석지능 – IQ(Intelligence Quotient) Test와 관련
실용지능
- 실용적인 문제해결에 필요한 지능
파티에 갔을 떄 어떻게 대처?
여러 사람이 집세를 나누어 내는 방법?
잘 모르는 사람의 추천서 작성?
- 분석지능과 달리 명확히 정의되어 있지 않음
- 해결방법이 여러가지 이며, 해결책을 알아내는 데 적합한 정보를 문제 밖에서 찾아야 함
- 일상 경험에 관련된 것, 문제 해결을 위한 내적 동기가 필요
창조지능
- 무엇인가를 창조하고, 발명하고, 상상하는 능력
- ‘문어의 운동화’, ‘다섯번째 기회’ 와 같은 제목을 보고 이야기 만들기,
- 나열된 그림 중 한장을 골라서 이야기 만들기
- 신제품 광고 개발하기
Howard Gardner
정서지능 : 대인관계에서의 감수성, 사회성, 작업 환경에 대한 긍정성, 스트레스 저항력, 리더쉽 등
음악지능
신체운동 지능
광의의 지능 (분석지능 외)
28 Data Science 연구실
인식 (Recognition) - 시각 (Vision), 음성 (Speech)
자연어 처리 (Natural Language Processing)
추론 (Reasoning)
계획 (Planning)
문제 풀이 (Problem Solving)
의사결정 (Decision Making)
기계학습 (Machine Learning)
게임 (Game Playing)
전문가 시스템 (Expert System)
인간의 지각능력, 자연언어의 이해능력, 추론능력과 학습능력 등을 컴퓨터 프로그램으로 실현한 기술
인공지능(AI)
Data Science Lab.
Soongsil University
인공지능의 각 분야
추 론계 획학 습
탐 색 지식 표현
동 작
자연어
음 성
영 상
자연어
문 제 해 답
바이오 인포메틱스
데이터 마이닝
시맨틱 웹 에이전트 시스템
전문가 시스템
29
30 Data Science 연구실
IBM Deep Blue
- IBM에서 만든 슈퍼 컴퓨터 (1989 – 1997)
- 높이 2m의 무게 1.4t
- 512개의 Processor
- 97년 12년째 세계챔피언으로 체스계를 지배하고 있는 Garry Kasparov와의
대국에서 승리 (96년 대국에서는 딥블루가 1승2무3패)
- 과거 100년간 열린 주요 체스 경기의 기보와 유명 체스 선수
들의 경기 스타일이 내장
31 Data Science 연구실
IBM Watson
- IBM Power 750 서버 90대 (2,880 Processor Core)
- Deep Blue보다 100배 성능 우위
- 2010년도 슈퍼컴퓨터 94위
31
32 Data Science 연구실
Watson 핵심 기술
33 Data Science 연구실
AlphaGo
35 Data Science 연구실
After AlphaGo
38 Data Science 연구실
학습 데이터
? ?
(Inductive) Machine Learning
인식?
Inductive Machine Learning
Deductive Machine Learning
Learning by Analogy
Reinforcement Learning
Genetic Algorithm
. . .
39 Data Science 연구실
Knowledge와 Data
Knowledge
Data
사람의 상식, 전문가의 지식
Knowledge Acquisition
빅데이터 분석
40 Data Science 연구실
빅데이터 기술
From www.oralytics.com
41 Data Science 연구실
빅데이터 분석 결과는 어떠한 레벨의 지능을 구현하는 것인가? 동물 : 운동, 인식, 보통사람 : 자연어 처리 전문가 : 분류, 예측, 개인화 추천, 요인 분석, 의사 결정 초인 : 계산, 기억, 검색, . . .
빅데이터 / 인공지능
42 Data Science 연구실
Is the Size matter?
YES, But the Size is not a matter itself!
43 Data Science 연구실
분석 주제가 불명확했다
Big Data Project 실패사례
Data가 없었다 (또는 Low Quality)
부서간의 비협조
평가체계가 없거나 너무 단기간의 ROI 를 기대
사람보다 시스템 구축을 우선
Plan Big, But Start Small!
