빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트...

24
빅데이터의 진화 : 스마트 데이터 - 원제 : the smart data manifesto - 2013. 11

Upload: others

Post on 08-Sep-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

빅데이터의 진화 : 스마트 데이터- 원제 : the smart data manifesto -

2013. 11

Page 2: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

본 보고서는 exelate의 “the smart data manifesto(2013.4.30) 발표 자료를 번역하여, 가독성을 높이기 위해 저자가 재구성, 수정, 해설 및 보완하여 작성한 글입니다. 원문자료는 다음 사이트에서 볼 수 있습니다. http://exelate.com/white-papers/the-smart-data-manifesto-goodbye-big-data-hello-smart-data

▶ 작 성 : 한국정보화진흥원 국가정보화기획본부 미래전략연구부 송영조 수석 (02-2131-0448, [email protected])

Page 3: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

목 차

요약

Ⅰ. 디지털 생활의 보편화 ······················································· 1

Ⅱ. 빅데이터 열풍의 배경························································· 8

Ⅲ. 빅데이터의 한계 ······························································· 12

Ⅳ. 스마트 데이터 ··································································· 14

Ⅴ. 시사점··················································································· 18

Page 4: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

1. 빅데이터 출현의 배경 : 디지털 생활의 보편화

□ 빅데이터 잠재성의 부각은 소비자들이 디지털 생활을 보편적으로

영위 하면서 시작

□ 아이폰 등 스마트 기기의 등장은 디지털 생활에 대한 일상화가 가능

하게 하였고 TV에 종속된 단일 스크린에서 다양한 멀티 스크린으로

이동하고 높은 인터넷 트래픽 점유율을 양산

□ 유무선 브로드밴드의 확산과 접근성의 확대는 디지털 서비스 수요를

촉발시킨 또 다른 역할을 수행

□ 전통적 소비 행태에서 광대역 네트워크 기반의 유료, 무료, 혼합형 등의

새로운 비지니스 모델로부터 가치를 창출하는 시대가 도래

2. 빅데이터 품질 요구의 증대

□ 디지털 소비자에 대한 고객 맞춤형 서비스의 품질을 높이기 위해서

보다 높은 데이터 품질이 요구됨

o 무선인터넷 기업의 마케팅 팀은 최대한 많은 소비자 및 고객을 새

롭게 유치하고, 꾸준히 유지하며 더욱 확충시키기를 희망

o 마케팅 팀은 새로운 소비자를 유치하기 위해 잠재 고객의 자사 서

비스의 인식을 증징시키고 고려 단계까지 이끌어 내기 위해 광고

기술(ad tech)을 확충

o 이후 서비스 획득(acquisition), 유지(retention) 및 고객 확충(growth)

하기 위해서는 비즈니스 인텔리전스 기술(BI) 기술의 역할이 점차

중요

o 그러나 증가하는 고객 데이터의 양에 반비례하는 데이터 품질의 저

하는 비즈니스 환경에서 CEO의 의사결정과 고객 맞춤형 서비스에

장애를 발생할 가능성이 증대

o 빅데이터를 보유하고 있으면 실시간으로 의사 결정을 해야만 하는 상

황이 발생하지만, 이러한 결정들이 올바른 결정이 아닌 경우도 발생

o 고객의 주목과 수요를 획득하기 위해서, 빅데이터 돌풍의 이점을 더

욱 현명하게 이용할 수 있는 방법에 대한 고민이 등장

요약요약요약

Page 5: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

3. 스마트 데이터의 특성

① (정확성, accurate) 스마트 데이터는 빅데이터의 노이즈로부터 정확하

고 양질의 정보를 전달할 수 있어야 함

② (행동성, actionable) 스마트 데이터는 조직이 바로 행동으로 옮길 수

있는 특성을 보유함으로써 가치를 창출하는 원동력으로서 작동

③ (민첩성, agile) 급변하는 비즈니스 환경에서 실시간으로 데이터 분석

이 가능하도록 민첩성이 요구됨

4. 빅데이터와 스마트 데이터의 구분

구분 점검 사항

데이터품질 평가

지속적으로 데이터 품질과 관련된 문제의 발생 여부

관계자들이 데이터의 정확도에 대해 의문을 가지는지 여부

데이터 범위

데이터를 기반으로 차별화된 비지니스 사례를 만들기 위해 노력하

지만 설득력 있는 근거를 확보하였는지 여부

데이터가 기업의 수익이나 시장 점유율의 원동력이 되는지 여부

비용 절충을 해야 하는지 여부

실시간성판단

빅데이터가 묶음(batch)으로 처리되고 분석 결과로부터 행동을 취하

기 위해 수 시간을 기다려야 하는지에 대한 여부

데이터의객관적 유효성

입증

제 3자 혹은 중립적 시각에서 지속적으로 데이터의 정확함을 평가

하는 지에 대한 여부

행동성매일 데이터가 어떠한 비지니스 행동의 근거 혹은 원동력으로 작동

되는지 설명할 수 있는 지에 대한 여부

실행 자원구축

빅데이터 전략을 성취하기 위해서 다순의 컨설턴트, 플랫폼 및 서비

스 벤더들을 필요로 하는 지에 대한 여부

유연성 확보데이터를 핸드폰과 같은 새로운 플랫폼에 적용시키거나 변화하는

비지니스 조건에 맞춰 변화시키는 것에 대한 어려움의 여부

요약

Page 6: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 1 -

빅데이터 출현의 배경 : 디지털 생활의 보편화Ⅰ

1. 디지털 생활의 일상화

□ 빅데이터 잠재성의 부각은 소비자들이 디지털 생활을 보편적

으로 영위 하면서 시작

o 일상적으로 스마트폰 이용자는 아침에 일어나자마자 이메일을

확인하고 소셜 및 메세지 서비스를 확인

o 그 다음은 TV를 켜놓은 채 아침 식사를 먹으며 태블릿으로

뉴스를 보고 업무 시간에는 끊임없는 스마트폰 사용과 PC 사

용이 얼마나 그 하루를 생산적으로 보낼 수 있느냐를 결정

o 밤에는 저녁을 먹고 TV를 켜놓은 채 태블릿으로 인터넷 브라

우징이나 소셜 네트워킹 서비스를 이용

<그림 1> 시간당 브라우저 기반의 페이지 트래픽 점유율

Page 7: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 2 -

□ 디지털 생활에 대한 일상화는 단일 스크린에서 다양한 멀티

스크린으로 이동하고 높은 인터넷 트래픽 점유율을 양산

o 디지털 생활은 다양한 멀티 스크린으로부터 정보와 서비스를

획득하며 TV 등 스크린 하나만을 이용하는 날들은 지나간 과

거의 일이 되어가고 있음

o 디지털 사회에서의 소비자들은 PC, 스마트폰, 태블릿, IPTV

그리고 웨어러블 컴퓨터에 이르기까지 다양한 멀티스크린으로

부터 정보와 서비스를 이용하는 디지털 생활을 영위

2. 스마트폰의 진화와 소비자의 디지털 흔적

□ 디지털 사회에서 소비자 이용 행태는 단말기 스크린의 변화와

서비스를 통해 파악이 가능

o 디지털 사회에서의 소비자 이용 행태를 파악하기 위해서는 이

용자들이 정보를 획득하는 수단인 스크린의 변화와 서비스를

모두 파악함으로써 가능

- 정보 획득 도구인 스크린은 PC, 스마트폰, 태블릿, 그리고 TV

가 있으며 서비스는 메시지, 이메일, 브라우징, 검색, 비디오,

음악, 그리고 소셜 서비스를 파악

o 오늘날 디지털 소비 생활의 기반은 90년대 후반에 PC가 모든

가정에 보급되리라는 예측과 폭발적인 이메일 및 웹 브라우징

의 사용에 기인함

- 90년대 후반부터 2000년대 초반에는 PC를 가장한 스마트폰의

초기 버전(iPaqs, Palm Pilots)과 시대를 풍미한 RIM의 블랙

베리가 등장

o 스마트폰의 모바일 커넥션에 대한 기대와 탄력으로 태블릿의

등장은 멀지 않은 이야기가 되고 있음

Page 8: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 3 -

- 아이폰의 성공에 이은 아이패드의 등장은 소비자들의 기기

구매욕에 새로운 활기를 불어넣고 있음

- 아마존, 삼성, 구글 그리고 MS와 같은 IT 업계의 선두주자들

은 소비자를 하나의 브랜드에 의존하는 디지털 라이프 스타

일로 이끌기 위해 크로스 스크린 전략으로 유인

※ 크로스 스크린(cross screen) 전략 : 하나의 콘텐츠가 하나의 단말기에 의존하지 않고 PC, 휴대전환, TV의 경계를 허물어 관통하며 서비스 될 수 있는 전략

□ 아이폰의 등장은 모마일 라이프에 큰 변혁과 스마트폰 산업에

대한 새로운 이정표 제시

o 2007년 아이폰의 등장은 PC 시대의 쇠퇴와 태블릿의 증가 등

인터넷과 연동되는 모바일 라이프에 큰 영향력을 행사하며,

스마트폰 산업에 대한 새로운 정의를 내림

<그림 2> 글로벌 인터넷과 연결된 기기의 생산량

Page 9: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 4 -

o 소비자들은 아이폰과 같은 스마트폰 및 태블릿 등 새로운 스

크린에 이용하고 적응하면서 새로운 형태의 디지털 라이프 스

타일을 심화시킴

- 손안의 컴퓨터로 이메일, 메시지, 그리고 브라우징이 디지털

서비스의 핵심 역할을 수행하고 검색, 소셜 서비스, 비디오,

음악 등이 디지털 라이프의 주된 소비 활동으로 부상함

□ 소비자 이용 행태는 손안의 단말기 스크린의 변화와 서비스를 통

해 파악이 가능하며 기기에 따라 사용 행태가 다른 것으로 파악

o 스마트폰 및 태블릿의 앱이나 브라우저를 통해서 디지털 서비

스를 이용할 때 매우 다양한 서비스를 누리고 있음

- 스마트폰에서는 텍스트 전송과 사진 촬영 서비스, 이메일 서

비스 및 날씨 정보 활용도가 가장 높음

- 태블릿에서는 인터넷 검색, 이메일, SNA 접속 및 게임이 가

장 높은 것으로 나타남

<그림 3> 스마트폰 및 태블릿 등 모바일 미디어를 통한 서비스 활동 순위

Page 10: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 5 -

3. 빅데이터 생태계의 시작과 확산

□ 데이터 저장소의 가격 하락은 빅데이터 생태계를 촉진하는 역

할을 수행

o 데이터 저장소의 가격 하락은 데이터 수집, 분석, 활용 및 서

비스 되는 빅데이터 생태계를 촉진

- 저렴해진 저장소 비용은 더 저렴한 빅데이터 분석과 서비스 비

용으로 이어지고, 이는 모바일 기기의 저장 역량의 증가를 촉진

- 1980년대 기가바이트당 가격은 약 10억원에서, 2010년 약 100

원 수준으로 가격이 급락되면서 데이터 수집, 유지 및 관리하

는 것이 용이하게 됨

<그림 4> 기가바이트당 하드 드라이브의 가격

□ 데이터 기술 산업은 소비자 데이터로부터 가치를 창출하기 위

해 90년대부터 발전

o 고객관계관리(CRM, 1990년대), 데이터웨어하우징(Data Warehousing,

2000년대), 빅데이터 분석(Big Data Analytics, 2013년 현재)으로 발전

Page 11: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 6 -

o IT 선두 기업들이 빅데이터 시장을 매우 긍정적으로 적극적으

로 진출하고 있으며, 2016년에는 빅데이터 시장은 500억 달러

규모에 달할 것으로 전망

- salesforce.com이나 Oracle과 같은 소프트웨어 회사들은 소비

자 데이터를 수집, 저장 및 분석하는 서비스로 분화

- Accenture나 Deloitte는 고객관계관리, 데이터 웨어하우징, 비

지니스 인텔리전스 및 빅데이터 분석을 통해 이윤을 창출

<그림 5> 빅데이터 시장 전망(2011 ~ 2016년)

4. 유무선 브로드밴드의 확산과 접근성의 확대

□ 유무선 브로드밴드의 확산과 접근성의 확대는 디지털 서비스

수요를 촉발시킨 또 다른 역할을 수행

o Wi-Fi 라우터부터 LTE 로의 연결로 인해, 네트워크 운용 회사

들이 TV, 음성, 인터넷 연결성을 포함한 패키지를 재빠르게

제공할 수 있는 새로운 성장 동력으로 부상

Page 12: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 7 -

o Verizon과 AT&T와 같은 통신 업계의 선두 주자는 멀티스크

린 포트폴리오를 무선 서비스까지 확대하여 소비자들과 사업

자들에게 일괄적인 연결성을 제공

o 핸드폰 사용자는 2002년 초에 유선 전화 사용자보다 많아지기

시작하며, 소비자들이 더 많이 연결될수록 이용자간에 제공하

는 데이터의 양도 더욱 증폭되는 계기를 마련

<그림 6> 글로벌 유선 전화 및 무선 전화 사용자 비교

□ 전통적 소비 행태에서 광대역 네트워크 기반의 유료, 무료, 혼합형

등의 새로운 비지니스 모델로부터 가치를 창출하는 시대가 도래

o 가정용 인터넷, iTunes의 음악, Netflix의 비디오 등과 같은 유료

디지털 서비스는 전통적 모델에서 디지털 서비스 모델로 확장

o 구글과 페이스북은 생활 필수적인 무료 검색과 소셜 서비스

를 제공함으로써 새로운 형태의 차별화된 비즈니스 모델을 제

공하고 맞춤형 광고를 통한 수익을 창출

o 유료와 무료의 특징을 결합한 LinkedIn과 같은 하이브리드 서비

스도 제공됨으로써 다양한 형태의 비즈니스 모델이 등장

Page 13: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 8 -

빅데이터 열풍Ⅱ

1. 빅데이터 돌아보기

□ 스마트폰으로부터 촉발된 새로운 형태의 디지털 라이프 스타일

로 인해 시장 분석가들은 빅데이터에 대한 각성과 의문을 제기

o 산업 분석가들과 컨설턴트들은 시장 규모를 분석하고 시장을

묘사하고 어떻게 빅 데이터를 통해 이길 수 있는지에 대한 지

침을 제공

o 그러나 산업을 아우르는 형태의 빅데이터 서비스는 수십년에

한 번 일어날까 말까한 기회로 인식되지만 지나친 기대와 과

장 광고로 인해 성과는 기대에 못 미치는 경우가 발생

빅데이터를 도입할 때 확인할 부분은 투자 대비 원하는

만큼의 효과를 낼 수 있는지 확인하는 것이다. (중략) 빅데

이터는 새로운 것이 아니라 이전부터 존재했던 데이터를

모은 것에 불과하다. 기업 활동에 의미가 없는 다크 데이

터와 가치있는 데이터를 구분할 수 있어야 경영에 도움이

되지만 대부분은 분위기에 휩쓸려 빅데이터를 무조건 받아

들이고 있다. (중략) 보유한 데이터 중 가치 있는 부분을

발견하고 분석하는 것에 집중하는 것이 중요하다.

- 도널드 페인버그, 가트너 부사장, 2013.10.21.1)

1) “빅데이터 거품 내년에 빠진다”, 디지털 타임즈, 2013.10.21.

Page 14: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 9 -

□ 2020년까지 빅데이터는 50배 성장할 것으로 전망되지만, 빅데

이터 지속적으로 기회를 창출할 지에 대한 의문이 제기

o 빅데이터는 필연적으로 빅노이즈를 발생하며, 빅노이즈로부터

의미있는 신호를 포착하는 것은 기술적 어려움을 수반

- 2010년부터 2020년까지 빅 데이터가 50배 성장할 것으로 전

망하지만, 증대되는 데이터의 양처럼 품질도 증가하는 지에

대한 의문도 함께 증대

o 빅데이터로부터 얻을 수 있는 잇점이 아직은 불분명 할 뿐 아

니라 어떠한 전략, 인력, 절차 과정을 선택해야 효과를 볼 수

있는 지에 대해서도 여전히 의문이 남아 있음

- 금융, 보험, 광고, 의료 서비스 등 빅데이터를 통한 성과 창출

이 용이한 분야 이외에, 다른 산업들은 빅데이터에 의한 성과

를 기대만 하는 수준

<그림 7> 50배에 달하는 빅 데이터 성장

Page 15: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 10 -

2. 빅데이터에 대한 기대 수준의 증가

o 미국의 기업가들은 빅데이터로부터 고객을 이해하고 의사결

정, 매출 증대를 기대하고 있음

- 고객을 이해 22%, 사실에 기반한 의사 결정 22%, 매출 증대

15%, 제품 혁신 11%, 리스크 감소 11%, 제품과 서비스의 질

향상 10%, 더욱 효율적인 경영관리 10%

<그림 8> 빅데이터로부터 얻을 수 있는 기대 수준

o 기업 고객 유치를 위한 광고 기술 산업(ad tech)도 전통적 비

즈니스 인텔리전스(BI) 사업체와 함게 빅데이터를 수용

- 빅데이터 기반의 광고 기술과 BI는 고객의 유치와 고객 맞춤

형 서비스를 위해, 서비스 단계별로 소비자에게 적절한 서비

스를 제공

Page 16: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 11 -

o 기업은 소비자에게 제품 혹은 서비스를 인식하는 것에서부터

고객의 성장에 이르기까지 광고 기술 및 비지니스 인텔리전스

를 혼용

<그림 9> 소비자의 구매 단계 모델

o 현재 BI 분야는 수백억 달러의 시장에서 소프트웨어 업체(ex.

Microstrategy, IBM, Alteryx, Domo)와 서비스 업체(ex.

Accenture, Deloitte) 들이 생태계를 구성

- BI는 과거의 단순 보고하는 것을 방식을 탈피하고 예측 분석

서비스로 진화하였으며 이는 기업과 소비자의 경계에서 소비

자가 궁금해 하는 것들을 해결해주고자 노력

Page 17: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 12 -

빅데이터 품질 요구의 증대Ⅲ

1. 빅데이터의 고객 맞춤형 서비스의 한계와 품질 요구

□ 최고 마케팅 책임자(CMO)는 고객의 주목과 수요를 획득하기

위해서 빅데이터 품질에 주목

o 기업 최고정보책임자(CIO)와 최고 마케팅 책임자(CMO)는 고

객 맞춤형 서비스에 대하여 서로 다른 입장(그림 9. 참조)

- 소비자 행태 분석을 통한 광고 효과를 통해 기업 가치를 증

진시키려는 마케팅 책임자는 디지털 광고 생태계 중 인식

(awareness)과 고려(consideration)에 가장 큰 역할을 수행

o 마케팅 책임자는 고개의 인식과 고려, 소비 단계에서 수십억

달러의 비용을 사용하며, 단순한 소비자 구매 유발자 역할을

넘어선 새로운 가치를 창출하기 위해 고민을 시작

- 인터넷 환경에 걸맞는 정확하고, 신속하며, 실행에 옮길 수

있는 데이터 환경의 필요성이 대두

[ 빅데이터 품질 요구 ]

w 무선인터넷 기업의 마케팅 팀은 최대한 많은 소비자 및 고객을 새롭게 유치하고, 꾸준히 유지하며 더욱 확충시키기를 희망

w 마케팅 팀은 새로운 소비자를 유치하기 위해 잠재 고객의 자사 서비스의 인식을 증징시키고 고려 단계까지 이끌어 내기 위해 광고 기술(ad tech)을 확충

w 이후 서비스 획득(acquisition), 유지(retention) 및 고객 확충(growth)하기 위해서는 비즈니스 인텔리전스 기술(BI) 기술의 역할이 점차 중요

w 그러나 증가하는 고객 데이터의 양에 반비례하는 데이터 품질의 저하는 비즈니스 환경에서 CEO의 의사결정과 고객 맞춤형 서비스에 장애를 발생할 가능성이 증대

w 빅데이터를 보유하고 있으면 실시간으로 의사 결정을 해야만 하는 상황이 발생하지만, 이러한 결정들이 올바른 결정이 아닌 경우도 발생

w 고객의 주목과 수요를 획득하기 위해서, 빅데이터 돌풍의 이점을 더욱 현명하게 이용할 수 있는 방법에 대한 고민이 등장

Page 18: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 13 -

□ 실시간으로 고객의 맞춤형 서비스 수요가 증가되고 CEO의 의

사결정이 필요할 때 판단의 근거가 되는 데이터 품질에 대한

중요성은 더욱 증가

o 실시간 데이터가 폭증함에 따라 노이즈가 증대되고 이런 빅

데이터 환경에서 의미있는 신호(signal)과 패턴(pattenr)을 찾

는 노력은 더욱 힘들어질 가능성

2. 빅데이터 품질의 중요성 : 스마트 데이터의 요구

□ 기업은 빠르게 변화하는 경영 환경에서 적절하고 스마트한 결

정을 내리기 위해 스마트 데이터를 필요

o 인터넷 기업은 빅데이터와 빅노이즈로부터 장애를 극복하고

스마트 데이터와 더욱 스마트한 결정을 필요로 함

o 물리적 특징을 기반으로 하는 3VC의 빅데이터에서 품질적 요

소로 정의되는 스마트 데이터의 시대를 제기

Big Data, Fast Data, Smart Data

◇ 와이어드 지는 빅데이터가 즉각적 의사결정과 실시간 서비스가 가능하도

록 데이터의 속성이 빠르고(fast), 스마트 해져야 함을 강조

o 사회가 요구하는 데이터는 실시간 서비스가 가능해지지 않으면 버려질

것이며, 데이터는 선별되어 저장될 것이며 그렇지 않을 경우 파기할 것

을 강조, 그리고 실시간으로 쏟아지는 스트리밍 분석 서비스가 중요해

짐을 강조

o 향후 물리적 특징을 강조하는 빅데이터 보다는 빠르고, 실시간 분석 서비

스가 가능한 데이터 품질을 갖춘 스마트 데이터 시대의 도래를 전망

- Wired, Big Data, Fast Data, Smart Data. 2013. 4.17

Page 19: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 14 -

빅데이터와 스마트 데이터 Ⅳ

1. 스마트 데이터의 특성

□ 스마트 데이터와 빅 데이터는 어떻게 다르며, 무엇이 데이터를 스

마트하게 하는지, 그리고 데이터가 스마트하기 위해서는 다음과

같은 세 가지 특성- 3A(Accurate, Actionable, Agile) - 을 고려

① (정확성) 스마트 데이터는 빅데이터의 노이즈로부터 정확하고

양질의 정보를 전달할 수 있어야 함

- 스마트 데이터가 정확하려면 지속적으로 제3자의 벤치마크를

통해 유효성이 입증

- 스마트 데이터 이용자는 지속적으로 투자 대비 효과성을 검

증할 수 있어야 함

② (행동성) 스마트 데이터는 조직이 바로 행동으로 옮길 수 있는

특성을 보유함으로써 가치를 창출하는 원동력으로서 작동

- 시시각각 다양하고 복잡한 데이터가 생성되는 환경에 필요한

즉각적 의사결정은 상당한 시간을 필요로 하는 보고서 분석

등 과거 행동 방식으로는 빅데이터 시대에 부적절

- 기업 고객의 활동 영역을 최대화하고 고객이 바로 행동과 서

비스를 할 수 있는 데이터의 확보는 수익이나 시장 점유율로

직결되는 성장 동력으로 작동

③ (민첩성) 급변하는 비즈니스 환경에서 실시간으로 데이터 분석

이 가능하도록 민첩성이 요구됨

- 비즈니스 결정을 내리기 위해 몇 주를 필요로 하는 업무 환경은

실시간으로 의사 결정을 필요로 하는 환경으로 변화되고 있음

Page 20: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 15 -

- 고객과 의사결정자가 실시간으로 결정을 내릴 수 있도록 데

이터도 민첩성을 지원하는 형태로 변화

- 모든 것이 즉각적인 행동을 취할 수 있도록 변화하는 기술적 요

구 조건과 비지니스 조건에 따라 데이터의 속성도 변화를 필요

※ eXelate에서 제공하는 데이터는 3A를 충족하는 서비스를 제공하며, 75개 이상

의 글로벌 미디어 플랫폼을 지원

□ 스마트 데이터 환경은, 이용자로부터 발생하는 데이터가 실시

간 업무 환경에 적용될 수 있도록 스마트 데이터 모델을 구현

하고 다시 순환 과정을 거칠 수 있도록 구현되어야 함

o 고객으로부터 발생한 초기 데이터(seed) 들은 스마트 데이터

모델을 충족하는 규모로 확장(scale)

o 데이터 모델에 따라 구글, 야후 등 미디어 플랫폼에 작용

(action)한 결과를 다시 데이터 모델에 적용(adapt)

<그림 11> eXelate사의 민첩한 스마트 데이터 과정

Page 21: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 16 -

2. 빅데이터와 스마트 데이터의 구분 기준

가. 데이터의 품질에 대한 평가

o 기업등 조직에서 지속적으로 데이터 품질과 관련된 문제가 발

생 하는지 여부와 관계자들이 데이터의 정확도에 대해 의문을

가지는지 여부를 파악

나. 데이터의 범위

o 데이터를 기반으로 차별화된 비지니스 케이스를 만들기 위해

설득력 있는 근거를 확보하였는지 여부

- 빅데이터는 본질적으로 비즈니스 목적으로 확장되었거나 기

업을 성장시키기 위한 목적으로 탄생되지 않았으므로, 근거

를 확보하는 것이 중요한 척도

o 데이터가 기업의 수익이나 시장 점유율의 원동력으로 활용되

고 있는지 그리고 비용 절감을 이루고 있는지를 판단

다. 실시간성 판단

o 빅데이터가 묶음(batch)으로 처리되고 분석 결과로부터 행동을

취하기 위해 수 시간을 기다려야 하는지에 대한 여부

라. 데이터의 객관적 유효성 입증

o 제 3자 혹은 중립적 시각에서 지속적으로 데이터의 정확함을

평가하는 지에 대한 여부

마. 행동으로 바로 옮길 수 있을 것

o 매일 데이터가 어떠한 비지니스 행동의 근거 혹은 원동력으로

작동되는지 설명할 수 있는 지에 대한 여부

Page 22: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 17 -

바. 실행을 위한 자원의 구축

o 빅데이터 전략을 성취하기 위해서 다순의 컨설턴트, 플랫폼

및 서비스 벤더들을 필요로 하는 지에 대한 여부

사. 유연하지 않은 데이터

o 데이터를 핸드폰과 같은 새로운 플랫폼에 적용시키거나 변화

하는 비지니스 조건에 맞춰 변화시키는 것에 대한 어려움의

여부

스마트 데이터의 특성

o 정확함(Accurate) : 데이터는 새로운 가치를 창출할 수 있을 정도로 정확

성을 가지고 직설적이어야 함

o 행동으로 바로 옮길 수 있을 것(Actionable) : 데이터는 플랫폼 간 미디어

접근성과 같은 비즈니스 목적을 최대화할 수 있도록 즉각적으로 계량이

가능한 행동의 원동력이 되어야 하며, 계량이 가능한 행동은 매우 중요

o 민첩함(Agile) : 데이터는 실시간으로 얻을 수 있으며 변화화는 비지니스

환경에 적응할 수 있어야 하고 유연성이 중요

<그림 12> 스마트 데이터의 특성

Page 23: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 18 -

시사점Ⅴ

□ 빅데이터로부터 가치와 새로운 서비스로 나아가기 위해서는

스마트데이터 품질 기준 필요

o 정보화사회의 심화로부터 소비자들은 디지털 라이프를 완벽히

수용했고 과거로 되돌리기 힘든 상황

- 빅데이터의 잠재력은 소비자 혹은 국민으로부터 발생되는 빅데이

터로부터 발생되지만, 빅데이터의 증가는 빅노이즈의 증가도 발생

- 빅노이즈의 증가는 빅데이터 분석 능력을 저하시킴으로 인해,

실시간으로 정확하며 신속한 서비스를 위해서는 데이터 자체

에 대한 품질 관리 요구가 증대

o 빅데이터 자체에 대한 거품을 제거하고 현실성 있는 서비스를 위해

스마트 데이터를 업계 표준과 기준치로 수용해야할 시점이 도래

빅데이터 기술은 언제든 화려하게 쓰일 기술임은 분명하지만,

제대로 된 검증없이 맹신하게 된 것은 아닌지 돌아봐야 한다.

정부 3.0의 빅데이터 정책을 국민들이 과연 공공정보 정책에

신뢰를 가지는지 빅데이터를 어떻게 활용하느냐의 문제에서는

뚜렷한 그림을 가진 사람들이 그리 많지 않다.(중략)필요 이상

의 지출을 할 가능성이 크며 그 과정에서 겪을 사회적, 경제

적 낭비는 누군가는 책임을 져야 한다

- 문희상. 정부 빅데이터 정책 신뢰 의문, ‘제대로 된 검증없이 맹신’2)

2) 현대일보. “정부 빅데이터 정책 신뢰 의문 - 제대로 된 검증없이 맹신”, 2013.10.23.

Page 24: 빅데이터의 진화 : 스마트 데이터...스마트 데이터의 특성 정확성 스마트 데이터는 빅데이터의 노이즈로부터 정확하 고 양질의 정보를 전달할

- 19 -

□ 빅데이터와 스마트 데이터의 구분 기준 확보

o 아래의 점검 사항을 충족하지 못한다면 스마트 데이터 기준에

부합하지 않으며, 빅데이터 품질을 높이기 위한 노력이 필요

구분 점검 사항

데이터품질 평가

지속적으로 데이터 품질과 관련된 문제의 발생 여부

관계자들이 데이터의 정확도에 대해 의문을 가지는지 여부

데이터 범위

데이터를 기반으로 차별화된 비지니스 사례를 만들기 위해

노력하지만 설득력 있는 근거를 확보하였는지 여부

데이터가 기업의 수익이나 시장 점유율의 원동력이 되는지

여부

비용 절충을 해야 하는지 여부

실시간성판단

빅데이터가 묶음(batch)으로 처리되고 분석 결과로부터 행동

을 취하기 위해 수 시간을 기다려야 하는지에 대한 여부

데이터의객관적 유효성

입증

제 3자 혹은 중립적 시각에서 지속적으로 데이터의 정확함을

평가하는 지에 대한 여부

행동성매일 데이터가 어떠한 비지니스 행동의 근거 혹은 원동력으

로 작동되는지 설명할 수 있는 지에 대한 여부

실행 자원구축

빅데이터 전략을 성취하기 위해서 다순의 컨설턴트, 플랫폼

및 서비스 벤더들을 필요로 하는 지에 대한 여부

유연성 확보

데이터를 핸드폰과 같은 새로운 플랫폼에 적용시키거나 변

화하는 비지니스 조건에 맞춰 변화시키는 것에 대한 어려움

의 여부