aws 의뢰 리서치 기준...기존의 데이터 처리 및 분석 기법 또는 배포 모델을...

II

451 ADVISORS

클라우드 기반 접근 방식을 통해 빅 데이터에서 비즈니스 가치 창출하기

2016년 2월

AWS 의뢰 리서치 기준:

© 2 0 1 5 4 5 1 R E S E A R C H , L L C | W W W . 4 5 1 R E S E A R C H . C O M

자문

http://www.451research.com/

II

4 5 1 R E S E A R C H 정보 451 Research는 탁월한 정보 기술 리서치 및 자문 회사입니다. 기술 혁신 및 시장 혼란에 초점을 맞추어 디지털 경제 선도 기업들에게 핵심적인 통찰을 제공합니다. 100명이 넘는 분석가와 컨설턴트들이 기획 리서치, 자문 서비스, 각종 행사를 통해 그러한 통찰을 북미, 유럽, 그리고 전 세계 1,000개 이상의 클라이언트 조직에게 제공하고 있습니다. 뉴욕에 본사를 둔 451 Research는 2000년에 창립되었으며, The 451 Group의 사업부입니다.

리서치 정보 451은 클라우드 기반으로 주로 배포하는 빅 데이터 사용자들과 여섯 차례의 심도 있는 인터뷰를 수행했습니다. 사용자들에 대한 정보는 Amazon Web Services(AWS)가 제공한 고객 목록에서 얻었습니다. 451 Research 는 이 인터뷰 내용을 분석한 결과를 당사가 진행한 지속적인 고객 및 시장 분석과 결합해 보고서를 작성했습니다.

© 2015-451 Research, LLC 및/또는 그 계열사. All Rights Reserved. 사전 서면 허가 없이는 이 출판물 전체 또는 일부에 대한 어떤 형태의 복제 및 배포도 금합니다. 내부 및 외부 배포에 관한 사용 조건은 451 Research 및/또는 그 계열사와 맺은 서비스 계약에 기술된 조건에 구속됩니다. 여기에 포함된 정보는 신뢰할 만한 것으로 여겨지는 출처에서 얻은 것입니다. 451 Research는 그러한 정보의 정확성, 완전성, 타당성에 대한 보증을 일체 부인합니다. 451 Research는 정보 기술 비즈니스에 관련된 법적 문제를 논의할 수는 있으나 법적 조언이나 서비스를 제공하지 않으며 당사의 리서치는 그런 방식으로 해석하거나 사용해서는 안 됩니다. 451 Research는 여기에 포함된 정보의 오류, 누락, 부적절성이나 정보의 해석에 대해 책임을 지지 않습니다. 독자는 자신이 의도한 결과를 얻기 위해 이 자료들을 선택한 경우, 이에 대한 단독 책임을 집니다. 여기에 표현된 견해들은 사전 통지 없이 변경될 수 있습니다.

뉴욕 20 West 37th Street 3rd Floor New York, NY 10018 전화 212-505-3030 팩스 212-505-2630

샌프란시스코

140 Geary Street 9th Floor San Francisco, CA 94108 전화 415-989-1555 팩스 415-989-1558

런던 37-41 Gower Street London, UK WC1E 6HH 전화 +44 (0)20 7299 7765 팩스 +44 (0)20 7299 7799

보스턴

1 Liberty Square, 5th Floor Boston, MA 02109 전화 617-261-0699 팩스 617-261-0688

©COPYRIGHT 2015 451 RESEARCH. ALL RIGHTS RESERVED.

III

핵심 요약 클라우드 컴퓨팅의 지속적인 발전으로 인해 빅 데이터에서 비즈니스 가치를 창출할 수 있다는 전망이 급속도로 현실화되고 있습니다. 이미 수십억 개의 장치들이 전역적으로 데이터를 스트리밍하고 있는 상황에서 적극적인 기업들은 이 데이터 폭풍에서 큰 이점을 얻기 위해 클라우드를 활용하기 시작했습니다. 그 이점으로는 제품 및 서비스의 출시 기간 단축, 온프레미스 인프라에 비해 더 낮은 총 소유 비용(TCO)과 줄어든 관리 오버헤드 비용, 그리고 더 민첩한 애플리케이션 개발을 들 수 있습니다.

451 Research는 6개의 조직과 심도 깊은 인터뷰를 진행하여 그들의 클라우드 기반 빅 데이터 채택 노력과 그들이 사용하는 다양한 도구 및 서비스를 살펴보았습니다. 인터뷰를 통해 발견한 몇 가지 중요한 요인들은 데이터로부터 실행 가능한 비즈니스 통찰을 만들고자 하는 다른 조직들에게 유용할 수 있습니다. 해당 요인은 다음과 같습니다.

• 광범위한 조직들이 빅 데이터를 통해 이점을 실현할 수 있습니다. 이 보고서만 해도 인터뷰에 참여한 기업들은 다양한 산업 분야를 대표하고 있습니다. 즉 모바일 기술 분석 플랫폼 공급자, 모바일 애플리케이션 플랫폼 공급자, 금융 서비스 규제 관련 회사, 기술 컨설팅 회사, 마케팅 전략 기업, 주류 금융 서비스 기업 등입니다.

• 빅 데이터에서 비즈니스 가치를 얻고자 하는 이 모든 성공적인 초기의 노력들을 뒷받침하는 것은 온프레미스 환경에서 가능했던 것보다 훨씬 저렴한 가격으로 클라우드 데이터를 캡처하고 저장하고 처리할 수 있는 능력입니다. 이를 통해 사용자들은 첨단 분석 기법을 이용할 수 있게 되었고, 특히 비정형 데이터를 분석해 회사의 저장된 정보를 최대한 활용할 수 있는 능력을 얻게 되었습니다.

• 놀랍게도, 비교적 짧은 기간 동안 클라우드를 기반으로 빅 데이터를 활용하려는 시도 끝에 일부 조직들은 이러한 시도가 단지 비즈니스에 도움이 되는 것뿐만 아니라 아예 비즈니스의 핵심이 된다는 것을 깨닫게 되었습니다.

• 클라우드 기반 빅 데이터가 주는 이점은 종종 상당히 큽니다. 한 조직에서는 클라우드에 대한 데이터 쿼리가 온프레미스 기반 쿼리에 비해 400배 향상되는 인상적인 결과가 나타났습니다. 또 다른 회사는 비즈니스에 매우 중요한 위험-위협 분석을 수행하는 데 걸리는 시간이 6~9개월에서 1주 또는 그 미만의 시간으로 단축되어 온프레미스 시스템에 비해 무려 98% 개선되었다고 밝혔습니다.

인터뷰 대상 기업들은 클라우드 기반 빅 데이터로 전환하는 과정에서 겪는 잠재적인 문제점들과 애로 사항을 언급하기도 했습니다. 클라우드가 비용을 상당히 낮추고 빅 데이터 처리에 대한 다른 장애 요인들(예: 필요한 인프라를 배포하는 데 드는 시간과 노력)을 완화하기는 하지만, 빅 데이터 클라우드 사용자는 온프레미스 배포에서 마주하는 몇몇 문제들을 여전히 겪고 있습니다. 가장 자주 언급된 문제점은 이 초창기 영역에서 적절한 업무 능력을 갖춘 인재들이 부족하다는 것입니다. 클라우드 기반 빅 데이터에서 최대한의 가치를 재빨리 얻어내려면 교육 계획을 개발하는 것이 바람직합니다.


4


서문 451 Research는 빅 데이터를 기존 데이터 관리 기술의 비용 및 기능적 한계로 인해 이전에는 무시되었던 데이터의 저장 및 처리를 더 경제적으로 실현할 수 있게 되었다는 사실에 따라 작용한 새로운 비즈니스 인텔리전스 통찰의 실현으로 정의합니다. 여기에는 웹, 네트워크, 서버 로그 데이터와 같은 기존 데이터 소스뿐만 아니라 새로운 데이터 소스, 즉 기계가 생성한 데이터 및 소셜 미디어 데이터도 포함됩니다.

기술사학자 조지 다이슨(George Dyson)은 다음과 같은 말로 빅 데이터를 더 간결하게 표현했습니다. "빅 데이터는 정보 보관 비용이 정보 폐기 비용보다 낮을 때 발생하는 것이다." 이 말이 옳은지에 대해서는 아마도 토론에 맡겨야 할 것입니다. 그러나 논쟁의 여지가 없는 것은 데이터 저장 및 처리 비용이 최근 몇 년 사이에 급격하게 감소한 결과, 기업들이 더 진보적인 데이터 분석 기법을 이용해 더 큰 비즈니스 인텔리전스와 경쟁력을 얻게 되었다는 사실입니다.

클라우드 컴퓨팅은 데이터 저장 및 처리 비용을 끌어내리는 데 상당히 큰 역할을 해왔습니다. 그러나 이것은 개발자/비즈니스 대응 능력, 신생 기술 채택까지 걸리는 시간 단축, 고가용성, 인프라 구성/관리 오버헤드 절감 등의 이점을 나란히 옆에 두고 볼 때 클라우드가 제공하는 잠재적 이점 중 한 가지일 뿐입니다. 최근 몇 년 동안 클라우드 및 호스팅된 서비스에서 데이터를 저장, 처리 및 분석하기 위한 접근 방식은 다양한 측면에서 폭발적으로 증가했습니다.

클라우드 채택은 보편화되었고 빅 데이터의 출현으로 인해 더 많은 기업들이 이전에는 무시되거나 효과적으로 또는 효율적으로 처리되지 못했던 데이터로부터 통찰을 얻기 위한 새로운 접근 방식을 찾게 되었습니다. 클라우드 서비스는 대규모 및 소규모 데이터 세트의 저장 및 처리를 위한 온프레미스 인프라에 대안을 제공합니다. 나아가 대규모 자본 투자의 필요성을 줄여 채택을 가로막는 장벽을 낮춤으로써 종량 과금제 모델을 구축하고 글로벌 확장을 순조롭게 촉진할 수 있습니다. 결과적으로 기업들은 새로운 빅 데이터 처리 및 분석 플랫폼을 구성하는 데 드는 비용 및 시간을 줄일 수 있게 되었습니다.


이 보고서는 기업 이해 당사자 및 의사결정 주체들과 직접 상호 작용하는 과정에서 생긴 고객 관점에 따라, 사용 가능한 제품군과 채택 동향에 대한 개요를 제공합니다. 다음 목적에 따라 451 Research는 클라우드 서비스를 활용하고 있는 기업들과 여섯 차례에 걸친 심층 인터뷰를 실시했습니다.

• 비즈니스 목표와 성공 지표를 식별하여 자신들의 빅 데이터 목표 달성

• 그러한 목표 달성을 가로막는 현재 장애 요소 확인

• 그러한 목표 달성을 돕기 위해 클라우드 서비스 공급자들이 할 수 있는 역할 식별

빅 데이터 사용자들에게 클라우드가 제공하는 5가지 방법

이 보고서에 기여한 6개의 기업들 모두 빅 데이터 처리에 클라우드를 사용함으로써 경쟁력을 높여가고 있습니다. 기존의 데이터 처리 및 분석 기법 또는 배포 모델을 사용해서는 가능하거나 조달할 수 없었을 제품 또는 서비스를 고객들에게 제공하여 경쟁력을 높이고 있는 것입니다.

이 조사를 통해 클라우드 컴퓨팅과 빅 데이터 분석의 조합이 비즈니스 가치를 창출하는 5가지 기본적인 방식을 알아냈습니다.

1. 출시 기간 단축: 한 조직의 경우 쿼리 시간이 온프레미스 시스템에 비해 4,000% 개선됨으로써 제품 및 서비스 개발 시간을 단축하는 한편 훨씬 더 신속하고 정보에 근거한 의사 결정을 내릴 수 있게 되었습니다.

2. TCO 절감: 온프레미스 환경 대비 50% 이상 비용 절감.

3. 관리 오버헤드 감소: 운영비가 50% 넘게 줄어들어 소중한 IT 담당 직원들의 시간을 더 전략적이고 비즈니스에 집중된 개발 과업에 할애할 수 있게 되었습니다.

4. 향상된 개발자 대응 능력: 24시간 내에 개념 수립에서 프로덕션 배포까지 완료.

5. 신규 수익 창출 기회: 분석을 더 빠르고 쉽게 할 수 있게 됨으로써 신규 수익 창출 기회를 며칠이 아닌 몇 분 만에 찾아낼 수 있습니다.

5

목차

클라우드 기반 빅 데이터: 두 배로 증가하는 비즈니스 가치 1

빅 데이터를 위한 비즈니스 목표 .......................................................................................................................................................... 1

사용자 및 사용 사례 3

데이터 기반 애플리케이션 및 서비스 ................................................................................................................................................ 3

비즈니스 보고 및 첨단 분석 .................................................................................................................................................................... 3

데이터 과학 .................................................................................................................................................................................................... 4

문제 - 기술, 프로세스, 비즈니스 5

빅 데이터 프로젝트의 잠재적 문제점: ................................................................................................................................. 6

성공의 척도 7

출시 기간 단축 .............................................................................................................................................................................................. 7

총 소유 비용 ................................................................................................................................................................................................... 8

비즈니스 성과 ............................................................................................................................................................................................... 9

대응 능력 ......................................................................................................................................................................................................... 9

기대치 10


1

클라우드 기반 빅 데이터: 두 배로 증가하는 비즈니스 가치

클라우드 컴퓨팅의 채택은 역사적으로 최첨단 스타트업들과 연관되어 있는데, 451 Research는 현재 산업 전 분야에 걸친 기업들이 클라우드 서비스를 탐색 및 채택하고 있음을 알게 되었습니다. 이 보고서는 빅 데이터 이니셔티브를 위해 클라우드 서비스를 이미 선택한 일련의 기업에 대해 짤막하게 소개합니다. 빅 데이터 이니셔티브란 기존 데이터 스토리지 및 처리 기법뿐만 아니라 기존 온프레미스 인프라와의 부조화로 인해 이전에는 무시되었던 데이터를 저장, 처리, 분석하는 것을 뜻합니다.

이러한 부조화는 아래와 같은 몇 가지 요인 때문입니다.

• 관계형 데이터베이스는 비정형 데이터를 저장 및 처리할 수 있도록 설계되지 않았습니다.

• 관계형 데이터베이스는 대규모 데이터 볼륨을 처리하는 데 적합하지 않습니다.

• 관계형 데이터베이스는 데이터 분석가와 데이터 과학자들이 새로운 통찰을 얻기 위해 데이터 세트를 탐색할 수 있도록 하는 것보다는 사전 정의된 쿼리를 처리하는 데 더 적합합니다.

그러나 위에 언급했듯이 저희는 새로 개발된 데이터 처리 기술을 채택하게 만드는 주된 요인은 경제성이라고 믿습니다. 말하자면 기존 아키텍처를 사용해 빅 데이터를 저장하고 처리하는 것이 기술적으로 가능한 경우라 할지라도 현실적으로 그것을 실행하는 데 드는 비용은 엄청납니다.

클라우드 서비스는 온프레미스 인프라를 구축, 구성, 관리할 필요성을 제거함으로써 이러한 빅 데이터 처리 플랫폼의 채택을 가로막는 장벽을 낮출 수 있는 잠재력을 지니고 있습니다. 이를 통해 개발자들은 개념 증명(PoC)에서 생산으로 더 빨리 이동할 수 있고, 데이터 분석가 및 과학자들은 보다 짧은 시간 안에 비즈니스 통찰을 얻을 수 있습니다.

클라우드 서비스와 데이터 저장, 처리, 시각화에 대한 새로운 접근 방식을 조합함으로써 기업들은 비즈니스 변화를 추진하고 새로운 비즈니스 목표를 달성할 수 있는 기회를 얻게 되었습니다. 그러나 클라우드를 이용해 데이터를 처리하는 방식을 채택하는 흐름은 아직 초기 단계에 있고, 이 연구의 인터뷰 대상 기업들 역시 자신들의 클라우드 기반 데이터 처리를 확장할 의향이 있음을 강조했습니다. 이를 통해 클라우드 서비스를 기반으로 한 빅 데이터 처리가 앞으로 어떤 방향으로 전개될지 엿볼 수 있습니다.

이 연구에서 인터뷰한 기업들은 광범위한 AWS 제품군, 예를 들면 클라우드 스토리지를 위한 Amazon S3, 데이터 웨어하우징을 위한 Amazon Redshift, 그리고 Hive, Presto 및 기타 하둡 관련 프로젝트와 호환되고 상호 운용 가능한, 서비스로서의 하둡(Hadoop-as-a-service) 제품군인 Amazon의 Elastic Map Reduce(EMR) 등을 사용하고 있었습니다. 한편 일부 응답자들의 경우에는 클라우드 인프라에서 하둡 배포를 실행하기도 했습니다. Amazon의 DynamoDB NoSQL 데이터베이스 및 Relational Database Service(RDS) 역시 다른 여러 가지 클라우드 서비스와 함께 생산, 또는 테스트 및 개발에 사용되고 있었습니다.

빅 데이터를 위한 비즈니스 목표

위에서 언급했듯이 온프레미스 및 클라우드 양쪽에서 빅 데이터 처리를 채택하도록 만드는 주요 경향 중 한 가지는 비싸지 않은 컴퓨팅 리소스를 이용하여 이전에는 비용 및 복잡성 때문에 불가능했던 규모로 데이터 처리 및 분석을 수행할 수 있게 된 것입니다.

빅 데이터 처리로 인해 가능해진 다양한 비즈니스 기회가 있지만, 대체로 다음의 2가지 주요 영역으로 나눌 수 있습니다.

• 향상된 운영 효율성 이는 기존 데이터 처리 워크로드를 더 저렴하고 강력한 플랫폼으로 마이그레션한 결과입니다. 예를 들어 많은 기업들이 하둡과 관련된 낮은 스토리지 비용을 이용해 추출-변환-로드(ETL) 워크로드와 과거 데이터를 데이터 웨어하우스에서 하둡으로 마이그레이션하고 있습니다. 그 목적은 더 가치 있는 분석 워크로드에 데이터 웨어하우징 용량을 할애하는 한편, 데이터 처리 및 스토리지 비용을 낮추는 것입니다.


2


• 새로운 비즈니스 이니셔티브 개척 및 지원 이는 이전에는 사용하지 않았던 데이터와 신생 분석 기법 (예: 클릭스트림 분석, 소셜 데이터 분석, 사물 인터넷, 예측 분석, 머신 러닝)을 이용해 새로운 비즈니스 통찰을 얻음으로써 가능합니다. 비즈니스 사례로는 실시간 고객 서비스, 사기 분석, 그리고 타겟 마케팅 및 광고를 들 수 있습니다.

이를 통해서 볼 때 클라우드를 통한 빅 데이터 처리를 성공적으로 활용하고 있는 기업들은 단지 점진적인 개선을 즐기고 있는 것이 아닙니다. 클라우드 기반 빅 데이터 처리로 인해 얻게 된 이점은 재빠르게 비즈니스의 핵심이 됩니다. - 새로운 애플리케이션과 비즈니스 프로세스가 가능해지고, 회사는 이를 통해 잠재적으로 경쟁 우위를 얻을 수 있습니다.

"결국 회사라는 존재 전체는 빅 데이터 이니셔티브를 사용해서 얻은 결과를 측정한 것입니다." – 모바일 플랫폼 공급자

이를 분명하게 보여 주는 한 가지 예는 금융 서비스 회사에서 찾을 수 있었는데, 이 회사는 자체 결제 시스템 및 관련 보고 및 분석을 위해 Amazon Redshift를 주요 데이터 웨어하우스로 사용하고 있습니다. 그 애플리케이션, 그리고 그 기저에 있는 Amazon Redshift 데이터 웨어하우스는 그 금융 서비스 회사가 성공적으로 운영되도록 하는 데 필수적인 요소입니다.

또 다른 인터뷰 대상 기업인 모바일 기술 분석 플랫폼 공급자도 이와 마찬가지인데, 그 회사의 플랫폼은 전적으로 클라우드에서 설계되고 배포되었습니다. 빅 데이터 클라우드 서비스가 없다면 그 회사는 존재할 수 없을 것입니다.

이 보고서에 기여한 기업들 모두 빅 데이터 처리와 클라우드를 결합함으로써 6~9개월 온프레미스 관계형 데이터베이스

위험 위협 분석

1주 미만 클라우드 기반 하둡 서비스

경쟁력을 높이고 기존 데이터 처리 및 분석 기법과 배포 모델로는 불가능할 제품 및 서비스를 고객에게 제공하고 있습니다.

한 가지 예를 금융 서비스 규제 관련 기업에서 찾을 수 있는데, 이 회사는 이따금 15개월 이상의 기간에 걸친 대량의 과거 데이터를 바탕으로 특정 '위험 위협 모델' 분석 업무를 반복 수행해야 합니다. 관계형 분석 데이터베이스를 사용하면 이 분석을 완료하는 데 6~9개월이 걸렸습니다. 그러나 이 회사는 Amazon EMR 클라우드 기반 하둡 서비스를 사용해 1주일도 안 돼 이 분석을 완수할 수 있었습니다. 이를 통해 이 회사는 과거 및 현재의 위협 위험에 대해 더 최신의 정확한 그림을 얻게 되었습니다.

또한 이 회사는 비즈니스 분석가들을 위해 인덱싱된 데이터를 쿼리하는 작업에서 이점을 얻기도 했습니다. 그러한 쿼리들 중 일부는 몇 제타바이트의 데이터에 대해 실행됩니다. 이 회사의 데이터 웨어하우스 환경에서 해당 쿼리는 완료될 때까지 최대 4시간이 걸릴 수 있었습니다. 이러한 환경이 이제 Amazon EC2의 하둡 및 HBase로 전환됨으로써 다음과 같은 엄청난 성능 향상을 가져왔습니다.

"클라우드에서 HBase 를 사용해 동일한 쿼리를 실행하면 10~12 초에 응답이 돌아오니까, 400배 향상된 것이죠. 400% 더 빨라진 게 아니라 400 배 향상된 것입니다." – 금융 서비스 규제 관련 기업

4시간 걸리던 온프레미스 데이터 웨어하우스 쿼리가 IaaS 상의 하둡 및 HBase로 10~12초로 단축됨


이 보고서를 위해 인터뷰한 회사들은 비즈니스를 위한 변화를 추진하는 데 있어서 출시 기간 단축, 데이터 처리 비용 절감, 고객 통찰 증가, 고객 서비스 향상 등 다양한 지표 덕분에 클라우드 기반 데이터 처리 이니셔티브가 필수적인 요소라는 사실에 동의했습니다.

400배 향상

3

사용자 및 사용 사례

데이터 기반 애플리케이션 및 서비스

빅 데이터 기반 애플리케이션 및 서비스를 고객에게 직접 제공하는 것은 마케팅 전략 회사를 위한 주요 사용 사례입니다. 현재 그 회사는 빅 데이터 클라우드 서비스를 이용해 고객들의 마케팅 비용이 어떻게 소비되고 있고 특히 경쟁력 있는 분석과 관련해 어떤 결과를 낳는지에 대한 통찰을 고객들에게 전달하고 있습니다.

기술 컨설팅 회사가 고객의 행동에 기반을 둔 클라이언트의 요구를 충족하기 위해 통찰을 얻는 데 집중하는 것은 당연한 일입니다. 빅 데이터 클라우드 서비스를 이용하는 프로젝트들의 특정 사례에는 고객의 개성에 맞춘 제품군의 생성뿐만 아니라 거래 분석 및 충성도 카드 분석도 포함됩니다.

모바일 기술 분석 플랫폼 공급자도 이와 마찬가지로 자신의 클라이언트에게 데이터를 제공하는 데 관심을 갖고 있지만, 이 경우에는 모바일 애플리케이션 개발자들에게 그들의 모바일 애플리케이션에 대한 통찰을 제공하고 있습니다.

비즈니스 보고 및 첨단 분석

클라우드 기반 빅 데이터는 출발점을 선택할 수 있게 해 줍니다. 외부 청중들은 내부 고객들만큼 쉽게 보고와 분석을 제공 받을 수 있습니다.

예를 들어 금융 서비스 회사가 클라이언트들에게 어떤 데이터를 제공하여 그들이 경쟁사들에 비해 더 경쟁력 있는 분석을 할 수 있게 되는 한편, 그 회사의 주요 사용 사례는 더 내부로 집중되어 불법적인 거래 패턴의 탐색을 수반합니다. 따라서 핵심 사용자들은 보고 및 시각화 도구를 사용하는, 분야 전문성을 지닌 비즈니스 분석가 및 금융 분석가들입니다.

마케팅 전략 회사는 클라이언트에게 데이터 기반 서비스를 제공할 뿐만 아니라 자신의 고객들에게 더 나은 서비스를 제공하기 위해 내부 보고 및 동향 분석을 통해 동일한 데이터를 쿼리하는 자체 비즈니스 분석가들도 보유하고 있습니다.

한편 금융 서비스 규제 관련 기업은 비즈니스 분석을 위해 클라우드에서 3가지 주요 내부 워크로드, 즉 배치 분석, 상호 작용 분석, 요약 보고를 실행하고 있습니다. 네 번째 사용 사례(추가 분석(ad hoc analytics))는 현재 여전히 온프레미스 데이터 웨어하우징 인프라에서 실행되고 있지만, 추가 분석을 클라우드로 마이그레이션하려는 계획이 진행 중입니다.

클라우드에서 이 기능을 제공할 환경을 만드는 일이 현재 진행 중입니다. 그러나 금융 서비스 규제 관련 기업은 배치 분석, 대화식 분석, 요약 보고 사용 사례에서 경험해온 이점을 바탕으로 데이터 과학자들이 클라우드에 저장된 데이터도 이용할 수 있도록 하는 도구를 개발하고자 합니다.

그러한 온프레미스 추가 분석 도구의 최종 사용자는 데이터 과학자들로 간주되는데, 이들은 통계 분석, 프로그램 방식 분석 및 SQL온하둡(SQL-on-Hadoop) 등 분석 도구 및 기법을 조합해 사용할 가능성이 있습니다.


기업들은 빅 데이터 클라우드 서비스를 위해 다양한 사용 사례를 활용하고 있습니다. 몇 가지 핵심 사례는 인터뷰를 통해 얻은 것들인데, 고객에게 직접 애플리케이션 및 서비스 제공, 비즈니스 보고 및 분석 수행, 데이터 과학자들과 함께 데이터를 탐색하여 새로운 통찰 및 비즈니스 기회 창출 등이 포함됩니다.

4


데이터 과학

다른 인터뷰 대상 기업들은 이미 빅 데이터 클라우드 서비스를 사용해 데이터 과학을 추진하고 있습니다. 마케팅 전략 회사는 예측 분석 서비스를 비롯해 고객에게 판매되는 제품 및 서비스에 반영될 수 있는 새로운 데이터 소스와 경쟁력 있는 통찰을 얻기 위해 클라우드에서 데이터에 대한 모델링과 예측 분석을 수행하는 데이터 과학자 팀을 보유하고 있습니다.

"무제한의 자유가 주어져 종횡무진하는 데이터 과학자들의 수가 매우 적지만, 어떤 것이든 실험 이상의 것이 된다면 저희는 그 프로세스를 공식화합니다." – 마케팅 전략 회사

451 Research는 이러한 데이터 중력의 개념이 빅 데이터 클라우드 서비스 채택에 영향을 미치는 1차적인 힘이라고 믿습니다. 리소스 처리가 대부분의 데이터(혹은 가장 중요한 데이터)를 저장하는 플랫폼으로 마이그레이션될 것이기 때문입니다.


인터뷰 대상 기업들은 서문에서 언급한 것처럼 다양한 클라우드 기반 빅 데이터 서비스를 사용하고 있습니다. 하지만 공통 분모는 Amazon S3 클라우드 스토리지 서비스입니다. 이는 데이터 처리 및 분석이 데이터 중심으로 진행되고 있고, 데이터 스토리지 서비스 사용 증가는 클라우드 기반 데이터 처리의 증가를 선도하는 요인이 될 것이라는 451 Research의 신념을 어느 정도 증명하고 있습니다.

5

문제 – 기술, 프로세스, 비즈니스

클라우드 또는 온프레미스에 상관없이 빅 데이터 프로젝트와 관련된 여러 가지 문제들이 있습니다. 그러나 놀라운 것은 인터뷰 대상 기업들이 강조한 문제들은 대체로 클라우드에 한정되지 않는다는 것입니다. 여기서 얻게 되는 결론은 빅 데이터 배포에 관한 한 클라우드 자체는 주요 문제점을 야기하지 않는다는 것입니다.

클라우드는 복잡성을 일부만 다루도록 설정되기 때문에 온프레미스보다 클라우드가 덜하긴 하지만 온프레미스와 클라우드 모두에서 데이터 과학자들의 부족이 전반적으로 상당히 큰 문제점입니다. 모든 빅 데이터 실무자들에게는 Python 및 R과 같은 도구를 사용해 데이터를 분석할 수 있을 뿐만 아니라 그러한 기술을 적용해 새로운 제품 및 서비스의 프로토타입을 생성할 수 있는 후보자들을 찾기 어려운 것이 현실입니다.

비즈니스 분석 기술을 지닌 사람들을 고용하는 것 역시 그들이 당면한 비즈니스 문제에 자신들의 기술력을 적용할 수 있는 도메인 지식을 갖춘 사람이어야 한다는 문제를 야기합니다. 이 문제 역시 금융 서비스 회사와 컨설팅 회사 양자가 공통적으로 강조하는 것인데, 이는 기술을 이용하려면 사용 사례를 식별해야 할 필요가 있음을 역설하는 것입니다.

다른 문제들로는 내부 시스템과의 통합뿐만 아니라 특히 API를 통한 외부 데이터 소스와의 통합이 있습니다. 이는 모바일 분석 플랫폼 공급자에게는 주요 문제로 다가오는데, 그 이유는 그 회사가 최근에 인수되어 이제 더 큰 회사의 일부가 되었기 때문입니다. 그 회사가 더 큰 성공을 거둠으로 인해 마주하게 된 클라우드에 한정된 또 다른 문제는 잠재적 비용을 제어하고 성공 비용의 균형을 맞추는 것, 다시 말해 고객들을 지원하는 데 필요한 인프라의 양(그리고 그 인프라를 관리하는 비용)을 2배로 하지 않고 고객의 수를 2배로 늘리는 것입니다.

데이터 거버넌스는 또 다른 비즈니스 프로세스 문제로서, 특히 데이터 거버넌스와 관련된 지역적 규제를 고려하면 마케팅 전략 회사에 해당되는 것입니다. 데이터 거버넌스는 보안과 함께 컨설팅 회사에 의해 프로세스 문제로도 제기되었는데, 이는 모든 회사에게 해당되는 영구적인 문제로서 기존 애플리케이션을 클라우드 서비스로 마이그레이션하는 조직들에게는 특별한 관심 사항입니다. 이 빅 데이터 규정 준수 문제는 온프레미스 및 클라우드 인스턴스 모두에 영향을 미칩니다.

"저는 데이터의 폭발 및 주위에 난무하는 데이터에 대한 접근성이 거버넌스 및 관리 부서에서 실제 직무를 수행 중인 실무자의 능력을 훨씬 능가한다고 생각합니다. 우리가 일을 꽤 잘 하고 있다고 생각하지만, 사실 우리는 항상 그보다 더 잘 할 수 있습니다." – 마케팅 전략 회사

금융 서비스 회사가 데이터 및 서비스를 클라우드에 마이그레이션할 자신감을 얻기 위해 수개월 동안 클라우드 공급자를 보안 검토에 시달리게 만드는 것은 놀라운 일이 아닙니다. 클라우드 공급자가 보안 검토에 통과한다 하더라도 금융 서비스 회사의 데이터 전체가 클라우드에 상주하는 것은 아닙니다. 데이터 거버넌스 규정으로 인해 일부 데이터 세트는 여전히 온프레미스에 저장됩니다.


보수적인 기업이 변화에 저항하는 것도 금융 서비스 회사와 컨설팅 공급자가 제기한 잠재적인 문제로서, 금융 회사의 경우에는 TCO 이점을 증명함으로써 그 문제가 빠르게 완화될 수 있었습니다.

6

클라우드 기반 접근 방식을 통해 빅 데이터에서 비즈니스 가치 창출하기 빅 데이터 프로젝트의 잠재적 문제점:

가장 적은 수준에서 가장 심각한 수준까지 1~5의 척도로 평가함

업무 능력

가치 지각

비즈니스 사례의 부족

비용 계량화 불능

회사의 저항

0 0.5 1.0 1.5 2.0 2.5 3.0


7

성공의 척도

기업들이 클라우드에서 빅 데이터를 이용하여 새로운 비즈니스 목표를 달성하고 있다면 그들은 어떻게 빅 데이터 프로젝트, 좀 더 구체적으로 말하자면 클라우드 상의 빅 데이터 프로젝트의 성공을 측정할까요? 이에 대한 답은 각 조직의 역할에 따라 달랐습니다. 인터뷰 대상 기업들은 비용 절감, 출시 기간 단축, 개발자 대응 능력, 수익 창출 등의 다양한 잠재적 이점을 언급했습니다.

출시 기간 단축

출시 기간 단축은 종종 스타트업과 새로운 산업에서 빅 데이터 클라우드 서비스를 채택하게 만드는 동인으로서, 온프레미스 인프라를 설계, 조달, 구성, 유지할 필요 없이 개념에서 생산으로 이동할 수 있게 해 줍니다. 이것은 클라우드 내 확장성을 통해 수요가 최고조에 이를 때 회사가 이에 더 잘 대응할 수 있도록 해주는 부가적인 이점과 더불어, 모바일 기술 분석 플랫폼 공급자가 인지하는 주된 이점입니다. 이 기업이 인지하는 또 다른 이점은 클라우드가 엔지니어 및 개발자들에게 매력적이어서 재능이 뛰어난 사람을 고용할 수 있다는 것입니다.

기본으로 제공되는 확장성을 갖춘 발군의 서비스를 사용할 수 있었던 덕분에 자사 제품군을 더 신속하게 개발 및 출시할 수 있었던 모바일 애플리케이션 플랫폼 공급자 역시 클라우드 빅 데이터 서비스 채택이 주는 1차적 이점으로 출시 기간 단축을 이야기합니다.

출시 기간 단축은 단연코 가장 중요한 측면이었습니다. 확장성이 기본 제공되고 비용도 합리적인 발군의 실무 서비스를 최대한 활용함으로써 신규 서비스를 훨씬 더 효율적으로 개발할 수 있었습니다." – 모바일 애플리케이션 플랫폼 공급자

마케팅 전략 기업 역시 비용 절감, 출시 기간 단축, 개발자 대응 능력, 수익 창출 등 다양한 이점을 경험했습니다. 그 이점들이 지닌 상대적인 중요성은 금융 부서, 마케팅 전문가 또는 IT 부서 등 응답자가 누구냐에 따라 달랐습니다. 그러나 마케팅 전략 기업 CTO의 경우에는 출시 기간 단축이 주된 이점이었습니다.

"저희는 아침에 어떤 아이디어가 떠오르면 필요한 경우 오후에 그것을 개발할 수 있었습니다. 저희는 24시간 내에 완전한 솔루션을 만들어낸 적도 있었어요. 전에는 들어보지도 못했던 일이죠." – 마케팅 전략 회사

개념에서 프로덕션 배포까지


24시간

8


총 소유 비용 대규모의 확고히 자리 잡은 빅 데이터 사용자들은 비용을 절감하고 운영 효율성을 개선할 수 있는 기회를 얻을 수 있다는 점 때문에 클라우드 서비스에 이끌리는 경향이 있습니다. 온프레미스 데이터 웨어하우스에서 데이터 웨어하우스 서비스로 마이그레이션함으로써 대략 40%의 비용을 절감한 금융 서비스 회사가 비용 절감이라는 이점에 주의를 집중하는 것도 그리 놀랄 일은 아닐 것입니다.

"기본적으로 총 소유 비용이 저희에게 가장 큰 동인이라고 한다면, 회사가 그러한 가치를 지각하는 것이야말로 이 모든 것을 포괄하는 여러 가지 동인들에 대한 관건입니다." – 금융 서비스 회사

"저희는 웨어하우스를 온프레미스에서 [클라우드로] 이동시킨 결과 확실히 상당히 큰 비용 절감을 실현했습니다. 57%가 절감되었습니다. " – 금융 서비스 회사

금융 서비스 규제 관련 기업 역시 비용에 크게 집중하는데, 다양한 핵심 성능 지표(KPI)를 사용해 클라우드 서비스의 성공을 측정합니다. 이 KPI에는 프로젝트가 목적에 적합한지, 일정 대로, 예산에 맞게 실행되었는지 여부가 포함됩니다.

클라우드로 이동함으로써 이와 관련해 몇 가지 이점을 얻었습니다. 그 회사는 초기 비용 산출 프로젝트를

온프레미스 데이터 웨어하우스

57% 비용 절감

클라우드 기반 데이터 웨어하우스 서비스

통해 온프레미스 환경 대비 35~40%의 비용을 줄일 수 있음을 알게 되었습니다. 뿐만 아니라 클라우드 서비스를 지속적으로 발전시켜 혁신적인 신규 서비스 및 기술을 이용하게 되면 매년 12~14%의 비용 절감 목표를 달성할 수 있다는 점도 알게 되었습니다.

"1 년 반 전에 저희는 [하둡 배포를 사용해] 이 HBase 환경을 설치했습니다. "저희는 이제 그것을 Amazon EMR로 교체하고 Amazon S3 에서 HBase 를 실행하는 것을 검토하고 있습니다. 저희에게는 이러한 대규모의 한시적 시스템, 즉 HS1 시스템 [고밀도 스토리지와 높은 순차 읽기/쓰기 성능]을 사용하는 또 다른 애플리케이션이 있었어요. 1 년도 안 돼 저희는 그 시스템을 D2[고밀도 스토리지 인스턴스로서 높은 순차 읽기/쓰기 성능을 갖추었으며 특히 아주 대규모의 데이터 세트를 위해 설계]로 교체했는데 그 이유는 40% 더 적은 비용으로 더 큰 성능을 제공하기 때문이었죠. 저희는 이처럼 Hive에 기반을 둔 대화식 애플리케이션을 하나 갖고 있었습니다. 그 애플리케이션은 8 개월 동안 운영되었습니다. 저희는 이제 그것을 Presto로 교체하는 것을 검토하고 있습니다." – 금융 서비스 규제 관련 기업

빅 데이터는 그 금융 서비스 회사의 비즈니스에 너무나 본질적인 것이어서 월별 수익 및 시장 점유율과 같은 측면들을 사용해 더 많은 포괄적 비즈니스 지표를 적용함으로써 프로젝트의 성공을 측정했습니다. 시스템 그 자체에 관해서는, 시의적절하게 보고서를 산출해 비즈니스의 성공을 측정하는 능력과 마찬가지로 비용이 유의미한 지표입니다.


35-40% 비용 절감

사내 환경 대비

9


"저희가 수치를 산출하여 클라우드 기반 시스템이 레거시 온프레미스 시스템에서 드는 비용의 절반도 안 되는 비용이 들 것이라는 것을 보여 주자 회사는 즉시 '음, 그렇게 하도록 하지. 다만 제대로 굴러가게 하고 데이터가 안전하도록 하기만 하게'라고 말했습니다. 일단 모든 사항을 확인할 수 있게 되자 결정 내리는 것은 쉬웠습니다." – 금융 서비스 회사

비즈니스 성과

마케팅 회사의 경우에는 핵심 성능 지표(KPI)가 비용, 가동률, 애플리케이션 성능, 보안 등으로서 시스템에 더 한정되어 있습니다. 또한 이 지표들은 비즈니스가 전체적으로 어떻게 작동하고 있는지에 관한 더 폭넓은 관심의 맥락에서 관찰되었습니다.

이와 마찬가지로 모바일 분석 플랫폼 공급자는 클라우드 서비스와 관련된 다양한 지표(성과와 상대적 비용이 주요 이점)를 측정하는 한편, 가장 중요한 지표들은 비즈니스 자체와 관련되어 있습니다. 여기서 KPI에는 얼마나 많은 고객이 서비스를 사용하고 있는지, 서비스가 얼마나 많은 고객 데이터를 처리하고 있는지, 고객들에게 얼마나 많은 가치를 제공할 수 있는지 등의 지표가 포함되어 있습니다.

컨설팅 기업 역시 여러 가지 이점을 경험했습니다. 비용 절감이 가장 명백하게 드러난 긍정적 측면인 반면, 출시 기간 단축 및 수익 개선 역시 유의미한 이점으로 부각되었습니다. 한편 컨설팅 기업 역시 새로운 수익 창출, 신규 고객 창출, 고객 유지 등 고객 관련 지표에 모든 관심을 집중했습니다.

모바일 애플리케이션 플랫폼 공급자 역시 서비스 자체를 관리하고 유지할 사람들을 고용할 필요에서 벗어났다는 점에서 비용을 절감했다고 평가합니다.

대응 능력

모바일 애플리케이션 개발 플랫폼 공급자의 경우에는 출시 기간 단축, 플랫폼을 민첩하게 수정 및 확장할 수 있는 대응 능력이 애플리케이션을 온프레미스에서 배포할 것인가 아니면 클라우드에서 배포할 것인가를 결정하는 데 관건이 됩니다.

위에서 언급했듯이 비용이 종종 기성 산업 및 업체들을 움직이는 1차적인 요인이기는 하지만, 대응 능력이 새로운 비즈니스 이니셔티브를 가능케 하고 또 지원함으로써 보다 폭넓은 도입을 촉발할 수 있는 더 큰 이점이 되는 경우도 종종 있습니다. 비용에 대한 고려뿐만 아니라 대응 능력 역시 금융 서비스 회사에 영향을 미치는 핵심 요인으로서, 특히 서버 하드웨어를 온프레미스로 공급하는 데 필요한 문서 작업과 그에 수반되는 장애물들에 비해 클라우드 상에서 새로운 컴퓨팅 및 스토리지 리소스를 프로비저닝할 때의 용이함이 관건입니다.

"[클라우드에] 다수의 하드웨어를 프로비저닝하고 싶으면 지금 당장 그렇게 할 수 있습니다. 저희 데이터 센터에 다수의 하드웨어를 프로비저닝하고 싶으면, 그것은 수개월에 걸친 엄청난 양의 문서 작업과 전화 통화의 연속입니다." – 금융 서비스 회사

향상된 대응 능력이 운영팀 및 비즈니스 분석가들 모두에게 이점이 된다는 것을 인지한 마케팅 전략 회사에 의해, 대응 능력 역시 이점으로 거론됩니다.

"저는 최대 수혜자가 IT 인프라 운영자들이라고 생각하는데, 그 이유는 저희에게 온프레미스라는 게 이제 없기 때문입니다...분석가 또는 데이터 과학자가 요청한 지 1시간 이내에 완전히 설정된 환경을 가질 수 있다는 사실은 비즈니스 사용자들도 이점을 베푸는 쪽에 있음을 뜻합니다." – 마케팅 전략 기업


10

기대치

빅 데이터 처리 및 클라우드의 조합을 사용해 경쟁력을 높이고 새로운 서비스를 제공하는 인터뷰 대상자들은 하나같이 빅 데이터를 그들이 제공하는 제품 및 서비스를 구성하는 필수 요소로 보고 있습니다. 그들은 또한 빅 데이터에 대한 투자가 향후 12~24 개월 이내에 증가할 것으로 기대된다고 말했습니다. 그들의 계획에 대해 우리에게 공개한 전망으로 설명되듯이 클라우드에서 빅 데이터를 호스팅함으로써 얻게 되는 무제한 용량, 대응 능력, 비용 절감은 그러한 증가를 가능케 하는 필수적인 구성 요소입니다.

무제한 용량

"저는 지난 10년 동안 사람들이 가능한 한 많은 데이터를 저장하고 수집하는 방법을 궁리했다고 생각합니다... 이제 사람들은 그 데이터를 점점 더 많이 활용하는 방법을 궁리하고 있으므로 용량에 대한 수요는 유지만 될 것입니다." – 모바일 분석 플랫폼 공급자

대응 능력

"저희가 더 많은 데이터를 보유하고 그 데이터에 대해 더 빠르게 분석할수록 판매할 수 있는 새로운 데이터 제품을 더 빠르게 생산할 수 있습니다. 측정할 수 없는 것을 관리할 수는 없습니다. 저는 이것이 모든 것을 요약한다고 믿습니다." – 금융 서비스 회사

TCO 절감

"저희는 [클라우드로] 더 많은 시스템을 이전하고 있고, 더 많은 데이터를 수집하고 있습니다. 따라서 더 많은 데이터를 수집하는 데 더 많은 비용이 드는 반면에, 그것은 확실히 배당금이 있고 회사가 명백히 후원하는 투자입니다. 사람들은 저희에게 데이터 웨어하우스를 더 추가할 것을 적극 권하고 있습니다. 저희가 시스템을 [클라우드로] 이전하면 그로 인해 내부 비용을 회수할 수 있고, 그렇게 해서 절약한 돈을 빅 데이터에 더 많이 투자할 수 있습니다." – 금융 서비스 회사


aws 의뢰 리서치 기준...기존의 데이터 처리 및 분석 기법 또는 배포 모델을...

Documents