1. hadoop 소개

1-1 Copyright © 2015, Oracle. All rights reserved.

왜지금빅데이터인가

1

순도

양

업무처리

분석처리

빅데이터빅데이터를

다룰 수 있게 되었다

데이터의 빅데이터화업무 데이터의 디지털화,

모바일이나 클라우드의 보급, IoT의 확대 등

하드웨어성능향상과저가화

스토리지, 프로세서, 메모리등

소프트웨어빅데이터기술의보급과진화

Hadoop, NoSQL, 인메모리등

비즈니스 요구의 확대비즈니스 스피드의 가속, 불확실성의 증대등에 따라 빅데이터에 대한 요청 확대

1-2 Copyright © 2015, Oracle. All rights reserved.2

01 빅데이터의개념과처리과정

• 빅데이터등장배경

• 빅데이터를소셜미디어데이터로오인하기도함.

• 1990년이후인터넷이확산되면서정형화된 데이터와비정형화된

데이터가무수히발생하면서정보홍수개념이등장, 이것이오늘날

빅데이터개념으로이어짐.

• 개인화서비스와 SNS의확산으로기본인터넷서비스환경재구성

• 전세계디지털데이터양이제타바이트단위로 2년마다 2배씩증가하여

2020년에는약 40제타바이트가될것이라고함.

• 특히스마트폰의보급으로데이터가매우빠르게축적되어제타바이트

시대를스마트시대라고도함.


빅데이터의구조

4

비구조화

텍스트 동영상 음성

빅데이터

빅데이터의분할 처리（MAP처리）

연산 결과의집약 처리

(REDUCE 처리)

컴퓨터 1 계산처리



컴퓨터 n 계산처리

지식（인텔리전스）및 노하우어드바이스, 가이드, 제어, 최적화 등을 위해 사용된다

・・・

분석（애널리틱스）통계나인공지능등의방법

여러컴퓨터에의한병렬분산처리

반구조화

XML

구조화

JSON업무데이터

GPS 센서文書

NoSQL 데이터베이스 관계데이터베이스

Hadoop（하둡）


빅데이터의사용법

5

Big Interaction Data소셜미디어

센서・GPS・RFID 등

클릭・로그・・・

Big Transaction Data업무시스템

오피스애플리케이션

EC 서비스에의한거래

・・・

빅데이터

Big Data

Batch Processing고객구매동향분석에너지수급예측마케팅분석자동번역건강관리・・・

Stream Processing금융상품의알고리즘 거래*

신용카드의 부정감지*

사이버테러의감지*

스마트그리드교통관제・내비게이션

・・・

빅데이터처리

Big Data Processing

＊CEP (Complex Event Processing ) 처리조건이나시나리오를사전에준비하고그시나리오에맞는현상이발생하면즉시처리를실행한다. 또한, 데이터는전부메모리에전개된다.

방대한 양

급격한 증가

다양한 형식



• 빅데이터위치



• 전통적데이터와빅데이터특징비교



• 빅데이터처리과정과기술


04 빅데이터처리기술

• Hadoop하둡

– 여러컴퓨터로구성된클러스터를이용하여방대한양의데이터를처리하는

분산처리프레임워크. 엔진형태로되어있는미들웨어와소프트웨어개발

프레임워크로구성되어있음

– 즉시응답해야하는트랜잭션처리보다는데이터를모은후처리하여작업을

완료해야응답을주는방식으로설계되었음. 따라서어느정도의시간이

소요되는방대한양의데이터처리에적합함

– 맵리듀스의분산처리구조를사용하며 맵리듀스는하나의큰데이터를

여러개의조각으로나누어처리하는맵단계와처리된결과를하나로모아서

취합한후결과를도출해내는리듀스단계로구성되어있음


04 빅데이터처리기술



• 빅데이터활용분야와기대효과



• 활용분야

– 공공분야- 국가적차원에서방대한양의데이터로수자원관리, 스마트

그리드, 재난방재영역등을포괄적으로포함.

– 과학분야 –산발적으로흩어진과학데이터를국가차원에서수집, 가공,

유통, 재활용할수있는기반을마련

– 의료분야 - 의료기록의전자화, 병원간연구데이터공유로빅데이터

도입과활용이확대됨

– 도소매분야 –이미데이터를활용중이며 빅데이터분석으로수요예측및

선제적경영지원에초점을둠

– 제조분야 –보유데이터양이많고, 불량품개선비용등적용효과를

계량화하여빅데이터의유용성을확인할수있는분야

– 정보통신분야 –이동통신의발전과개인단말기의증가로생성된디지털

공간의개인데이터로목표마케팅, 개인화서비스확대

1. hadoop 소개

Data & Analytics