hadoop 친해지기

11
Apache™ Hadoop® 친해지기 Day 1

Upload: jimin-kim

Post on 22-Jun-2015

258 views

Category:

Software


2 download

TRANSCRIPT

Page 1: Hadoop 친해지기

Apache™ Hadoop®친해지기 Day 1

Page 2: Hadoop 친해지기

Apache Hadoop• Hadoop은 아파치 재단이 지원하는 비영리 프로젝트의 하나

• Hadoop Common 하둡 공통 패키지HDFS, MapReduce 엔진, 자바 명령어 등

• Hadoop Distributed File System (HDFS™)

• Hadoop YARN 작업 스케쥴링과 클러스터 자원 관리

• Hadoop MapReduce YARN에 기반을 둔 대용량 데이터 병렬 처리 시스템

Page 3: Hadoop 친해지기

확대된 활용성1.0에서 2.0으로 > 파일 수준 처리에서 그 이상으로 http://hortonworks.com/hadoop/yarn/

Page 4: Hadoop 친해지기

하둡에 의존하는 다양한 앱http://hortonworks.com/hadoop/yarn/

Page 5: Hadoop 친해지기

하둡에 의존하는 데이터 중심 앱

http://www.infoworld.com/d/big-data/big-data-showdown-cassandra-vs-hbase-239592

http://www.slideshare.net/madvirus/hive-29724108

Page 6: Hadoop 친해지기

인텔의 활용 사례

Page 7: Hadoop 친해지기

HDFS? 맵리듀스?http://en.wikipedia.org/wiki/File:Hadoop_1.png

보관

분석

Page 8: Hadoop 친해지기

One or few masters and many slaves.컴퓨터 클러스터

M

M

S

S

SS

S

S

S

SS

SS

S

SS

Page 9: Hadoop 친해지기

정리하고(Map) 간추리기(Reduce)맵리듀스의 기반인 HDFS는 이름 그대로 파일 단위 처리를 지원

Page 10: Hadoop 친해지기

Word Count Example

Hadoop Demo

Page 11: Hadoop 친해지기

– 끝

‘수고하셨습니다. ^.^’