introduction to software (big data, intelligence and cloud)
TRANSCRIPT
your name
My Interests
• Bioinformatics
• Big Data Platform
• Data Mining
your name
your name
your name
왜 소프트웨어인가?
• 모든 제품과 산업에서 사용됨
your name
돈 되는 SW : Uber
Uber 현대기아차
사업모델 차량 합승
서비스
자동차
제조/판매
자동차
판매량 0대 800만대
기업가치 50조원 60조원
your name
돈 되는 SW : Airbnb
Airbnb IHG
사업모델 숙박 대여
서비스
호텔업
(업계1위)
숙박 건물
개수 0개
4,600+
(호텔수)
기업가치 25조원 10조원
your name
돈 되는 SW : Facebook
Facebook 삼성전자
사업모델 인터넷 서비스 전자제품
제조/판매
대표제품/
서비스
Messenger
스마트폰
메모리
가전제품
기업가치 300조원 200조원
your name
3가지 주제
Big Data
Intelligence
Cloud
your name
Big Data
your name
빅데이터의 시작
your name
Hadoop 출현 배경
• 2003년 Google 논문
– Google File System
• 2004년 Google 논문
– MapReduce
• 2005년 Hadoop 개발 (더그커팅)
– Apache 오픈소스
your name
Hadoop은 왜 나타났나?
• Data가 너무 많아지고 있음
• 많은 Data로 무언가 해야 할 듯
your name
Hadoop은 무엇인가?
• HDFS + MapReduce
your name
Hadoop의 장점
• Scale-Up 보다는 Scale-Out
• 장애에 강함
• 쉬운 인터페이스
your name
Hadoop Ecosystem
SQL
그래프
ML
클러스터 관리
your name
Hot Trend
your name
Spark 장점 1
• 모든 게 다 있음
your name
Spark 장점 2
• 매우 빠름 (메모리 기반 연산)
your name
Spark 장점 3
• 코드 라인이 짧음
your name
Intelligence
your name
Machine Learning
your name
ML로 무엇을 할 수 있나?
• 사용자 행동 분석
• 추천 (컨텐츠, 광고, …)
• 인식 (음성, 이미지, 영상)
your name
예측(추천)의 힘
• Netflix
–시청하는 영화의 2/3가 추천으로 발생
– 38% 이상의 뉴스 조회가 추천으로 발생
• Amazon
–판매액의 35%가 추천으로 발생
your name
Deep Learning
your name
숫자 인식 (MNIST)
your name
이미지 인식 (ImageNet)
• Large Scale Visual Recognition
Challenge (ILSVRC)
your name
Cloud
your name
Public vs. Private
your name
Cloud에 필요한 것들
• Server 자원 관리
your name
Cloud에 필요한 것들
• Cluster 자원 관리
your name
Public Cloud 강자
• AWS (Amazon Web Service)
your name
결론
• Big Data
– Hadoop에서 시작해서 지금은 Spark가
대세임
• Intelligence
–향후에 (특히 연구자 입장에서) 가장
할만한 분야임 (특히 DL)
• Cloud
–그냥 AWS 쓰는 게 좋음 (분석가 입장)