big data as a service

งานระดมความเหนการบรการ Big Data ของภาครฐ

1 กมภาพนธ 2559

Government Big Data as a Service

รศ.ดร.ธนชาต นมนนทผอำนวยการสถาบนไอเอมซ1 กมภาพนธ 2559

3

โครงการจดทำกรอบแนวคดการพฒนาขอมลขนาดใหญ Big Data ของภาครฐ

4

วตถประสงค

เพอจดทำวจยและศกษากรอบแนวคดสำหรบ– การพฒนาขอมลขนาดใหญ ความหมาย และแนวทางการวาง

โครงสรางเทคโนโลยขนพนฐาน– เพอนำไปใชในการจดทำ Big Data ใหมประสทธภาพสงสด– เพอเปนบรการใหหนวยงานภาครฐทสนใจสามารถนำมาใชงาน

ในอนาคต

5

Big Data: Introduction

6

Internet of ThingsCloud Computing

Big Data/Analytic

7

ขอมลใหญแคไหน ?

8

Technology

Analytics

Data Sources

9

สงทเปลยนแปลง

ขอมลมจำนวนมากขนเทคโนโลยสามารถเกบขอมลขนาดใหญไดมเทคโนโลยในการวเคราะหผลจากขอมลขนาดใหญData Science: Machine Learning ทำใหชวยสามารถคาดการณเรองตางๆจากขอมลขนาดใหญได

10

Technology

Analytics

Data Sources

11

Data Sources

12

Big Data Technology !!

13

เทคโนโลยทจำเปน Big Data

เทคโนโลยในการเกบขอมล– Hot Data (RDBMS), Warm-Cold Data

(Hadoop)

เทคโนโลยในการวเคาระหขอมล– SQL, Spark, Hive, MapReduce

เทคโนโลยในการแสดงผล (Data Visualisation)

14

Big Data Future Architecture

Sscial Media Images e-mails Crawlers ERP CRM LOB APPs

Unstructured and Structured Data

Parallel Data Warehouse

Hadoop OnCloud

Hadoop OnPrivateServer

Connectors

SSRS

BI Platform

Familiar End User ToolsSpreadsheet Predictive Analytics

Data Market Place

NoSQL

Petabytes of Data(Unstructured)

Hundreds of TB of Data(structured)

15

ความเขาใจผดบางประการเกยวกบ Big Data

Big Data คอการลงทน Database ขนาดใหญBig Data คอเทคโนโลย Hadoop

เราจะตองทำโครงการ Data Warehouse แลวคอยทำโครงการBig Data

การทำ Big Data ตองการ Data Scientist

16

Data Warehouse

Source: Danairat T.

17

Data Lake โดยใช Hadoop

Source: Danairat T.

18

หลกการของ Data Lake

Source: www.clearpeak.com, cr: Komes Chandavimol

19

ความทาทายดานเทคโนโลย

ความซบซอนของเทคโนโลยทหลากหลายงบประมาณการลงทนมหาศาลบคลากรทมความเชยวชาญ– Big Data Engineer

– Big Data Developer

– Big Data Analyst

– Data Scientist

20

Hadoop Stack

21

Hadoop Sizing

22

Hadoop Cluster Size: Survey

Source: AtScale, 2015

23

ตวอยางของรฐบาลสหรฐอเมรกา

ซอบรการจากผประกอบการเอกชนมาตรฐานกลางเชน ITAR, FedRAMPSM

ใชหลกการ “certify once, use many times” เพอการรบรองความปลอดภยของระบบ Cloud

ตวอยางเชน Amazon Web Services: GovCloud

24

ประเภทของบรการ

25

ตวอยาง Big Data Platform ของ PInterest

26

ตวอยางบรการ BDaaS ของ AWS

Amazon S3: Object Storage (Cold Data)

Amazon RDS : Relational Database

Amazon Redshift: Datawarehouse

Amazon EMR: Hadoop as a Service

Amazon Kenesis: Data Ingestion/Storage

27

Big Data: Survey

28

วตถประสงค

เพอทราบขอมลทจำเปนตอการพฒนาระบบดงน– รปแบบขอมล– ขนาดของขอมลเพอวางโครงสราง Server

– รปแบบการดงขอมล

29

สงทสำรวจ

สำรวจระดบความพรอมของรฐในการใหบรการ Big Data ในดานตางๆ(บคลากร,ระบบ,เทคโนโลย)

สำรวจบคลากร รจก Big Data ในระดบใด,เหนประโยชนของ Big Data

ระดบใด และความจำเปนระดบไหนขององคกร

สำรวจกระบวนการ Big Data ในปจจบน ไดมการเรมใชในองคกรหรอยงอยางไร และ จะใชเพอประโยชนอะไร

สำรวจ ลกษณะของขอมลทพรอมทำ Big Data

สำรวจรปแบบของการดงขอมล

สำรวจ โอกาส อปสรรค และ ขอจำกดในการทำ Big Data ในองคกร

30

แบบสอบถาม

หมวดขอมลพนฐานของหนวยงานหมวดดานโครงสรางพนฐานดานขอมลไอทหมวดดานการบรหารจดการขอมลหมวดดานการวเคราะหขอมล

31

กลมตวอยาง

32

กลมตวอยาง

33

สรปผลสำรวจ

34

สรปผลสำรวจ

35

36

37

38

39

Government : Big Data as a Service

40

Big Data Project: หนวยงานลงทนเอง

ขอดสามารถเลอกตดตงระบบ Big

Data Platform ใดๆกไดขอมลอยในองคกรสามารถควบคมระบบเองได

ขอเสยคาใชจายสง และอาจเกดการลงทนซำซอนการตดสนใจการซอเทคโนโลยบางอยางอาจไมคมคาอาจทำใหไมไดใชงานอยางประสทธภาพเตมทตองมบคลากรมาดแลระบบเอง

41

Big Data Project: ใช Public Cloud

ขอดมราคาถกมผดแลระบบใหสามารถเลอกใชบรการตางๆไดหลากหลายสามารถทใชเทคโนโลยลาสดได

ขอเสยมความเสยงเรองขอมลไปอยทตางประเทศหรอหนวยงานเอกชน

ไมสามารถ customize เทคโนโลยตามความตองการได

อาจมปญหาเรองการตงงบประมาณจายคาบรการรายเดอน

ผใหบรการ BDaaS สวนใหญอยตางประเทศ

42

Big Data Project: ใช Community Cloud

ขอดไมตองลงทนเองในหนวยงาน

คาบรการเปนขอตกลงระหวางหนวยงาน และอาจมราคาถกสด

มขอดตางๆเชนเดยวกบ BDaaS ของ Public Cloud แตหนวยงานของรฐดแลให

ไมมความเสยงเรองขอมลไปอยกบหนวยงานนอกภาคราชการ

ขอเสยไมสามารถ customize เทคโนโลยตามความตองการได

43

บรการ BDaaS ของภาครฐ

Storage as a Service

Database as a Service

Hadoop as a Service

BI as a Service

44

เทคโนโลยทควรม

45

การใหบรการ

เนน Warm/Cold Data

เนนเรองของเทคโนโลยใหมๆในการประมวลผลหาเครองมอชวยการทำ Visualisation/Data Science

ถาเปน RDBMS ควรทำบรการแบบ RDS คอจดหาVirtual Server ทตดตง Database ในแตละหนวยงาน

46

ความเหมาะสมของเทคโนโลย

47

ระบบประมวลผล

48

องคประกอบของ BDaaS

49

องคประกอบของ BDaaS

50

Object Based Storage

เกบขอมลประเภท Cold Data

เสมอนการใหบรการ Cloud Sotrage อยาง Amazon S3

ภาครฐควรเปนเทคโนโลยทใช Community Servers

ราคาตอหนวยจะถกกวา Hadoop

ควรมขนาดอยางนอย 1 PetaByte

51

Hadoop

เกบขอมลประเภท Cold-Warm Data และ UnstructureData

เสมอนการใหบรการHadoop as a Service ภาครฐควรมขนาดของ HDFS Storage อยางนอย 1 PetaByte

ควรสรางระบบประมวลผลแบบ Hive, Impala, Spark,

MapReduce ใหผใชควรใหสามารถเชอมตอกบ Data Visualization Tool ได

52

Hadoop Platform

53

ขอมลทอนญาตใหมาเกบ

ขอมลของหนวยราชการทกลาวไวขางตนสำหรบการใชงานทวไป ขอมลทตองเกบรกษาไวระยะยาวขอมลทตองการเปดเผยในลกษณะ Open Data

54

กลมเปาหมายของผใชบรการ

หนวยราชการทวไปหนวยงานรฐวสาหกจองคกรอสระและองคกรในกำกบมลนธ สมาคม หรอหนวยงานตางๆทไมแสวงหาผลกำไร

55

คาบรการ

56

ขอสรปจาก Focus Group

57

ผเขารวม112 คน

58

ขนาดขอมล

59

เทคโนโลยทใชในปจจบน

60

หนวยงานทตองปรบ Information Infrastructure

61

การลงทน Big Data

62

บรการ BDaaS ทตองการ

63

ปญหาและอปสรรค

64

65

รายงานฉบบรางslideshare.net/imcinstitute

66

Thank you

thanachart@imcinstitute.comwww.facebook.com/imcinstitutewww.slideshare.net/imcinstitute

67

ประเดนในการอภปราย

68

ความจำเปนดาน Big Data

ขนาดขอมลในหนวยงาน (เขยว)ชนดขอมล (ชมพ)ลกษณะการวเคราะหขอมล (เหลอง)ความพรอมบคลากร (สม)

อนๆ (สม)

69

ความตองการดานเทคโนโลย

เทคโนโลยทควรม (เขยว)ขนาดของระบบ (เหลอง)

70

ความคาดหวงตอระบบ Big Data

รปแบบทควรจะเปน จดทำเอง หรอ Cloud (เขยว)ความเหมาะสมของระบบ (ชมพ)สงทผใหบรการควรทำ (เหลอง)การคดคาบรการ (สม)

ขอเสนอแนะอนๆ (ฟา)