big data as a service
TRANSCRIPT
งานระดมความเหนการบรการ Big Data ของภาครฐ
1 กมภาพนธ 2559
Government Big Data as a Service
รศ.ดร.ธนชาต นมนนทผอำนวยการสถาบนไอเอมซ1 กมภาพนธ 2559
3
โครงการจดทำกรอบแนวคดการพฒนาขอมลขนาดใหญ Big Data ของภาครฐ
4
วตถประสงค
เพอจดทำวจยและศกษากรอบแนวคดสำหรบ– การพฒนาขอมลขนาดใหญ ความหมาย และแนวทางการวาง
โครงสรางเทคโนโลยขนพนฐาน– เพอนำไปใชในการจดทำ Big Data ใหมประสทธภาพสงสด– เพอเปนบรการใหหนวยงานภาครฐทสนใจสามารถนำมาใชงาน
ในอนาคต
5
Big Data: Introduction
6
Internet of ThingsCloud Computing
Big Data/Analytic
7
ขอมลใหญแคไหน ?
8
Technology
Analytics
Data Sources
9
สงทเปลยนแปลง
ขอมลมจำนวนมากขนเทคโนโลยสามารถเกบขอมลขนาดใหญไดมเทคโนโลยในการวเคราะหผลจากขอมลขนาดใหญData Science: Machine Learning ทำใหชวยสามารถคาดการณเรองตางๆจากขอมลขนาดใหญได
10
Technology
Analytics
Data Sources
11
Data Sources
12
Big Data Technology !!
13
เทคโนโลยทจำเปน Big Data
เทคโนโลยในการเกบขอมล– Hot Data (RDBMS), Warm-Cold Data
(Hadoop)
เทคโนโลยในการวเคาระหขอมล– SQL, Spark, Hive, MapReduce
เทคโนโลยในการแสดงผล (Data Visualisation)
14
Big Data Future Architecture
Sscial Media Images e-mails Crawlers ERP CRM LOB APPs
Unstructured and Structured Data
Parallel Data Warehouse
Hadoop OnCloud
Hadoop OnPrivateServer
Connectors
SSRS
BI Platform
Familiar End User ToolsSpreadsheet Predictive Analytics
Data Market Place
NoSQL
Petabytes of Data(Unstructured)
Hundreds of TB of Data(structured)
15
ความเขาใจผดบางประการเกยวกบ Big Data
Big Data คอการลงทน Database ขนาดใหญBig Data คอเทคโนโลย Hadoop
เราจะตองทำโครงการ Data Warehouse แลวคอยทำโครงการBig Data
การทำ Big Data ตองการ Data Scientist
16
Data Warehouse
Source: Danairat T.
17
Data Lake โดยใช Hadoop
Source: Danairat T.
19
ความทาทายดานเทคโนโลย
ความซบซอนของเทคโนโลยทหลากหลายงบประมาณการลงทนมหาศาลบคลากรทมความเชยวชาญ– Big Data Engineer
– Big Data Developer
– Big Data Analyst
– Data Scientist
20
Hadoop Stack
21
Hadoop Sizing
22
Hadoop Cluster Size: Survey
Source: AtScale, 2015
23
ตวอยางของรฐบาลสหรฐอเมรกา
ซอบรการจากผประกอบการเอกชนมาตรฐานกลางเชน ITAR, FedRAMPSM
ใชหลกการ “certify once, use many times” เพอการรบรองความปลอดภยของระบบ Cloud
ตวอยางเชน Amazon Web Services: GovCloud
24
ประเภทของบรการ
25
ตวอยาง Big Data Platform ของ PInterest
26
ตวอยางบรการ BDaaS ของ AWS
Amazon S3: Object Storage (Cold Data)
Amazon RDS : Relational Database
Amazon Redshift: Datawarehouse
Amazon EMR: Hadoop as a Service
Amazon Kenesis: Data Ingestion/Storage
27
Big Data: Survey
28
วตถประสงค
เพอทราบขอมลทจำเปนตอการพฒนาระบบดงน– รปแบบขอมล– ขนาดของขอมลเพอวางโครงสราง Server
– รปแบบการดงขอมล
29
สงทสำรวจ
สำรวจระดบความพรอมของรฐในการใหบรการ Big Data ในดานตางๆ(บคลากร,ระบบ,เทคโนโลย)
สำรวจบคลากร รจก Big Data ในระดบใด,เหนประโยชนของ Big Data
ระดบใด และความจำเปนระดบไหนขององคกร
สำรวจกระบวนการ Big Data ในปจจบน ไดมการเรมใชในองคกรหรอยงอยางไร และ จะใชเพอประโยชนอะไร
สำรวจ ลกษณะของขอมลทพรอมทำ Big Data
สำรวจรปแบบของการดงขอมล
สำรวจ โอกาส อปสรรค และ ขอจำกดในการทำ Big Data ในองคกร
30
แบบสอบถาม
หมวดขอมลพนฐานของหนวยงานหมวดดานโครงสรางพนฐานดานขอมลไอทหมวดดานการบรหารจดการขอมลหมวดดานการวเคราะหขอมล
31
กลมตวอยาง
32
กลมตวอยาง
33
สรปผลสำรวจ
34
สรปผลสำรวจ
35
36
37
38
39
Government : Big Data as a Service
40
Big Data Project: หนวยงานลงทนเอง
ขอดสามารถเลอกตดตงระบบ Big
Data Platform ใดๆกไดขอมลอยในองคกรสามารถควบคมระบบเองได
ขอเสยคาใชจายสง และอาจเกดการลงทนซำซอนการตดสนใจการซอเทคโนโลยบางอยางอาจไมคมคาอาจทำใหไมไดใชงานอยางประสทธภาพเตมทตองมบคลากรมาดแลระบบเอง
41
Big Data Project: ใช Public Cloud
ขอดมราคาถกมผดแลระบบใหสามารถเลอกใชบรการตางๆไดหลากหลายสามารถทใชเทคโนโลยลาสดได
ขอเสยมความเสยงเรองขอมลไปอยทตางประเทศหรอหนวยงานเอกชน
ไมสามารถ customize เทคโนโลยตามความตองการได
อาจมปญหาเรองการตงงบประมาณจายคาบรการรายเดอน
ผใหบรการ BDaaS สวนใหญอยตางประเทศ
42
Big Data Project: ใช Community Cloud
ขอดไมตองลงทนเองในหนวยงาน
คาบรการเปนขอตกลงระหวางหนวยงาน และอาจมราคาถกสด
มขอดตางๆเชนเดยวกบ BDaaS ของ Public Cloud แตหนวยงานของรฐดแลให
ไมมความเสยงเรองขอมลไปอยกบหนวยงานนอกภาคราชการ
ขอเสยไมสามารถ customize เทคโนโลยตามความตองการได
43
บรการ BDaaS ของภาครฐ
Storage as a Service
Database as a Service
Hadoop as a Service
BI as a Service
44
เทคโนโลยทควรม
45
การใหบรการ
เนน Warm/Cold Data
เนนเรองของเทคโนโลยใหมๆในการประมวลผลหาเครองมอชวยการทำ Visualisation/Data Science
ถาเปน RDBMS ควรทำบรการแบบ RDS คอจดหาVirtual Server ทตดตง Database ในแตละหนวยงาน
46
ความเหมาะสมของเทคโนโลย
47
ระบบประมวลผล
48
องคประกอบของ BDaaS
49
องคประกอบของ BDaaS
50
Object Based Storage
เกบขอมลประเภท Cold Data
เสมอนการใหบรการ Cloud Sotrage อยาง Amazon S3
ภาครฐควรเปนเทคโนโลยทใช Community Servers
ราคาตอหนวยจะถกกวา Hadoop
ควรมขนาดอยางนอย 1 PetaByte
51
Hadoop
เกบขอมลประเภท Cold-Warm Data และ UnstructureData
เสมอนการใหบรการHadoop as a Service ภาครฐควรมขนาดของ HDFS Storage อยางนอย 1 PetaByte
ควรสรางระบบประมวลผลแบบ Hive, Impala, Spark,
MapReduce ใหผใชควรใหสามารถเชอมตอกบ Data Visualization Tool ได
52
Hadoop Platform
53
ขอมลทอนญาตใหมาเกบ
ขอมลของหนวยราชการทกลาวไวขางตนสำหรบการใชงานทวไป ขอมลทตองเกบรกษาไวระยะยาวขอมลทตองการเปดเผยในลกษณะ Open Data
54
กลมเปาหมายของผใชบรการ
หนวยราชการทวไปหนวยงานรฐวสาหกจองคกรอสระและองคกรในกำกบมลนธ สมาคม หรอหนวยงานตางๆทไมแสวงหาผลกำไร
55
คาบรการ
56
ขอสรปจาก Focus Group
57
ผเขารวม112 คน
58
ขนาดขอมล
59
เทคโนโลยทใชในปจจบน
60
หนวยงานทตองปรบ Information Infrastructure
61
การลงทน Big Data
62
บรการ BDaaS ทตองการ
63
ปญหาและอปสรรค
64
65
รายงานฉบบรางslideshare.net/imcinstitute
67
ประเดนในการอภปราย
68
ความจำเปนดาน Big Data
ขนาดขอมลในหนวยงาน (เขยว)ชนดขอมล (ชมพ)ลกษณะการวเคราะหขอมล (เหลอง)ความพรอมบคลากร (สม)
อนๆ (สม)
69
ความตองการดานเทคโนโลย
เทคโนโลยทควรม (เขยว)ขนาดของระบบ (เหลอง)
70
ความคาดหวงตอระบบ Big Data
รปแบบทควรจะเปน จดทำเอง หรอ Cloud (เขยว)ความเหมาะสมของระบบ (ชมพ)สงทผใหบรการควรทำ (เหลอง)การคดคาบรการ (สม)
ขอเสนอแนะอนๆ (ฟา)