datasci.coData Science Program

datasci.co資料科學計畫Data Science Program

謝宗震 (Johnson)!清華統計所博⼠士後研究員

Data Science ─ 從學校到社會

資料科學計劃的成果與展望

2014.06.04

datasci.coData Science Program 2

Agenda

1.什麼是資料科學？!2.什麼是資料科學計劃？!3.資料科學計劃的成果與展望

datasci.coData Science Program 3

資料科學!(Data Science)

datasci.coData Science Program 4

資料科學可以解決什麼問題？

datasci.coData Science Program 5

就我的觀察，

資料科學⾄至少可以解決幾種問題

datasci.coData Science Program 6

解決考卷上的問題

http://www.ics.uci.edu/~jutts/8/FinalExamAKey.pdf

datasci.coData Science Program 7

解決發paper的問題

http://www.esajournals.org/doi/abs/10.1890/13-0133.1

datasci.coData Science Program 8

解決⽣生活上的問題

http://archive.indianexpress.com/news/review-the-wolf-of-wall-street/1215087/

http://www.sonypictures.com/movies/21/

datasci.coData Science Program 9

事實上，應該問的是

怎麼⽤用資料科學解決問題？

datasci.coData Science Program http://columbiadatascience.com/2013/09/16/introduction-to-data-science-version-2-0/

資料科學的基本流程

10

datasci.coData Science Program 11

資料科學跟統計學的差別在哪？

datasci.coData Science Program

統計學強調資料建模與分析

12

datasci.coData Science Program 13

資料科學家跟統計學家的差別在哪？

datasci.coData Science Program 14http://strataconf.com/strata2013/public/schedule/detail/27529

專業統計⼈人!具備的能⼒力

datasci.coData Science Program 15http://strataconf.com/strata2013/public/schedule/detail/27529

專業資料科學家!應具備的能⼒力

統計⼈人

資訊⼈人

視覺化＆!領域專精

資料科學家好⽐比全能的超⼈人現實⽣生活中 你需要的可能是各有所⻑⾧長的資料科學團隊

http://media.edge-online.com/wp-content/uploads/edgeonline/2013/02/ArmyOfTwo2.jpg

http://www.themovieblog.com/archives/iron-man-post.jpg

ＤＳ學習路徑圖http://nirvacana.com/thoughts/becoming-a-data-scientist/

datasci.coData Science Program http://www.dataists.com/2010/09/the-data-science-venn-diagram/

The Data Science Venn Diagram

此為資料科學的技術層⾯面，除此之外仍待實務經驗補⾜足

18

datasci.coData Science Program 19

資料科學計劃!(Data Science Program, DSP)

datasci.coData Science Program 20

關於資料科學計劃 (DSP)資料科學計劃由 Code for Tomorrow (CfT) 與 SYSTEX/Etu 共同

發起，並取得 OKFN Taiwan 等組織的⽀支持。

http://datasci.co

datasci.coData Science Program 21

關於資料科學計劃 (DSP)計劃發起：!! Code for Tomorrow (CfT) 推動各種「寫程式改造社會」計劃的組織!

! SYSTEX/Etu 專為企業提供 Big Data 全程解決⽅方案的領導品牌!計劃⽀支持：!! OKFN Taiwan (Open Knowledge Foundation, OKFN) !源⾃自於2004年在英國劍橋成⽴立的⾮非營利性組織，⻑⾧長期致⼒力於在數位時代推廣各類形式的開放知識。近年來它已經活躍於全球30多個國家和地區，並主要著眼於 開放資料和開放政府的推廣和⽀支持。

datasci.coData Science Program 22

任務宣⾔言資料的⼤大量增⻑⾧長已經是事實，如何能夠提取資料的價值，也成了社

會、 商業、政府共同的利益課題。綜觀資料價值的提取，資料科學的能量，在不同的領域，均扮演關鍵的價值轉兌⼒力量。 !!吾⼈人已知資料科學是跨界的，與其寄希望於難覓的資料科學家⼀一⼈人，不如更關注於如何培養⼀一個專業分⼯工的資料科學團隊。本計畫的宗旨，即在希望透過對⽣生活資料的收集、處理、分析、視覺化呈

現、故事形塑、 擬定⾏行動的過程，分⾨門規劃，引發社會各界對資料科學的興趣，從中培養對應⼈人才，最終回饋於社會。

datasci.coData Science Program 23

DSP 計劃⺫⽬目標

⼈人才為本，應⽤用為價值。!

在 3 年內，為台灣培養 300 位!

資料科學團隊成員。!

datasci.coData Science Program 24

DSP 施⾏行⼿手段

善⽤用 Open Data，!讓在 資料科學 與 ⽣生活 連結。!

datasci.coData Science Program 25

Dataset1: 內政部不動產實價登錄資料

• ⺠民國101.08 ~ 102.09!• 全台灣租賃、買賣、預售資料!• 約47萬筆資料

datasci.coData Science Program 26

Dataset2: 痞客邦部落格公開資料

• 分類熱⾨門照⽚片（含 EXIF）!• 去識別化後的照⽚片 EXIF 資訊! !• 分類⼈人氣部落格相關資料! !• 去識別化後的部落格訪客資料!

• 2013-2014年資料!• 可透過API抓取!• http://developer.pixnet.pro/

datasci.coData Science Program 27

Dataset3: 政府電⼦子採購網

• 2013-2014年公開招標資料!• 約18萬筆

datasci.coData Science Program 28

資料科學計劃的成果與展

datasci.coData Science Program 29

DSP 已發佈的課程1.資料科學團訓班 (Dec 2013, Mar 2014)!

2.資料爬理析實戰班 (May 2014, Jun 2014)!

3.資料新聞學 (規劃中)

datasci.coData Science Program 30

誰參與了DSP團訓班？

Data analyst

Programmer

Product / Service PlannerUX / UI / Art

Designer

0 20 40 60 80

18

48

67

7523%

77%

MaleFemale

中研院、國研院、⼤大學、太空中⼼心、資策會、政府機關、電信、網路服務、!醫療、NPO、法⼈人、⾦金融、壽險、資服、商業顧問、市調、⾼高科技、製造...

datasci.coData Science Program 31

Dec 2013, Team Training #1

datasci.coData Science Program 32

Mar 2014, Team Training #2

datasci.coData Science Program 33

May 2014, ETL with Python

datasci.coData Science Program 34

我在 DSP 教了什麼

datasci.coData Science Program 35

Jan 2014, Data Fiesta

datasci.coData Science Program 36

datasci.coData Science Program 37

datasci.coData Science Program 38

DSP規劃圖

datasci.coData Science Program 39

DSP Fellowship Program1. Help new Ph.D's (or MA/MS) transition from

academia to data science. (數統、資訊、傳播、商管、農業、醫藥、環境、運輸、社會、設計...)!

2. Help companies to prepare, and recruit data

scientists with serious academical background.!

3. Develop a social network for data scientists and

data-centric companies.

datasci.coData Science Program 40

We Need You

http://en.wikipedia.org/wiki/Americans

BTW 容我介紹⼀一下

台灣資料科學愛好者年會 20142014/8/30 (Sat) - 2014/8/31 (Sun) 中研院⼈人⽂文社會科學館國際會議廳

http://twconf.data-sci.org/

年會議程採三軌並⾏行!• 演講議程：資料分析已經協助講者創造多少價值!• 上⼿手課程：帶領未⼊入⾨門者以 R 進⼊入資料科學的領域!

• g0v ⿊黑客松：促進資料科學與開放資料的交流及結合

datasci.coData Science Program

thank youname: Johnson!mail : euler96@gmail.com !blog : http://readata.org