巨量資料分析的現況與展望

1

講師：張大明 richard@abctech.pro

國發會105年資訊新知研討會 @2016/8/18 。高雄 | @2016/9/8 。台北 | @2016/9/22。台中

T h i n k B i g f o r B i g D a t a - D a t a G o v

張大明

張大明執行長，育睿科技（2012）創辦人，資訊教育及教育科技專家，並擔任新

北市專業職能培訓人員職業工會-大數據應用職能發展委員會主委，xAPI中文實踐社群

指導委員會-Corporate L&D Coordinator，淡江大學教育科技研究所，台灣首位

4C/ID模式實證研究發表人，國際副價值工程專家 AVS，美國ATD會員，經濟部中小企

業領袖班第十二屆結訓。有近二十年成人教育訓練實務及數位化學習設計經驗。

• SBIR經濟部小型企業研發補助計畫—思翱夫子雲倍力大數據服務開放創新研發計畫主持人

（ALBiTER，2015-2016）

• 2016台灣資料愛好者社群年會-教育大數據「有志一同」議程協同主持人（中央研究院資料科

學研究所，2016/7/17）

• ALBiTER歐倍特教學設計與實施手冊（張大明，羅志傑，2016/6）

• 張大明, 羅志傑, 蕭舒方（2016），整合學與教脈絡大數據應用的教育創新-以思翱倍力大數據

服務為例，2016數位學習學術研討會：學習科技新趨勢（淡江大學，2016/5/20）

• Use VA/VE on Online to Offline (O2O) Cloud Learning Services Study（Hong Kong-SAVE，

2015）

講師

2

張大明

• 國家發展委員會105年資訊新知研討會-巨量資料分析的現況與展望（北中南三場，2016/8-9月）

• 105年下半年度產業人才投資計畫-生產力4.0巨量資料應用班：ALBiTER歐倍特螺旋式4 Cycles

課程（2016/8-10月）

• ITI外貿協會國際企業人才培訓中心：專案管理Excel資料分析實務應用，EXCEL資料分析實作-

商品創新與商業模式、淺談大數據與智能行銷商業模式（2016/5、9、10月）

• 2016台灣資料愛好者社群年會-教育大數據有志一同協同主持人（中央研究院資料科學研究所，

2016/7/17）

• 聯輔中心企業培訓課程-高雄兆豐銀行，物聯網中的大數據：中小企業商機無限（2016/6月）

• TBLC台灣企業領袖交流會：商業4.0智能化大數據應用 & 企業數據力應用心法與技法，CSIA中

華兩岸跨業聯盟總會：大數據智能化人才服務（2016/6-8月）

• 教育部優質高中計畫－教師課程發展會議（2016/6月）

講師

3

Agenda

一、今日巨量資料與未來

》巨量資料面貌與影響

》為巨量資料做準備，觀點與切入角度

-巨量資料之武功密技

-巨量資料之屠龍刀

》練巨量資料神功

》主題一QA

二、政府開放資料

》關於開放資料與應用案例

》巨量資料加值應用Showcase-初探大數據資料

分析

-量化分析方法

-質化分析方法

-深度學習與機器學習

》主題二QA

三、巨量資料之士農工商

》各國政府巨量資料創新應用

》Gov生活大數據 (天氣、交通運輸)

》Gov健康醫療大數據 (健保、勞保)

》Gov金融大數據 (銀行)

》Gov育樂大數據 (旅遊、教育)

》主題三QA

四、巨量資料人才與應用

》淺談大數據資料科學家與政府組織轉變

》淺談大數據專案流程與資料科學人才角色

-大數據企業準備度盤點表

》淺談大數據服務設計 (以教育大數據為例)

》主題四QA

4

一、今日巨量資料與未來

• 巨量資料面貌與影響

• 為巨量資料做準備

– 巨量資料之武功密技

– 巨量資料之屠龍刀

• 練巨量資料神功

• 主題一QA

5

Gartner 分析師 Doug Laney —Volume 資料量，Velocity 資料輸入輸出速度，Variety 資料類型，Veracity 真實性

在 2001 年發表的「3D Data Management：

Controlling Data Volume, Velocity, and Variety.」

在 2012 年 全新的定義

「大數據是大量、高速、

及/或類型多變的資訊資

產，它需要全新的處理

方式，去促成更強的決

策能力、洞察力與最佳

化處理。」 6

大數據特徵

• 大數據資料量龐「大」（Volume）、變化飛「快」

（Velocity），種類繁「雜」（Variety），以及

真偽存「疑」（Veracity）

• 尤其在這資訊大爆炸時代，這些資料變得又多、

又快、又雜、又真偽難分

探索巨量資料這新領域 - Tim Smith

https://youtu.be/j-0cUmUyb-Y

資料來源：工業局

工業4.0 (生產力 4.0) – IR / IoT / Big Data

9

Next Big Thing.

機器人Pepper月薪26888

4勝1敗 - AlphaGo勝 五段棋王李世乭

AlphaGo vs 李世乭 @2016, March

10

圖片來源：網路

Source: 天下雜誌。人類可以向 AlphaGo 學什麼？

https://www.youtube.com/watch?v=WIZH61sODNI

11

學習代理機器人指日不遠!

• 機器人正夯啊！連我也好想弄一台在家裡，但沒想到的是我們已經可

以「自己做機器人了」！

– 使用 IBM Bluemix 這樣的 PaaS 服務搭配 Watson API 後，除了比想像中好上手

之外，同時大幅縮短開發設計時間，自己也能快速完成一整套人工智慧系統啊！

12

http://www.saydigi.com/2016/06/ibm-watson-robot.html

13

天下武功 無堅不摧 唯快不破

您想練大數據這門功夫嗎?

圖片來源：網路

Big Data? What?!

• I know, I don’t care.

• I know, me too.

or …

• I don’t know, then I know and I will involve.

14

大數據前十大應用領域 1.銀行和證

券

2.通信，媒

體和娛樂

3.醫療保健

提供商 4.教育

5.製造業和

自然資源 6.政府 7.保險

8.零售，整

體出售交易

9.運輸 10.能源和公

用事業

15

http://www.simplilearn.com/big-data-applications-in-industries-article

世界最難的兩件事 —老師、老闆 & 老婆

一、把自己的思想裝進別人的腦袋裡。

二、把別人的錢裝進自己的口袋裡。

16

機器學習 Machine Learning

一個電腦程序從經驗E至學會，

針對某類任務T和性能指標P，

如果在T中的任務性能，

按P測量，提高了有經驗的E。

A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E.

17

Tom M. Mitchell, WIKI

另一個定義：機器學習目標是要電腦編碼運用舉例的資料，或過去的經驗來解決已知問題。 麻省理工學院

https://en.wikipedia.org/wiki/Machine_learning

知識傳達 vs 能力傳授

徒：請問…師傅，您真是了得!

師：飯可以亂吃，問題不可以亂問!?

Association for Talent Development(from ASTD T+D Magazine April 2016)

一個電腦程序從 [E] 至

學會，針對 [T] 和 [P]，

如果在 [T] 中的任務性

能，按 [P] 測量，提

高了有經驗的 [E] 。

E:根據知識、技能與經驗提問問題

P:部屬問題闖關及格通過率

T:部屬要對提問解決問題並回答

19

商品販售與行銷

店員：請問…老闆，您真是了得!

老闆：飯可以亂吃，問題不可以亂問!?

Association for Talent Development(from ASTD T+D Magazine April 2016)

一個電腦程序從 [E] 至

學會，針對 [T] 和 [P]，

如果在 [T] 中的任務性

能，按 [P] 測量，提

高了有經驗的 [E] 。

E: xxxxxxx……. xxxxxxx

P: xxxxxxx……. xxxxxxx

T: xxxxxxx……. xxxxxxx

大數據對商業模式(生活/工作型態)

影響

21

數據智能化 ─科技創新融入的商業模式(生活/工作型態)

22

Canvas 9大要素

• VP 價值主張

• CA 客戶活動

• CH 通路

• CS目標客戶

• R$ 收益

• KP 合作夥伴

• KA 關鍵活動

• KR 關鍵資源

• C$ 成本

23

創意與創新 ─使用者體驗：改善一小步

資料來源：www.businessmodelgeneration.com

24

VP 價值主張

CR 客戶關係

CH 通路

CS目標客戶

R$ 收益 C$ 成本

KR 關鍵資源

KP 合作夥伴 KA 關鍵活動

創意與創新 ─使用者體驗：改善一小步

資料來源：www.businessmodelgeneration.com

25

德國企業凱馳—賣清潔機器 vs. 賣空氣

• 顛覆原有的商業模式，客戶可以不買機器，改買

使用多少壓縮過的空氣來計費的服務

– 因為凱馳的清潔設備，都是壓縮空氣形成壓力，讓

水變成高壓強水柱，來清潔髒污。

– 以前，賣愈大台機器利潤好，但客戶不一定需要

– 現在可以選擇訂定最低用量、付一定金額，根據客

戶的需求預估，來配置設備給客戶使用，用量超過

合約最低門檻，就再支付額外費用

– 客戶不必再購置機器，維修服務也可以一應交予凱

馳處理。

26

賀桂芬，凱馳百年企業三年「換心」、秤斤論兩賣空氣。 2016-07-06 天下雜誌601期 http://www.cw.com.tw/article/article.action?id=5077226

27

商業4.0

（資料企業）

產

銷

人

發

財

資

大數據驅動—

智能化商業模式

價值主張VP 關鍵夥伴KP 關鍵活動KA

關鍵資源KR

客戶關係CR

通路CH

目標客戶CS

成本流C$ 收益流R$

轉型工業4.0 (物聯網 + 大數據)

賣設備

維修設備

賣空氣

待維修時間長

無線通訊感應

代理商

維修設備

KA 關鍵活動

數據驅動的商業模式 —Canvas商業模式架構圖

在清潔設計安裝通訊感測器後，透過數據蒐集、預測，

可以提早維修或更換設備，就不需要客戶等待，並且

可以服務量來收費（賣計量空氣，紅色線條者）

原本的商業模式是販售設備為主（藍色線條

者），而且維修長時，常需要客戶等待

29

數據驅動改變營運模式—

• 能主動預測與掌控設備使

用狀態而主動為客戶服務

• 而以空氣量計價模式，增

加額外營收項目，擴大營

業範圍

30

2016年Gartner

魔力象限：商業

智慧（BI）發展

趨勢

挑戰者

利基者 遠見卓識者

領導者

巨量資料應用 案例與啟發

31

因為人難免會有先入為主的主觀意識，受到球員的俊俏外貌或壯碩身材

所影響，但是在球員表現的統計數據表上，就去除了這些參數，純粹是

就事論事，由他們的過去成就來預測和判斷未來發展。

數據運用已充斥在生活與工作周遭

如何買東西?

33

34

Google搜尋

「襪子」的第一頁

35

數據運用已充斥在生活與工作周遭

• 如何找餐廳吃飯?

• 如何找房子?

• 如何搭車?

• 如何找答案?

• 如何學習?

• 如何交朋友?

• 如何找工作?

36

進入大數據應用領域

37

問題驅動取向

（Problem Driven

Approach）

資料驅動取向

（Data Driven

Approach）

資料來源：大數據@工作力

不同案例Big Dat商業模式差異比較，看出價值?!

38

案例 應用大數據取向 大數據價值

UPS 四萬六千台車輛通訊感應器（物聯網） 修正送貨路線、節省成本

聯合健保

NLP 客服紀錄顧客錄音，並轉為文字

分析顧客滿意度資料，其他多個來源顧客資料，

由大數據團隊進行分析：健保理賠，疾病病程與

治療狀況

梅西.com 顧客導向資料分應用：個人化、精準廣

告與電子郵件、搜尋引擎最佳化

高數據技術大數據團隊：不該為用而用，注重投

資報酬率，只投資真能解決問題的技術上

美國銀行 龐大分散於各管道的交易、顧客、未結

構化等資料，注重前兩者

以往僅能抽樣，轉改採大數據技術，了解顧客，

明確定義區隔顧客，提供更一致、有吸引力的產

品與服務，由專案化大數據團隊負責

花旗銀行

有了總資料室基礎，面對日益增長企業

資訊，做好整合性、品質，轉換至大數

據善用開放源碼工具平台

降低成本、拓展環境、促進對顧客關係與顧客行

為了解，加深大數據科技創新，擴展地理限制顧

客影響範圍

希爾斯控股

領先同業的資訊科技應用能力，大數據

技術PB級零售資料整合-顧客、產品、

銷售、活動

提高行銷成果，把更多顧客找回店裡，從八週複

雜行銷活動推出時程，縮短成一週，更將大數據

營運能力獨立成公司對外服務

LinkedIn

活躍大數據活動-資料工程團隊、資料

產品團隊、商業資料分析團隊、產品資

料科學團隊等

加值應用數據的功能-搜尋用戶技能、可能認識

的人、類似工作、可能喜歡團體，預測最可能感

興趣的內容

資料來源：大數據@工作力

• A Culture of Big Data: Case Studies from Google

• Data Science at Riot Games

• 善用資料改善線上教育 : 一個十五人團隊，如何從無到有，融入資訊做決策

• 用數據解決都會城市的停車問題

• 有志一同：社群網路分析、電商、零售及網路行銷

• Data as a Service: 數據的新經濟

• 隨機對照實驗在公共領域的應用

• 數據分析在運輸管理之應用

• 全球網路攝影機帶來的機會與挑戰

• 大數據下的情緒分析

• 一個賭徒的告白 2：交易策略建構與分析，為何你該賭小一點

• 銀行資料這樣玩

• 從薪酬制度讀 CEO 的行為心理學

• 數位廣告大數據

• How to Approach Data Science Problems from Start to End: Two Case Studies

• 自己的空氣品質自己量 : 談參與式環境感測的機會與挑戰

• 如何備料：資料的抓取、清理以及串接

• 心理與行為資料中的因與果

• 資料科學與防疫應用的結合 : 以登革熱防治為例

• 資料分析前的奏曲 : 談資料收集的挑戰

39

http://datasci.tw/agenda.php#!tab4

第一天 7/16

重要主題Big Data案例介紹

• 未來城市的任意門 (Mobility on Demand for Future Cities)

• 從電腦視覺看人工智慧 : 下一件大事

• 人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望

• 有志一同：資料視覺化、資訊安全、教育大數據、健康醫療、財務金融、人工智慧/機器學習/深度學習、開放資料及個資保護

• 公私協力的公共服務 - 以資料面詮釋

• The Inception of Learning from Big Video Data

• 從手機解讀行為與心理

• Crowd Computing for Big and Deep AI

• 智慧型工程管考系統 : 資料分析經驗談

• 音樂資料檢索

• 當語音處理遇上深度學習

• 貓都學得會的手機維修資料分析

• The Growth of a Data Scientist

• Practical Issues in Machine Learning

• 沒有大數據怎麼辦 ? 會計師事務所的小數據科學

• Feature Engineering in Machine Learning

• 未來城市的交通運輸

• 漫談 R 的學習挑戰與 R 語言翻轉教室

• 娛樂產業中的資料科學家 : 談資料科學於線上遊戲與職業運動之應用

• 空間數據分析推動精準新農業

• Open Innovation as Strategic Plan

• 世代之爭爭什麼 ? 談談如何從調查資料挖掘出豐厚的意義

• 資料視覺化的 20 個小訣竅

40

http://datasci.tw/agenda.php#!tab5

第二天 7/17

重要主題Big Data案例介紹

2016台灣資料科學愛好者年會論壇，以及兩天的前課程，分享!

41

1. 擁有資料並積極善用者，才能發揮資料的價值

2. 資料累積如同投資，要有長遠觀點與紮實行動

3. 資料在精不在多(微量、輕量、巨量)，面對資料要能問對問題，或是

從問對問題開始，才能找到並梳理資料

4. 大數據世界裡，強調分享與合作，誰都無法握有全部的資料，如何

拿到別人的資料? 或許從分享自己的手上"油"開始

5. 資料科學家為何身價如此高? 豐沛的實務經驗與對問題的敏銳度，同

時要經過資料科學技術鍛鍊(千錘百鍊)，大數據團隊沒有這樣的人才，

資料的一點價值都找不到? (擠不出半滴油? 或是劣油傷身?!)

6. 未來每家企業或組織都需要有"油"保身，挖礦礦工工作都得時時做，

不然對日後發展只能說「 Good Luck & Good Byte!」

分享與共勉! From Ta-Ming Chang

練巨量資料之神功

42

資料價值：有效分析 vs. 靈活運用

5.決策

最佳化

• 運用機器學習等

演算法，由程式

自動建議產生參

數，

4.行為

解讀

• 根據資料來解讀

個體／群體行為

背後的動機

3.預測

• 同樣是根據歷史

資料，但目的是

要預測，預測未

來的表現或需求

2.推薦

• 基於歷史資料，

將廣告或商品推

薦給潛在消費者

1.情勢

評估

• 利用資料分析，

來評估組織／個

人／產品／決策

的績效

43

大數據分析的技術導入，獲得有價值結果的五個目的與內涵

資料來源：陳昇瑋。為什麼很多企業大數據應用的效益，沒有專家說的那麼神？科技橘報

https://buzzorange.com/techorange/2016/06/27/big-data-analysis-practice/

Big Data應用 —加速、自動化、智能化

• Big Data萃取出智慧的作法，和傳統人工智慧

（artificial intelligence）的作法有很大的區別

– 過去很多人所發展的人工智慧技術，重視演算法

（algorithm）和模型（model）的開發

– 自然語言處理（natural language processing, NLP）

這個領域，偏重於文法、語意的規則（rules），想辦

法把諸多的規則放進電腦，希望讓電腦成為有能力分

析人類語言的專家系統（expert systems）

44

教英文的方法為例

• 在台灣國中裡面文的方法

– 要學生背誦各種拼音、造字、文法規則，希望

他們能夠以此看懂文章，按照文法作文

以Big Data做自然語言處理

的方法，並不講究文法

45

不斷聽說讀寫 —就是Big Data式的學習方法

• 在網路上等於有一個巨量的資料庫（database），擁有

龐大數量的文章和各類的知識，如果電腦能夠收到一個問

句，同時瞬間將此問句與這個資料庫比對，找到相近的資

訊，從中得到答案

46

47

http://www.slideshare.net/ThoughtWorks/big-data-agile-analytics-by-ken-collier-director-agile-analytics-thoughtworks

@ThoughtWorks

Impact

• TEDxBroadway演講，Ben Wellington 提供五項原則，透過故事讓數據更有意義(Making data mean more through storytelling) – 1.連結人們的經驗 Connection with People's Experiences

– 2.專注一個創意 Focus One Idea

– 3.讓它簡單化 Keep it Simple

– 4.探索你最熟悉的 Explore the Things You Know Best

– 5.發生改變 Make an Impact

48

https://youtu.be/6xsvGYIxJok

49

查爾斯·米納德於1812年，拿破崙攻打俄國戰役地圖，值得注意的是它的六種類型

的數據的二維表示：拿破崙的軍隊數量、距離、溫度、經緯度、行進方向以及相

對於特定日期地點。

https://en.wikipedia.org/wiki/Charles_Joseph_Minard

50

http://kiang.github.io/salary/map/#2014/playButton2

51 https://www.gapminder.org/

https://www.kaggle.com/

52

國際資料科學創意應用競賽

對於大數據應用

主題一：省思 Q&A

Do and See

Transformation

主題一：省思 Q&A

• 資料真的如油、礦般珍貴，為什麼?

– 它改變了什麼?

• 如何實踐?

• 由誰實踐?

• 我準備好了嗎?

• 我如何踏出第一步?

54

二、政府開放資料

• 關於開放資料與應用案例

• 巨量資料加值應用Showcase

– 初探大數據資料分析

– 量化分析方法

– 質化分析方法

• 深度學習與機器學習

• 主題二QA

55

http://data.gov.tw/

英國開放知識基金會（OKFN）開放資料（Open data）國際評比結果出爐，台灣在全球149個國家中名列世界第一

57

http://index.okfn.org/

英國開放知識基金會（OKFN）開放資料（Open data）國際評比結果出爐，台灣在

全球149個國家中名列世界第一

58

http://www.appledaily.com.tw/realtimenews/article/new/20151209/749534/

• 2013年名列第36名

• 2014年名列第11名

• 2015年進步到第1名

開放資料(Open Data) 一秒搞懂政府網站創意競賽

• 透過Open Data之需求彙整與推廣，鼓勵業界自主發展開放資料應用與改良商業模式，建立起示範標竿，進而帶動各項創新服務，活化整體社會經濟。並藉由多元推廣宣傳來促進知識擴散與學習，以有效全面提升Open Data的觀念與認知。

59

http://opendata.tca.org.tw/

60

http://opendata.tca.org.tw/en/

61

領先指標 vs

落後指標

好設計 vs

好服務

門面 vs 包

裝行銷 持續改善

大數據專案 —資訊系統開發專案

• 失敗 or 成功 – 為什麼需求會議開了多次，需要異動狀況還是層出不前，造成時

間延遲，預算超支?

– 為什麼花了這麼多錢的大數據專案(系統)，使用者總是抱怨連連，預期效益沒有發生或不佳?

• 需求 or 目的 – 「這個Idea在幹什麼」?

– 客戶您知道 「您真的知道自己在幹什麼」?

– 專案經理您知道 「您真的知道客戶在幹什麼」?

– 討好客戶的PM，亂開難以實做與無實際效益的規格

– 規格表現的形式讓RD難以理解實做

– Problem Statement的人，不懂技術是搞不定的?

62 http://blog.xdite.net/posts/2014/05/29/from-idea-to-product-user-story

ABOUT 願景 vs. 需求

願景 → 價值→ 目的→需求

待在橋上

大數據專案 溝通者 vs.

轉換者

主管 or

決策者

64

溝通形式與流程

• 感性的感覺

–故事情節

–情境 vs. 角色

–情境：人事時地物

• 理性的事實

–邏輯的考驗：因果 vs 順序

–提問者 vs. 回答者

–問題的描述

–回答的描述

Story Board & Why-How —Tools

• Story – 當我是(As a)

– 我想要(I want to)

– 所以(So that)

• Acceptance Criteria – 就提供使用者(Given)

– 當(When)

– 然後(Then)

• Conversations – 對於目的需求確切的描述

– 對於一些額外限制的描述

– 轉換為規格描述

Why How

改善流程

• 分析

– 方法：量化與質化

– 溝通：當責者與參與者-團隊合作

• 找出問題

– 發散 & 收斂

• 行動-改善措施

• 驗證確認

– A/B Test

68

What happened?

• 描述性分析 Descriptive

Analytics

Why did it happen?

• 診斷式分析 Diagnostic

Analytics

What will happen?

• 預測式分析 Predictive

Analytics

How can we make it happen?

• 指導性分析 Prescriptive

Analytics

價值

困難度 & 複雜度

傳統BI 進階分析-大數據

落後指標

洞見與覺察

領先指標

撿

找

人算

神算

Edited by Ta-Ming Chang , 2016/8/2

Big Data應用技術演變，人 & 技術，大數據專案本身

Machine learning?

69

Machine Learning Tutorials for Beginners (Microsoft) https://youtu.be/xmvEGS5Xbpg

簡單說…

70

Machine Learning Tutorials for Beginners (Microsoft) https://youtu.be/xmvEGS5Xbpg

Machine learning…How?

• Supervised learning

– 監督式學習，可以由訓練資料中學到或建立一個模式，並依此模式推測新的實例。

• Unsupervised learning

– 非監督式學習，並不需要人力來輸入標籤。它是監督式學習和強化學習等策略之外的一種選擇。

71

Source : WIKI

https://en.wikipedia.org/wiki/Machine_learning

72

Machine Learning Tutorials for Beginners (Microsoft) https://youtu.be/xmvEGS5Xbpg

73

Machine Learning Tutorials for Beginners (Microsoft) https://youtu.be/xmvEGS5Xbpg

三大要素決定 Machine Learning 是否可以幫我們解決問題

• 第一：現象具有模式 (Patterns)

– 現象、行為、規則

• 第二：該現象無法用簡單數學式表達

– 演算法： Supervised learning，Unsupervised learning，

Reinforcement learning

• 第三：必須要有數據 (Data)

– 小、中、大數據

74 http://chinese.classroom-aid.com/2014/10/the-classroom-will-learn-you.html/

75

https://d3js.org/

模板、範本

76

如何找尋、適配並說故事

77

對於大數據應用

主題二：省思 Q&A

Do and See

Transformation

主題二：省思 Q&A

• 公開 vs 開放?

• 資料(Data) vs 模型(Pattern)何者為重?

• 視覺化後? 理性 vs. 感性

• 資料分析進程? 影響度?

• 機器學習神算!

– 功夫熊貓阿波 vs 駭客尼歐

79

三、巨量資料之士農工商

• 各國政府巨量資料創新應用

• Gov生活大數據-氣象、交通

• Gov健康醫療大數據-健保、勞保

• Gov金融大數據-銀行

• Gov育樂大數據-旅遊、教育

• 主題三QA

80

Open Data Top 20

1. Data.gov.uk the UK government’s open data portal including the British National Bibliography – metadata on

all UK books and publications since 1950.

2. Data.gov Search through 194,832 USA data sets about topics ranging from education to Agriculture.

3. US Census Bureau latest population, behaviour and economic data in the USA.

4. Socrata – software provider that works with governments to provide open data to the public, it also has its

own open data network to explore.

5. European Union Open Data Portal thousands of datasets about a broad range of topics in the European Union.

6. European Data Portal is a European portal that harvests metadata from public sector portals throughout

Europe. EDP therefore focuses on data made available by European countries. In addition, EDP also harvests

metadata from ODP.

7.DBpedia crowd sourced community trying to create a public database of all Wikipedia entries.

8. The New York Times a searchable archive of all New York Times articles from 1851 to today.

9. Dataportals.org datasets from all around the world collected in one place.

10. The World Factbook information prepared by the CIA about, what seems like, all of the countries of the world.

81

http://datatovalue.co.uk/top-20-open-data-sources/

Open Data Top 20

11. NHS Health and Social Care Information Centre data sets from the UK National Health Service.

12. Healthdata.gov detailed USA healthcare data covering loads of health related topics.

13. UNICEF statistics about the situation of children and women around the world.

14. World Health organisation statistics concerning nutrition, disease and health.

15. Amazon web services large repository of interesting data sets including the human genome project, NASA’s

database and an index of 5 billion web pages.

16. Google Public data explorer search through already mentioned and lesser known open data repositories.

17. Gapminder a collection of datasets from the World Health Organisation and World Bank covering economic,

medical and social statistics.

18.Google Trends analyse the shift of searches throughout the years.

19. Google Finance real-time finance data that goes back as far as 40 years.

20. UCI Machine Learning Repository a collection of databases for the machine learning community.

21.National Climatic Data Center world largest archive of climate data.

82

continue

83

https://www.taiwanstat.com/realtime/

台南2015年登革熱恢復狀況

84

https://www.taiwanstat.com/realtime/tainan-2015-denguefever-recovery/

• 資料來源：臺南市政府資料開放平台

• 最新病例資料日期：2015/12/08

• 圖表呈現臺南市各里近期的登革熱狀況，依

「近2週內無病例」、「近1周內無病例」與

「其他」三種情況區分。

@2016/8/5

http://www.slideshare.net/tw_dsconf/ss-64078404

莊坤達/資料科學與防疫應用的結合 : 以登革熱

防治為例

臺灣2013－2016年輿情演變

85

https://www.taiwanstat.com/statistics/news-topic-evolution/

Obama, the ‘big data’ president https://goo.gl/0Ywuix

https://join.gov.tw/

http://www.opendata.tw/

https://world.yam.com/post.php?id=6436

87

『Big Data，

Better Health』

-PHILIPS

『最大的挑戰是如何

把健康資料轉換為具

有價值與意涵的格式

並且整合於醫療系統

之中』

Source: https://www.flickr.com/photos/juhansonin/

88

為促使民眾運用開放資料，透過挖掘、

重組、混搭等方式，發展具創意與實用

價值之產品或服務，Open Data創新應

用競賽設立大會指定類之開放資料應用

組，並擴大邀請政府及企業設立組別，

以協助解決施政、營運議題進而提升服

務品質，以及鼓勵創意與創業發展。

https://opendata-contest.tca.org.tw/announcement2.aspx

大會指定類 - 開放資料應用組

89

https://opendata-contest.tca.org.tw/announcement2.aspx

政府及企業指定類 - easy Traffic服務平台組

政府及企業指定類 - 氣候變遷創新應用組

政府及企業指定類 - 農業開放資料應用組

政府及企業指定類 - 經濟開放資料應用組

政府及企業指定類 - TGOS MAP應用組

大會指定類 - 開放資料應用組

90

天氣

91

交通運輸

92

健保、勞保

93

銀行 彼特幣 區塊鏈 Block chain

FINTECH

94

旅遊

95

教育

http://www.visualcatch.org/visca/web/home.jsp

對於大數據應用

主題三：省思 Q&A

Do and See

Transformation

主題三：省思 Q&A

• 政府開放資料?!

– 資料的功能與價值

– 政府的角色?

• 管理者 vs 擁有者 vs 使用者 vs 加值者

• 挑戰

– 小而美

– 資料治理

97

四、巨量資料人才與應用

• 淺談大數據資料科學家與政府組織轉變

• 淺談大數據專案流程與資料科學人才角色

• 淺談大數據服務設計

• 主題四QA

98

DELTA模式 —大數據資料分析發展模式

資料

Data

企業

Enterprise

領導

團隊

Leadership

目標

Target

分析

Analysis

99 資料來源：大數據@工作力

DELTTA 大數據

資料 找出可能的資料來源、經過處理將未結構化資料轉換為結構化資料，將多個來源資料整合到同一資料集中；平日的資料治理，整合至大數據流程

企業 早期接納-新創或線上企業；試探-驗證概念或探索資料，非完全量產應用；導入-合理分配資源或結合多項專案、創造綜效

領導團隊 對大數據信心；待在橋上的溝通者；很難評估投資報酬率，投如新產品、新服務或加快決策流程的挑戰；決策者的耐心

目標 組織的選擇與大數據應用的順序；嘗試與驗證 vs. 效益價值（降低成本、提高處理資料的速度、開發新產品或服務、利用新資料與新模型改良決策）

技術 平台架構、語言、視覺化工具，與機器學習演算法等

分析 資料科學家-水平或垂直型，駭客、科學家、顧問、量化分析師、商業專家

100 資料來源：大數據@工作力

大數據整體技術架構 —如何與傳統資料倉儲＆資料分析基礎架構並存

• Hadoop

– 用於在多個平行伺服器上處理大數據開放原始碼軟體

• MapReduce

– Hadoop據以發展的基礎架構

• 腳本語言

– 與大數據企業的程式語言（如 Python、Pig、Hive、R等）

• 機器學習

– 用於迅速找出最適於某資料集的軟體技術

• 視覺化資料分析

– 以影像或圖像形式呈現資料分析結果

• 自然語言處理

– 用於分析文字出現的頻率、意義等事項軟體

• 記憶體內建資料分析

– 能夠在電腦記憶體中以更高速處理大數據

101 資料來源：大數據@工作力

資料科學家 —要有經驗的Big Data分析師是很困難的事

• 因為除了懂得分析之外，還必須能充分了解和運用Big Data所使用的平台技術，

• 目前具備實務經驗的Big Data分析師一位難求

102

103

http://goo.gl/gdwiAS

C語言最熱門、大數據相關語言成長快 —IEEE公布2016年熱門程式語言排行榜

104

http://spectrum.ieee.org/static/interactive-the-top-programming-languages-2016

大數據技術價值 —處理未結構化資料技術開啟新的一頁

商業模式

開發新產品

或服務

利用新資料

與新模型改

良決策

降低成本

提高處理

資料的速

度

經營效能

105

商業模式 Business Model-Case01 價值主張 關鍵夥伴 關鍵活動

關鍵資源

客戶活動

通路

目標客戶

成本流 收益流

106

在路邊臨時或緊急 乘車服務

計程收費 / 現金

馬路

提供搭乘工具

營業車

開車維生者 的合作社

專業駕駛

交通部

營業車維修

車行規費

商業模式 Business Model-Case02 價值主張 關鍵夥伴 關鍵活動

關鍵資源

客戶活動

通路

目標客戶

成本流 收益流

107

在路邊臨時或緊急 乘車服務

計程收費 / 現金

馬路

網路

計程收費 / 信用卡

提供搭乘工具 隨時隨處臨時或緊急 乘車服務

創造共享經濟 加值服務

營業車

開車維生者 的合作社

專業駕駛

私家車車主

Uber

網路系統

雲端網路系統

交通部

高額罰款

行政救濟官司

營業車維修

車行規費

商業模式 Business Model-Case03 價值主張 關鍵夥伴 關鍵活動

關鍵資源

客戶活動

通路

目標客戶

成本流 收益流

108

在路邊臨時或緊急 乘車服務

計程收費 / 現金

馬路

網路

計程收費 / 信用卡

提供搭乘工具 隨時隨處臨時或緊急 乘車服務 創造共享經濟

加值服務

營業車

開車維生者 的合作社

專業駕駛

私家車車主

Uber

網路系統

雲端網路系統

交通部

高額罰款

行政救濟官司

營業車維修

車行規費

無人車 vs

自動駕駛 ?

? ?

對資訊部門 —分辨資料分析技術差異並盤點現況

• 資料分析差異

– 傳統統計分析：建立假說，再檢驗它是否有資料相吻合

– 大數據資料分析：運用機器學習，自動建模手法，套用多種模式到資料上，以找出最吻合模式

• 技術評估

– 如何將大數據能力加到目前的資訊基礎架構

– 是否具備適切技術基礎能力，能夠切入大數據方案，譬如：開放源瑪工具平台

• 組織評估

– 評估組織初步性問題是大數據的新技術可能幫忙解決的

– 思考大數據技術在未來組織中扮演特定角色與功能

– 運用與導入大數據技術的階段步驟，以及經費與人力的資源

109 資料來源：大數據@工作力

110

善用科技的力量! 圖片來源：網路

111

瞬 時 競 爭 策 略 。 快 經 濟 時 代 的 新 常 態

競 爭 ( 轉 變 ) 唯 快 不 破 ！

• 良性割捨，退出衰退

產業

• 彈性配置資源與組織，

提升靈活度

• 培養持續創新力

• 面對瞬間優勢的領導

力與思維

• 瞬間優勢對個人的意

義

Digital Business （Data Enterprise）

Digital Transfor-mation

The Talent Economy

The Waves of Business Analytics • Today-The Talent Economy • 1970s~80s-The Customer Economy and Web • 1950s~60s-The Financial Economy • Early 1990s-The Industrial Economy

Big Data in HR: Why it‘s Here and What it Means (Bersin.com，2016)

五大創新產業

與新農業、循環經濟，

以數位經濟為底層，

由此實踐軟硬結合

Digital Transformation Business Benefits • Capturing new market

opportunities • Improved customer experience • Streamlined business operations • Extending the reach of the

company 10 Networking Priorities for Digital Transformation (Zeus Kerravala Research， 2016)

人財（才、材）攻略 —Talent & Leadership，The Talent Economy & Digital Business

Predictive，

Talent Models，

HR Analytics

Business-driven，

Talent Analytics

Integrated

Talent Management，

Workforce Planning

Recruiting，Learning，

Performance Measurement

114

資料來源：工業局

五大創新產業與新農業、循環經濟，以數位經濟為底層，由此實踐軟硬結合

五大創新研發產業：

一. 台南沙崙為中心的「綠能研發中心」

二. 桃園的「亞洲矽谷計畫」，發展物聯網與智慧產品

三. 以台北資安、台中航太、高雄船艦為中心的「國防產業聚落」

四. 中研院所在的南港園區、竹北生醫園區延伸到南科的「生技產業聚落」

五. 台中的「智慧精密機械聚落」

工業4.0（生產力4.0計畫於2016年7月停止）

資料來源：工業局

118

1個人領２份薪水做３份工作

65歲以上 15-65歲工作人口 14歲以下

2015 12% 74% 14%

2060 41% 50% 9%

資料來源：工業局 生產力4.0

李開復：

“最大白領失業潮來襲 4種「師」首當其衝。”

Future…

Partner

with Code.

醫師、律師、教師，與金融 ?!

http://goo.gl/DD96tB

@ALBiTER

119

你敢讓機器人開刀嗎？

天下雜誌。http://goo.gl/lO6Xwd

120

121 Think Big for Big Data – Smart & Automatics

大數據智能化 vs 人才工作之爭

122 http://www.bnext.com.tw/ext_rss/view/id/1878398?utm_source=dailyedm_bn&utm_medium=content&utm_campaign=dailyedm

麥肯錫報告

告訴你：

進哪一行才

不容易被機

器人取代？

123 http://www.bnext.com.tw/ext_rss/view/id/1878398?utm_source=dailyedm_bn&utm_medium=content&utm_campaign=dailyedm

初探大數據專案

124

資料分析數據應用與人才

大數據企業準備度盤點表 —企業推動目標

125 大數據企業準備度盤點表，經濟部工業局（2016）

大數據企業準備度盤點表 —組織準備度

126 大數據企業準備度盤點表，經濟部工業局（2016）

大數據企業準備度盤點表 —領導團隊

127 大數據企業準備度盤點表，經濟部工業局（2016）

大數據企業準備度盤點表 —資料管理

128 大數據企業準備度盤點表，經濟部工業局（2016）

大數據企業準備度盤點表 —資料分析團隊

129 大數據企業準備度盤點表，經濟部工業局（2016）

大數據企業準備度盤點表 —應用技術

130 大數據企業準備度盤點表，經濟部工業局（2016）

4C/ID-

model Step.1

思翱

157 Step.2

闖關

幫幫忙 Step.3

思翱

倍力 Step.4

研發 設計 科技 服務

131

活動設計 複雜學習 行動遊戲式 數據驅動

規模化與

智能化

數據蒐集

與應用

設計-活

動（虛）

設計-活

動（實） 基礎理論

目的與需

求

132

大數據研

究方法

大數據專

案團隊

學教脈絡

理論模式

學習分析

方法論與

演算法

學教脈絡

視覺化圖

表

企業內部練兵 學習 & 外部資源

1. 由使用者行為現場脈絡，蒐集必要資料，並且依照產業專業模式，對待與

探索這些資料?

2. 資料室如何進行加減乘除的，或是進階的演算法? 數據是拿來用的，不是拿

來看的!

3. 數據轉換成視覺圖表後，經探索發掘了什麼，這時需要的想像力!

4. 大數據團隊成員是否對數據分析探索是否充滿熱情?

5. 外部資料是否能夠為我們所用?

6. 我們要如何分享我們的資料?

本計畫創新目標

• 研發一套以人為本的系統化訓練服務方法，內容包含「設

計指引和實施指引」

• 再研發一能結合前者服務方法的「思翱倍力大數據服務雲

端平台」，一方面記錄訓練過程的大數據，一方面並將數

據轉化為持續評鑑量化指標

刀譜-設計

屠龍刀-科技

耍刀的你

-師師認證

• Handbook (智財)

• Cloud & Web App (大數據)

• Trainer Certification (商業模式) 134

實施方法：研發聯盟

訓練實施(D)

研發聯盟會議(檢討ABC)

依據指引進行

訓練需求

課程設計

教材發展

實施方法:委外開發

A教材發展指引

B課程實施指引

佐證文件

D教學場域模擬測試

AB指引改善 C系統改善

雛型開發

C雲端資訊系統

研發AB指引 研發C雲系統

A.B 指引

C 使用手冊

D各課程實施紀錄

A.B C 改善執行內容清單

計畫執行流程

計畫時程

2015年9月

2015年10月

2015年11月

2016年1月

2016年3月

2016年5月

》思翱倍力設計與發展

》思翱倍力師資培訓&認證：教材、學習分析報表、六動力指標，翻轉訓練&微學習、以終為始的設計發展

》學習目標結構性設計、學教移轉的資料驅動

》學習分析圖表-演算法、視覺化圖表與運用

》闖關幫幫忙學教脈絡的系統分析

》確認系統架構與需求一致 》依需求分析與價值主張 》繪製Story Board 》系統主機能平衡負載流量及彈性 》建置闖關幫幫忙使用者體驗UI/UX

思翱倍力雲端系統前後台

學習分析視覺化圖表

》使用情境設計、訓練績效成因分析

》思翱倍力設計與實施指引(手冊定稿)、 思翱倍力師培

10000 關人次

15000 關人次

改善闖關幫幫忙使用者體驗UI/UX

學教移轉驅動力&指引

績效導向訓練-數據驅動 學教脈絡大數據-驅動學教移轉

外部專家

2016/2

累積達10000關人次

累積超過15000關人次

家電業

3C職能

直銷商

初期測試

培育數據分析

由 數 據 驅 動 找 到 人 才 卓 越 最 漂 亮 的 角 度

整合學與教脈絡大數據應用的教育創新-以思翱倍力大數據服務為例，2016數位學習學術研討會：學習科技新趨勢（淡江大學，2016/5/20）

139

整合學與教脈絡大數據應用的教育創新-以思翱倍力大數據服務為例，2016數位學習學術研討會：學習科技新趨勢（淡江大學，2016/5/20）

140

整合學與教脈絡大數據應用的教育創新-以思翱倍力大數據服務為例，2016數位學習學術研討會：學習科技新趨勢（淡江大學，2016/5/20）

xAPI tracking all kinds of learning experiences

141

Source: Jessie Chuang https://www.facebook.com/groups/648340368618407/

GE Capital - 需要訓練多達 250,000 位(44,000 個零售店)

廣佈全世界的零售商

• 適合平板電腦使用介面的網頁設計與行動 App • HTML5 技術 (註 : 要橫跨不同平台，或採用 BYOD 政策， HTML5

技術為必要) • 使用者可以評分的內容 • 五分鐘的課程 • 不需登入，除了牽涉公司機密之外，所有學習內容讓所有人都可免

費取得 • 面對面訓練只留下絕對必要的課程，70% 被刪去，省時省錢 • 層次化設計，讓學習者視需要決定是否深入學習 • 訪問客戶的故事作為教材，影片還是以五分鐘長度為限 • 所有學習資源整合成為單一資源庫 (Single Source) • 學習資源以學習目標來組織分類 • 學習路徑以使用者的角色來設計

Source: Jessie Chuang

143 Source: image created by ADL Andy Johnson

144

台灣老闆們別把工業4.0想太複雜 —東台精機董事長嚴瑞雄

145

日本把今年稱作「連線元年」。即使是東芝、豐田這麼偉大的公司，

也是把目標訂在「機器連接給人」就夠了，讓老闆、廠長、課長可

以透過手機查看機器狀況。所以可以從手機看到你家所有設備狀態，

就已經非常偉大了。不要想得太複雜，大家才有動力去做。

http://www.cw.com.tw/article/article.action?id=5077365

146

組織中總是有那些身手好，或是身懷絕技的人!

我們總希望他們能將傳授出來，因為生存環境是挑戰的!

人才

人材

人財 期盼他們…，能把很難的把我們教得很好。

如果能夠…，複製這樣的經驗與歷程，那我們必定強大!

147

天下武功 無堅不摧 唯快 (準 & 先) 不破

大數據神功很神奇，不過也很平凡，基本功還是關鍵…

外功、內功 vs. 心法

148

Source：IFPC

對於大數據應用

主題四：省思 Q&A

Do and See

Transformation

主題四：省思 Q&A

• 投資資料的心態與做法?

• 人才? – 探險者?

– 梳理資料的礦工

– 提煉油的工程師

– 包裝油品的化妝師

– 油商?

• 資料素養

• 大數據專案的組織層級

150

創造人才的價與質

THANKS! Q&A

大數據分析與統計學量化研究的差異

抽樣推論 vs 全部蒐集與接納

Q1

大數據研究屬於量化研究嗎?

如人類學家研究態度與精神般，探索海量資料（質化：內在，量化：外在）

Q2

大數據分析價值到底是什麼?

Know-Know，Know-unknown，unknown-unknown

Q3

大數據分析決策與商業應用ERP, CRM最大不同?

領先指標 vs 非領先指標（落後）

Q4

大數據研究與創新的團隊，要有哪些角色?

程式設計師，資料科學家，視覺圖表設計師，大數據專案經理

Q5

視覺化圖表與一般圖表的差異是什麼?

提供探索的View-多維度，數據外還傳達情境，

使用者 vs 專業觀點的平衡，忽動忽靜

Q6

視覺化圖表之資訊內涵與量與質?

在情境脈絡數據蒐集與梳理，產生的數據化圖表，一般都能呈現超過五

種以上的資訊，甚至超過十餘個，此時提供數據脈絡探索的View入口，

爾後在再往下展開適合使用者閱讀使用的次級視覺化圖表

Q7

人類學家的俗民誌，對於大數據專案的啟發?

不預設立場，直接對話，融入情境中，靜靜

觀察與省思，資料科學素養與敏銳度

Q8

TB級資料應用與分析才能稱為大數據分析嗎?

Type A. Big data 問題跟 Small data 是一樣的

Type B. Big data 問題等同一大群 Small data 的問題

Type C. Big data 問題需要靠特製系統解決

Q9 http://readata.org/three-type-problem-for-big-data-analytics/

組織如何學習與發展大數據的應用?

大數據應用如同物聯網，沒有一家公司可以獨大，這樣

的環境與生態，給予一般組織、中小企業或新創公司，

許多創新發展的機會，只要用心發掘問題，就有創新的

機會，先建立大數據觀念與正確的研發流程，以及人才

準備是關鍵

Q10

學習資源-搜尋關鍵字 • 資料科學 Data Science

• 大數據 Big Data

• 機器學習 Machine Learning

• R語言、Python

• 網路爬蟲-Crawler

• 分析方法-

– 描述性分析 Descriptive Analytics、診斷式分析 Diagnostic Analytics、

預測式分析 Predictive Analytics、指導性分析 Prescriptive Analytics

• 演算法-

– Supervised learning，Unsupervised learning，Reinforcement learning

• 大演算-機器學習五大學派

– 演化論學派、類神經網路學派、符號理論學派、貝氏定理學派、類比推理學派

162

http://www.books.com.tw/products/0010722761