big data應用讓企業獲利翻倍
DESCRIPTION
2014雲端博覽會數位講堂演講TRANSCRIPT
www.themegallery.com
Big Data 應用 讓企業獲利翻倍
如何在大數據海中掏金
2014 雲端博覽會 數位講堂翁國倫
www.themegallery.com
目錄
1. 建立基本觀念
2. 如何開始 Big Data ？
3. 應用案例分享
4. 如何在大數據海中掏金？
建立基本觀念
Wallace 翁國倫
到底要多大？
Big Data 到底多 Big 才算數？ 1GB
1GB X 1000 = 1TB 1TB X 1000 = 1PB
100 萬支隨身碟！！
大就是大數據 Big Data ？
Big Data 只有大嗎？ 多元格式 複雜型態 增長快速
半結構化資料
結構化資料
非結構化資料
資料庫
管理系統
檔案文件
固定表單
操作記錄
使用行為多媒體資訊
Big Data 從何而來？
Wallace 翁國倫
超過 20 億人使用網路
300 億個以上RFID 裝置
46 億台行動裝置
近億個智慧家用傳輸裝置
每天增加的討論內容12+ TBs
其他各種形式的資
料?? TBs
每天增加使用記錄25+ TBs
進入『物聯網』後，數據會更多，累積會更快
如何開始 BIG DATA ？
Wallace 翁國倫
技術可行性
電信
政府（公共事業）
交通
金融
醫療
教育
能源
High
Mid
Low
Low Mid High
率先使用大數據的產業
不論技術與需求度都高
分析成果對於商業應用顯著而立即
投入預算產生獲利可期
值得研究技術方案的產業
組織內部有巨量資料期待巨量資料分析成果預算足夠
電子商務
現行需求度
流通買賣零售
製造
Big Data 的產業特性分析
8
暫時不需要跨入此領域
資料取得不易分析資料對於產業幫助不大
農業
養殖
整合發揮價值4V
大量性 (Volume) 多樣性 (Variety) 速度性 (Velocity) 價值 (value ）
站在結構化基礎往資料海前進
萬變不離其宗
產 集 存 析 決
Wallace 翁國倫
• 產生資料數據• 發掘資料• 定義數據來源
• 蒐集資料數據• 確認資料格式• 內外部資料匯聚
• 保存資料數據• 保存年限與備份• 不同型態的最佳方法
• 分析資料數據• 設定分析目標• 選擇適用工具
• 視覺化呈現資料數據• 輔助決策• 建立商業價值
開始前的自我檢查
產 集 存 析 決
Wallace 翁國倫
• 作業過程資料能否產生？
• 產生的詳細度是否足夠？
• 是否透過有效的方法蒐集？
• 不是自我產生的資料有無管道蒐集？
• 資料保存的載具？• 保存安全性？• 保存完整度？
• 企業目標如何落實到分析目標？
• 分析方法與速度是否滿足實際需求？
• 透過圖表方式呈現才能一目瞭然
• 整個流程必然產生決策輔助
• 決策品質隨時調整流程
準備面對未來的無限可能
結構化資料僅能分析已定義 結構化是事先規範的儲存規則 非結構化資料成為寶庫
不要相信沒有事先定義的行為無法分析 交易資料（時間、帳號、品項、金額…） 交易評價（感受、收貨喜好、回饋…）
存下一切可能 不要懷疑，存下來就對了
應用案例分享
Wallace 翁國倫
尿布與啤酒是好朋友Walmart 的銷售人員『不經意』的發現
每個週五晚間，總是會有大量的尿布與啤酒被一併購買
資料分析比對概念 看到數據、推測結果， do not know
why• 美國的婦女們常會在週五提醒先生在下班後要順路去幫孩子買尿布再回家，而同時先生也會想要順手帶個幾罐啤酒歡渡週末
尿布區擺上啤酒飲料架 啤酒區擺上銷路較差、但價格較高的尿布
恭喜你女兒懷孕了！比老爸還早知道女兒懷孕資料分析比對概念
乳液、棉花球、鈣片、鋅鎂營養補充品… 25種商品
採購動機採購行為採購品項一致性模型
找到你最想看到的廣告
Facebook 每天需處理 25 億個訊息每天累積交易資料超過 500TB讚、文字、照片、影片巨量分析
調整架構儲存資料 維持服務運作效能 廣告分析，找到合適 TA 推出新的服務
快速才能降低風險
VISA Net 每天需處理 1.3 億次交易授權每年累積交易資料超過 18TB過往每次啟動分析約耗時 1 個月巨量分析
每次啟動分析時間縮短為 13 分鐘 透過模型找出疑似盜刷 阻斷盜刷行為
比對各種可能性
路口監視器不停的進行錄影影像資料無法事先定義分析資料龐大巨量分析
建立資料儲存機制 導入影像辨識分析 整合 GIS
好吃真的重要嗎？
傳統品牌，老字號食品銷售量微量下滑，廣告刺激無效分析銷售數據找不到特別明顯的脈絡
結構化巨量資料無效網友論壇討論分析（非結構化分析）澳洲卡夫食品
風速大小很重要
內部資料分析已達頂點，放眼外部資料，跳脫盲點
了解天氣 精細程度 蒐集頻率 濕度、風速、風向
竹科工廠製程規劃 改變煙囪的排煙方向
你搜尋我分析搜尋行為成為最好的分析素材
關鍵字、點選、排序、關聯免費的資料來源 非結構化的寶庫了解 TA 的一舉一動
Wallace 翁國倫
網友的意見可能影響你的品牌價值
網路評價蒐集 定義資訊來源 設定關鍵字與領域詞
• 不要相信共通性詞庫 情緒喜好必須被觀察定義 意見領袖才是重點
品牌是長期的，觀察當然也是 資訊必須被保存 不同期間的比較找出異同 不要受一個『活動』成敗影響
如何在大數據海中掏金？
Wallace 翁國倫
掏不到金，肥了 Levi’s
每隔幾年就要提出新術語買設備、軟體、導入服務… ..總是無法完全理解
DB、 AP、Web ERP、 SCM、 CRM ETL、OLAP、Data Mining、DW VM、 BI、 Txt Mining M2M、Hadoop、 Splunk 、MapRed
uce 、HDFS
直覺很重要
擁有直覺與動機才是分析的 key 好奇心 依照你的工作（商業模式）發揮各種想像力 丟出疑問，嘗試歸納一致性，變成模型
物流業者的巨量分析
最短時間最少油耗最低貨物損壞
出發
交通
氣候
目的
交通路線路況最短移動距離
天氣預報地區實際天氣車輛溫控調整
貨物裝載狀況貨物運送注意事項目的地路線圖
多維報表分析 - 資訊日期比例分析
3月 12日
3月 14日
3月 16日
3月 18日
3月 20日
3月 22日
3月 24日
3月 26日
3月 28日
3月 30日
5.3%
9.1%
6.6%
10.1%
4.4%
2.2%
5.1%
22.0%
20.6%
18.1%
25.0%
20.2%
16.3%
21.2%
24.0%
7.0%
24.0%
26.2%
18.6%
18.8%
56.8%
44.5%
50.0%
54.4%
70.3%
78.0%
65.1%
17.5%
23.9%
24.3%
17.9%
29.6%
47.8%
28.2%
26.8%
41.6%
26.7%
26.9%
36.1%
38.2%
37.9%
46.4%
43.4%
35.4%
25.3%
19.7%
29.8%
60.5%
55.5%
57.5%
57.0%
50.2%
35.9%
50.6%
49.2%
51.4%
49.2%
46.9%
45.4%
43.0%
支持服貿比例 中立陳述比例 反對服貿比例
大數據分析協助掌握民意走向 3/19反對力量最高峰 3/24 中立力量首度回檔
電話行銷與客服對事件的敘述方式如何歸納？
半夜挖馬路、晚上施工、三更半夜工程噪音對地點的說明如何判斷？
民權東路建國北路口、榮星花園、民權東路三段 2-1號回答問題的說法如何一致？服務成本如何降低？
文字探勘技術提示話務人員可能的重覆
案件 ,減少重覆派工狀況話務人員輸入案情時，提示較標準的描述語，增加
資料記錄一致性
榮星公園路邊的路燈故障
民權東路與建國北路口的路燈故障=
…..捷運工程半夜施工… ..故障
….. 半夜挖馬路… ..
=
自動分案判斷 案件趨勢分析
自動彙整常見問答 FAQ
任何產業都可以藉由分析數據而掏金 網路行銷正夯比價、比價、再比價你有、我有、他也有該分析什麼數據？
訂購者回購記錄 商品出現頻率 搜尋關鍵字漲跌 商品交易數量 競爭同業狀態 產品金額區間 …………….
Wallace 翁國倫
經費不足如何掏金？先電腦化
檢視所有流程，儲存『數據』 設定量測指標
先從可以產生『可見』營收的開始建立信心 保存記錄，先不管能否分析
小量資料建立模型 嘗試各種可以『實驗』的模型 擴大模型的數據來源 強化模型的『校度』與『信度』
投入適當的成本 儲存系統、萃取模組、分析機制、資料視覺化
Wallace 翁國倫
產 集 存 析 決
行動就會有收穫
Wallace 翁國倫
客戶行為分析網站流程改善產業情報蒐集精準行銷
降低服務成本提高生產效能資源分配規劃
免除流程漏洞確保法規遵循風險因子管理減少庫存囤積
