Simon @ MiCloudBig uery

資料 - The new Oil

翟本喬：

● 存得起來的，叫做Storage (儲存)

● 看得到的，叫做Data (資料)

● 看得懂的，叫做Information (資訊)

● 用得出來的，才能夠叫做Intelligent (智慧)

資訊觀念已經改變

傳統的大量資料做法 - Data Mining

Data Warehouse

AP001

AP002

AP...

APxyz

RPT01

RPT02

RPT...

RPTn

OLA

P /

Min

ing

/ Cus

tom

ize.

..

Bac

kup

/ Hou

se K

eepi

ng /

Inte

grat

e...

COST!!!

現在的大量資料做法 - Hadoop

COST!!! COST!!!

Latency!!!

其實技術淵源自Google

BigQuery做到了什麼

● TB等級資料分析● 最快速的資料探勘方式● SQL-like查詢語法● 跨多個資料集合交互查詢● 便宜、依使用量付費● 及時回應、批次查詢● 各式開發工具支援、Google

Apps 整合

Google安全性與隱私權申明

● 安全與隱私權總覽：https://support.google.com/a/answer/60762

● 政策與原則 - 隱私權政策：http://www.google.com/policies/privacy/

● SSAE 16 & ISAE 3402 Type II稽核

BigQuery的資料匯流

BigQuery

● JSON, CSV格式輸入● 資料串流輸入● CloudStorage服務儲存體串聯● AppEngine記錄日誌串聯

● 網頁管理介面● 指令列工具- bq指令● Apps Script支援● REST API● SDK (client libraries)● 第三方工具● 第三方服務提供商

開發與支援工具

Warehouse

BigQuery架構延伸

Applications Strategy Support

BigQuery

AppEngine Log

Cloud Storage

AppEngine Datastore

Apps Script

Case Study - Boo-box需求 : ● 實現一個強大的數據分析工具，迅速洞察廣告分佈。

● 更有效地定位廣告來服務顧客。

● 避免增加機械和專職工作人員

使用: ● 選擇BigQuery中google龐大的數據處理基礎設施的優勢

● 使用簡單類似SQL的語言分析大數據集

● 每月從分析上市350,000的blog和網站廣告的效果來改善目標

改善:● 在五秒鐘內分析數十億行數據

● 每年避免了需要購買額外的設備或工作人員

● 改進決策、客戶服務和廣告支出詳細的報告

Case Study - SongPop

需求: ● 6人團隊，僅一人全職後端。

● 每天需要處理和分配17TB的音樂和圖片。

使用:

● Google App Engine：節省設備採購及人力需求

● Google Cloud Storage：儲存遊戲、音樂及影片檔案

● Google BigQuery：分析及歸納遊戲使用資訊

改善:

● 僅需一位全職後端即可支援超過6千萬用戶

● 僅需專注軟體安全，其他網路及作業系統安全由Google負責

● 採用GAE後節省系統及資安硬體採購之維護成本

ENDhttp://cloud.google.com