資料倉儲、資料探勘與巨量資料分析系統

資料倉儲、資料探勘與巨量資料分析系統

Big DataAnalytic

資料市集 DATA MART

資料倉儲 Data Warehouse, DW

• 定義：藉由建立一個集中的資訊倉庫，並配合有效的資料分析工具與快速的決策支援軟體之開發，使得這些資料可以被該企業的決策者適時適量存取和使用，以支援其決策的制定。

• 目的：改善傳統資料庫缺點 即時支援使用者的企業管理決策

• 主要架構：多維度的資料結構 提供多角度資訊，快速分析資料，供決策使用

資料倉儲 DW - 主題導向的資料組織

資料倉儲 DW – 資料的整合性•結合了整個企業內外的資料來源

包括：•不同資料庫•各種應用程式•不同時間的資料

資料倉儲 DW – 資料的時間差異性

•DW 通常存放 5 – 10 年不同時期的資

料

作為趨勢分析、預測、 比較之用。

資料倉儲 DW – 資料的不變動性•為了做趨勢分析

資料一旦存入資料倉儲中，即被保存不再更動。

資料分析 - 線上即時資料分析 OLAP

•採用多維度之資料結構 (Cube) 將資料載入，以進行多項不同維度整合的分析，快速得到報表。

資料分析 – 資料探勘 Data Mining, DM

• 定義：利用統計、人工智慧 (AI)或其他的分析技術，在企業之大型資料庫內尋找與發掘事前未知、有效且可付諸行動的資料彼此之間所隱藏的關係與規則。

• 主要分析類型：如右圖。

資料探勘 DM - 主要分析類型鏈結分析Association Rule Analysis

指出變數與變數之間的連結關係。例：顧客會一起買那些商品 ? 據某特性的顧客會買怎樣的產品 ?

分類分析Classification

藉由學習過去已知的分類，推論出一套最有效的分類規則來識別未來新輸入群體的類型。例：輸入過去 10000 個忠誠度高與忠誠度低的客戶樣本，找出特別屬性來預測未來顧客的忠誠度。

群集分析Clustering Analysis

對樣本的分類特性不清楚時，為了要了解有那些不同特性的消費族群，而利用一些不同的特性來對樣本作群體分類。例：網路使用者族群區隔分析。 ( 課本 P.211)

次序相關分析Sequential Pattern Analysis

由一群有次去的交易中，找出經常次序出現的交易項目組合，進而了解顧客的長期購買行為。

預測分析Forecasting Analysis

以歷史資料來預測未來走向

巨量資料 Big Data – 基本定義• 巨量資料：

由各種量大、流動快地異質資料來源所匯集而來，數量極為巨大，目前的資料處理技術所無法蒐集、紀錄、儲存、分析的大量資料謂之。

• 例子：•全球 10億上網人口的網路搜尋紀錄。•2013 年 facebook 上的 400億張照片分享紀錄。•信用卡防盜偵測系統：處理 21億的客戶帳號。

巨量資料 Big Data – 產生背景

具量資料產生的三大動能

資料量 Volume資料流動速度 Velocity資料的不同來源 Varirty

巨量資料分析 Big Data Analysis

• 利用強大新型的資訊科技有效的蒐集、傳送、儲存、處理、分析判讀巨量資料所呈現的各種訊息，包括資料間的關聯性、因果關係、類型辨識、趨勢觀測等。

巨量資料分析 – 科技技術

巨量資料分析 – 困難與問題