第六章資料倉儲與採礦技術

華泰文化事業公司出版顧客服務管理 – CRM 實戰理論與實務

作者：張力元、姚銀河、侯建良、何佩勳、許芙瑲總編審：張瑞芬 6-1

第六章資料倉儲與採礦技術

6.1 資料倉儲與採礦定義6.2 資料採礦之步驟與技術分類6.3 資料採礦在顧客關係管理之應用



• E 化時代之資訊特點：• E 化時代下，電子資料量每年成長 1~3 倍• 僅 7% 之資料真正被分析、運用者

• 資訊應用需求：轉化龐大無序之資料為資訊、知識，進而供有智慧、經驗者運用

• 具體目標：• 協助組織擷取 / 歸納 / 解釋 / 分析資料• 從事獲利分析 / 關係行銷 / 顧客管理• 領域應用：客戶貢獻度分析、市場區隔、信用風險管理、交叉銷售分析、產品 / 投資組合獲利分析

6.1 資料倉儲與採礦定義

商業智慧之背景



• 定義：對企業營運資訊迅速解讀與推理之能力，以提升企業決策品質、改善營運績效。

• 特點：• 依公司既有資訊此分析業務發展趨勢• 以公司既有資訊進行決策支援• 參與人員可及時獲取其職責所需之知識

• Provide the Right Information to the Right Persons at the Right Time.

BI 技術可協助企業統計、挖掘、分析與轉化隱含於大量數據資料背後之知識，以支援企業相關決策

商業智慧 (BI) 定義




• 公司組織架構中，資訊 Bottom-Up 方式進行收集，逐筆之記錄資料，形成原始資料（ Row Data）。

• 基於決策需要，將資料萃取、解讀、處理、分析後，成為有組織、有價值之資訊（ Organized Information）。

• 結合公司內部領域智能（ domain know-how ），將資訊轉化為知識（ Knowledge）。

• 結合決策者的經驗與能力，將知識靈活應用，形成智慧（Wisdom）。

BI 的形成為 Bottom-Up 過程

商業智慧之形成 (1)




Data— 粗糙的事實（如實驗數據）

Information — 融合脈絡之 Data （如實驗結果）

Knowledge — Information 融合經驗（如實驗推

論）

Wisdom — 具啟發性之知識（如實驗結果應用）

商業智慧之形成 (2)




• 高層人員針對資訊進行決策之比例與重要性高。• 越上層決策者故對於資訊 / 知識深度與廣度要求較高，更需較高之智慧運用之。

• 決策者運用智慧、經驗將決定策略後，下達予下部單位執行、實現。• 決策者決策效率與資訊擷取、解讀（ Bottom-Up ）時效高度相關。• E 化技術之應用可提升 (1) 資訊擷取 / 解讀與 (2) 策略制訂 / 傳遞 / 執行等效率。

BI 的應用是 Top-Down 過程

商業智慧之應用




• 資料分析：發現大量資料之模式與趨勢（ DW、 DM）

• 智慧部署：運用 IT 技術使成員可進行商業分析與知識存取（ KM）

• 地理空間分析：整合商業資料與地理 / 人口資訊（ GIS ）

• 資料視覺化：以圖形方式檢視資料，協助訂定更佳商業決策（ KM、 VR ）

• 平衡計分卡分析：正確地檢視企業經營績效 • 專案管理分析：充分掌握資訊以訂定有關資源分配及專案選擇之決策

（ ERP、 PM）

• 協同體系之智慧累積：運用您員工群體的見識與經驗（ KM、 PM ）

• 業務 / 行銷分析：充分掌握銷售資料與趨勢（ CRM ）

• 客戶資訊分析：深入了解客戶行為與偏好（ CRM ）

商業智慧主要應用主題




• 定義 1 ：企業透過有效溝通，以瞭解、影響顧客行為，達成維繫與拓展客源之目標：

• 增加新顧客• 防止既有顧客流失• 提高顧客忠誠度• 提高顧客獲利

• 定義 2 ：是一種反覆將顧客資訊轉換為正面顧客關係的過程，藉由資訊科技，將資料轉化和視覺化，加速管理決策的實用性和速度。

• 結論：顧客關係管理乃能提供顧客接觸人員、資訊人員、行銷和銷售人員、及管理階層更多與顧客及銷售相關的企業智慧。

CRM— 顧客關係管理定義




• CRM 應整合於公司每一作業、每一成員、每一交易場所。• CRM 之「顧客關係」除顧客交易瞬間外（好價格產品或服務），更建立於期望顧客能繼續消費或產生其它購買行為之上的。

• 為了與顧客關係真實存在，溝通必須為雙向的、整合的、有記錄的、有管理的。• 若沒有顧客歷史資料、詳細交易記錄、有焦點和分類之溝通，就無法有效維持和顧客之關係。

• Note ：沒有絕對無用之資料• 客服中心是顧客關係管理的第一步。

因此應結合 BI 之理念與技術，有效收集、歸納、解析客服相關資訊，協助組織進行行銷相關之決策

CRM 重點課題




• 數位資訊包含企業多年累積之各種形式資料，內部 /外部資訊，及各式與客戶或其他企業互動的累積經歷

• 這些累積資料、資訊與經歷極為寶貴，但卻十分繁雜• 多數 E 化軟體負責處理交易（ Transaction ）相關數據資料，缺乏預測顧客行為模式及其對企業營運之影響。

• 導入 BI 之資料採礦理念，使企業檢視自身經營模式，並瞭解顧客特性 • 故 CRM乃整合各行業之行銷與客戶管理之資訊系統及商業智慧（ BI ）決策分析機制。

BI與 CRM 關聯 (1)




Source: http://www.bitech.com.tw/

Source: http://bi.fast.com.tw/newpages/bi01.htm

商業智慧與 CRM 關聯 (2)




CRM ActionSFC/SCMAction

BI Operation Strategies

Customer & Sales

Information

CollectionContact Center

Data Mining

Operation

Information

CollectionERP/Transaction

運用 BI 觀念可將與客戶相關之銷售、服務資訊由 Bottom-Up

方式收集，再轉化為 Top-Down 之策略與應用

Data

Information

Knowledge

Wisdom

商業智慧與 CRM 關聯(3)



Knowledge Recovery

Data Mining

Data Warehousing

Database Design客服中心之資料建置與分析




「資料庫」乃將各種資料經過蒐集、整理之手法後，以適

當方式加以組織化，再以有效的方式加以儲存。

利於資料後續搜尋、編輯、管理及再利用，以使資料使能

提供多方面應用。

現今圖書館館藏訊息之蒐集、整理、組織化、儲存、搜尋

及管理等，即為資料庫技術之典型利用。

資料庫系統與其運作




File （檔案）：通常一資料檔案之建立乃針對特定應用及其對應所需之報表而來。隨著時日增加，可能會有許多檔案存在。Record （記錄）Field （欄位）Character （文字） Entity （實體）Attribute （屬性；個別欄位名稱）於一資料庫系統中，一 Database 含多筆 Record 、各筆 Record 以Field 為單元，且各 Field 可為任意之資料型態，並以 Data Dictionary

進行內容分類。

資料庫系統相關詞彙




缺乏資料之安全性

缺乏資料之共用性

缺乏資料應用彈性

資料重複記錄

資料與程式具高度相關性，不易維護

檔案系統儲存資料之瓶頸




故以資料庫系統取代檔案系統之資料儲存方式，增強資料儲存、

索引搜尋、系統安全性與資料同步存取等特性。

其能針對每一不同的商業應用擷取資料，並產生其所需之報表。

具體優點乃可以減少檢索資料的時間與人力，又透過網路可更迅

速地進行資料更新及管理。

具彈性化檢索功能，對大量資料的處理、搜尋所需資料的正確性

與效率都會因此而大幅提昇。

資料庫系統儲存資料之優點




Selection乃自資料表中選出符合設定條件之行 (Row)。

Projection乃自資料表中移除特定之列 (Column)。

Product 則是將兩 Table 相乘，若 Table 1 為 N Rows 、 I

Columns； Table 2為M Rows、 J Columns ，則其相乘結果產生

一個具有 N*M Rows、 I+J Columns 的新 Table。

若兩 Table 分別為 N Rows、M Rows ，則 Union 結果形成 N＋

M Rows （然除非兩 Table的 Schema 相符，否則無意義）。

資料庫運算 (1)




Set Difference乃找出於一 Relation 中存在，卻不在另一 Relation

中存在，兩 Relation間的交集可以 A-（ A-B ）獲得。

Join 操作即是將兩個具有共同 Field 關聯之 Tuple 結合，即當

Tuple 中之欄位值與另一 Tuple 中之欄位值相等時則結合，可以

Selection與 Product 定義之，如此即可以簡易資料表產生複雜之

資料集合；相當於許多資料庫中之 View功能，可將兩 Row 之資

訊合併。

資料庫運算 (2)




SQL查詢語言乃為依據 Relational Algebra衍生出之查詢語法。

其發展利於高階語言應用於資料庫資訊之擷取。

由 IBM 於 1970年發展，且現已為 ANSI標準。

除查詢 RDBMS 資料外， SQL亦提供定義 Table Schema 、資料

建立與資料處理之功能。如 Create Table 可指定屬性與資料欄位、 Delete 可刪除 Row、 Insert

Into乃增加 Row至一 Table 中）。

SQL (Structured Query Language)




除 RDBMS 外，近期已逐漸發展物件導向資料庫管理系統 (Object-

Oriented Database Management System； OODBMS)。在 OODBMS 環境下，所有物件之資料儲存於一處，並以唯一之Object ID 作索引。物件間之連結可直接由 Object ID 與 Object Link 追蹤（非以 Join 方式）。OODBMS 提供執行時之 Schema Querying （ Run-Time Schema

Querying），即應用程式乃查詢物件的 Meta-Data （元）資料。現今應用 Hybrid OO-Relational 資料庫系統較多，其乃提供 RDBMS系統中有物件之表示法，純 OODBMS 較為少用。

RDBMS vs OODBMS




第一階段—資料需求規格釐清：不同使用者資訊需求確認第二階段—概念設計：即建立「屬性 - 關係」模型，即 Entity-Relation Model

（簡稱 ER Model）第三階段—邏輯設計：乃將觀念架構轉換成所選定之資料庫管理系統，如關聯式資料庫管理系統之邏輯資料模式。第四階段—實體設計：將邏輯資料模式轉換成特定硬體及 DBMS適用之形式，通常乃決定資料儲存結構及檢索路徑。資料庫正規化 (Normalization) ：即自複雜、大量之資料中尋求其關聯性，而建立結構化表格。主鍵 (Primary Key) 決定：資料庫中之鍵 (Key) ，乃由一個主鍵 (Primary Key)

獨特地表示記錄的若干特性

6.2 資料採礦之步驟與技術分類

客服中心資料庫設計



U serIn fo

-U se rID-U se rN a m e

¡D¡D¡D

P a r tIn fo

-P a r tIn fo-P a r tN a m e

¡D¡D¡D

D o cK ey w o rd

-D o cID-K ey w o rd

¡D¡D¡D

D o cIn fo

-D o cID-D o cN a m e

¡D¡D¡D

D o cT y p e

-T y p eID-T y p eN a m e

¡D¡D¡D

G ro u p In fo

-G ro u p ID-G ro u p N a m e

¡D¡D¡D

G ro u p M a p

-G ro u p ID-S ta ffID

¡D¡D¡D

S ecG ro u p

-D o cID-G p ID

¡D¡D¡D

A u th S ta tu s

-D o cID-T y p eID-C u rren tG P

¡D¡D

D o cS eq W t

-D o cID-S eq ID-In d ex ID-W eig h t

¡D

A u th H isto ry

-D o cID-T y p eID

¡D¡D¡D

D o cS eq

-D o cID-S eq ID-G p ID

¡D¡D

In d ex In fo

-In d ex ID-In d ex N a m e-W eig h t

¡D¡D

C /E K W R ep

C /E K W

C /E N K W R ep

C /E N K W

ER Model 範例




資料倉儲：一特大型資料庫，將來自不同作業系統之資料建立關聯性後，以具結構性方式加以儲存自客服人員線上處理系統所得之資料，透過擷取、轉化與載入(Extraction、 Transformation、 Loading, ETL) 等資訊技術，將資料置於資料倉庫中必須確保倉庫中之資料之：

正確性（無錯誤資料參雜其中）完整性（必要之資料皆被儲存）相互整合以交易主體（如顧客、產品）作為其儲存分類依據。

客服中心之資料倉儲 (1)




資料倉儲為決策支援系統之基礎，其技術具多元性與複雜性：多維（ Multi-Dimension ）資料庫管理系統主從架構（ Client/Server Architecture）

中介軟體（ Middleware）

圖形使用者介面（ GUI）

資料複製（ Replication）

平行處理（ Parallel Processing）





基本特質：以交易主體為導向

資料經過整合

各類使用者無法擅自更改資料

資料不斷隨時間而變化

收集之資料主旨在支援企業決策之制定





資料倉儲建置專案是否成功發揮其應有效益，與以下要素有高度相關性：

常設專案支援部門，支援專案之專業執行界定明確目標及需求範圍，使資料倉儲平台規劃符合實需高層支持與良好跨部門溝通管道，建立全公司共識建構開放性之倉儲平台，並具備充分延展性及擴充性的倉儲架構倉儲與前端系統之介面規格一致前端系統資料品質高及具穩定性





系統設計與建置

資料轉換

現況了解及細部需求分析

範圍界定及需求分析

系統上線

系統維護

資料倉儲導入程序




提昇使用者對應用系統之運用能力：企業決策者可直接分析資料，

毋須透過資訊部門或其他資訊提供者提供，將可紓解資訊部門之工

作負擔，並提昇資料分析的效率。

培養企業迅速取得資訊之能力：由於資料倉儲將散於各應用系統之

資料加以整合，因此決策者、資訊需求者可不透過資訊人員即可取

得所需之決策報表，公司整體的決策時效性可獲提昇。故資料倉儲

有效縮短管理階層理解事件發生之反應時間，使企業決策之機動性

有效提昇。

資料倉儲具體效益 (1)




強化企業資訊集中與整合能力：資料倉儲整合了企業內部各資訊系統及企業外部資訊，利於企業制定有效決策，以應付瞬息萬變的企業環境。提供企業資料分析之新機制：資料倉儲可支援 Data Mining、 OLAP 等資料分析任務，可幫助企業以新機制進行資料分析、問題發掘、知識探索。並藉由這些先進技術與工具，發現新問題或對舊問題引發新解決方案。提升企業進行資訊趨勢分析能力：資料倉儲擁有足夠之歷史資訊，可供企業自過去事件或案例中，尋找相關之行為模式與發展趨勢，進一步預測未來、進行必要之防範或改善。

資料倉儲具體效益 (2)




過去資訊技術的瓶頸，如跨平台資料難以整合、龐大資料量儲存及分析效率低等問題，皆可藉由資料倉儲技術逐漸克服。過去偏重資料收集（資料庫技術應用），到現今強調價值資訊分析（資料採礦技術應用。目前資料倉儲應用於企業客戶關係管理之課題將漸朝深度發展，期能透過資訊採礦技術將大量客戶資料和交易數據轉化為有用資訊，讓決策主管和行銷人員可以隨時掌握客戶行為趨勢與變化，並針對個別狀況制定因應之行銷策略。整體而言，透過資料倉儲技術運用，可將企業大量、無章之資料轉成商業知識，進而協助企業分析客戶習性及協助產品規劃，增加企業之競爭力與獲利機會。

資料倉儲趨勢




資料採礦 (Data Mining)主要在探討如何於大量資料中發掘潛藏的有用資訊與趨勢，以提供決策人員進行決策參考。資料採礦過程可視為資料庫管理之知識發掘。知識發掘之過程包括資料選取、前置處理、資料轉換、資料採礦、解釋與評估。與資料採礦相關之研究領域包括前述之資料庫技術、機器學習、人工智慧、專家系統、特徵識別、統計學及資料視覺化等課題而目前較普遍運用之模式與技術包括決策樹、類神經網路、歸納式邏輯、貝氏網路 (Baysian Network) 、 Nearest Neighbor 、 Attributed-

Oriented Induction、 Binary/Quantitative Association Rules 等。

資料採礦 (1)




資料採礦是先進的大量資料分析與處理工具，可將原先未知的重要訊息與趨勢，自大量資料中予以發掘。發掘知識在學術研究中則可視為經驗法則；於商業應用中，可視為商業知識。商業知識進一步應用於公司決策，尤其在市埸行銷推廣、客戶服務、詐欺防弊、瑕疵偵測與行為預測等課題。資料採礦過程通常透過大量統計等先進資訊技術，自數以百萬計之資料裡，辨認其間相互關係，分析具意義之訊息與知識，使大量資料經過精簡、轉化為有意義之圖形或數據供決策判斷。資料採礦強調資料關係發掘，此類發現乃以大量既有資料為事實基礎，而非人為假設，故適用於解決學術上與企業各式業務之難題。

資料採礦 (2)




分析方向：分類功能：乃按照分析對象之屬性，定義其分門類別，並建立類組（ Class）

估計功能：乃根據既有連續性數值之相關屬性資料，獲致某一屬性未知之值

預測功能，乃根據對象屬性之過去觀察值推論該屬性之未來值，例如由顧客過去之閱讀趨勢預測其未來之消費項目

關聯分組功能：乃從所有物件決定那些相關物件應該列為同一群分群功能：將異質母體中區隔為較具同質性之群組，相當於行銷所謂之區隔化（ Segmentation）

6.3 資料採礦在顧客關係管理之應用

客服中心之資料採礦 (1)



上線環境更新

系統移植使用者與權限整理整合企業流程擬定後續改善計畫

軟體應用

問題與目標確認

資料探勘技術應用

資料來源決定資料需求界定模型建立資料整理利用資料倉儲支援

資料擷取程序與技術系統建置雛形開發完成

資料採礦技術上線執行資料採礦任務

計畫實施目的釐定

目標設定與雛形開發建立計畫評估準則訪談資料整理及分析計畫時程規劃整體目標釐清

資料採礦步驟




問題與目標確認：確認資料採礦所欲處理之潛在問題。資料來源決定：決定資料採礦所需之基礎資料從何而來。資料需求界定：即尋求與問題原因相關之資訊，並可能決定訪談之對象。模型建立：可為簡單之 OLAP或甚至複雜之類神經網路。資料整理：基於不同資料模型有相亦之資料需求，故其資料整理方式亦當不同，並進行資料轉化。利用資料倉儲支援：在資料採礦應用過程必須以資料倉儲作為支援。軟體應用：利用既有交易資料及額外蒐集資料，透過專業之建構與分析軟體建立資料模型，含資料庫處理軟體或統計分析軟體。

資料採礦計畫




大量資料

構想、資訊、知識

假設檢定知識發掘

資料採礦模式




資料倉儲：一特大型資料庫，將來自不同作業系統之資料建立關聯性後，以具結構性方式加以儲存自客服人員線上處理系統所得之資料，透過擷取、轉化與載入(Extraction 、 Transformation 、 Loading, ETL) 等資訊技術，將資料置於資料倉庫中必須確保倉庫中之資料之：

正確性（無錯誤資料摻雜其中）完整性（必要之資料皆被儲存）相互整合以交易主體（如顧客、產品）作為其儲存分類依據。





所收集之所有資訊都是寶貴資產，資料倉儲之重要性甚高。資料採礦乃使用自動化或半自動化方式針對大量資料進行趨勢分析，並尋求對企業有意義之關係或規則。客戶分群：根據客戶之各種屬性（如性別、職業、收入或教育程度）分析後加以分群。同一群客戶即代表其整體屬性較為類似，依此可進行差異化行銷。目標式客戶區隔：將所有客戶之單一消費習性加以紀錄、調查，將客戶加以區隔，並以決策樹結構，以客戶各屬性建立區隔模式。特徵分析：即利用分群分析模型將客戶分群，並進一步分析各客戶群特徵。





貢獻度分析：即分析客戶對企業貢獻度等級。其乃針對所有客戶的某一種消費屬性加以分析，將客戶加以區隔分類。期間分析：依據客戶最近購買日，分析各期間購物者之特徵。頻率分析：以客戶購買頻率為依據，分析各購物頻率的客戶特徵。金額分析：以客戶購物金額為依據，分析各購物額之客戶特徵。終身價值分析：以客戶購物日、購買頻率、購物總金額為依據，歸列其價值評分。協銷規則分析：分析顧客購物明細，得知顧客購物時趨向同時購買哪些商品，進而主動推薦符合顧客興趣之商品。序銷規則分析：尋求顧客於不同購物經驗中購物之先後關係，以使產品行銷定位更正確，並大幅降低行銷分析及廣告費用。預測分析：依據潛在客戶之各種屬性，透過建立好的客戶區隔模式，進而準確預測未來行銷之顧客歸屬於何種客戶類型之目標。





典型應用：根據消費者瀏覽網頁趨勢，推斷其偏好訊息根據銷售資料發掘顧客消費習性從消費者消費及繳費資料預警信用卡呆帳可能在大量交易資料中探勘產品銷售關聯性在大量客服資料中發覺話題趨勢根據歷史審核資料，找尋核發信用卡規則





彈性提升：由於資料採礦工具大多與取樣資料之相關性高，故資料採礦工具宜具備更高延展性、容納更多屬性與資料維度。另透過前端之智慧型群體區隔功能，可加速產生客戶分類群體，利於企業行銷人員建置大量之資料。

經濟性提升：資料採礦之知識擷取成果，通常為統計分析之結論，其有效性與可執行性若能更落實於產業需求，形成可採取行動之模型，將可提供投資報酬率，提升資料採礦技術之應用廣度與深度。

資料採礦未來趨勢 (1)




標準化：資料採礦小組 (The Data Mining Group) 已著手發展「預測模型標記語言」 (Predictive Model Markup Language, PMML) 。 PMML是一種 XML

格式，以描述常見之預測模型，作為其他資料採礦、商業智慧應用程式直接運用的標準化資料格式

整合性：為了提昇大規模資料倉儲環境下之資料採礦模型運作效能，部分資料採礦功能乃整合於關聯式資料庫系統之核心功能中，結合關聯式資料庫管理系統之平行運算處理能力，可顯著提昇了資料採礦與查詢的效能。

資料採礦未來趨勢 (2)


第六章 資料倉儲與採礦技術

Documents

第六章資料倉儲與採礦技術