建構商業智慧系統使用者滿意度之評估指標oplab.im.ntu.edu.tw/csimweb/system/application/views/files/icim/... ·...

14
建構商業智慧系統使用者滿意度之評估指標 摘要 本研究目的是建構一可供企業導入商 業智慧系統後衡量其滿意度的評估指標。 首先,本研究以修正後的資訊系統成功模 式之「資訊品質」、「系統品質」與「服務 品質」三大構面,並結合「知覺價值」,形 成商業智慧系統使用者滿意度評估指標之 研究構面。接著再利用修正式德菲法,針 對具有商業智慧背景及使用經驗的專家學 者進行問卷調查,進行指標的修正。研究 結果指出三大構面,共 34 項作為企業導入 商業智慧之滿意度評估指標。對於已導入 商業智慧系統之企業,可供衡量其導入後 的成效,而未導入之企業則可利用此指標 預先瞭解未來在選購或導入商業智慧系統 工具之參考準則。另外,亦助於開發商業 智慧的委外廠商依關鍵指標修正其功能及 品質設計。 關鍵詞:商業智慧系統、滿意度、資訊系 統成功模式、知覺價值理論、評估指標 1. 緒論 1.1 背景與動機 Gartner 調查,全球超過二千位 CIO 表示,商業智慧(Business IntelligenceBI) 將為未來五年商業和技術最重要優先考量 項目之一 (Pettey & Goasduff, 2011) IDC(2010) 針對台灣資訊科技市場的十大 趨勢預測中,表示商業智慧分析不同於一 般產出報表供業務使用者查詢的作業,其 將結合如資料探勘、統計模型等繁複的進 階分析技術,同時具備即時性的資料整合 能力,以支援企業預測以降低經營風險, 是未來資訊科技投資的重點標的。當前企 業界中,資訊長(CIO) 也都認為企業競爭 策略中商業智慧是重要的議題(Stevens et al., 2008)。因此,商業智慧系統已成為資 訊科技應用最重要議題。 許多企業期望應用商業智慧系統,整 合企業內外資源,來解釋各項數據並轉換 成有用的資訊 (Lin et al., 2009)。且商業智 慧系統具備了多維度分析和決策支援的能 力,以降低運營成本,保持競爭優勢。因 此,商業智慧系統已成為企業導入之必然 趨勢。 然而,如何評估資訊科技的貢獻一直 被視為重大的挑戰(Kohli et al., 2003)。因 為評估指標必須以科學、客觀的角度來評 鑑複雜的事物,以便判斷及選擇(Doody et al., 2009)。回顧相關研究發現,衡量資訊 系統的成功指標以使用者滿意度是最被廣 泛使用的(DeLone et al., 2003)因為使用者滿意度影響了資訊部門的 目標、系統自願使用的程度及使用者工作 的品質等,故其為資訊系統成功之重要的 衡量指標(Galletta et al., 1989)。就管理目 的而言,測量及分析使用者滿意度(User Satisfaction) 可以提升資訊系統的生產力 (Bailey & Pearson, 1983)回顧過去研究,多數在探討企業導入 商業智慧系統後對企業營運的影響(Lin et al., 2009)和有關於商業智慧系統的導入、建置 與應用(Chung et al., 2005),但有關商業智 慧系統滿意度衡量指標卻是付之闕如。 1.2 研究目的 綜合上述,擁有一套資訊系統使用者 滿意度的評估指標,可以協助提昇資訊系 統,使有效率地提供使用者的需求及有效 果地利用經處理過的輸出資訊 (Bailey & Pearson, 1983),因此本研究目的在建構一 張俊陽 徐小雅 陳思雯 國立高雄應用科技大學 資訊管理學系 空軍軍官學校 少校資分官 國立高雄應用科技大學 資訊管理學系 [email protected] [email protected] [email protected]

Upload: others

Post on 09-Oct-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

  • 建構商業智慧系統使用者滿意度之評估指標

    摘要

    本研究目的是建構一可供企業導入商

    業智慧系統後衡量其滿意度的評估指標。

    首先,本研究以修正後的資訊系統成功模

    式之「資訊品質」、「系統品質」與「服務

    品質」三大構面,並結合「知覺價值」,形

    成商業智慧系統使用者滿意度評估指標之

    研究構面。接著再利用修正式德菲法,針

    對具有商業智慧背景及使用經驗的專家學

    者進行問卷調查,進行指標的修正。研究

    結果指出三大構面,共 34 項作為企業導入商業智慧之滿意度評估指標。對於已導入

    商業智慧系統之企業,可供衡量其導入後

    的成效,而未導入之企業則可利用此指標

    預先瞭解未來在選購或導入商業智慧系統

    工具之參考準則。另外,亦助於開發商業

    智慧的委外廠商依關鍵指標修正其功能及

    品質設計。 關鍵詞:商業智慧系統、滿意度、資訊系

    統成功模式、知覺價值理論、評估指標

    1. 緒論

    1.1 背景與動機

    據 Gartner 調查,全球超過二千位 CIO表示,商業智慧(Business Intelligence,BI)將為未來五年商業和技術最重要優先考量

    項目之一 (Pettey & Goasduff, 2011) 。IDC(2010)針對台灣資訊科技市場的十大趨勢預測中,表示商業智慧分析不同於一

    般產出報表供業務使用者查詢的作業,其

    將結合如資料探勘、統計模型等繁複的進

    階分析技術,同時具備即時性的資料整合

    能力,以支援企業預測以降低經營風險,

    是未來資訊科技投資的重點標的。當前企

    業界中,資訊長(CIO)也都認為企業競爭策略中商業智慧是重要的議題(Stevens et al., 2008)。因此,商業智慧系統已成為資訊科技應用最重要議題。

    許多企業期望應用商業智慧系統,整

    合企業內外資源,來解釋各項數據並轉換

    成有用的資訊 (Lin et al., 2009)。且商業智慧系統具備了多維度分析和決策支援的能

    力,以降低運營成本,保持競爭優勢。因

    此,商業智慧系統已成為企業導入之必然

    趨勢。 然而,如何評估資訊科技的貢獻一直

    被視為重大的挑戰(Kohli et al., 2003)。因為評估指標必須以科學、客觀的角度來評

    鑑複雜的事物,以便判斷及選擇(Doody et al., 2009)。回顧相關研究發現,衡量資訊系統的成功指標以使用者滿意度是最被廣

    泛使用的(DeLone et al., 2003)。 因為使用者滿意度影響了資訊部門的

    目標、系統自願使用的程度及使用者工作

    的品質等,故其為資訊系統成功之重要的

    衡量指標(Galletta et al., 1989)。就管理目的而言,測量及分析使用者滿意度(User Satisfaction)可以提升資訊系統的生產力(Bailey & Pearson, 1983)。

    回顧過去研究,多數在探討企業導入

    商業智慧系統後對企業營運的影響(Lin et al., 2009)和有關於商業智慧系統的導入、建置與應用(Chung et al., 2005),但有關商業智慧系統滿意度衡量指標卻是付之闕如。

    1.2 研究目的

    綜合上述,擁有一套資訊系統使用者

    滿意度的評估指標,可以協助提昇資訊系

    統,使有效率地提供使用者的需求及有效

    果地利用經處理過的輸出資訊 (Bailey & Pearson, 1983),因此本研究目的在建構一

    張俊陽 徐小雅 陳思雯 國立高雄應用科技大學

    資訊管理學系 空軍軍官學校 少校資分官

    國立高雄應用科技大學 資訊管理學系

    [email protected] [email protected] [email protected]

  • 個商業智慧系統使用者滿意度的評估指

    標,使其能透過本指標來衡量資訊部門的

    目標、系統自願使用的程度及使用者工作

    的品質等(Galletta & Lederer, 1989)。並進而提供學術與實務界衡量商業智慧系統使

    用者滿意度的參考依據。

    2. 文獻探討

    本研究目的是建構商業智慧系統使用

    者滿意度之評估指標,過去相關研究中無

    商業智慧系統使用者滿意度的評估指標可

    參考。故本研究建構商業智慧系統使用者

    滿意度評估指標時,以 DeLone et al.(2003)修正後的資訊系統成功模式為基礎,結合

    知覺價值理論,來彌補及強化其不足之

    處。

    2.1 資訊系統成功模式

    DeLone et al. (1992)提出了衡量資訊系統的架構,發展出原始的「資訊系統成

    功 模 式 」 (Information System Success Model),認為好的系統品質及資訊品質會影響資訊系統使用的程度及產生較高的使

    用者滿意度,進而影響個人對該系統的評

    價,進一步造成對組織的影響。 然而,DeLone et al.(1992)所提的資訊

    系統成功模式,大多是著重在評估資訊系

    統的效益。因此,DeLone et al.於 2003 年時,為了考量電子商務環境下的資訊系統

    特色,將 Pitt et al.(1995)所提的「服務品質」構面納入,進而提出「修正後資訊系

    統成功模式」。也就是將資訊系統成功模

    式中的系統品質、資訊品質、服務品質作

    為自變項,使用者滿意度與系統使用作為

    仲介變項,個人的影響與組織的影響構念

    合併成「系統效益」構念,是模式中的依

    變項。

    圖 1 修正後資訊系統成功模式 資料來源:DeLone et al. (2003)

    綜合上述,因為商業智慧系統也是一

    種資訊系統。因此本研究採用整合

    DeLone et al.(1992)、Pitt et al.(1995)及DeLone et al.(2003)的資訊系統成功模式中所提的三大自變項,「系統品質」、「資

    訊品質」及「服務品質」,作為本研究建

    構商業智慧系統使用者滿意度評估指標的

    主要衡量構面。各構面定義如下表: 表 1 指標構面之定義(資料來源:本研究整理)

    構面 定義

    系統品質 (System Quality)

    評估商業智慧系統之系統品質,包

    含系統的易用性(Ease of Use)、彈性(System Flexibility) 、 有 用 性(Usefulness) 、 可 靠 性 (System Reliability)、整合性(Integration of System)、效率(System Efficiency)、反應時間(Response Time)、存取便利性(convenience of access)、系統精密性(System Sophistication)、系統安全性(security of system) ,共匯整出10 個項目。

    資訊品質 (Information

    Quality)

    評估商業智慧系統之資訊輸出品

    質 , 包 括 其 內 容 之 正 確 性

    (Precision)、完整性(Completeness)、可瞭解性(Understandability)、可靠性 (Reliability) 、 有 用 性(Usefulness)、即時性(Currency)、簡潔性(Concise Representation)、客觀性(Objectiveness)、格式 (Format of output)、相關性(Relevance) ,匯整出10個項目。

    服務品質 (Service Quality)

    針對商業智慧系統之服務品質評估

    項目,包括可靠性(Reliability)、反應力(Responsiveness)、保證性/確實性 (Assurance)、同理心(Empathy)、有形性(Tangibles)、加值性服務價值(value-added service),提出 6 個項目。

    2.2 商業智慧

    2.2.1 商業智慧的定義

    商業智慧係於 1989 年由美國 Gartner公司的分析師 Howard Dresner 所提出的歷史性名詞,代表可協助企業決策之技術及

    工具統稱(Power, 2008)。當時將商業智慧解釋為一類由資料倉儲、查詢報表、資料

    分析、資料掘礦、資料備份和回復等部分

    系統品質

    資訊品質

    使用意

    使用者滿意度 系統效益

    服務品質

    系統使

  • 組合而成,以使用實際資料為基礎,來增

    進企業決策制定的概念和方法。根據

    Greene (1996)為企業智慧所下的定義:「企業智慧是將與企業運作有關的重要資訊蒐

    集整理,用來管理目前和將來的商業運作

    環境的一個過程」(梁定澎, 2006)。 表 2 商業智慧定義彙整(資料來源:本研究整理) 學者 年份 定義

    梁定澎 2006

    認為商業智慧乃是將企業內部所

    掌握的資料與資訊,做進一部分

    析之後,針對企業所面臨的特殊

    環境,做出有助於公司發展的策

    略性及關鍵性決策。

    Dayal et al. 2008

    商業智慧是由數據倉儲,報表工

    具,資料探勘,視覺化資訊呈現

    等技術組成,以提供使用者決策

    所需的高質量的參考資訊為目

    的。 Mikroyannidis

    & Theodoulidis

    2009

    商務智慧是一個科技技術和工

    具結合,主要提供企業必要的

    決策支援商業智慧服務係各種

    資訊搜尋和過濾服務,提供特

    定使用者所需的資訊消息。

    Phan & Vogel 2010

    商業智慧(BI)可用於協助企業之顧客關係管理、產品和服務

    的決策支援系統、市場調查研

    究、目標市場營銷、客戶服務

    與客戶合作。係企業於大量的

    資料中,利用線上分析處理

    (OLAP)與資料探勘(DM)的技術,進行資料的分析,並提供

    企業相關的決策支援。

    2.3 知覺價值之定義與評估要項

    Zeithaml(1988) 將個人對知覺價值區分為四種:包括「低價格」、「知覺品質」、

    「期望價值」及「犧性價值」,「個人於

    知覺上獲得的品質及所付出層面,在於獲

    得產品的整體效用的評估」,並從其探索

    性(exploratory study)的研究中定義個人的知覺價值區分為下列四項:(1)低價格就是有價值。(2)從產品中獲得我想要的就是有價值。(3)價值就是我所獲得的品質與我所付出的價格之間的比較。(4)價值是我所獲得與我所付出之間的比較。

    Monroe(1990)認為個人的知覺價值定義為從產品上獲得的品質與效益,相對於

    付出價格所作的犧牲。而 Parauraman

    &Grewal (2000)表示知覺價值由四個層面購買價值所獲得利益、交易價值、使用價

    值及補償價值來探討。Kuo 等學者則提出衡量知覺價值的量表中包含評估產品的優

    勢以及基於消費者使用行動性加值性服務

    商品的基礎服務之事前的犧牲與事後的知

    覺情況。(Kuo et al., 2009) 綜 合 上 述 , 本 研 究 主 要 依 據

    Zeithaml(1988)及 Monroe(1990)所提的知覺價值與使用者滿意度研究中,得知其業者

    品牌、投資成本及產品適用性等與滿意度

    有直接關係,所以在本研究特別加入引用

    知覺價值構面來衡量使用者滿意度之關

    係。其分別加入投資成本(價格)、知覺品質、期望價值、犧性價值及品牌(系統服務業者)等 5 項評估項目,使商業智慧系統使用者滿意度評估項目更加完善。

    2.4 商業智慧系統使用者滿意度評估指標雛型

    本研究透過探討資訊系統成功模式滿

    意度相關文獻作為本研究商業智慧使用者

    滿意度系統品質、資訊品質及服務品質等

    三大評估階段的基礎,並根據各原構面的

    衡量項目整理出評估指標。最後再利用商

    業智慧的特性來強化修正每一項評估指

    標,以產生本研究的商業智慧使用者滿意

    度評估指標雛型;然而,商業智慧系統除

    了整合企業內部資訊,更整合企業外資訊

    後,提供更佳的決策參考,因此本研究透

    過知覺價值的相關衡量項目來彌補資訊系

    統成功模式不足之處。因此,本研究藉由

    此四大構面產生商業智慧系統使用者滿意

    度評估指標的雛型問項,茲將問項整理過

    程說明,如表 3。

  • 表 3 商業智慧委使用者滿意度評估指標雛型 (資料來源:本研究整理)

    構面 原系統品質衡量項目

    透過理論

    強化及商

    業智慧架

    構修正

    修正後的商

    業智慧使用

    者滿意度評

    估指標

    系統是容易

    使用的

    商業智慧

    特性 圖形介面

    特性

    商業智慧系

    統具有簡單

    易用的互動

    式圖形使用

    者介面 ,例如:經由直接

    點選就可以

    馬上呈現相

    關資訊。

    系統是有彈

    性的

    商業智慧

    定義 資料整

    合、分析與

    呈現技術

    能力

    商業智慧系

    統具有針對

    不同類型決

    策問題提供

    所需參考資

    訊的功能彈

    性。

    系統所提供

    的功能是有

    用的

    商業智慧

    定義 資料整

    合、分析與

    呈現技術

    能力

    商業智慧系

    統所提供的

    功能是有用

    的,有助於提

    升使用者的

    能力。

    系統是可靠

    商業智慧

    定義 資料倉儲

    技術能力

    商業智慧系

    統異常的情

    況不會影響

    其他必需的

    資訊系統,

    如 ERP。

    系統是具整

    合能力

    商業智慧

    定義 資料整合

    技術能力

    商業智慧系

    統能夠有效

    且正確的整

    合所需的組

    織內、外部

    資料。

    系統執行的

    效率

    商業智慧

    定義 資料整

    合、倉儲技

    術能力

    商業智慧系

    統能協助我

    有效地分析

    與處理大量

    的營運資料。

    一、系統品質評估指標雛型

    系統執行的

    反應時間

    商業智慧

    定義 資料整

    合、分析與

    呈現技術

    能力

    商業智慧系

    統在執行使

    用者所需的

    資料分析處

    理時,其回應

    時間是快速

    的。

    系統的存取

    便利性

    商業智慧

    定義 資料整

    合、分析與

    呈現技術

    能力

    商業智慧系

    統能讓企業

    容易取得所

    需的分析資

    訊。

    系統的精密

    商業智慧

    定義 資料倉

    儲、分析與

    呈現技術

    能力

    商業智慧系

    統能在多維

    度資料呈現

    中,精確的

    展示細部的

    資訊。

    一、系統品質評估指標雛型

    系統的安全

    性 無

    商業智慧系

    統不會傷害

    企業組織的

    資料機密。

    系統所提供

    的資訊是正

    確的

    商業智慧

    特性 決策支援

    能力

    商業智慧系統

    所呈現的資訊

    對使用者決策

    考而言是正確

    的。

    系統所提供

    的資訊是完

    整性

    商業智慧

    定義 資料呈現

    技術能力

    商業智慧系統

    資訊可提供使

    用者完整的決

    策資訊。

    系統所提供

    的資訊是可

    瞭解性

    商業智慧

    定義 資料呈現

    技術能力

    商業智慧系統

    所提供的資訊

    以易於理解的

    方式呈現給使

    用者和決策制

    定之依據。

    系統所提供

    的資訊是可

    靠性

    商業智慧

    定義 資料呈現

    技術能力

    商業智慧系

    統所提供的

    資訊是可靠

    的。

    系統所提供

    的資訊是有

    用性

    商業智慧

    定義 資料整合

    技術能力

    商業智慧系

    統所提供的

    資訊是有用

    的,可以符

    合使用者決

    策的需求。

    二、資訊品質評估指標雛型

    系統所提供

    的資訊是即

    時性

    商業智慧

    定義 資料呈現

    技術能力 資料倉儲

    技術能力

    商業智慧系

    統可以協助

    使用者進行

    線上分析處

    理,以獲得即

    時決策的資

    訊。

  • 表 3商業智慧委使用者滿意度評估指標雛型(續) (資料來源:本研究整理)

    構面 原系統品質衡量項目

    透過理論

    強化及商

    業智慧架

    構修正

    修正後的商

    業智慧使用

    者滿意度評

    估指標

    系統所提供

    的資訊是簡

    潔性

    商業智慧

    定義 資料呈現

    技術能力

    商業智慧系

    統能將資訊

    以圖形化或

    數位儀表板

    等簡潔的方

    式來加以呈

    現。

    系統所提供

    的資訊是客

    觀性

    商業智慧

    定義 資料呈現

    技術能力

    商業智慧系

    統所提供的

    預測性資訊

    內容是客觀

    的,提供較

    佳 決 策 參

    考。

    系統所提供

    的資訊是格

    式化

    商業智慧

    定義 資料呈現

    技術能力

    商業智慧系

    統可以提供

    使用者需要

    的 資 料 格

    式。

    二、資訊品質評估指標雛型

    系統所提供

    的資訊是相

    關性

    商業智慧

    定義 資料呈現

    技術能力

    商業智慧系

    統可以與使

    用者的決策

    需求是相關

    的。

    資訊系統是

    可靠性 無

    商業智慧系

    統相關專業

    人員的處理

    行為讓使用

    者感到信任。 商業智慧系

    統相關專業

    人員所提供

    的 各 項 服

    務,符合使用

    者的需求。

    三、服務品質評估指標雛型 資訊系統的

    專業人員向

    用戶提供及

    時的服務

    商業智慧系

    統相關專業

    人員能很快

    地回應使用

    者的需求。

    資訊系統的

    專業人員有

    足夠能力(知識)去完成他們的工作

    商業智慧系

    統相關專業

    人員能履行

    對使用者的

    承諾並兌現。

    資訊系統與

    使用者感同

    身受 無

    商業智慧系

    統相關專業

    人員的服務

    行為是親切

    的。 商業智慧系

    統相關專業

    人員會給予

    使用者主動

    的關懷。

    資訊系統提

    供有形性(軟體及硬體)上的幫助

    商業智慧系

    統相關專業

    人員能提供

    使用者完整

    的操作說

    明。

    三、服務品質評估指標雛型

    加值性服務 無

    商業智慧系

    統相關專業

    人員能夠提

    供如教育訓

    練、諮詢服務

    等加值性服

    務。

    投資成本(價格)

    知覺價值

    理論

    投資商業智

    慧系統所獲

    得的整體價

    值可以超越

    其建置成

    本。

    知覺價值 知覺價值理論

    商業智慧系

    統所提供的

    參考資訊相

    較其它資訊

    來源更能輔

    助決策。

    四、知覺價值評估指標雛型

    品牌(系統服務業者)

    知覺價值

    理論

    建置商業智

    慧系統的專

    業廠商具有

    良好的商譽

    並深受好

    評。

  • 表 3商業智慧委使用者滿意度評估指標雛型(續) (資料來源:本研究整理)

    構面 原系統品質衡量項目

    透過理論

    強化及商

    業智慧架

    構修正

    修正後的商

    業智慧使用

    者滿意度評

    估指標

    犧性價值 知覺價值理論

    商業智慧系

    統是值得使

    用者犧牲一

    些時間來學

    習,以協助

    使用者提升

    個人的工作

    績效。

    期望價值 知覺價值理論

    商業智慧系

    統可以協助

    決策者做出

    正確的決

    策,以符合

    預期的效

    益。

    四、知覺價值評估指標雛型

    期望價值 知覺價值理論

    商業智慧系

    統所提供的

    服務,使用

    者感覺是貼

    心愉快的。

    3. 研究方法

    3.1 研究架構

    圖 2 本研究雛型指標架構圖

    (資料來源:本研究整理) 本研究之研究架構設計是以 DeLone

    et al.(2003)的資訊系統成功模式為理論基礎,結合知覺價值領域並彙整專家學者之

    研究,建立一個商業智慧系統的使用者滿

    意度評估指標。

    3.2 研究流程

    本研究旨在發展一個具有良好信、效

    度的商業智慧系統使用者滿意度評估指

    標,本節將說明評估指標發展流程,如圖

    3 所示:

    商業智慧系統使

    用者滿意度評估

    指標雛型量表

    文獻探討 藉由資訊成功模式理論作

    為基礎構面,探討評估指

    標。 彙整中外學者之研究文

    獻,歸納評估指標。 加入知覺價值來修正評估

    指標。

    修正式德菲法 問卷調查與資料

    分析

    專家意見一致程度 以各題項標準差、四分位

    差來說明專家意見的一致

    程度 專家意見穩定程度 以各題項意見變動率來說

    明專家意見的穩定程度 指標重要程度 以平均數、眾數來說明指

    標項目的重要程度 評估指標修正 專家學者審查意見與整

    理。 修正、新增或刪除指標 。

    商業智慧系統使用

    者滿意度評估指標

    正式量表

    研究結果 建構商業智慧系統使用

    者滿意度的評估指標可

    提供產業、設計者、使

    用者相關建議。 圖 3 評估指標發展的流程

    (資料來源:本研究整理)

  • 3.3 修正式德菲法

    德菲法原本是企業界所採行的一種預

    測 技 術 , 最 早 由 美 國 蘭 德 公 司 (R& Corporation)的 Helmer & Dalkeym 於 1950年代所發展出來,為一種專家集體決策技

    術,是一系統化取得專家共識的量化研究

    方法(Green et al., 1999)。由研究者針對某一主題,請多位專家進行匿名、書面方式

    表達意見。並透過多次的意見交流,而逐

    步整合群體專家的意見,進而獲得最後結

    論的一種研究方法(Linstone & Turoff, 1975; Okoli & Pawlowski, 2004)。典型的德菲法採用開放式問卷進行第一回合調查,但

    Murry & Hammons(1995)指出部份研究基於特殊考量而修正了德菲法原有典型作

    法,也就是省略開放式問卷施測步驟,而

    是在參考大量相關的文獻後,直接發展出

    結構性問卷,作為第一回合的問卷調查,

    此稱為「修正式德菲法」(Modified Delphi Method, MDM)。

    修正式德菲法之優點可以節省問卷調

    查時間且能讓參與研究之專家立即將注意

    力置於研究議題上,整合相關專家學者的

    群體意見,針對評估指標雛型進行新增、

    合併、修改及刪減評估指標,使該評估指

    標具有更良好的解釋能力(Sudman et al., 1996)。

    因此,本研究將透過修正式德菲法來

    進行商業智慧系統使用者滿意度評估指標

    雛型的修正。

    3.4 問卷設計及研究變數

    本研究參考中、外學者之研究文獻探

    討所歸納的評估指標,藉由商業智慧的定

    義、架構及特性相關理論修正,作為本研

    究修正式德菲法第一回合調查問卷的評估

    指標雛型題項。問卷分為系統品質、資訊

    品質、服務品質及知覺價值四大構面,共

    34 項指標;分別為系統品質(10 項指標)、資訊品質(10 項指標)、服務品質(8 項指標)及知覺價值(6項指標)。評估指標雛型,如表 4 所示:

    表 4 商業智慧委使用者滿意度評估指標雛型 (資料來源:本研究整理)

    面 項

    目 評估指標

    1-1

    商業智慧系統具有簡單易用的互

    動式圖形使用者介面 ,例如:經由直接點選就可以馬上呈現相關

    資訊。

    1-2 商業智慧系統具有針對不同類型決

    策問題提供所需參考資訊的功能彈

    性。

    1-3 商業智慧系統所提供的功能是有用的,有助於提升使用者的能力。

    1-4 商業智慧系統異常的情況不會影響其他必需的資訊系統,如 ERP。

    1-5 商業智慧系統能夠有效且正確的整合所需的組織內、外部資料。

    1-6 商業智慧系統能協助我有效地分析與處理大量的營運資料。

    1-7 商業智慧系統在執行使用者所需的資料分析處理時,其回應時間是快速的。

    1-8 商業智慧系統能讓企業容易取得所需的分析資訊。

    1-9 商業智慧系統能在多維度資料呈現中,精確的展示細部的資訊。

    一、系統品質

    1-10 商業智慧系統不會傷害企業組織的資料機密。

    2-1 商業智慧系統所呈現的資訊對使用者決策考而言是正確的。

    2-2 商業智慧系統資訊可提供使用者完整的決策資訊。

    2-3 商業智慧系統所提供的資訊以易

    於理解的方式呈現給使用者和決

    策制定之依據。

    2-4 商業智慧系統所提供的資訊是可靠的。

    2-5 商業智慧系統所提供的資訊是有用的,可以符合使用者決策的需求。

    2-6 商業智慧系統可以協助使用者進

    行線上分析處理(OLAP),以獲得即時決策的資訊。

    2-7 商業智慧系統能將資訊以圖形化或數位儀表板等簡潔的方式來加以呈現。

    2-8 商業智慧系統所提供的預測性資訊內容是客觀的,提供較佳決策參考。

    2-9 商業智慧系統可以提供使用者需要的資料格式。

    二、資訊品質

    2-10 商業智慧系統可以與使用者的決策需求是相關的。

  • 表 4 商業智慧委使用者滿意度評估指標雛型(續) (資料來源:本研究整理)

    面 項

    目 評估指標

    3-1 商業智慧系統相關專業人員能很快地回應使用者的需求。

    3-2 商業智慧系統相關專業人員能履行對使用者的承諾並兌現。

    3-3 商業智慧系統相關專業人員的處理行為讓使用者感到信任。

    3-4 商業智慧系統相關專業人員的服務行為是親切的。

    3-5 商業智慧系統相關專業人員所提供的各項服務,符合使用者的需求。

    3-6 商業智慧系統相關專業人員會給予使用者主動的關懷。

    3-7 商業智慧系統相關專業人員能提供使用者完整的操作說明。

    三、服務品質

    3-8 商業智慧系統相關專業人員能夠提供如教育訓練、諮詢服務等加值性服務。

    4-1 投資商業智慧系統所獲得的整體價值可以超越其建置成本。

    4-2 商業智慧系統所提供的參考資訊相較其它資訊來源更能輔助決策。

    4-3 建置商業智慧系統的專業廠商具有良好的商譽並深受好評。

    4-4 商業智慧系統是值得使用者犧牲

    一些時間來學習,以協助使用者提

    升個人的工作績效。

    4-5 商業智慧系統可以協助決策者做出正確的決策,以符合預期的效益。

    四、知覺價值

    4-6 商業智慧系統所提供的服務,使用者感覺是貼心愉快的。

    3.5 專家學者群體

    修正式德菲法研究中,首重專家的參

    與。對於專家的選取上最少為五人,若同

    質性偏高,專家群則不應少於十人,另大

    於三十人的專家群對研究貢獻有極為有限

    (Murry & Hammons, 1995)。在專家群體的大 小 選 擇 上 , 於 1995 年 Murry & Hammons 研究顯示修正式德爾菲法的專家學者應以 10~30 人為佳,而 Okoli & Pawlowski(2004)則認為 10~18 位專家學者即可。

    專家群體的評斷標準係以是否具有該

    研究主題的專業能力與知識為主。參與之

    專家學者應包括受研究結果影響或研究相

    關主題之專家學者,且有豐富實務經驗或

    具備相關領域中的理論基礎者,以確實能

    對本研究之議題提供完整的意見(Okoli & Pawlowski, 2004),本研究是以對於商業智慧必須了解且具有相關實務經驗,其可為

    是資訊部門主管、專家或顧問,或是接受

    過相關課程、訓練或參與過相關專案實務

    為依據。 因此本研究共以專家問卷調查 17位資

    訊管理學界之專家學者,主要包括具相關

    實務經驗的資訊部門主管、專家、顧問或

    相關領域的學者等。專家學者必須了解商

    業智慧,本研究以是否教授過商業智慧的

    學者、使用商業智慧的經驗、開發商業智

    慧或參與過相關專案實務為依據,群體大

    小亦符合上述學者的建議。

    3.6 資料分析方法與工具

    本研究以 Excel 軟體作為資料分析工具,運用之資料分析方法包括敘述性統

    計、四分位差、標準差、眾數與平均數分

    別說明如下:

    3.6.1 專家意見一致性之統計標準

    本研究在專家群體意見的一致性之統

    計判準上,在問卷資料統計過程為達到各

    問項間的一致性,通常採用四分位差

    (Quartile Deviation, Q.D.) 及 標 準 差(Standard Deviation, S.D.)兩項標準來檢定專家群體對於各題項意見的變異程度,以

    衡量全體專家之意見一致程度。 四分位差是用來觀察表示參與德菲法

    之專家的意見集中程度,並且分析各構面

    問項之集中等級程度。Fahety(1979)表示四分位差≦0.60,則達到高度的一致性;若四分位差﹥0.6 或≦1 時,則達到中度的一致性;四分位差>1 時,則顯示專家意見係低度的一致性且未達成共識,不宜列

    入考量。 另標準差之標準則用來檢定專家群體

    對各題項意見的變異程度,以衡量全體專

    家之意見一致程度。標準差的檢定標準

    上,本研究的標準為當該題項意見分佈的

    標準差<1.0 表示專家意見具一致性,若

  • 標準差>1.0 則表示專家意見未達一致。在專家意見一致性的判準檢定上,需有

    85%以上的題項,所屬的專家意見達到高度一致或中度一致,即完成修正式德菲法

    問卷的問項。

    3.6.2 專家意見穩定程度

    Murry & Hammons(1995)指出在德菲法施測的多回合中,個別專家意見多會往

    多數意見聚合,而極端個別意見將隨回合

    數減少。若當部份議題因個別專家堅持其

    意見而不願變更而未能達到意見一致程度

    標準時,則改以專家意見的穩定程度作為

    調查是否結束的決定依據。本研究穩定度

    之判別採用 Murry & Hammons(1995)的建議,以專家意見變更人數小於 20%,做為專家群體對個別題項之意見分佈達到穩定

    之最低標準。

    3.6.3 指標重要程度

    本研究問卷調查採李克特五點量表尺

    度來衡量,由 1 表示「非常不重要」到 5表示「非常重要」,其平均分數越高,代

    表重要程度越高。本研究以平均數及眾數

    來說明四個構面中各項指標的重要程度。

    4. 研究結果

    本研究以電子郵件及紙本等方式進行

    問卷發送,依前述德菲法專家意見一致性

    及穩定性的停止條件下,共實施兩次問卷

    調查,依序說明相關結果,如下:

    4.1. 第一回合德菲法調查問卷分析

    本研究在第一回合修正式德菲法調查

    問卷採半開放性問卷進行,包含四個階

    段,共 34 項指標項目。各構面皆包含一題開放欄位,以供專家學者針對不足之處或

    不合適之問項,提出新增、修正、刪除或

    整合指標之建議。共發出 17 份,全數皆回收。經以四分位差檢查後,有 32 項符合四分位差≦0.60,達到高度的一致性標準、1題項未符合四分位差一致性標準。再以標

    準差檢查後,32 題項符合標準差<1.0 的一致性標準、有 2 題項未達一致性標準。第一回合問卷調查結果如下:

    表 5 第一回合德菲法調查問卷結果

    面 題項 眾數 平均值 四分位

    差 標準差

    1-1 5 4.35 0.5 0.68 1-2 5 4.47 0.5 0.61 1-3 5 4.41 0.5 0.69 1-4 5 4.53 0.5 0.61 1-5 5 4.82 0 0.38 1-6 5 4.71 0.5 0.46 1-7 4 4.24 0.5 0.64 1-8 5 4.53 0.5 0.61 1-9 5 4.71 0.5 0.46

    一、系統品質

    1-10 5 4.65 0.5 0.59 2-1 5 4.59 0.5 0.49 2-2 4 4.47 0.5 0.5 2-3 5 4.41 0.5 0.69 2-4 5 4.71 0.5 0.46 2-5 5 4.18 0.5 0.78 2-6 4 4.29 0.5 0.46 2-7 5 4.65 0.5 0.59 2-8 4 4.24 0 0.42 2-9 4 4.29 0.5 0.46

    二、資訊品質

    2-10 4 4.12 0 0.32

    3-1 4 4.29 0.5 0.67

    3-2 4 4.35 0.5 0.48

    3-3 4 4.29 0.5 0.67

    3-4 4 3.88 0 0.58

    3-5 5 4.53 0.5 0.61

    3-6 4 3.53 0.5 0.85

    3-7 4 4.06 0 0.64

    、 服

    3-8 4 3.71 0.5 0.82

    4-1 4 4.41 0.5 0.6

    4-2 4 4.24 0 0.42

    4-3 4 3.82 1 *2 1.04 *2

    4-4 4 4.18 0 0.38

    4-5 4 4.12 0 0.47

    、 知

    值 4-6 4 3.41 0.5 1.03 *2

    註 *1 表示專家意見中度一致; *2 表示專家意見不一致

  • 本研究依本回合中專家學者們對問卷

    調查的建議進行修正、調整及將第四部分

    的知覺價值問項,依題項意義分別納入系

    統品質、資訊品質及服務品質等三部分

    後,再進行第二回合專家問卷檢定。

    4.2 第二回合德菲法調查問卷分析

    本研究經第一次修正式德菲法資料分

    析及彙整專家意見進行修正後,採半開放

    性問卷進行第二回合修正式德菲法調查問

    卷發放。包含三個構面共有 34項專家意見修訂後指標項目。問卷共發出 17份皆全數回收,調查結果如下表:

    表 6 第二回合德菲法調查問卷結果

    面 題項 眾數 平均值 四分 位差 標準差

    變動 比率

    1-1 5 4.41 0.69 0.5 17.65%

    1-2 5 4.53 0.5 0.5 5.88%

    1-3 5 4.53 0.5 0.5 11.76%

    1-4 5 4.59 0.49 0.5 5.88%

    1-5 5 4.71 0.46 0.5 11.76%

    1-6 5 4.65 0.48 0.5 5.88%

    1-7 4 4.29 0.67 0.5 5.88%

    1-8 5 4.47 0.61 0.5 5.88%

    1-9 5 4.59 0.49 0.5 11.76%

    1-10 5 4.59 0.6 0.5 5.88%

    1-11 4 4.35 0.59 0.5 5.88%

    一、系統品質

    1-12 4 4.18 0.38 0 0.00%

    2-1 5 4.65 0.48 0.5 5.88%

    2-2 5 4.53 0.5 0.5 5.88%

    2-3 5 4.47 0.7 0.5 5.88%

    2-4 5 4.65 0.48 0.5 5.88%

    2-5 4 4.29 0.67 0.5 11.76%

    2-6 4 4.35 0.48 0.5 5.88%

    2-7 5 4.71 0.46 0.5 5.88%

    2-8 4 4.29 0.46 0.5 5.88%

    2-9 4 4.35 0.48 0.5 5.88%

    2-10 4 4.18 0.38 0 5.88%

    2-11 4 4.18 0.38 0 5.88%

    二、資訊品質

    2-12 4 4.18 0.38 0 5.88%

    3-1 5 4.53 0.5 0.5 17.65%

    3-2 4 4.41 0.49 0.5 5.88%

    3-3 4 4.35 0.59 0.5 5.88%

    3-4 4 3.94 0.54 0 5.88%

    3-5 5 4.59 0.49 0.5 5.88%

    3-6 4 3.59 0.84 0.5 5.88%

    3-7 4 4.12 0.58 0 5.88%

    3-8 4 3.82 0.62 0.5 11.76%

    3-9 4 3.24 0.94 1 17.65%

    三 、 服

    3-10 4 3.88 0.96 1 5.88%

    結果顯示,系統品質構面共 12項指標的平均值與眾數皆達到重要以上( >4 分)的程度;資訊品質構面 12項指標項目符合兩種標準皆達重要程度的標準;而服務品質

    構面,亦有達到總平均值為 4.05,代表此層面指標偏向重要程度,然在本研究三個

    構面中略低於其他兩者。本階段僅 5 項指標的平均值>4 分,但就眾數的角度而言,則有 10 項>4 分,平均值和眾數兩種重要性標準的趨勢略有差異。因此最後共 5 項指標項目符合兩種標準皆達重要程度的標

    準。 利用標準差及四分位差這兩項標準判

    斷後,所有專家學者的意見皆達到高度的

    一致性,符合結束德菲法問卷調查的條

    件。本研究經過兩回合德菲法調查問卷

    後,商業智慧委使用者滿意度評估指標,

    如下表 7 所示:

  • 表 7 商業智慧委使用者滿意度評估指標雛型 (資料來源:本研究整理)

    面 項

    目 指標項目

    1-1 商業智慧系統具有簡單易用的互動

    式圖形使用者介面 ,例如:經由直接點選就可以馬上呈現相關資訊。

    1-2 商業智慧系統具有針對不同類型決

    策問題提供所需參考資訊的功能彈

    性。

    1-3 商業智慧系統所提供的功能是有用的,有助於提升使用者的能力。

    1-4 商業智慧系統異常的情況不會影響其他必需的資訊系統,如 ERP。

    1-5 商業智慧系統能夠有效且正確的整合所需的組織內、外部資料。

    1-6 商業智慧系統能夠協助使用者有效

    地分析與處理大量的資料,以達到最

    佳產能利用率。 (修正)

    1-7 商業智慧系統能夠快速回應使用者所需的資料分析處理。 (修正)

    1-8 商業智慧系統能讓使用者在任何時

    間,依何地點,在安全的考量下,方

    便取得決策者所需參考資訊。 (修正)

    1-9 商業智慧系統能在多維度資料呈現

    中,精確的往下挖掘(drill down)的資訊。(修正)

    1-10 商業智慧系統不會洩露企業組織的資料機密。 (修正)

    1-11 投資商業智慧系統所獲得的整體價值可以超越其建置成本。

    一、系統品質

    1-12 商業智慧系統是值得使用者犧牲一

    些時間來學習,以協助提升個人的工

    作績效。 (修正)

    2-1 商業智慧系統所提供的資訊是正確的。 (修正)

    2-2 商業智慧系統所提供的資訊是完整的。 (修正)

    2-3 商業智慧系統所提供的資訊以易於理

    解的方式呈現給使用者和決策制定之

    依據。

    2-4 商業智慧系統所提供的資訊是可靠的。

    2-5 商業智慧系統所提供的資訊是有用的,可以符合使用者決策的需求。

    2-6 商業智慧系統可以協助使用者進行

    線上分析處理(OLAP),以獲得即時決策的資訊。

    二、資訊品質

    2-7 商業智慧系統可以提供使用者圖形

    化或數位儀表板等簡潔的資訊呈現

    方式。 (修正)

    2-8 商業智慧系統所提供的資訊是客觀的,而不會扭曲原始資料的意義。(修正)

    2-9 商業智慧系統可以提供使用者需要的資料格式。

    2-10 商業智慧系統可以與使用者的決策需求是相關的。

    2-11 商業智慧系統可以提供決策者做出正確的決策,以符合預期的效益。(修正)

    2-12 商業智慧系統可以提供的參考資訊

    相較其它資訊來源更能輔助決策。(修正)

    3-1 商業智慧系統相關專業人員能很快地回應使用者的需求。

    3-2 商業智慧系統相關專業人員能履行對使用者的承諾並兌現。

    3-3 商業智慧系統相關專業人員的處理行為讓使用者感到信任。

    3-4 商業智慧系統相關專業人員的服務行為是親切的。

    3-5 商業智慧系統相關專業人員所提供的各項服務,符合使用者的需求。

    3-6 商業智慧系統相關專業人員會給予使用者主動的關懷。

    3-7 商業智慧系統相關專業人員能提供使用者完整的操作說明。

    3-8 商業智慧系統相關專業人員能夠提供如教育訓練、諮詢服務等加值性服務。

    3-9 商業智慧系統相關專業人員所提供的服務,讓使用者感覺是貼心的。(修正)

    三、服務品質

    3-10 商業智慧系統的專業廠商具有良好的商譽。 (修正)

    5. 結論與建議

    5.1 研究貢獻

    本研究的貢獻主要分為兩點: 一、 建構具有商業智慧特性之使用者滿意

    度評估指標 回顧過去的研究發現大多集中在資訊

    系統滿意度的評估指標 (McHaney, 2002; Ong, 2009; Wang, 2003),鮮少具有商業智慧系統的滿意度評估指標。因此,本研究

    藉由成功模式的系統品質、資訊品質及服

    務品質作為商業智慧系統滿意度評估指標

    之基礎,並透過商業智慧的相關文獻回顧

    整理來修改評估指標,使其具有商業智慧

    的特性。

  • 本研究所建構的商業智慧系統使用者

    滿意度評估指標除具有一般資訊系統使用

    者滿意度評估指標,更加入商業智慧的定

    義及特性,使其適用於商業智慧系統使用

    者滿意度評估指標上。 二、 加入知覺價值以強化評估指標

    本研究最主要的貢獻即在藉由使用者

    滿意度評估指標,建構一個具有信效度的

    商業智慧使用者滿意度評估指標,而基於

    Zeithaml(1988) & Monroe(1990)所提的知覺價值與使用者滿意度研究中,瞭解業者

    品牌、投資成本及產品適用性等,與使用

    者滿意度有直接關係,因此本研究之評估

    指標與過去傳統資訊系統使用者滿意度最

    大的不同在於加入知覺價值理論衡量項

    目,以彌補 DeLone et al.成功模式的不足,是本研究主要的貢獻之一。

    本研究商業智慧系統使用者滿意度評

    估指標,對於已導入商業智慧系統之企

    業,可供衡量其導入後的成效,而未導入

    之企業則可利用此指標預先瞭解未來在選

    購或導入商業智慧系統工具之參考準則。

    另外,亦助於開發商業智慧系統的建置商

    依關鍵指標修正其功能及品質設計。

    5.2 管理意涵

    本研究建立一套適用於國內公民營企

    業組織的商業智慧系統使用者滿意度評估

    指標。藉此協助企業組織及商業智慧系統

    建置商,在導入商業智慧系統時,有關於

    使用者滿意度的參考依據。進而避免企業

    組織在建置商業智慧系統時,因使用者不

    滿意而面臨如使用率低落等相關問題,同

    時也減少因過於主觀所造成的偏頗。此

    外,對於商業智慧系統建置商而言,更可

    藉此評估指標作為相關服務建置的依據及

    營運策略的調整參考。本研究並進一步從

    企業組織及商業智慧系統建置商兩者的角

    度進行討論如下: 一、 對企業組織而言

    當前企業組織面臨競爭的威脅日漸劇

    烈,如何依據可靠資訊快速作出正確的決

    策並採取行動,成為企業組織謀求生存的

    重要課題(Melville et al., 2004),因此,本

    研究的系統品質構面中,首重的「有效且

    正確的整合企業所需的組織內、外部資料

    (1-5)」以及資訊品質構面中「資訊正確性(2-1)」、「資訊可靠性(2-4)」相呼應。而商業智慧系統是從組織內、外部環境取得

    資訊資源,透過資料的萃取、轉換、分析

    與整合後,提供企業活動和決策制定之依

    據 (Petrini & Pozzebon, 2009) 。由此可知,對企業而言,商業智慧系統是否可以

    即時提供相關決策參考所需之依據,則會

    影響企業對於商業智慧系統使否滿意的感

    受。而此與本研究系統品質構面中,「快

    速回應使用者所需的資料分析處理(1-7)」以及資訊品質構面中「協助使用者做出有

    效的決策(2-5)」相呼應。 二、 對商業智慧系統建置商而言

    使用者滿意度與否對系統使用、個人

    績效與組織績效(DeLone et al., 1992)有很大的影響。從三大構面討論,系統品質構

    面而言,較重視「整合所需的組織內、外

    部資料(1-5)」、「有效地分析與處理大量的資料(1-6)」、「異常時不會影響其他資訊系統(1-4)」及「不會洩露企業組織的資料機密(1-10)」等指標,故建置商應設法從技術能力下手及佐以相關經驗來證明其資

    料的處理、分析能力及服務水準協議(SLA)來保證其可靠性及保密等。這部分也呼應

    Qiu et al.(2006)關於如何保護商業機密以避免外洩的研究;就資訊品質來說,影響

    使用者滿意度較大的指標如「使用者圖形

    化或數位儀表板等簡潔的資訊呈現方式

    (2-7)」、「資訊正確性(2-1)」、「資訊可靠性(2-4)」及「資訊完整性(2-2)」等,故建置商應設法在建置過程中,可以考慮透

    過雛形法來與使用者互動,以提供更符合

    使用者需求的資訊及操作介面;而從服務

    品質來看,「符合使用者需求的專業服務

    (3-5)」、「快速回應(3-1)」等,故建置商能否提供專業及快速的服務會對使用者滿

    意度有重大的影響。

  • 5.3 研究限制與未來研究建議

    建議可從兩方面進行考量: 一、 進行大規模的調查研究,利用因素

    分析等其他分析方法來與本研究結

    果進行比較,並透過大量樣本加以

    驗證。

    二、 建議後續研究者利用本研究建構之

    商業智慧系統使用者滿意度評估指

    標為基礎,並可考量結合其他如層

    級分析法等研究方法,利用專家意

    見給予衡量項目權重,提升本評估

    指標的客觀性。

    參考文獻

    [1]梁定澎,決策資源系統與企業智慧,再版,智勝文化事業有限公司,台北,

    2006。 [2]Bailey, J. E. & Pearson, S. W., 1983,

    “Development of a Tool for Measuring and Analyzing Computer User Satisfaction”, Management Science, Vol.29, No.5, pp.530-545.

    [3]Chung, W., Chen, H., & Nunamaker, J. F., 2005, “A Visual framework for knowledge discovery on the web: An Empirical study of business intelligence exploration”, Journal of Management Information Systems, Vol.21, No.4, pp.57-84.

    [4]Dayal, U., Castellanos, M., Simitsis, A. & Wilkinson, K., 2009, “Data Integration Flows for Business Intelligence”, 12th International Conference on Extending Database Technology, Saint-Petersburg, Russia, pp.1-11.

    [5]DeLone, W. H. & McLean, E. R., 2003, “The Delone & Mclean of information system success: A Ten-Year Update”, Journal of Management Information System, Vol.19, No.4, pp.9-30.

    [6]DeLone, W. H. & McLean, E. R., 1992, “Information system success: The quest for the dependent variable", Information System Research, Vol.3, No.1, pp.60-95.

    [7]Doody, D.G., Kearney, P., Barry, J., Moles,

    R. & O’Regan, B., 2009, “Evaluation of the Q-Method as a Method of Public Participation in the Selection of Sustainable Development Indicators”, Ecological Indicators, Vol.9, No.6, pp.1129-1137.

    [8]Fahety, V., 1979, “Continuing social work education: Results of a Delphi survey”, Journal of Education for Social Work, Vol.15, No.1, pp.12-19.

    [9]Galletta, D. F. & Lederer, A. L., 1989, “Some caution on the measurement of user information satisfaction”, Decision Sciences, Vol.20, pp. 419-438.

    [10]Green, B., Jones, M., Hughes, D. & Williams, A., 1999, “Applying the Delphi technique in a study of GPs' information requirements”, Health & Social Care in the Community, Vol.7, No.3, pp.198-205.

    [11]Kohli, R. & Devaraj, S., 2003, “Measuring information technology payoff: A meta-analysis of structural variables in firm-level empirical research”, Information Systems Research, Vol.14, No.2, pp.127-145.

    [12]Kuo, Y. F., Wu, C. M. & Deng, W. J., 2009, “The relationships among service quality, perceived value, customer satisfaction, and post-purchase intention in mobile value-added services”, Computers in Human Behavior, Vol.25, No.4, pp.887-896.

    [13]Lin, Y. H., Tsai, K. M., Shiang, W. J., Kuo, T. C. & Tsai, C. H., 2009, “Research on using ANP to establish a performance assessment model for business intelligence systems”, Expert Systems with Applications, Vol.36, No.2, pp. 4135-4146.

    [14]Linstone, H. A. & Turoff, M., 1975, “The Delphi method techniques and applications”, Addison-Wesley, MA.

    [15]McHaney, R., Hightower, R. & Pearson, J., 2002, “A validation of the end-user computing satisfaction instrument in Taiwan”, Information & Management, Vol.39, No.6, pp.503-511.

    [16]Melville et al., 2004, “Information Technology and Organizational Performance: An Integrative Model of IT

  • Business Value”, MIS Quarterly. [17]Mikroyannidis, A. & Theodoulidis, B.,

    2010, “Ontology management and evolution for business intelligence”, International Journal of Information Management

    [18]Monroe, K. B., 1990, “Pricing: Marketing profitable decisions”, 2nd Ed, McGraw- Hill.

    [19]Monroe, K. B. & Krishnan, R. R., 1985, “The effect of price on subjective product evaluations”, In Perceived Quality: How Consumers View Stores and Merchandise, edited by Jacoby J. & Olson J.C., Lexington, MA: Lexington Books, 209-232.

    [20]Murry, J. W., & Hammons, J. O., 1995, “Delphi: A versatile methodology for conducting qualitative research”, The review of Higher Education, Vol.18, No.4, pp.333-358.

    [21]Okoli, C. & Pawlowski, S. D., 2004, “The Delphi method as a research tool: An example, design considerations and applications”, Information & Management, Vol.42, No.1, pp.15-29.

    [22]Ong, C. S., Day, M. Y. & Hsu, W. L., 2009, “The measurement of user satisfaction with question answering systems”, Information & Management, Vol.46, No.7, pp.397-403.

    [23]Parasuraman, A., Zeithaml, V. A. & Berry, L. L., 1985, “Conceptual model of service quality and its implications for future research”, Journal of Marketing, Vol.49, No.4, pp.44-50.

    [24]Petrini, M. & Pozzebon, M., 2009, “Managing sustainability with the support of business intelligence:Integrating socio-environmental indicators and organisational context”, The Journal of Strategic Information Systems, Vol.18, No.4, pp.178-191.

    [25]Pettey, C. & Goasduff, L., 2011, “Gartner Executive Programs Worldwide Survey of More Than 2,000 CIOs Identifies Cloud Computing as Top Technology Priority for CIOs in 2011”, http://www.gartner.com/it/page.jsp?id=1526414

    [26]Phan, D. D. & Vogel, D. R., 2010, “A model of customer relationship management and business intelligence systems for catalogue and online retailers”, Information & Management, Vol.47, No.2, pp.69-77.

    [27]Pitt, L. F., Watson, R. T. & Kavan, C. B., 1995, “Service quality: A measure of information systems effectiveness”, MIS Quarterly, Vol.19, No.2, pp.173-188.

    [28]Power , D. J., 2008, “A Brief History of Decision Support Systems”, 4nd Ed, DSSResources.COM. Retrieved

    [29]Qiu, L., Li, Y. & Wu, X., 2006, “An approach to outsourcing data mining tasks while protecting business intelligence and customer privacy”, Paper presented at the 6th IEEE International Conference on Data Mining Workshops, Hong Kong, China, Dec 18-22, pp. 551-558.

    [30]Stevens, H. & Pettey, C., 2008, “Gartner EXP Worldwide Survey of 1,500 CIOs Shows 85 Percent of CIOs Expect "Significant Change" Over Next Three Years”, http://www.gartner.com/it/page.jsp?id=587309, 2009/7/15.

    [31]Sudman, S., Bradburn, N. M. & Schwarz, N., 1996, “Thinking about answers: The application of cognitive processes to survey methodology”, Jossey Bass, San Francisco.

    [32]Wang, Y. S., 2003, “Assessment of learner satisfaction with asynchronous electronic learning systems”, Information & Management, Vol.41, No.1, pp. 75-86.

    [33]Zeithaml, V. A., 1988, “Consumer perceptions of price, quality, and value: A means-end model and synthesis of evidence”, Journal of Marketing, Vol.52, No.3, pp.2-22.