通过数据质量管理 (DQM) 从商业智能 (BI) 投资中获得更多将数据质量运用到五种形式的商业智能

本文档含有 Informatica Corporation 的保密、专有信息和商业秘密信息（“机密信息”），事先未经 Informatica 的书面同意，不得进行拷贝、散发、复印或以任何其它方式复制。

尽管我们尽最大努力确保本文档中信息的准确性和完整性，但仍可能存在一些印刷错误或技术 误差。如因使用本文档所含信息而造成任何损失，Informatica 概不负责。本文档中包含的信息随时可能更改，恕不另行通知。

Informatica 将自行决定是否将这些材料中讨论的产品属性纳入其任何软件产品的发布或升级中，并自行安排任何此类发布或升级的时间。

受下列一项或多项美国 专利保护：6,032,158；5,794,246；6,014,670；6,339,775；6,044,374；6,208,990；6,208,990；6,850,947；6,895,471；或受下列正在申请的美国 专利保护：09/644,280；10/966,046；10/727,700。

此版本发布于 2009 年 5 月

1运用数据质量

白皮书

目录

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

面向普遍深入的 BI：挑战和机遇 . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

什么是数据质量？为什么要关注？ . . . . . . . . . . . . . . . . . . . . . . . . . 5

数据质量和商业智能的五种形式 . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

记分卡和仪表板................................................. 6

企业报告 ...................................................... 7

OLAP分析 ..................................................... 7

高级/预测分析 ................................................. 8

通知和警报 .................................................... 8

数据质量管理技术 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

面向企业商业智能的企业数据质量控制 . . . . . . . . . . . . . . . . . . . . .10

案例分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

2

概要许多组织将数据质量视为影响分析和决策支撑的最重要事项之一。一方面，商业智能 (BI) 数据的激增，以及从不同系统和应用程序中提取的数据，都可能导致数据质量下降及 BI 报告置信度丧失。另一方面，部署了高质量数据的 BI 能够帮助组织更高效、更果断地展开竞争。换言之，数据质量是让组织处于攻还是守将取决于您对它的掌控程度。这就是为什么组织必须了解数据质量如何影响 BI 的最流行形式，以及端到端监控和管理数据质量的技术。

在本白皮书中，我们将为商业智能专业人士和管理人员提供指导，通过及时准确的数据帮助引导组织优化商业智能投资。为运营人员，决策者，以及其他关键相关人士提供更快捷可靠的信息是组织能够作出与合理策略相一致的运营决策的基石。 我们将探讨：

•面向普遍深入的 BI：挑战和机遇

•什么是数据质量？为什么要关注？

•数据质量和商业智能五种形式

•数据质量管理技术

•企业数据质量

在本白皮书的最后，我们将以实例分析的方式讨论了一家领先的金融机构如何构建了一个与普遍深入的 BI 相符的强大数据质量管理 (DQM) 流程，从而实现了超过 2300 万美元的节约。

白皮书

3运用数据质量

面向普遍深入的 BI：挑战和机遇现今，组织面临更大压力，需要在技术上进行投资以便提升竞争优势和经营业绩。商业智能 (BI) 的成功部署可以帮助评估一个组织的健康状况，建立适当的关键绩效指标，并监控拉动顶线和底线增长的日常运作。因此，用于执行 BI 任务的准确数据的需求将会从信息使用和供给两方面持续增长。

强化对更多数据的需求正在推动整个用户群，从管理层到处于影响点的用户，广泛采用 BI 功能。这一广泛应用已经促使商业智能设施超越了传统查询，分析报告和在线分析处理 (OLAP) 功能，现在还包括运营仪表板，可定制的记分卡，以及先进的可视化技术。从信息供应链的角度，这意味着不管什么格式，只要用户需要，支持数据就必须能被访问，聚合和合理化，以用于 BI。而且，每一天风险都会增大。

与传统的 BI 应用侧重于查询和分析不同，许多新的 BI 应用以运营决策和后续行动为中心。普遍深入的 BI 作为向一线员工，客户和业务伙伴提供适时信息的功能，它为组织提供必要的可见性，洞察力以及事实，以便任何时候在所有流程中都能作出更明智决策。这意味着用户在报告和警报上采取的每个行动都会受到报告数据的准确性以及用户信任数据的能力的影响。当我们看 BI 报告时，我们是否经常觉得数据显示怪异，或不值得信任？这种不适的感觉，无论合理与否，将会导致延迟，甚至会导致停止采取对业务至关重要的必要措施。

4

现在，让我们回顾并思考这对我们现有环境意味着什么。我们无法通过一夜之间的 演变实现普遍深入的商业智能。一个典型的组织包含图 1 所示的五个阶段。垂直轴显示了部署特定类型 BI 的组织的分布情况。水平轴显示了成熟度级别，1 级为最不成熟，5 级为最成熟。第一阶段为临时型，在此阶段组织依赖电子表单和手动协调。错误率很高，必须做许多返工。第 2 级为策略型。将使用部门数据集市。第 3 级则为一个正式的分析型 BI 方案，使用部门数据仓库。在第 4 级，组织能够为 BI 提供充分的可见性和控制，提升企业范围的报告和分析。在第 5 级，组织从传统的分析和报告方法过渡到更具有可操作性的与企业分析和报告相结合的决策支持。

正如谚语所说，信任是赢得的，对于数据的信任也不例外。显然，在 BI 团队和 BI 报告用户之间建立对数据的信任至关重要。如果数据不完整，不准确，或充满重复内容，整个信任系统会被削弱，并且人们会不愿意使用他们的 BI 工具。但除了明显的数据清洗和匹配，需要为数据仓库，运营存储，以及生成整个企业连续数据流的其它系统和应用程序创建信任网络。这就是越来越多的组织将数据质量方案作为企业 BI 方案的核心宗旨的原因。

图 1 . 普遍而深入的 BI 成熟度模型

白皮书

5运用数据质量

什么是数据质量？为什么要关注？ “数据质量”就是一个如此简单而随意的术语，以至于需要定义它说的是什么。TDWI 将数据质量定义为数据内容和结构的质量（根据不同的标准），再加上改进数据的标准技术和商业惯例，如名称和地址数据清洗、匹配、仓储、去重复、标准化，以及追加第三方数据（Phillip Russom，“通过数据治理为企业提供数据质量”，数据仓库研究院（TDWI），2006 年 3 月）。一个组织可以将衡量数据质量作为一种手段，根据特定规则和标准定义的业务预期来分配数据资产的价值。数据质量维度框架（图 2）可包括一系列可用来识别及归类数据质量问题的参数。因此，如果有人说“我们的数据不好，”我们现在可以进一步调查，并用实实在在的数字描述数据质量水平。例如，“数据质量等于百分之八十”，可能是关键属性的完整性，如符合性，重复性等百分比的汇总。

通常，组织从此框架开始，并基于成熟度和优先级在任何时间点对它进行修改。 业务和 IT 团队就要衡量的指标达成一致也是很重要的。

由于 BI 部署越来越趋向于跨部门化，管理各类主数据而不仅仅是客户数据的数据质量已成为最佳实践。主数据是一套附带关联属性的数据元素，如客户、产品、员工、以及供应商。其它类型的主数据包括产品数据、财务数据、资产以及其它银行数据和人力资源数据，多种平台上现有的各种格式的所有数据 – 从 ERP 系统和关系数据库到半结构化数据源。一个重要的部分是，由于聚合和合并所有类型 BI 的企业数据后，数据量日益增大，从而要求数据质量管理技术具备相应的性能和可扩 展性。

图 2 . 数据质量维度框架

6

基于这个原因，无论有多大数据量和复杂性，始终能探查、清理并提供高质量的各类数据的能力是商业智能成功的基础。而且，回报也是巨大的。

凭借良好的数据质量，通过商业智能获得的业务洞察力会更快变得可行，通常会快更多。通过增强对数据的信心，主管、经理和业务用户可以随时了解新模式和 趋势，以及更高粒度和准确性的业务预警信号，并采取措施。确认多付的款项和其它减缓及节约成本的机会，可能直接取决于业务用户能够使用报告和警报中可保证准确的数据。并且，端到端的数据质量管理也增加了 BI 报告的可审计性和可见性，尤其是对合规性和风险管理用途特别有价值的数据。

但也有不利方面：在一系列研究的基础上，质量差的数据将会造成广泛和深刻的 影响。代表性的影响包括：

•需要大量的 IT 时间和资源来调查、清洗和核对数据

•需要额外的运营开销来手动抽取和更正分析数据

•系统和整个 BI 供应链的信誉损失

•较慢或错误的决策，对客户满意度和业务绩效造成负面影响

•满足合规性和风险要求时出现失败和延迟。

数据质量和五种形式的商业智能如前所述，商业智能已经发展成为多种形式，旨在满足企业不断增长的要求和任务关键型活动日益增长的水平。这些形式都有其自己的一套数据质量要求。

记分卡和仪表板

记分卡和仪表板正被广泛采用，越来越多的用户利用它们获取财务，业务和绩效监控的鸟瞰图。通过可视化的图形、图表和计量表，这些传输机制帮助跟踪性能指标并向员工通知相关趋势和可能需要的决策。提供集成视图所需的数据元素通常跨越多个部门和学科，需要绝对最新才能有效。

数据质量会影响记分卡和仪表板用户，因此这些用户必须能够：

•使用仪表板中计量表和刻度盘上的完整数据，并迅速采取措施

•获取集成视图并使用标准化数据进行协作

•利用具有一致数据的正式记分卡方法

•向下钻取以查看组或个人级别绩效的准确数据

•找到能够生成明显趋势且重复数据最少的业务流程

•推导关联性并通过验证的数据执行交叉影响分析

白皮书

7运用数据质量

企业报告

企业报告为所有级别的个人提供来自企业资源规划 (ERP)、客户管理管理 (CRM)、合作伙伴关系管理 (PRM)、发票和帐单系统，以及整个企业内其它源系统的各种运营报告和其它业务报告。这些报告分布广泛，而薪酬和其它激励计划通常与报告的结果有关。

数据质量会影响组织报告，因为组织必须：

•浏览多个报告，将它们显示到从不同来源聚合数据的多个表单中

•选择各种参数并通过标准化数据为用户定制报告

•利用各种性能指标的协调数据呈现多个表格和图表

•使业务用户能够利用高精准数据创建自己的报告，无需 IT 部门参与

•通过清洗和匹配的数据减少合规性管理的人工检查和审计

•利用完整财务数据直接从商业智能报告开具发票和帐单

OLAP 分析OLAP 使用户能够即时以交互方式对相关数据子集进行“切片和切块”。例如，用户可以按地区分析特定时间段的销售情况，产品的性能，销售员的绩效，等等。OLAP 功能，如向上钻取、向下钻取、或任意挖掘（跨业务维度）、透视、排序、筛选、以及翻阅，可用于提供关于绩效的基本详细信息。最为重要的是它能够回答存在的任何业务问题。这意味着调查深入到单个或多个数据仓库中可用的最原子级别的详细信息。

数据质量会影响 OLAP 分析，因为用户和组织需要：

•通过对目标数据的完全访问在所有维度中任意钻取以进行深入调查

•通过设置好格式的一致数据将 OLAP 轻松应用于任何维度子集

•利用一致的基本数据对象最大限地减少冲突报告，确保交互性

•利用多个维度的正确数据执行用户驱动的适时分析

•提供更新的同步数据来处理事务级数据分析

8

高级/预测分析

高级和预测分析使富有经验的用户能够充分调查和发现特定业务绩效背后的详细信息并使用该信息预测远期效果。此方法可能涉及高级统计分析和数据挖掘功能。为了推动积极决策和改进对潜在商业威胁的姿态，预测分析可能包括假设测试，客户流失预测，供应和需求预测，以及客户评分。预测建模可用于预测各种业务活动及相关效果。

数据质量会影响高级和预测分析，因为用户会寻求：

•为可定制报告创建跨越任何数据元素的报告过滤标准

•按标准化数据格式搜索模式和预测洞察力以促进积极决策

•通过一致数据 获得信心，找出相互依存的趋势和预期成果

•对准确数据采用多变量复原和其它技术，以实现更好的预测

•在无数据重复的前提下定制数据分组，最大限度减少冲突

•使用经认证的数据检验假设并使用统计、财务和数字函数

通知和警报

使用电子邮件、浏览器、网络服务器和打印机、PDA 或门户网站时，通过通知和警报在广泛的用户触点间主动共享信息。通过及时交付目标信息，关键相关人士和决策者可以识别潜在的机会领域并发现要采取措施的问题领域。这种“一线”BI 传输机制使组织能够保持协调一致，与业务风险和机会并进，同时事件仍将保持新鲜和有意义以保证响应。

在此领域，数据质量会影响组织，因为组织会努力：

•从任何和所有数据源向最广泛的用户接触点发布警报

•确保标准化及非冲突数据集上各种订阅类型的高吞吐量

•使用户能够打开附件或点击链接，同时呈现一致、集成的数据

•通过预先评定并核准的数据质量来降低发布错误警报和通知的风险

•允许在多个事件数据符合特定阈值时实时触发警报

•利用经验证的数据进行内容个性化和组关联

白皮书

9运用数据质量

数据质量管理技术因为大多数组织都部署了这些不同的 BI 形式，因此数据质量改善可以增加 BI 的优势。正因为如此，一个成功的 BI 方案必须以指标驱动、程序化方式包括一个数据管理组件。必须保持在整个数据生命周期内扩展团队之间的数据完整性及安全 要求，以便符合合规性和管制目标。同时为了确保对企业数据有效性有信心，信息及数据流和关系必须可审计且可跟踪。因为这些原因以及其它原因，将数据质量作为企业数据集成体系架构的一部分进行更好地管理，这样，数据质量的监控和管理将有助于完善数据访问、集成、转换和交付的生命周期。

作为数据质量计划的一个组成部分，组织需要建立或重建一种数据质量方法，如下所示（图 3）。

改善数据质量必须作为一个持续的周期进行处理。开始时，数据探查 (1) 是界定整个数据质量方案的关键元素 – 它使您能够确定高度复杂的数据结构的内容、结构和质量，以及发现数据源和目标应用程序之间隐藏的不一致和不兼容之处。建立指标以及定义目标 (2) 将帮助 IT 和业务部门评定数据质量工作的成果，使其成为 BI 方案的一部分。设计和实施数据质量规则 (3) 将帮助定义和衡量数据质量的目标和标准。通过数据集成流程来集成数据质量规则和活动（探查、清洗/匹配、自动纠正和管理）(4) 对于提高数据资产的准确度和价值至关重要。

审核异常以及重新定义规则 (5) 最好由涉及的核心团队成员和 BI 相关人士联合完成。许多情况下，BI 相关人士只能对业务流程和操作系统进行有限控制，这导致了低劣的数据质量，因此在记录数据质量问题以及启动正式的数据质量计划时一定要让组织中的关键相关人士和管理人员参与进来。最后，通过仪表板和实时通知主动监控数据质量 (6) 也迅速成为一种标准的最佳实践。BI 相关人士本身也应该参与到数据质量流程中，如果能够这样，可以向他们提供相关工具，因为他们最清楚数据应该达到什么质量水平。

图 3 . 数据质量流程。注： SME = 主题专家

10

面向企业商业智能的企业数据质量控制在需要端对端管理数据质量的情势下，现在已经显现出关于数据质量体系架构的新想法。许多领先的组织正在将数据质量实施为企业数据集成体系架构的一部分。 此方法有许多优点。

优点之一是，借助企业数据集成基础，能够安全、一致和及时地发现、访问、转换、语义调节、管理以及交付企业数据。利用此方法，IT 人员能够在多个商业智能及其它环境中重复利用数据访问、数据转换以及数据质量逻辑，从而减少了在企业内实施新的商业智能项目或交付增强功能所需的时间。

另一个重要优点是它能够利用单一环境进行变更管理和影响分析。企业数据集成框架及其基本元数据基础设施包含有关 IT 可用于执行有效变更管理的数据关系和沿袭信息。

最后，企业数据集成基础设施能够支持需要各种级别延迟（批量、实时以及接近 实时）的数据的用户。随着业务流程的演变，以及业务从传统决策支持系统迁移到需要运营商业智能的更有效决策，支持这些不同延迟以及连续可用性的能力变得 越来越重要。

案例分析为了说明所有这些是如何实现的，让我们来看看一个大型金融机构的真实案例， 了解它是如何实施了一个跨多个关键业务方案的强大数据质量管理系统。其中包括推动交叉销售/追加销售、合规性和风险管理以及其它运营改进的方案。CEO 很明智地将重点放在数据质量上，指出公司执行战略计划、进行合理业务决策以及全面服务客户的能力将取决于数据的质量。公司还采用了“十倍规则”作为数据质量的指导原则，指出当输入数据存在缺陷时完成单位工作所需的成本是输入数据正确时的十倍（Thomas Redman， 《Data Driven：Profiting From Your Most Important Business Asset》（《数据驱动型：从您最宝贵的业务资产中获取利润》）。换句话说，若处理一个错误订单需要 10 美元，那么处理一个正确订单将只需要 1 美元。

与数据质量缺乏相关的风险遍布于整个机构中。这些风险包括担心审核通不过以及涉及到大量法规（如萨班斯—奥克斯利法案、反洗钱法 (AML)、美国爱国者法案、Basel II）的不合规处罚，与之相伴的是资源浪费以及尝试消除低数据质量影响的返工。此外，还存在欺诈和滥用的风险，以及公司治理和责任方案失败的风险。而且，对客户满意度的负面影响也变得越来越明显。

机构所期望（也确实已实现）的回报包括提高了服务水平，更好地了解信用、市场和运营风险，提高了客户满意度，减少客户流失。此外，还包括更好地识别和实现交叉销售和追加销售机会，降低了运营成本。

白皮书

11运用数据质量

机构最终对数据质量管理采用了一种六西格玛方法，使其能够投入实施。公司设定了它的数据质量范围，将偏离可接受范围的数据视为“缺陷”，如同有形商品的制造一样。该机构还创建了关于数据质量的统计流程控制图，为数据质量管理流程开发一个生命周期方法，如上图所示 – 并且将该方法应用到业务中用到的所有主要商业智能类型。下面介绍了该机构在每个商业智能形式的环境中实现的内容以及如何获益：

•记分卡和仪表板 – 公司实现了对风险的持续监控，及时向审计员和风险官汇报，提高了可见性和可审计性。通过将此作为数据集成生命周期的一部分来完成，与实施自定义的 AML 解决方案进行主动监控相比，它节约了大约 300 万美元的成本。此外，该机构还能够更好地了解和掌握其管理人员的储备水平。

•企业报告 – 公司避免了高达 2000 万美元的潜在合规性处罚，最大限度地减少了包括返工和再派发在内的重复工作，这些都曾经是以前人工数据清理流程的一 部分。

•OLAP 分析 – 该机构确立了跨许多业务线中检查数百个条件的有效性规则，并且通过为业务用户和 IT 部门提供单一数据质量管理平台，加快了根据原因分析。

•高级/预测分析 – 公司满足了需要按需数据、日内数据或每日数据进行分析的用户的服务级别协议。因此，该机构现在能够对组织变更、新业务线或新细分市场作出快速响应，使商业智能用户在调查可疑活动时能够更快了解关联性。

•通知和警报 – 机构能够自动基于资产级别或活动与客户进行有针对性的沟通，并且确保这些沟通内容的准确性。在内部，它实施了关于高价值问题资产的实时 警报，促进更好的部门间沟通。

数据质量的经济回报

有大量关于成功数据质量计划实现了可测量经济回报的证据。一些坊间流传的实例包括：

•制药公司通过加快数据的合并和合理化，使产品上市时间缩短了 50%

•能源巨头通过商业智能仪表板警报避免了高达 2000 万美元的重复付款

•全球电子产品公司发现了可能错过的大客户销售机会，价值高达 2 .5 亿美元。

•保险公司提供了一个单一、集成的财务数据视图，在实现战略目标的同时使例行报告更高效、更少出错

•金融服务公司避免了高达 2000 万美元的合规性处罚

12

总结对商业智能应用程序使用及时、准确的数据对于许多组织的工作至关重要。如果没

有功能始终如一地提供和处理可信、高质量的数据，商业智能系统可能会削弱组织

评估其真实运营状况并采取正确措施来运转业务及有效竞争的能力。通过采用企业

数据质量方法，商业智能解决方案战略家和架构师可以设计和实施五种突出的商业

智能形式，包括记分卡、详细分析和按需警报，使信心大大提升。

数据质量解决方案还可以协同增强现有企业数据集成流程和解决方案的作用，能够

以指标驱动的方法访问和管理所有类型的主数据。相比通常仅限于清洗客户数据的

传统数据质量方法，使用此方法的效果要好得多。

通过真正在企业级别成功部署数据质量，组织可以提高它利用 BI 提升竞争优势和

市场领导力的能力，从而最大限度地实现其 BI 投资回报。

关于 MicroStrategy 和 InformaticaMicroStrategy（商业智能引领者）和 Informatica（企业数据集成全球引领者）都致力于使客户能够利用运营数据进行决策和分析。MicroStrategy-Informatica 联合解决方案建立在各自产品的技术集成以及全球范围销售和服务活动的基础上。MicroStrategy 和 Informatica 将联手为组织提供获取、分析以及及时交付可信信息的能力，以实现更高性能，提高运营效率。

MicroStrategy 和 Informatica 将提供以下解决方案产品：

•使用 Informatica® Data Quality™ 的运营 BI 解决方案

• Informatica PowerCenter® Advanced Edition Metadata Manager 以及与 MicroStrategy 平台相关联的业务术语表

•全球解决方案架构师和顾问：拥有丰富经验的专家以及对 MicroStrategy® 和 Informatica® 平台的培训

MicroStrategy

MicroStrategy（NASDAQ：MSTR）是为全球 5000 家组织供应商业智能 (BI) 软件的一流独立提供商。从 1989 年以来，该公司专门帮助企业将它们的大量经营数据转换为可行性信息。MicroStrategy 软件通过为业务用户提供及时、相关和准确的业务问题答案，使它们能够做出明智的决策。

MicroStrategy 设计为支持最苛刻的商业智能应用，是企业范围内 BI 标准化的理想选择。MicroStrategy 的高级技术功能、成熟的分析以及出色的数据和用户可扩展性使它成为公司的不二之选。全球众多领先的企业和政府机构选择 MicroStrategy 作为它们的企业商业智能标准。有关 MicroStrategy 的详细信息，请访问 http://www .microstrategy .com。

白皮书

13运用数据质量

Informatica

Change to Informatica 公司（纳斯达克代码：INFA）是全球首屈一指的数据集成软件独立提供商。通过将及时、相关和可靠的数据视为首要业务依据，组织可在当今 全球信息经济中获得竞争优势。全球已有超过 4,100 家企业依赖 Informatica 存取、集成并信任其位于传统企业内外及因特网云中的信息资产。

欲了解更多信息，请致电+86 010 5879 3366，或登陆 Informatica 公司网站：www .informatica .com .cn。

注：本白皮书以 Informatica 的 Julianna DeLua 在 2009 年 1 月 28 日出版的“TDWI BI This Week”上最初发表的“Data Quality Management: Getting More from Your BI Investment” （数据质量管理：从 BI 投资中获取更多回报）的内容为基础。

6947CN (09-5-1)

北京办事处 上海办事处

地址：北京市朝阳区建国门外大街乙 12 号，LG 双子座大厦        地址：上海市浦东世纪大道 201 号渣打银行大厦 5 楼  东塔 19 层 1906 室  邮编：100022 邮编：200120电话：86-10-5879 3366    传真：86-10-5879 3130 电话：86-21-6182 6825 传真：86-2-6182 6755

© 2008 Informatica Corporation . 保留所有权利。美国印刷。Informatica、Informatica 徽标、The Data Integration Company 是 Informatica 公司在美国和全世界司法区域的商标或注册商标。所有其它公司和产品名都可能是它们各自所有者的商业名称或商业标记。