the application of in memory database in business intelligence · abstract abstract with the rapid...

学校编码：10384 分类号_____密级_____

学号：X2010230032 UDC_____

工程硕士学位论文

内存数据库在商务智能中的应用

The Application of In Memory Database in Business Intelligence

吴钰彬

指导教师姓名：王备战教授

专业名称：软件工程

论文提交日期： 2013 年 9 月

论文答辩日期： 2013 年 11 月

学位授予日期： 2013 年月

指导教师：__________

答辩委员会主席：__________

2013 年月

厦门大学博硕士论文摘要库

厦门大学学位论文原创性声明

本人呈交的学位论文是本人在导师指导下，独立完成的研究成果。

本人在论文写作中参考其他个人或集体已经发表的研究成果，均在文

中以适当方式明确标明，并符合法律规范和《厦门大学研究生学术活

动规范（试行）》。

另外，该学位论文为（）课题（组）的研究成果，

获得（）课题（组）经费或实验室的资助，在（）实

验室完成。（请在以上括号内填写课题或课题组负责人或实验室名称，

未有此项声明内容的，可以不作特别声明。）

声明人（签名）：

年月日


厦门大学学位论文著作权使用声明

本人同意厦门大学根据《中华人民共和国学位条例暂行实施办法》

等规定保留和使用此学位论文，并向主管部门或其指定机构送交学位

论文（包括纸质版和电子版），允许学位论文进入厦门大学图书馆及其

数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国博士、

硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇

编出版，采用影印、缩印或者其它方式合理复制学位论文。

本学位论文属于：

（）1.经厦门大学保密委员会审查核定的保密学位论文，于

年月日解密，解密后适用上述授权。

（）2.不保密，适用上述授权。

（请在以上相应括号内打“√”或填上相应内容。保密学位论文应是

已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密委员

会审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公

开学位论文，均适用上述授权。）

声明人（签名）：

年月日

√


摘要

摘要

随着商业竞争的不断加剧，商业智能系统在各种商业领域的运行中需求越来越

大，各大软件厂商在商业智能领域的产品的竞争也越来越激烈。SAP 作为 ERP 软

件的始祖，一直以来在 BI 市场就占有很大的份额，SAP 传统的 BW 产品被很多用

户作为 SAP ERP 集成 BI 解决方案的首选，2007 年 SAP 收购了 Business Object 之

后，更加增强了在集成第三方软件提供整体 BI 解决方案的能力，2011 年 SAP 推出

了自己全新的数据库产品：HANA，列式内存数据库，更是掀起了一场新的在大数

据和云计算环境底下 BI 整体解决方案的变革。

本文主要研究了以内存数据库为核心构建起的数据集市下，基于 Business

Object 产品的整体 BI 解决方案。论文从内存数据库的整体架构开始，分析了列式

数据库和内存数据库的变革和发展历史，以及其特性在数据仓库和商业智能领域的

优势。接着详细介绍了 SAP Business Object 的平台架构以及其各种产品所能提供的

整体 BI 解决方案。然后以结合案例的方式，详细介绍了整套以内存数据库为核心

数据库引擎，基于 Business Object 平台的 BI 解决方案的安装，实施，部署，调优

以及管理。本文还阐述了整套解决方案在兼容性，扩展性以及高性能数据查询分析

能力和给企业带来的用户体验。

论文最后还对比了市场上其他 BI 产品解决方案，总结了此方案的优点以及不

足，为以后的进一步研究打下了基础。

关键字：HANA；列式数据库；内存数据库。


Abstract

Abstract

With the rapid development of information technology, business intelligence have been

adopted widely in every business area, therefore the competition of BI products among

these companies gradually become intense. SAP company is the founder of ERP

software, play the leader position of business intelligence for long time. BW considered

as the priority for BI solution been widely integrated into ERP landscape. After SAP

takeover Business Object, enhance the ability of integration of third party products. In

2011, SAP launched a new database product: HANA in-memory column-base database ,

which is a breakthrough of the bid database technology and a revolution of information

analysis technology.

In the dissertation, it mainly discussed the Data Mart which is build up by in-memory

database, and consolidate with Business Object platform together to offer business a total

solution for business intelligence demand. The dissertation begin from in-memory

database architecture, discuss the in-memory database development and innovation

history, explain and study the feature and advantage which in-memory been adopt in data

warehouse and BI solution. And continue, the dissertation use real project as reference

case, descript the detail steps of how to plan, installation, configuration, implement,

development and optimization in-memory BI solution on top of Business Object

platform. The dissertation also discuss the compatibility and scalability of this solution

and the great user experience to business use from this solution.

At the end of dissertation, we compare the in-memory BI solution with other product

over the market, summarize the advantage and disadvantage of this solution. Provide the

reference experience for the further research in this area.

Key Words:HANA;In-Memory Database;Column-based Database


目录

目录

第一章绪论 ................................................................................................... 1

1.1 课题研究的背景 ....................................................................................................... 1

1.1.1 大数据与云计算 ................................................................................................ 1

1.1.2 商务智能 ............................................................................................................ 2

1.2 论文研究的主要内容 ............................................................................................... 3

1.3 论文的组织结构 ....................................................................................................... 4

第二章系统相关技术介绍 ........................................................................... 5

2.1 列式内存数据库 ....................................................................................................... 5

2.1.1 列式数据库 ........................................................................................................ 5

2.1.2 内存数据库 ........................................................................................................ 6

2.1.3 SAP HANA 列式内存数据库............................................................................ 7

2.2 ETL 数据提取、转换和加载 ................................................................................ 11

2.2.1 SAP LT 实时复制服务器 ................................................................................ 11

2.2.2 SAP Business Objects Data Services 数据集成平台 ...................................... 13

2.2.3 SAP Business Objects Data Services 的主要功能 .......................................... 14

2.3 SAP Business Objects............................................................................................ 21

2.3.1 SAP Business Objects BIP(Business Intelligen Platform)平台 ....................... 21

2.3.2 SAP Business Objects Web Intelligence .......................................................... 22

2.3.3 SAP Business Objects Crystal Report .............................................................. 24

2.3.4 SAP Business Objects Dashboards................................................................... 25

2.3.5 SAP Business Objects Predictive Workbench.................................................. 26

2.4 本章小结 ................................................................................................................. 27

第三章系统需求分析 ................................................................................. 28

3.1 外部接口需求 ......................................................................................................... 28

3.1.1 用户接口 .......................................................................................................... 28


目录

3.1.2 软件接口 .......................................................................................................... 29

3.2 业务功能需求 ......................................................................................................... 30

3.2.1 指标分析类 ...................................................................................................... 30

3.2.2 维度类 .............................................................................................................. 30

3.2.3 业务流程改造需求 .......................................................................................... 31

3.3 非业务类功能需求 ................................................................................................. 32

3.3.1 数据中心数据维护管理系统需求 .................................................................. 32

3.4 非功能性需求 ......................................................................................................... 33

3.4.1 性能需求 .......................................................................................................... 33

3.4.2 安全性需求 ...................................................................................................... 33

3.5 本章小结 ................................................................................................................. 34

第四章系统设计与实施 ............................................................................. 35

4.1 平台库安装与部署 ................................................................................................. 35

4.1.1 SAP HANA 的特性与优势.............................................................................. 35

4.1.2 SAP HANA 的安装与部署.............................................................................. 39

4.1.3 SAP LT Server 的安装与部署 ......................................................................... 40

4.2 实施技术细节概括 ................................................................................................. 43

4.2.1 缓慢变化维处理 .............................................................................................. 44

4.2.2 行列转换 .......................................................................................................... 46

4.2.3 SQL Script 的应用：Hierarchy维度表处理 .................................................. 48

4.2.4 SAP HANA 数据建模设计.............................................................................. 50

4.2.5 SAP HANA 预测分析实现.............................................................................. 53

第五章总结与展望 ..................................................................................... 57

5.1 总结 ......................................................................................................................... 57

5.2 展望 ......................................................................................................................... 57

参考文献 ...................................................................................................... 59

致谢.............................................................................................................. 60


Contents

Contents

Chapter 1 Introduction ................................................................................ 1

1.1 Background .............................................................................................................. 1

1.1.1 Big Data and Cloud Computing ......................................................................... 1

1.1.2 Business Intelligence .......................................................................................... 2

1.2 Significance and Contents ...................................................................................... 3

1.3 Outline of Thesis ...................................................................................................... 4

Chapter 2 Introduction to Related Technologies ...................................... 5

2.1 In-Memory and Column-Based Database ............................................................ 5

2.1.1 Columnn-based Database ................................................................................... 5

2.1.2 In Memory Database .......................................................................................... 6

2.1.3 SAP HANA In Memory Database...................................................................... 7

2.2 ETL Data Extract、Transfer and Loading ........................................................ 11

2.2.1 SAP LT Real Time Replication Server ............................................................ 11

2.2.2 SAP BusinessObjects Data Services Data Intergrate Platform ........................ 13

2.2.3 SAP BusinessObjects Data Services Function ................................................. 14

2.3 SAP Business Objects............................................................................................ 21

2.3.1 SAP BusinessObjects Business Intelligen Platform ......................................... 21

2.3.2 SAP Business Objects Web Intelligence .......................................................... 22

2.3.3 SAP Business Objects Crystal Report .............................................................. 24

2.3.4 SAP Business Objects Dashboards................................................................... 25

2.3.5 SAP Business Objects Predictive Workbench.................................................. 26

2.4 Summary ................................................................................................................ 27

Chapter 3 System Requirement Analysis ................................................. 28

3.1 External Interface ................................................................................................. 28

3.1.1 Users Interface .................................................................................................. 28

3.1.2 Software Interface ............................................................................................. 29

3.2 Business Function Requirement Analysis ........................................................... 30


Contents

3.2.1 KPI .................................................................................................................... 30

3.2.2 Dimmension...................................................................................................... 30

3.2.3 Work Flow Enhancement Analysis .................................................................. 31

3.3 Non-Business Requirement Analysis ................................................................... 32

3.3.1 Data Center Maintaince Requirement ............................................................. 32

3.4 Non-Functional Requirement Analysis ............................................................... 33

3.4.1 Performance Requirement ................................................................................ 33

3.4.2 Security Requirement ....................................................................................... 33

3.5 Summary ................................................................................................................ 34

Chapter 4 System Design and Implementation ....................................... 35

4.1 Installation and Implementation ......................................................................... 35

4.1.1 SAP HANA Feature and Advantage ................................................................ 35

4.1.2 SAP HANA Installation ................................................................................... 39

4.1.3 SAP LT Server Installation and Configuration ................................................ 40

4.2 Technical Implementation .................................................................................... 43

4.2.1 Slow Change dimemmsion ............................................................................... 44

4.2.2 Row Column Convert ....................................................................................... 46

4.2.3 SQL Script：Flatten Hierarchy ........................................................................ 48

4.2.4 SAP HANA Data Modeling Design ................................................................. 50

4.2.5 SAP HANA Predictive Analysis Implementation ............................................ 53

Chapter 5 Conclusions and Prospect ........................................................ 57

5.1 Conclusions ............................................................................................................. 57

5.2 Prospect ................................................................................................................... 57

References .................................................................................................... 59

Acknowledgements ..................................................................................... 60


第一章绪论

1

第一章绪论

1.1 课题研究的背景

1.1.1 大数据与云计算

大数据（Big data）通常用来形容大量非结构化和半结构化数据，这些数据在

下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联

系到一起，因为实时的大型数据集分析需要像 MapReduce 一样的框架来向数十、

数百或甚至数千的电脑分配工作。随着智能手机以及“可佩带”计算设备的出现，我

们的行为，位置，甚至身体生理数据每一点变化都成为可以被记录和分析的数据。

一个大规模生产，分享和应用数据的时代正在开启。正如维克托教授所说，大数据

的真实价值就像漂浮在海阳中的冰山，第一眼只能看到冰山的一角，绝大部分都隐

藏在表面之下[2]。而发觉数据价值、征服数据海洋的“动力”就是云计算。互联网时

代，尤其是社交网络，电子商务与通信技术把人类社会带入一个以“PB”(1024TB)

为单位的结构与非结构数据信息新时代。传统的计算机是无法处理如此大量、并且

不规则的“非结构数据”的。以云计算为基础的信息存储、分享和挖掘手段，可以便

宜，有效的将这些大量、高速，多变的终端数据存储下来，并随时进行分析与计算。

大数据与云计算是一个问题的两面：一个是问题，一个是解决问题的方法。通过云

计算对大数据进行分析，预测，会使得决策更为精准，释放出更多数据的隐藏价值。

数据正成为巨大的经济资产，成为新世纪的矿产与石油，将带来全新的创业方向，

商业模式和投资机会。

庞大的人群和应用市场，复杂性高，充满变化，使得中国成为世界上最复杂的

大数据国家。解决这种由大规模数据引发的问题，探索以大数据为基础的解决方案，

是中国产业升级、效率提高的重要手段。

从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明

白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。数据挖掘

不仅能够成为公司竞争力的来源，也将成为国家竞争力的一部分。联系到我国现代

化所面临的种种问题以及教育，交通，医疗保健各方面挑战，通过大数据这种创新



2

方式来解决问题，创造新的产业群，实现“中国制造到中国创造”的改变，意义就更

大。

1.1.2 商务智能

商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的

业务经营决策的工具。这里所谈的数据包括来自企业业务系统的订单、库存、交易

账目、客户和供应商等来自企业所处行业和竞争对手的数据以及来自企业所处的其

他外部环境中的各种数据。而商业智能能够辅助的业务经营决策，既可以是操作层

的，也可以是战术层和商业智能战略层的决策。为了将数据转化为知识，需要利用

数据仓库、联机分析处理（OLAP）工具和数据挖掘等技术。因此，从技术层面上

讲，商业智能不是什么新技术，它只是数据仓库、OLAP 和数据挖掘等技术的综合

运用。

可以认为，商业智能是对商业信息的搜集、管理和分析过程，目的是使企业的

各级决策者获得知识或洞察力，促使他们做出对企业更有利的决策。商业智能一般

由数据仓库、联机分析处理、数据挖掘、数据备份和恢复等部分组成。商业智能的

实现涉及到软件、硬件、咨询服务及应用，其基本体系结构包括数据仓库、联机分

析处理和数据挖掘三个部分[1]。

商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据

并进行清理，以保证数据的正确性，然后经过抽取（Extraction）、转换

（Transformation）和装载（Load），即 ETL 过程，合并到一个企业级的数据仓库

里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、

数据挖掘工具、OLAP 工具等对其进行分析和处理（这时信息变为辅助决策的知

识），最后将知识呈现给管理者，为管理者的决策过程提供支持。


第一章绪论

3

1.2 论文研究的主要内容

本文主要结合当前大数据的背景下，研究了当前新兴的内存数据库平台技术，

以及相应的智能分析平台的结合集成部署和实施解决方案，主要的研究意义体现在

如下的几个方面：

(1) 介绍了主要内存数据库平台的主要技术体系，在此平台下的特点和优势，

以及在此领域技术发展的未完善的地方，为后续人以后对此领域的进一步

研究提供参考。

(2) 结合实际案例，从项目的需求分析开始，项目设计，以及实施的整体解决

方案，并归纳了实施步骤要点以及每个项目环节的主要任务，结合实际经

验，从项目的角度总结了具体项目实施过程中可能遇到的技术困难与挑战，

为今后类似平台的项目实施提供参考经验。

(3) 本文的实施章节部分，还对于实施过程中的难点与重点技术环节，结合实

际设计模型与开发代码，进行了详细的演示与阐述，为技术开发人员提供

了详细的技术指导，对开发人员的设计思路以及今后的技术实施细节有很

大的借鉴作用。



4

1.3 论文的组织结构

本文共分为五个章，各章内容组织如下：

第一章绪论，介绍了本课题的研究背景以及大环境。阐述了本课题的研究意

义以及研究的主要内容。

第二章系统相关技术介绍，对本课题所采用的技术产品，软件平台，以及相

应的技术知识，做了详细的介绍，为后面的具体需求分析和项目实施提供理论依据

和知识基础。

第三章系统需求分析，结合国内某跨国公司的财务部门的商务智能分析平台

项目为案例，从项目角度出发，主要阐述了需求分析与设计的环节，步骤与具体内

容。

第四章系统设计与实施，针对第三章的分析的需求与设计，项目采用了列式

内存数据库为平台的商务智能解决方案。本章从项目实施阶段的平台搭建部署开始，

描述了平台当中三个核心技术产品的安装与部署，接着对项目具体实施内容过程中

的每个重要技术环节，以及产品应用直接互相结合，进行了详细的描述。

第五章总结与展望，主要对本文进行了概括，并提出了不足之处，以及后续

的研究和发展方向。


第二章系统相关技术介绍

5


2.1 列式内存数据库

2.1.1 列式数据库

随着互联网技术的发展、硬件的不断更新、企业及政府信息化的不断深入，

应用的复杂性要求越来越高，推动着数据存储技术向着海量数据、分析数据、智能

数据的方向发展，以便为数据仓库、在线分析提供高效实时的技术支持。基于行存

储的数据库技术面临新的问题, 已经出现了技术瓶颈。近年来，一种新的数据存储

理念，即基于列存储的关系型数据库应运而生。列数据库能够快速发展，主要原

因是其复杂查询效率高，读磁盘少，存储空间少，以及由此带来的技术、管理和应

用优势。列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量

数据处理和即席查询。相对应的是行式数据库，数据以行相关的存储体系架构进行

空间分配，主要适合与小批量的数据处理，常用于联机事务型数据处理。

列数据库在数据仓库、商务智能领域应用中有着先天的优势：独特的存储方式，

能够迅速地执行复杂查询；列数据库的压缩技术，更是能为数据仓库、商务智能应

用中巨大的数据量节约存储成本[5]；列数据库先进的索引技术也大大提高了数据库

的管理效率。

因为列数据库和行数据库都是关系型数据库，因此列数据库在逻辑上与行数据

库没有区别，用户处理和操作的都是一行一行的记录、一个一个的表。两者的本质

区别在于其物理存储是基于列存储还是基于行存储。列数据库按列存储的结构, 便

于在列上对数据进行轻量级的压缩，列上多个相同的值只需要存储一份。压缩能够

大量地降低存储成本。按列存储和压缩的特点, 也为列数据库在查询方面带来先天

优势, 因为若能将更多的数据压缩在一起，则在每次读取时就可以获得更多的数据。

很显然, 每次读取操作获取更多的数据就意味着更快的处理速度。同时，列数据库

的存储特点有利于迅速查询所需要的列。行存储虽然可以比较轻松地添加修改记录，

但是会增加许多不必要的读取; 而列存储只需要读取相关数据，并且可以从多个入

口写入数据。

在数据管理方面，行数据库采用的是稠密索引，即当数据库文件中的记录不



6

按照关键码的顺序排列时( 比如按照加入的顺序排列) ，需要对每一个记录建立一

个索引项。这有两方面的缺点: 一是增加所用的存储空间，二是增加数据更新时的

代价。正是由于这两方面的问题，在基于行存储的关系型数据库中，为表的所有

列都建立索引就不太现实。这样就出现了下面的问题: 如果一个查询语句是基于一

个未加索引的列查询，系统就不得不做全表扫描，导致数据库的查询效率不高。

因此，考虑在哪些列加索引并根据应用的需求适时调整，就成为数据库管理员的

一项繁重工作。而列数据库因为各条记录在磁盘中是按照关键码值压缩顺序存放的，

所以采用的是稀疏索引，即把连续的若干记录分成组( 块) ，对一组( 块) 记录建立

一个索引项。列数据库可以为所有列建立稀疏索引，事实上也都是这么做的。这是

因为每个列的值都已被压缩顺序存储，索引只需建立到数据块级，因此索引的存

储空间很小，维护费用很低，使得可以以很小的代价给所有的列建立索引。当查

询通过索引定位到某一数据块后，就可以使用二分法查找。这样，数据查询在任

何情况下都不会导致全表扫描，从而提高了数据库的查询性能。在列数据库中，

后台程序默认地自动为所有的列维护稀疏索引，因此为数据库管理员卸下了建立、

管理和维护索引的繁重工作。

数据挖掘应用有着数据量大、主要针对少数列进行复杂查询操作的特点。在列

存储模式下，对于列的 DML ( Data Manipulation Language，数据操纵语言命令)

操作，仅仅是对列所对应的数据库页链进行数据扫描，不会导致对全表的数据访

问，可以有效降低 DML 操作的 I/ O 数量。由于数据按列存储，为调整数据模型

所做的新增列、删除列操作不再会遇到数据碎片问题。这是因为在列存储中，由

于数据存储以列为单元，列删除或者新增操作是将列所对应的数据库页链从表的

页链集合中去除或者新增，不涉及其他列对应的数据库页链。此外，列数据库中

数据按列压缩的特点也同样能够减少挖掘时的 I/ O 量。

2.1.2 内存数据库

内存数据库，顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘，

内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能

够极大地提高应用的性能[9]。同时，内存数据库抛弃了磁盘数据管理的传统方式，



7

基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行

操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要

快很多，一般都在 10 倍以上。内存数据库的最大特点是其“主拷贝”或“工作版本”

常驻内存，即活动事务只与实时内存数据库的内存拷贝打交道。

传统的数据库系统是关系型数据库，开发这种数据库的目的，是处理永久、稳

定的数据。关系数据库强调维护数据的完整性、一致性，但很难顾及有关数据及其

处理的定时限制，不能满足工业生产管理实时应用的需要，因为实时事务要求系统

能较准确地预报事务的运行时间。

对磁盘数据库而言，由于磁盘存取、内外存的数据传递、缓冲区管理、排队等

待及锁的延迟等使得事务实际平均执行时间与估算的最坏情况执行时间相差很大，

如果将整个数据库或其主要的“工作”部分放入内存，使每个事务在执行过程中没有

I/O，则为系统较准确估算和安排事务的运行时间，使之具有较好的动态可预报性

提供了有力的支持，同时也为实现事务的定时限制打下了基础。这就是内存数据库

出现的主要原因。

内存数据库所处理的数据通常是“短暂”的，即有一定的有效时间，过时则有新

的数据产生，而当前的决策推导变成无效。所以，实际应用中采用内存数据库来处

理实时性强的业务逻辑处理数据。而传统数据库旨在处理永久、稳定的数据，其性

能目标是高的系统吞吐量和低的代价，处理数据的实时性就要考虑的相对少一些。

实际应用中利用传统数据库这一特性存放相对实时性要求不高的数据。

2.1.3 SAP HANA 列式内存数据库

SAP 起源于 Systems Applications and Products in Data Processing。是 SAP 公司

的产品——企业管理解决方案的软件名称。SAP 是目前全世界排名第一的 ERP 软

件。SAP 创立于 1972 年，是全球商业软件市场的领导厂商，提供优质的应用程序

和服务，帮助超过 25 个行业内各种规模的企业实现卓越运营。根据市值排名为全

球第三大独立软件制造商。在全球 120 多个国家拥有 109000 个企业客户，其中包

括财富 500 强 80%以上的企业。公司总部位于德国沃尔多夫。SAP 将企业软件定

义为企业资源计划、商务智能和相关应用程序的集合。SAP 的核心业务是销售其


Degree papers are in the “Xiamen University Electronic Theses and Dissertations Database”. Fulltexts are available in the following ways: 1. If your library is a CALIS member libraries, please log on http://etd.calis.edu.cn/ and submitrequests online, or consult the interlibrary loan department in your library. 2. For users of non-CALIS member libraries, please mail to [email protected] for delivery details.


http://etd.xmu.edu.cn/

http://etd.calis.edu.cn/

mailto:[email protected]

the application of in memory database in business intelligence · abstract abstract with the rapid...

Documents