第第 77 章章电子商务中的商务智能电子商务中的商务智能本章学习目标：电子商务数据环境的特殊性；Web 数据的各种分析；电子商务数据仓库的逻辑模型设计；电子商务数据仓库的 ETL 系统设计方法；数据挖掘在电子商务中的应用；

电子商务中的商务智能电子商务中的商务智能 • 7.1 电子商务的数据仓库开发• 7.2 电子商务数据仓库的逻辑模型• 7.3 电子商务数据仓库的 ETL 设计• 7.4 电子商务数据挖掘

7.1 电子商务的数据仓库开发7.1.1 电子商务的数据环境分析点击流数据、 E-mail 、 IP 地址、交易记录、安全检查、

电子金融数据 1 ．电子商务数据环境Web 服务器日志（ Web 　 Server Logs ）、 Cookie 信息、广告

服务器数据库（ Ad Server Database ）、注册数据库（ Registration Database ）、商业应用数据库（ Commerce Application Database ）。

2 ． Web 服务器日志通用日志格式（ CLF ， Common Log Format ）和扩

展通用日志格式（ ECLF ， Extended Common Log Format ）

通用日志格式文件中主要包含七种元素：主机、识别、审核、时间、请求、状态和字节数。

扩展通用日志格式文件除七种元素外，还增加了引用站点和用户代理两个元素。

在服务器的日志文件中还包含文件名、服务时间、IP 地址、服务器端口、进程 ID 、格式化时间、被请求的 URL 、服务器名称和 Cookie 等信息。

与电子商务直接有关的后台应用程序数据库中的商品销售数据、商品发送数据、商品库存数据、客户基本信息等商务活动数据源也是智能型电子商务数据仓库的主要数据来源。

7.1.2 电子商务数据仓库项目规划首先需要定义项目的商业目标。 要用智能型电子商务的商务词汇表示。即用“提高网站商品销售量”、“提高电

子商务销售利润”、“提高网络促销策略响应率”来表示商务智能的最终目标。

7.1.3 电子商务数据仓库需求分析 需求分析是电子商务数据仓库设计的基础 了解在电子商务网站中可以用哪些数据来满足最终用户的决策要求。 主要目标有：基于对需求和能满足的或不能满足的终端用户需求数据有更详尽的

了解，重新定义项目的规模；确定项目开发的优先次序，对项目的规模、预算和时间安排基于这些优先次序做必要的调整；为了支持用户的决策信息需求，将网站上的任何变更用文挡的形式记录下来；创建一个描述关键性机遇的领域、分析信息需求以及数据来源的商务智能需求文挡，为项目今后阶段的工作制定详细工作计划。

7.1.4 电子商务数据仓库逻辑模型设计1. 数据仓库的逻辑模型设计2. 智能型电子商务应用开发3. 逻辑模型文档设计

7.1.5 电子商务数据仓库物理模型设计⑴ 电子商务数据仓库的结构和基础开发⑵ 电子商务数据仓库的物理模型设计⑶ 电子商务数据仓库的应用开发⑷ 电子商务数据仓库的系统集成

7.1.6 电子商务数据仓库实现与部署

7.2 电子商务数据仓库的逻辑模型7.2.1 营销的数据仓库模型演变

销售事实

产品 促销

地理位置时间

7.2 电子商务数据仓库的逻辑模型7.2.1 营销的数据仓库模型演变

用户活动 / 站点点击事实内容 内部促销

物理地理

财政时间

用户

用户时间

站点地理

Web 地理

活动 外部促销

7.2.2 客户维——用户维用户身份信息是用户的代理信息。可以分成两种属性，即用户

代理类型和用户代理名字。其中，用户代理类型主要用来区分一次相应的网页点击是真实用户行为还是索引机器人的行为。用户代理名字属性给出用户浏览器或者索引机器人的名字以及版本号。

用户维可以包括这样一些属性：用户标识符、用户代理类型、用户代理名、用户类型、性别、注册用户名、电子邮件地址、消费人群、人口统计信息、最后购买时间戳、信用概要、电话号码和地址等。

用户维的属性是可选的。用户类型和性别可以在会话过程或者用户注册信息中获取。消费人群和人口统计信息由许多描述用户的字段组成，这些信息也可能来自第三方的市场调查公司。如果站点支持在线购物，那么用户的最后一次购物时间、信用概要、电话、地址等都可以从用户所提供的信息和信用卡供应商处获得。

7.2.3 时间维——财政时间维和用户时间维

财政时间维分成：财政日期表和财政时刻表。 财政日期维表中可以包含：候选财政日期关键字、数据类型、

季节、日期时间戳、财政年、财政月、财政周、财政日数、日名、周天数、月天数和日类型等。

财政时刻表中可以包含：候选财政时间维关键字、时间类型、一天的时间段、 SQL 时间戳和 GMT 时分秒。

用户日期和用户时刻表是从用户的观点来分析用户行为的，用户日期和用户时刻是基于一个特定用户日历。

用户时间维和财政时间维一样，同样被分成日期维表和时刻维表。

用户日期维表包含属性同企业的日期维表类似。只是增加了日期的用户季节

7.2.4 地理位置维——物理地理、 Web 地理和站点地理维

考虑用户的物理地理位置、用户到达企业站点的途径和站点地理位置，这样就至少需要三个地理位置维

1 ．物理地理维物理地理维表中的属性一般可以包含：用惟一整数标识符表示

的候选物理地理关键字；国家、州或省份、乡村或城市、街道、门牌号、邮政编码或邮递区号，地理位置是家庭、公寓、商务、政府部门等场所类型。

2 ． Web 地理维属性主机地理维表和引用者地理维表 主机地理维的主要属性包含：候选主机地理关键字；主机 Ip 地

址；主机名；域名；主机所在国家、所在州或省份、所在城市等。

引用者地理维属性包含：标识符；引用 URL ；引用页面标识符ID ；查询字符串；引用域；已引用 URL ；已引用页面 ID 。

7.2.4 地理位置维——物理地理、 Web 地理和站点地理维

3 ．站点地理维属性站点地理维属性主要包括：表示候选站点地理

ID 的惟一整数标识符；页面 URL ；惟一的页面标识符，一个独立的页面标识符表示与页面相关联的动态页面 URL ；父 URL ，例如 ， www.mysite.com/index.html ；总页面字节大小，包括所有组件项，如页面转载的图像或脚本；页面版本号；页面最后修改日期；页面主要用途，例如，主页面、搜索、信息、购物篮、产品说明和下载等。

7.2.5 商品维——内容和活动维

3 ．站点地理维属性站点地理维属性主要包括：表示候选站点地理

ID 的惟一整数标识符；页面 URL ；惟一的页面标识符，一个独立的页面标识符表示与页面相关联的动态页面 URL ；父 URL ，例如 ， www.mysite.com/index.html ；总页面字节大小，包括所有组件项，如页面转载的图像或脚本；页面版本号；页面最后修改日期；页面主要用途，例如，主页面、搜索、信息、购物篮、产品说明和下载等。

7.2.6 促销维——内部促销和外部促销维

分成内部促销维和外部促销维1 ．内部促销维属性有：表示内部促销 ID 的惟一整数标识符；内部促销 URL ，如， www.mysite.com/InternetSpecial4.html 等；点击 URL ；内部促销类型，如，内部广告、附属链接、外部文章链接和销售等；内部促销版本；用 SKU或服务码表示的内部促销产品或服务码；内部促销品牌；内部促销目录等。

7.2.6 促销维——内部促销和外部促销维

2 ．外部促销维属性：表示候选外部促销关键字的惟一整数标

识符；包含查询串 URL完整文本的外部促销 URL ；外部促销引擎 /赞助商；外部促销格式，例如，标语、擎天柱、弹出式广告链接等；外部促销版本；用 SKU 或服务码表示的外部促销产品或服务；外部促销品牌；外部促销目录；

7.2.7 电子商务数据仓库模型的事实表设计

由与维表相关联的外键以及网页点击加载时间、点击接收时间、点击完成时间、点击传输字节和点击 HTTP 事务状态码等 5 个度量浏览者活动状况的事实组成

7.2.7 电子商务数据仓库模型的事实表设计

内容 ID内容标识符内容 URL内容类型内容用途相关页面内容大小……

内部促销 ID内部促销 URL内部促销类型内部促销版本内部促销码内部促销品牌内部促销目录

用户时间 ID时间类型时间段SQL 时间戳GMT

站点地理 ID页面 URL页面标识符父 URL总页面字节……

引用者 ID引用 URL引用页面 ID查询字符串已引用 URL……

网页点击加载时间点击接收时间点击完成时间点击传输字节HTTP 事务状态码用户 ID财政日期 ID物理地理 ID内容 ID……

用户 ID用户代理类型用户代理名用户类型性别注册用户名电子邮件地址消费人群……

财政日期 ID数据类型季节日期时间戳财政年财政月财政日……

物理地理 ID国家州或省份乡村或镇区、城市街道门牌号……

主机地理 ID域名国家州、省、市……

活动 ID活动标识符活动类型活动组

外部促销 ID外部促销 URL外部促销引擎 / 赞助商外部促销格式外部促销版本外部促销产品 / 服务码外部促销品牌外部促销目录

图 7.3 电子商务数据仓库事实表及维表

7.3 电子商务数据仓库的 ETL 设计

7.3.1 电子商务数据仓库的 ETL 环境

人力资源数据库

预算计划

库存管理

库存数据库

混合报表与报告系统

订单管理 购买

可接受的账户 可支付的账户

通用分类账

ERP 数据库

呼叫中心数据库

自动买卖

买卖数据库

自动销售人员

购买力数据库

人力资源管理 税务系统 固定资产 呼叫中心报告系统

7.3 电子商务数据仓库的 ETL 设计

混合报表与报告系统 ERP 数据库自动销售人员

购买力数据库

Web 应用服务器和数

据库

备份Web 服务器 代理服务器 防火墙

商业 ISP

因特网

用户身份服务

在线广告服务

付费和金融服务

内容缓存服务

搜索引擎和服务

用户 /参与者 ISP

商业伙伴系统

用户

7.3 电子商务数据仓库的 ETL 设计

7.3.2 ETL的体系结构

点击流数据

点击流抽取、转换

点击流分析

点击流分析

点击流分析

点击流分析

点击流分析

其他数据源 数据抽

取转换阶段区域加载

数据准备区域工作存储区坏数据存储发送模式

仓库加载

仓库数据库

商 业应 用数 据库

创建维 创建事实 归档聚合索引确认

数据仓库数据

数据仓库过程管理

7.3.3 建立 ETL 系统1 ．数据分析2 ．使Web 站点适合电子商务产生的点击流3 ．创建高层 ETL 设计和体系结构4 ．设计特定的点击流组件

7.3.3 建立 ETL 系统过滤记录（可选）

用户辨认

页面辨认

过滤记录（可选）

会话匹配

IP 地址解析

分析事实记录 Web 地理维参照表主机表Web 服务维

维处理

会话维内容维页面维活动维

用户维用户时间维物理地理维

7.3.3 建立 ETL 系统5 ．设计和建立维表6 ．设计和建立事实表 ETL 组件7 ．建立数据加载机制和整合 ETL 程序8 ．为数据管理建立支持

7.4 电子商务数据挖掘7.4.1 Web 数据挖掘技术1. Web 的特点• Web 的庞大性。• Web 的动态性。• Web 的异构性。• 非结构化的数据结构。• 形形色色的用户群体

7.4 电子商务数据挖掘2. Web内容挖掘⑴ 基于文本信息的挖掘和通常的平面文本挖掘比较类似 ⑵ 基于多媒体信息的挖掘基于音频的挖掘、基于图片的静态图像的挖掘

和基于视频的动态图像挖掘。

7.4 电子商务数据挖掘3.Web 结构挖掘从 WWW 的组织结构和链接关系中推导知识 Web 结构挖掘有助于用户找到相关主题的权威

站点，并可以指向众多权威站点的相关主题站点。

Hub 页面提供了指向权威页面的链接集合。

7.4 电子商务数据挖掘4. Web使用记录的挖掘通过挖掘 Web 日志文件和相关数据，来发现用

户访问Web 页面的模式。 一般的访问模式追踪和个性化的使用纪录追踪 Web使用记录的挖掘要经过数据预处理阶段、

模式识别阶段、模式分析阶段三个阶段。

7.4 电子商务数据挖掘5 ． Web 数据挖掘的意义⑴有助于网络资源的开发和利用⑵有利于提高网络服务水平⑶ 是构建科学的决策支持系统的需要

7.4.2 Web 数据挖掘在电子商务中的应用

1 ．网络营销2 ．客户的聚类分析3 ．客户的个性化服务4 ．挖掘潜在的客户5 ．挽留老客户

7.4.3 数据挖掘在网站设计、管理中的应用

1 ．网站设计中的数据挖掘2 ．序列模式发现3 ．在电子邮件管理中的应用4 ．在搜索引擎中的应用

7.4.4 数据挖掘在网络广告中的应用

1 ．网络广告的有效性分析2 ．网络广告的链接分析3 ．网络广告的关联匹配4 ．网络广告的精准发送