第六章商务智能基础 数据库与信息管理 - ibids · •实施sap企业软件和数据...
TRANSCRIPT
开篇案例
• 秘鲁信贷银行对数据管理的改善
2
3
管理
组织
技术
信息系统 商业解决方案
商业挑战
•数据分布在各个系统中•人工报告流程
•减少成本•增强决策制定
•监控整个企业的绩效•加速决策制定
•集中数据管理
•标准化数据定义•清洗并调整数据
•实施DB2数据管理系统•实施SAP企业软件和数据仓库•部署运行AIX的IBM服务器
6.1 传统文件环境下的数据管理
• 6.1.1 文件组织术语和概念• bit, Byte
• 字段，文件
4
b B
6.1.2 传统文件环境的问题
• 数据冗余 data redundancy 与数据不一致 data inconsistency
• 数据程序依赖 program-data dependence
• 缺乏灵活性
• 数据安全低
• 缺乏数据共享和可用性
5
6.2 使用数据库管理数据
• 6.2.1 数据库管理系统Database Management Systems, DBMS• 数据库管理系统（DBMS）只是一套软件，可以让组织用来集中数据，有效的管理数据，并可由应用程序存取数据。
• 降低数据冗余和不一致• 程序和数据脱钩,使数据独立存在
• 提高安全性，多用户共享，查询方便
6
• 用二维表格（关系）表示数据库中的数据。
• 每一个表格包括实体中的数据和属性。
• 每一个表格都有行和列。• 行(记录，元组)：代表一个实体的纪录
• 列(属性，字段)：代表实体的一个属性
• 关键字段 (主键） ：用来唯一识别每笔纪录的字段
• 外键：主键值用在第二个表以链接原来表的纪录，可作为搜索原来表的纪录的检索字段
7
8
9
10
6.2.2 数据库管理系统的功能
• DBMS 利用数据定义（ data definition ）说明数据库的结构。利用数据定义语言建立数据库表格并定义每个表格中字段的属性。
• 字典( data dictionary)：是一个自动的或手动的在储数据元的定义和属性的文档. 这些数据库相关的信息作为文档存储在数据字典中。
• 数据操作： 结构化查询语言（SQL）是关系DBMS的主要数据操纵语言，并且是查询、读取与更新关系数据库的主要工具。
11
12
6.2.3 数据库设计
• 要建立一个数据库，需要了解数据间的关系、数据库中维护的数据种类、数据如何被使用，以及需要改变的组织如何从整体公司的观点来管理数据。
• 实体关系图（E-R图）
• 规范化，范式（Normalization）：1NF, 2NF, BCNF, 3NF, 4NF
13
• 在需求分析的基础上，用E-R（实体-联系）图构造一个反映现实世界客观事物之间联系的概念模型，然后再将此概念模型转换成基于某一特定的DBMS的数据模型。
14
15
6.3 利用数据库提高企业绩效和决策能力
• 6.3.1 大数据的挑战
• 数据量过大• 腾讯20亿+注册用户
• 每一次搜索（2010年）• 200+ CPU
• 200TB以上数据• 1010 CPU周期• 0.1秒内响应• 5¢广告收入
17
• 数据量的尺度
18
KB MB GB TB PB EB ZB YB
Hard Disk 1TBX1
Hard Disk 1TBX100万
Hard Disk 1TBX1万亿
2.5 EB data created each day1 in 2012
1 McAfee, A. and E. Brynjolfsson (2012). "Big Data: The Management Revolution."
1.8 ZB global data storage
in 2011
• 更新速度过快• 如今在美国和欧洲部署的一些智能电表每6秒钟采集一个实时读数，这样一天所得到的数据比过去传统电表收集到的所有数据还要多。因为每个电子设备通电时都会有自己独特的“负荷特征”，比如热水器不同于电脑，而它们与Led大麻生长灯又不一样，所以能源使用情况就能暴露诸如一个人的日常习惯、医疗条件和非法行为这样的个人信息。
19
20
• 数据种类过多• 结构化
• 非结构化：文本、图片、视频
21
• 大数据时代！！！
• 数据库技术面临的挑战• 存储？
• 检索？
• 分析？
22
6.3.2 商务智能的基础设施
• 数据仓库(data warehouse)
• 是储存目前与过去的数据中，对公司管理者决策有潜在效益部分的数据库。
• 数据仓库由组织的操作系统中筛选现在与历史数据。这些数据与外部之数据重组成中央数据库，供管理者分析与报告之用。信息目录提供用户数据仓储中可用数据的信息。
23
• 分布式文件系统 HDFS
• 分而治之：Divide and Conquer
• 冗余、容灾、可扩展
24
Google MapReduce
架构设计师Jeffrey Dean
• 分布式数据处理技术• Hadoop-MapReduce
• Spark-Scala
• 如何利用Hadoop对海量数据进行优化处理是Yahoo正在致力于工作的内容。以网络分析为例，Yahoo目前有超过100亿个网页，1PB的网页数据内容，2万亿条链接，每日面临这300TB的数据输出。“在应用Hadoop前，实施这一过程我们大概需要1个月的时间，但应用后仅需要1周时间”
25
• 内存计算（in-memory computing）• SAP：HANA (High Performance Analytics Appliance, HANA)
• 甲骨文：Exalytics
• 分析平台• IBM：Zetezza
• 甲骨文：Exadata
26
6.3.3 分析工具：关系、模式与趋势
• 联机分析处理（OnLineAnalytical Processing, OLAP）
• 多维数据分析• 使用多维数据分析，用户可以用不同方法分析同－数据。
• 信息的每一方面一一产品、价格、成本、地医或是销售期限都代表着一个不同的维度
• 例如：6 月在东部地区共售出多少个垫圈?
27
显示产品与地区的关系。如果你将立方体旋转 90
度，表现的层面就是产品实际销售量与产品计划销售量。如果你将立方体再旋转 90度，你会看到
地区实际销售量与计划销售量，其他观点也可以如此表达。
• 数据挖掘（Data Mining）• 关联、序列、分类、聚类
• 文本挖掘与网络数据挖掘• 文本挖掘（text mining），网络数据挖掘（web mining）
28
29
叉车派遣
• 影片《点球成金》改编自迈克尔·刘易斯的《魔球——逆境中制胜的智慧》。
• 一个真实的故事，介绍奥克兰运动家棒球队（又称绿帽队或白象队）总经理比利·比恩（BillyBeane）的经营哲学，描写了他抛弃几百年一直依赖的选择球员的传统惯例，采用了一种依靠电脑程序和数学模型分析比赛数据来选择球员的方法。
• 没有采用那些像“棒球击球率”这样传统的标准，而是采用了看上去很奇怪的、类似“上垒率”这样的标准。这个方法发现了这项体育赛事的另一面：始终存在却一直被忽略了的一面。
• 一个球员怎样上垒并不要紧，不管是地滚球还是三垒跑，只要他上垒了就够了。当数据表明偷垒不实用的时候，即使这会让比赛更有看头，比利·比恩也不会再关注这种华而不实的技能。
• NBA投篮命中率
31
Social Media (Twitter, Weibo)
• Bollen, J., H. Mao and X. Zeng (2011). "Twitter mood predicts the stock market." Journal of Computational Science 2(1): 1-8.
• “Here we investigate whether measurements of collective mood states derived from large-scale Twitter feeds are correlated to the value of the Dow Jones Industrial Average (DJIA) over time. We analyze the text content of daily Twitter feeds by two mood tracking tools, namely Opinion-Finder that measures positive vs. negative mood and Google-Profile of Mood States (GPOMS) that measures mood in terms of 6 dimensions (Calm, Alert, Sure, Vital, Kind, and Happy). We cross-validate the resulting mood time series by comparing their ability to detect the public’s response to the presidential election and Thanksgiving day in 2008. A Granger causality analysis and a Self-Organizing Fuzzy Neural Network are then used to investigate the hypothesis that public mood states, as measured by the Opinion-Finder and GPOMS mood time series, are predictive of changes in DJIA closing values. Our results indicate that the accuracy of DJIA predictions can be significantly improved by the inclusion of specific public mood dimensions but not others. We find an accuracy of 86.7% in predicting the daily up and down changes in the closing values of the DJIA and a reduction of the Mean Average Percentage Error (MAPE) by more than 6%.”
32
• Dodds, P. S., K. D. Harris, I. M. Kloumann, C. A. Bliss and C. M. Danforth (2011). "Temporal patterns of happiness and information in a global social network: Hedonometrics and Twitter." PloS one 6(12): e26752.
33
• Box-office revenues for movies
• Asur, S. and B. A. Huberman (2010). Predicting the future with social media. Web Intelligence and Intelligent Agent Technology (WI-IAT), 2010 IEEE/WIC/ACM International Conference on, IEEE.
• Public Opinion
• O’Connor, B., R. Balasubramanyan, B. R. Routledge and N. A. Smith (2010). From tweets to polls: Linking text sentiment to public opinion time series. Proceedings of the International AAAI Conference on Weblogs and Social Media.
34
Google Queries
• Ginsberg, J., M. H. Mohebbi, R. S. Patel, L. Brammer, M. S. Smolinski and L. Brilliant (2008). "Detecting influenza epidemics using search engine query data." Nature 457(7232): 1012-1014.
• Cited more than 700 times (Google Scholar, May 2013)
35
• Choi, H. and H. Varian (2012). "Predicting the present with google trends." Economic Record 88(s1): 2-9.
• “In this paper we show how to use search engine data to forecast near-term values of economic indicators. Examples include automobile sales, unemployment claims, travel destination planning and consumer confidence.”
36
37
• 无监督的学习
38
• 人的大脑有100多亿个神经细胞，每天能记录生活中大约8600万条信息。据估计，人的一生能凭记忆储存100万亿条信息。人脑子里储存的各种信息，可相当于美国国会图书馆的50倍，即5亿本书的知识。大脑神经细胞间最快的神经冲动传导速度为400多公里/小时。
• 每一秒钟，人的大脑中进行着10万种不同的化学反应。如能把大脑的活动转换成电能，相当于一只20瓦灯泡的功率。人的大脑平均为人体总体重的2%，但它需要使用全身所用氧气的25%，相比之下肾脏需12%，心脏只需7%。
• 根据神经学家的部分测量，人脑的神经细胞回路比今天全世界的电话网络还要复杂1400多倍。
39
• 2006年，加拿大多伦多大学教授、机器学习领域泰斗——Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要的信息：1. 很多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2. 深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wise Pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。
• 2011年以来，微软研究院和Google的语音识别研究人员先后采用DNN技术降低语音识别错误率20％~30％，是语音识别领域十多年来最大的突破性进展。2012年，DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26％降低到15％。在这一年，DNN还被应用于制药公司的Druge Activity预测问题，并获得世界最好成绩，这一重要成果被《纽约时报》报道。
40
• 2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导，用16000个CPU Core的并行计算平台训练一种称为“深层神经网络”（DNN，Deep Neural Networks）的机器学习模型，在语音识别和图像识别等领域获得了巨大的成功。
• 谷歌科学家们用1.6万块电脑处理器构建了全球最大的电子模拟神经网络（10亿神经元），并通过向其展示自YouTube上随机选取的1000万段视频，考察其能够学到什么。结果显示，在无外界指令的自发条件下，该人工神经网络自主学会了识别猫的面孔。
41
42
• 2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译，以及中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是DNN，或者深度学习（DL，Deep Learning）。
• 2013年1月，在百度的年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个重点方向就是深度学习，并为此而成立Institute of Deep Learning（IDL）。这是百度成立十多年以来第一次成立研究院。2013年4月，《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术（Breakthrough Technology）之首。
• 艾伦•图灵(Alan Turing)于1950年提出了著名的人工智能测试：如果一个人无法判别与他或她进行谈话的是另一个人还是一台电脑，那么这台电脑就实现了人工智能。
43
6.3.4 数据库与网络
44
6.4 管理数据资源
• 建立数据库只是开始。要确保企业的数据能保持正确、可靠与需要的人可以随时取得，企业需要有特别的数据管理政策与程序。
• 6.4.1 建立信息政策• 信息政策 (information policy) 确立分享、传播、获取、标准化、分类与储存信息的组织规则。
• 信息政策设计特定的程序和责任，指出组织哪些用户与单位可以共享信息，信息可以分配到哪儿，谁负责信息的更新与维护。
45
6.4.2 确保数据质量
• 在新的数据库上线之前，组织需要确认与修正错误的数据，并且在数据库开始运作时，建立一套好的数据编辑程序。
• 数据质量审计（data quality audit）
• 数据清洗（data cleaning/data scrubbing）
46
大数据：大在哪里？
47
多项式y = 47777x2 - 3E+06x + 1E+08
R² = 0.991
幂y = 20737x2.059
R² = 0.974
指数y = 2E+07e0.025x
R² = 0.976
Predict the Number of Active Users
创新扩散理论和 Everett Rogers
• The categories of adopters are: innovators, early adopters, early majority, late majority, and laggards (Rogers 1962, p. 150).
49
Bass模型
• Frank M. Bass
• Bass 1969 "A New Product Growth for Model Consumer Durables." Management Science
• INFORMS members have voted the “Bass Model” paper as one of the Top 10 Most Influential Papers published in the 50-year history of Management Science in connection with the 50th anniversary of the journal. (Bass 2004)
• Bass, F. M. (2004). "A New Product Growth for Model Consumer Durables." Management Science 50: 1825-1832.
• Bass, F. M. (2004). "Comments on "A New Product Growth for Model Consumer Durables."." Management Science 50: 1833-1840.
• 创新系数 模仿系数
• P(T)=p+(q/m)Y(T)
1926-2006
• P(T)=p+(q/m)Y(T) ,
• where p and q/m are constants and Y(T) is the number of previous buyers.
• “Fortunately, there exists a closed-form solution to the differential equation in the time domain. If the coefficient of imitation is greater than the coefficient of innovation the solution rises to a peak and then declines.”
51
• “Somewhat to my surprise the model described the data rather well in every case.” (Bass 2004 Comment)
52
• “I decided to try my luck at forecasting color television sales, which had just begun to take off in the early 1960s. … The result was a forecast that color television sales would peak in 1968 at 6.7 million units.” (Bass 2004 Comment)
• “The 1966 working paper received rather wide circulation and resulted in several letters and telephone calls to me from industry people and Wall Street analysts, many of which took a rather angry tone. Industry forecasts were much more optimistic … color television sales did peak in 1968 and at a slightly lower level than my forecast. The industry had built capacity for 14 million color picture tubes and there was substantial economic dislocation following the sharp downturn in sales following the 1968 peak. ”
53
54
未注册 注册&活跃
未采纳 已采纳
注册&沉默
采纳
注册
Bass Model
New Model
• 精准的预测结果
• 发现更多知识：
• 政策会影响活跃用户数量
• 申请账号策略
• 等级制度
55
• QQ等级制度更新（2011年11月）：• 八种基础加速：
• 在线时长满5小时 最高可加速1.3天
• 与5个好友或群互动 可加速0.1天
• 发送50条消息 可加速0.1天
• 连续登录达6天 可加速0.1天
• 使用最新版QQ 可加速0.1天
• QQ和Q+同时在线5小时 可加速0.2天
• 非隐身时长满2小时 可加速0.2天
• 使用5个Q+应用 可加速0.1天
• 五种服务额外加速：• QQ电脑管家 额外1天加速
• 超级QQ 最高1.9倍加速
• 使用QQ输入法 额外0.1天加速
• 腾讯微博 最高0.2天加速
• QQ会员 最快1.8倍加速
来源 <http://news.mydrivers.com/1/209/209339.htm>
来源 <http://news.mydrivers.com/1/220/220539.htm>
57
58
59
