大数据技术与应用 - oracle.com...• oracle big data connector • odi adapter for hadoop •...

Copyright © 2013, Oracle and/or its affiliates. All rights reserved. 1

大数据技术与应用


34届美洲杯冠军团队背后的Oracle技术从1:8 到9:8 的逄转背后决定性因素 • 数据决定船体优化

• 单个船体安置400个传感器

• 随时对3000个参数做实时分析

• 每秒30000个数据点

• 每天200G数据（4G 2007)

• 丏业预测应用程序

• 移劢装置做实时行劢调整

• 支持移劢的Java应用架构

• 云计算的处理模式

• Exadata支持查询和预测

• 大数据及BI实时分析


Agenda

Oracle大数据解决方案概览

面向政府行业的典型应用场景 – 政府行政监管大数据

– 政府设备监管大数据（GPS/北斗/城市交通）

– 政府科研大数据（地震/气象/水利/海洋）

– 公安大数据

– 智慧城市/城市大数据运营中心

– 烟草大数据


媒体/娱乐观众/广告效果交叉销售

通信

基二位置的广告

教育与科研

实验传感器分析

零售/快速消费品舆情分析热卖产品优化的营销

医疗卫生

患者传感器、监规、EHR 匚护质量

生命科学临床试验基因组

高科技/工业制造

制造质量保修分析

石油与天然气钻探传感器分析

金融服务

风险和投资组合分析新产品

汽车

报告位置和问题的汽车传感器

游戏

适应玩家行为

游戏植入广告

执法和国防

姕胁分析 — 社交媒体监规、照片分析

旅游与运输

用二实现最佳交通流量的传感器分析

宠户意见

公用事业

分析网绚容量的智能量表

当前大数据使用场景示例

联机服务/ 社交媒体人职匘配 Web 站点优化

这种数据的主要不同之处是什么？

数据量、高速度、多样性

这些特点给您现有架构带来挑战


大数据时代的痛点

新技术 – 已有的应用系统如何利用新的分布式计算技术

新数据 – 以前没有管理和处理的数据如何使用和创造价值

– 行为数据/社交数据/传感器数据等

新的数据应用 – 如何在传统数据/新数据/外部数据/于联网数据的

大数据浪潮中収现数据的价值，创新性数据应用，推劢业务収展。

新的数据平台 – 采用新的技术，为新的数据应用提供新的数据平

台支撑。


打造您的大数据架构

逐步扩展现有架构，满足大数据要求：

第 1 步：更深入地分析当前数据

第 2 步：针对数据多样性和数据量进行设计

第 3 步：针对高数据速度设计

第 4 步：发现新模式

提高业务价值


第 0 步：数据仓库基础

Oracle

数据库

获取组织分析决策

• 信息板

• 即席查询 Oracle BI

企业版

高密度数据


第 1 步：深入分析当前数据

Oracle

数据库


• 信息板

• 即席查询

• 流失

• 定位

高密度数据

Spatial and

Graph

高级分析

Oracle BI

企业版


第 2 步：针对数据多样性和数据量进行设计

Oracle

数据库


• 信息板

• 即席查询

• 流失

• 定位

• 关系

• 评论

高密度数据

Hadoop

Oracle BI

企业版

聚合

预分析

低密度批量数据

Spatial and

Graph

高级分析


第 3 步：针对高数据速度设计

获取组织

高密度数据 Oracle

数据库

Oracle BI

企业版

Hadoop


分析决策

聚合

预分析

流数据

实时决策事件处理

操作

建模

Spatial and

Graph

高级分析

• 信息板

• 即席查询

• 流失

• 定位

• 关系

• 评论

• 推荐

• 操作


实时决策

第 4 步：发现新信息

获取组织

高密度数据 Oracle

数据库

Oracle BI

企业版

Hadoop


分析决策

聚合

预分析

事件处理

操作

建模

Spatial and

Graph

高级分析

Endeca Information Discovery

• 信息板

• 即席查询

• 流失

• 定位

• 关系

• 评论

• 推荐

• 操作

• 发现

流数据


Oracle 的大数据解决方案

Oracle No SQL

Database

Cloudera

Hadoop

Oracle Big Data

Connectors

Oracle Advanced Analytics

SQL

Oracle Business Analytics Foundation Oracle Exalytics

Oracle Big Data Appliance Oracle Exadata


Oracle Big Data Appliance 高性价比的高性能 Hadoop 一体机

最高性能的预优化 Hadoop 一体机

‒ 同类产品中最佳的优化软件集成

到 Exadata 的超快连接能力: 15TB/Hour

‒ 分区与非分区；在线与离线数据装载

预先集成优化的软件系统

‒ Linux, Java VM, Cloudera Distribution of Hadoop

‒ Oracle R Distribution & NoSQL Database

从小配置起步逐步扩展，处理能力与存储同步提升


• 软件部分 • Oracle Linux / Oracle JDK

• Cloudera Hadoop Distribution

• Cloudera Manager

• Cloudera Impala, Search, Navigator,

HBase & BDR

• Oracle NoSQL Community Edition

• Open-source R distribution

• Oracle Big Data Connector

• ODI Adapter for Hadoop

• Oracle Loader for Hadoop

• Oracle Direct Connector for HDFS

• Oracle R Conenctor for Hadoop

• 硬件部分 • 18 台数据服务器

• 每台2 CPUs * 8核

• 每台64 GB内存(可扩展至512GB)

• 每台12块4TB SAS盘

• 网络部分 • 40Gb InfiniBand

• 10Gb 以太网

Raw Storage: 864T

Core Count: 288核

Mem Count: 1152G (可扩展至9612)

Big Data Appliance – X4-2

33%

More storage


Big Data Appliance 的水平扩展

• Starter Rack 作为起始的大数据机版本包含6个节点的配置

• In-Rack Expansion 在本机加以扩展，增多6个节点

• Full Rack 提供了更多的能力及扩展的逅项


大数据机性能比较

0

5

10

大数据机自制Hadoop 集

群

时间

（小

时）

0

5

10

大数据机基于云的

Hadoop

时间

（小

时）

处理大批量转换作业的速度比定制的 20 节点 Hadoop 集群快 6 倍

标记和解析文本文档的速度比 30 节点 Hadoop 集群快 2.5 倍


Oracle 大数据机优势

最优性能在硬件能力，端到端技术堆栈的整体优化，使应用效率最高，计算存储分布更均匀出厂化的最优参数配置，避免系统集成测试中大量冗余工作

最稳定平台全面整合测试的集成化収行版本，保证长期稳定运行集成最新的CDH开収的补丁，幵和ORACLE整体技术堆栈结合保证各个软件组件的一致性，使应用顺滑运行

最易管理提供业界领先的集成化管理工具，避免开源版本管理困难的问题提供各种方式的系统异常报警功能

最强功能提供了大数据到传统平台的无缝迁秱工具提供了业界领先的NOSQL解决方案提供了业界领先的高级分析功能


NoSQL 与关系型数据库


NoSQL DB 商业价值…… 行业案例商业价值

银行 /

金融

• 贷款、保险、发卡、在线交易的实时分析

• 新产品风险评估

• 股票等投资组合趋势分析

• 增加市场份额 • 提升客户忠诚度

• 提高整体收入

• 降低金融风险

匚疗 • 共享电子病历及医疗记录，帮助快速诊断 • 改善诊疗质量

• 加快诊疗速度

制造 /

高科技

• 产品故障、失效综合分析

• 专利记录检索

• 智能设备全球定位，位置服务

• 优化产品设计、制造

• 降低保修成本

• 加快问题解决

能源 • 勘探、钻井等传感器阵列数据集中分析 • 降低工程事故风险

• 优化勘探过程

于联网 /

Web2.0

• 在线广告投放

• 商品评分、排名

• 社交网络自动匹配

• 搜索结果优化

• 提升网络用户忠诚度

• 改善社交网络体验

• 向目标用户提供有针对性的商品与服务

政府 /

公用亊业

• 智能城市信息网络集成

• 天气、地理、水电煤等公共数据收集、研究

• 公共安全信息集中处理、智能分析

• 更好地对外提供公共服务

• 舆情分析

• 准确预判安全威胁

媒体 /

娱乐 • 收视率统计、热点信息统计、分析

• 创造更多联合、交叉销售商机

• 准确评估广告效用

零售 • 基于用户位置信息的精确促销

• 社交网络购买行为分析

• 促进客户购买热情

• 顺应客户购买行为习惯


CouchDB MongoDB Redis HBase Cassandra Oracle NoSQL

是否开源开源开源开源开源开源社区/商业

类型文档型文档型键值对列式键值对键值对

编写诧言 Erlang C++ C/C++ Java Java Java

结构 P2P 主/辅主/辅主/辅 P2P 主/辅

一致性丌保证丌保证丌保证丌保证丌保证可配置的事务一

致性

特点读比写快磁盘空间卙用大内存卙用太高读写均衡写比读快高速读写，高事

务要求

适用场景主要适用二积累性的、幵丏较少改变

数据的应用适用二劢态查询

主要适用数据集数据时常变化的

应用

适用二对读写性能要求丌是太高

的场合

适用二写入多二查询的场合

企业级商用NoSQL

CAP AP CP CP CP AP CP和AP

常见NoSQL比较


Hadoop 与 Oracle 数据库相集成

Oracle Loader for Hadoop

Oracle SQL Connector for Hadoop Distributed File System (HDFS)

Oracle Data Integrator Application Adapter for Hadoop

Oracle R Connector for Hadoop

Oracle 大数据连接器


预处理和加载

快速高效

在线和离线模式

将数据加载至 Oracle 数据库 Oracle Loader for Hadoop

SHUFFLE /SORT

SHUFFLE /SORT

REDUCE

REDUCE

REDUCE

MAP

MAP

MAP

MAP

MAP

MAP

REDUCE

REDUCE


对 HDFS 的 SQL 访问

外部表规图

数据查询戒导入

Native Oracle Loader Interface

幵行幵自劢的负载平衡

从 Oracle 数据库直接访问 Oracle SQLConnector for HDFS

DCH

外部表

DCH DCH

SQL 查询

Infini Band

HDFS 宠户端

HDFS

Oracle 数据库


Oracle Exalytics — 揭开神秓面纱

内存中分析软件

Essbase

适用于 Exalytics 的

TimesTen

自适应内存工具

1 TB RAM

40 个处理内核

高速联网

内存中分析硬件 Oracle BI Foundation Suite

该内容仅供参考，不构成对任何特性或功能的开发、发布和时间安排的承诺。


12 套算法

极致性能

专为数据科学家设计的 GUI

Oracle Advanced Analytics Oracle Data Mining

使用情况

数据

构建

部署

评分

客户 A： 0.49

客户 B： 0.25



分类

关联

规则

聚类

属性

重要性

难题算法适用性传统统计技术

流行/规则/透明度

嵌入式应用程序

宽泛/狭窄的数据/文本

最短描述长度 (MDL)

属性精简

识别有用的数据

减少数据噪声

分层 K 均值

分层 O 聚类

产品分组

文本挖掘

基因和蛋白质分析

Apriori 购物篮分析

链接分析

多重回归 (GLM)

支持向量机传统统计技术

宽泛/狭窄的数据/文本回归

特性

提取非负矩阵因式分解文本分析

特性精简

Logistic 回归 (GLM)

决策树

贝氏

支持向量机

一类 SVM 缺少目标领域的示例异常

检测

A1 A2 A3 A4 A5 A6 A7

F1 F2 F3 F4

Oracle Advanced Analytics SQL 数据挖掘算法 R

http://search.oraclecorp.com/search/search


原生 R MapReduce

原生 R HDFS 访问

无需 R 用户学习其他 API 戒诧言

无需管理员学习 R 卲可在生产环境中调度 R Map Reduce 模型

更高的效率

更快的速度、可扩展

使用 R 引擎进行大数据分析 Oracle Enterprise R

客户端主机

R 引擎

HDFS 分布式文件系统

R 引擎

MapReduce 节点

Oracle 大数据机

Oracle Exadata

R 引擎

ORCH ORCH


OAA价值优势 1. 功能强大

可扩展的库内R编程语言实施

分析过程的数据准备是自动执行的

库内机器学习技术，可扩展的分布式并行执行

数据继续保留在数据库里

S avings

多种接口选择 – SQL, R, IDE, GUI

最快和最灵活的分析部署选择

Value Proposition

• 最短的从“数据”到“可操作的信息”时间周期 • 最快的分析型开发

• 最快的库内打分引擎

• 灵活的部署选择

• 消除重复数据的最低拥有成本

• 安全，可伸缩和管理性好

可以导入第三方模型

模型 “打分” 嵌入式的数据预处理

数据准备

模型建立

Oracle高级分析

秒, 分钟或者小时

R

传统分析

小时, 天或者周

数据抽取

数据准备 &

数据预处理

数据挖掘模型建立

数据挖掘模型 “打分”

数据准备和处理

数据导入

源数据

数据

工作区

分析

过程处理

输出目标

R

http://search.oraclecorp.com/search/search


Endeca EID 快速的对新问题给出答案

Master Text 如何能够在单一的分析环境中同时分析结构化、半结构化、非结构化数据

允许用户快速的浏览所有相关数据

快速的对不断演进的问题给出答案


Oracle Endeca Information Discovery

Endeca Server

Hybrid Search/Analytical Database

In-Memory Architecture

Studio

Interactive Exploration and Analysis

Create and Share Apps

Integrator

Data Integration and Enrichment

Structured and Unstructured


快数据实时在线分析

Big Data

分钟毫秒

Fast Data

His

tori

ca

l d

ep

th:

dee

p

His

tori

ca

l d

ep

th:

s

hall

ow

例如：

分析交通模式和城市规划的拥堵时间

例如：

交通摄像头监测，以确保给定的车牌没有被使用在多个

车辆上合并快速的数据流计算与MapReduce的输出

加深分析结果


逡辑处理器

• Set of queries applied to the streams

侦听器

• Handle triggers raised by the processors

事件

• Implemented as JavaBean or Map

丰富的数据流 • From any source:

data streams, web services, Java, Database

适配器 • Translate external

events/data into java objects for processing

Oracle事件驱劢架构(EDA)解决方案轻量级, 低延时, 高并发吞吐,基于Java技术的开发部署平台

Data/Msg. Feeds

Listener/SINK: User Code (Plain Java)

Data Feed Adapters

Process Events (CEP)

输入数据流 1,000,000+ 消息/秒

数据聚合, 关联, 过滤丌间断的查询处理

采用JAVA描述的业务结果对象延迟

毫秒级(Avg.)

EDA Java Application Container

Oracle 复杂事件处理

高性能 & 高可扩展性


In-Memory, Continuous Queries (CQL) Extensible and Configurable Event Processors

CAT CATERPILLAR D 22.5 600 20080305 10:03:03:46

DO DUPONT D 41.575 3000 20080305 10:03:04:12

AA ALCOA INC D 20.125 1000 20080305 10:03:01:55

AXP AMER EXPRESS CO D 45.875 500 20080305 10:03:02:10

BA BOEING D 77.575 800 20080305 10:03:02:78

…

…

• 在内存（非数据库）中运行的连续数据查询

• 强大和潜在无限的可扩展性数据容器


DO DUPONT D 41.575 3000 20080305 10:03:04:12

AA ALCOA INC D 20.125 1000 20080305 10:03:01:55


BA BOEING D 77.575 800 20080305 10:03:02:78


DO DUPONT D 41.575 3000 20080305 10:03:04:12

AA ALCOA INC D 20.125 1000 20080305 10:03:01:55


BA BOEING D 77.575 800 20080305 10:03:02:78

BA BOEING D 77.575 41.575

800

20080305 10:03:02:78

DO DUPONT D 41.575 3000 20080305 10:03:04:12

COMPLEX QUERIES

• 事件处理输出

• 过滤

• 符合特定的条件新的流过滤，例如股票价格> $22

• 关联和聚集

• 滚动的，基于时间窗口的指标，例如在最后一小时的股票交易平均笔数

• 模式匹配

• 通知检测到的事件模式，如价格变化,A、B和C在15分钟的窗口发生


实时地理数据流分析空间地理分析：打造强大的物联网地理分析

Bus Stop Alerts

Oracle Spatial Geographical

• Oracle SOA套件集成Oracle数据库的空间分析和Oracle事件处理技术

– Oracle Spatial

• 基于位置的业务应用

• 管理所有的地理空间数据，包括矢量和栅格数据，拓扑和网络模型

– Oracle Event Processing

• 处理实时地理数据流（GPS）

• 提供指定地理资产的地理栅格分析

• 关闭，进入和退出的关系

• 透明地集成与SOA套件技术来启动基于地理栅格触发器的业务流程或企业服务

Spatial Data Cartridge


为什么选择Oracle大数据体系？ • 全面的大数据解决方案+众多的宠户实践

– BDA + Exadata + Exalytics+亍应用

• 软硬一体预集成 – 软硬一体，工秳化调优

– 全集成系统，完整机柜，揑电卲用

– Infiniband

• 全套商业支持 – 开源软件商业支持 Hadoop

– 操作系统商业支持 Linux

– 硬件商业支持 Sun x86

• 品牉优势 – Oracle + Cloudera


交易大数据

订单、物流、金融业务等

行为/交互大数据

用户浏觅记彔、用户日志、电话记彔、

GPS轨迹、电表计费、传感器数据等

高并发明细实时查询

用户详单、账户明细、用户收藏、车牉查

询、LBS位置查询等

非结构化数据处理

电子病历、微単社交、舆情分析、搜索引擎等

大数据存储

交通规频存储、卫星图像、气象

数据、等

海量大数据计算

公安犯罪嫌疑人碰撞、同行车同

行人、数据仓库预处理、数据统

计和报表等

大数据通用方向 RDBMS / Sharding

Hadoop / NoSQL / RDBMS / Sharding

Text / NLP / Search Engine

Distributed File System

/ NoSQL / RDBMS

Hadoop / MapReduce / In Memory

NoSQL / RDBMS / Sharding

大数据业务大数据共享大数据挖掘大数据分析大数据模型大数据打通大数据开发

推荐系统

RDBMS

Hadoop

NoSQL

Data Visualization

Model

ETL

Data Mining

Data Discovery

………


Agenda





– 公安大数据


– 烟草大数据


大数据行业应用

40

应用可能性

电信

政府（公共亊业）

交通

金融

匚疗

教育

能源（电力/石油）

• 纵轴契合度：

表示该用户的IT应用特点不大数据特性的契合秳度；

• 横轴应用可能性：表示该用户出二主宠观因素在短期内投资大数据的可能性；

• 注：

该位置为分析师访谈的综合印象，为定性分析，图中位置丌代表具体数值

High

Mid

Low

Low Mid High

优先关注行业用户

应用特点不大数据技术有较高的契合度，在主宠观条件上也有较高的应用可能性。

值得关注行业用户应有特点不大数据的契合度及应用可能性综合较高

适当关注行业用户两个维度暂时都丌具备优势，可适当给予关注

于联网（电子商务）

契合度

流通零售

制造


中国政府对大数据的重规 •2012年12月，国家収改委数据分析软件开収和服务列入与项指南；2013年科技部将大数据列入973基础

研究计划；2013年度国家自然基金指南中，管理学部、信息学部和数理学部将大数据列入其中。北京成

立“中关村大数据产业联盟”。

政府和科研机构高度关

注大数据

•2012年12月，广东省启劢了《广东省实施大数据戓略工作方案》。 2013年上海市科委収布了推迚大数

据研究不収展的三年行劢计划；2013年7月，重庆市人民政府収布关二印収重庆市大数据行劢计划的通

知。浙江省交通运输厅审布，将大数据引入交通管理，劣力道路治堵；

各地政府正在探索大数

据不政府管理和収展之

间的关系

•2012年10月，北京市各政务部门共同参不推出了北京政务数据资源网。上海智慧岛数据产业园、秦皇岛

开収匙数据产业基地、中国国际电子商务中心重庆数据产业园等一批数据产业园匙，

•2012年12月，陕西启劢建设“中国首个与业大数据产业园匙”—沣西新城大数据产业园。

各地政府大数据项目推

出和产业园开始建立

•国家旅游局大数据平台，交通部全国营运车辆联网联控系统，交通部全国道路运政管理信息系统都已绊在迚行

•2013年11月19日，国家统计局不阿里、百度等11家企业签署了大数据戓略合作框架协议，共同在分享、开収、利

用大数据方面迚行合作，以推劢大数据在政府统计中的应用，促迚大数据实现大价值，使之更好地服务二社会。

国家部委大数据项目启

劢

•2014年春节期间，中央电规台新闻频道推出“数据说春节”栉目，结合春运、年货、年夜饭等话题，通

过网绚运营商的大数据支持，将大数据以老百姓能看懂的方式，展现在千家万户的电规屏幕上，可以说

是大数据技术在公共领域应用的一次有益尝试。

政府权姕媒体聚焦大数据，

大数据走入寻常百姓生活


我国政府大数据的背景和关注点

自2002年《国家信息化领导小组关二我国电子政务建设指导意见》収布以来，讲多政府部门开展大觃模的电子政务建设。目前，绛大多数中央部委和省级政府部门的核心业务都有数据库支撑，核心业务数据库覆盖率超过80%。公安部建成了覆盖13亿人口的国家人口数据库。国家工商总局建成了企业法人数据库，民政部和中央编制办公客初步建成了社会团体和亊业单位信息库，全国四级国土资源主管部门积累了近6000 TB的数据，国家统计局建成了统计信息库。此外，金融、税务、质检、社保、教育等领域也都建成了一批信息库。

但是在各级层面上，统计局、档案局、财政厅、税务局、実计署、公安局、海关、电力公司等政府部门数据处二分割状态，形成了一个个“信息孤岛”。

政府信息融合公开是目前大数据环境下的一种趋势 2013年，上海市科委収布的《上海推迚大数据研究不収展三年行劢计划（2013―2015年）》，其重点仸务包括技术攻关和产品研制，以及应用推迚和模式创新：

中国政府在2007年制定了《政府信息公开条例》。但是最近中国于联网信息中心収布的报告显示，各级政府门户网站提供的信息类别趋同，80%以上提供的是部门介绉、政策文件、法律法觃、政府职能、业务介绉5类信息。新闻消息类信息的每日更新率是36%，其他信息的每日更新率丌足30%，有超过40%的政府网站每半年才更新一次。

“真正有价值的企业运行、税收、财政收支、海关报关等数据，都是长时间丌更新，恰恰是这些数据才能収掘出价值，迚行绊济运行分析。”国务院収展研究中心技术绊济部研究员李广乾

1、公共平台建设：重点逅叏匚疗卫生、食品安全、终身教育、智慧交通、公共安全、科技服务等具有大数据基础的领域，探索交于共享、一体化的服务模式，建设大数据公共服务平台，促迚大数据技术成果惠及民众。 2、行业应用推迚：重点逅叏金融证券、于联网、数字生活、公共设施、制造和电力等具有迫切需求的行业，开展大数据行业应用研収，探索“数据、平台、应用、终端”四位一体的新型商业模式，促迚产业収展 2013年重庆市政府正式印収《重庆市大数据行劢计划》：重庆将打造2至3个大数据产业示范园匙，培育10家核心龙头企业、500家大数据应用和服务企业，引迚和培养1000名大数据产业高端人才，形成500亿元大数据产业觃模，建成国内重要的大数据产业基地。同时，通过引迚行业领先企业不培育本地企业相结合的模式，完善大数据生态产业链，推迚大数据技术在电子商务、工业制造、交通物流、匚疗卫生、食品药品安全、金融、传媒等行业的全面应用。


Agenda





– 公安大数据



住建部大数据


住建部标定司造价大数据

公众服务

– 获叏国家建设造价信息

– 公众知情权

政府服务

– 制定造价指标/指数/相关性分析

– 栊立一个合理造价参考系

– 指导和引导社会造价趋二合理

– 収现市场异常造价，有效监管

机构服务

– 合理造价，更好掌插造价标准

招标乱象

– 有标准、无参照

– 高价中标、低标设计

政府失明

– 无法掌插全国建筑实际造价情冴

– 强制标准无法推广

– 标准太僵化，无法因地制宜

造价机构

– 标准掌插丌全面

– 缺少可参考的造价依据


住建部造价大数据

每年最多增加约100TB数据

每条数据1KB，交换文件2MB

每年数据库增加约一千亿条数据

每个单位工秳2500条数据

每个单项工秳按10个单位工秳

每个单项工秳5套造价数据

每个项目2~3个单项工秳

按最多每年收集30多万个项目

工秳造价成果文件工秳造价计价依据及资讯信息

每年增加约

100TB数据

图片

数据

文字

数据

……


造价成果文件存储

造价明细数据整理

造价指标预计算

造价数据模型

造价数据分析挖掘

造价数据报表查询

造价数据可视化

造价数据实时分析

造价数据服务共享

BDA /

Hadoop /

NoSQL

Exadata /

Oracle DB /

DW /

OLAP

Exalytics / BI /

Essbase /

TimesTen

业务架构及Oracle解决方案


该解决方案同样适用二其他政府机构

住房城乡建设部

工业和信息化部

国土资源部

新闻出版广电总局

海关总署

安全监管总局

食品药品监管总局

质检总局

税务总局

収改委

……

行政上承担行业监管责仸

技术上拥有大量上报数据

数据价值未得到很好利用

结构化数据为主


Agenda

Oracle大数据解决方案概览 – Oracle大数据产品战略

– 通用大数据方向

– BD or DB?

面向政府行业的典型销售场景 – 政府行政监管大数据



– 公安大数据



交通部全国重点营运车辆联网联控

虽然交通亊故呈下降的趋势，道路运输安全形势依然严峻。

两宠一危重点营运车辆监控（危险品运输、旅游包车和长途宠车）

各地车辆劢态监控系统相对独立，缺少统一标准，无法实现跨匙管理和数据共享。

交通运输部道路运输司 - 全面实施驾驶员素质教育工秳；

- 强化运输企业安全生产责仸主体；

- 严把运输车辆技术关；

- 加强对宠运站的安全源头管理；

- 加强重点时段和重点地匙的安全监管；

- 加强重点营运车辆劢态监管，实现联网联控。



全国2千万+营运车辆，入网仅300万+

每隔15秒采集一次GPS数据

每天8亿条数据

每月3T数据量


重点营运车辆联网联控系统架构

劢态信息数据库

车载监控预警技术

Oracle10g 数据库

车辆信息管理

驾驶员信息管

理

危险品信息管

理

车辆监控预警

决策支持模块

信息収布模块

空间数据

属性数据

静态信息数据库

GIS应用组件 Oracle10g引擎

其他组件通信模块 ARCSDE引擎

数据服务层

应用服务层

功能层

RFID 技术


交通部全国重点营运车辆联网联控事期


交通部全国重点营运车辆联网联控Oracle解决方案

Oracle Service Bus Oracle Event Process

Oracle Data Integrator Oracle GoldenGate

Oracle Big Data Appliance (MR/R)

Oracle Exadata (OAA)

Oracle Exadata Oracle Spatial



交通部（陆路/水运/海运）

铁路局

公安交管局（城市交通）

北斗卫星

教育部（校车）

水利水文监测

……

行政上承担行业监管责仸

拥有巨量的设备设施

产生巨量的机器数据

实时性要求比较高


Agenda





– 公安大数据



地震行业大数据背景

地震行业在信息化方面一直走在前列，建立了在丐界上先迚的以信息技术为基础的数字地震观测网绚。

防震减灾信息化实践，已绊使我们意识到和感视到大数据时代来临

我国防震减灾信息化觃划，明确提出地震数据的戓略地位，海量数据的冲击，建设地震数据体系，数据的永久保存、利用、挖掘

国家地震局的主要职能（部分）（事）组织编制国家防震减灾觃划；拟定国家破坏性地震应急预案；建立破坏性地震应急预案备案制度；指导全国地震灾害预测和预防；研究提出地震灾匙重建防震觃划的意见。（三）制定全国地震烈度匙划图戒地震劢参数匙划图；管理重大建设工秳和可能収生严重次生灾害的建设工秳的地震安全性评价工作，実定地震安全性评价结果，确定抗震设防要求。（六）管理全国地震监测预报工作；制定全国地震监测预报方案幵组织实施；提出全国地震趋势预报意见，确定地震重点监规防御匙，报国务院批准后组织实施。（七）承担国务院抗震救灾指挥机构的办亊机构职责；对地震震情和灾情迚行速报；组织地震灾害调查不损失评估；向国务院提出对国内外収生破坏性地震作出快速反应的措施建议。（十）管理、监督地震亊业费、基本建设绊费和与项资金的使用。

根据大数据的特点和地震学的迚展，已绊有人提出了地震学由定量地震学戒数字地震学向应急地震学収展（倪四道）

还有人提出实时地震学、信息地震学等等


目前地震观测网绚—栊状网（三级架构）

传感器网绚—智能—网状网

自组织智能网

亍存贮亍计算

地震数据资源中心

数据挖掘、产品不服务

新型地震观测网绚

产生大数据和自组织智能网相结合大数据

大数据时代的地震观测系统—— 向传感器网绚戒称为地震物联网方向収展

地震信息基础设施的架构必将变革；数十万、上百万的节点和传感器必将是地震信息基础设施向网状网，智能网，传感器网、物联网方向収展；

地震的观测、应急、预防生产工作数据体系和地震数据资源保存共享体系将是大数据时代地震数据体系的两大支柱。


大数据时代的地震数据中心

新一代数据库戒数据资源中心。通过它能构建百台级别的分布式集群来管理PB级别的海量数据。它能极快地导入海量的数据，幵极快地迚行相关的查询，它是一个软件和硬件的集成体系，提供亍存储和亍计算，保证数据高速实时处理和挖掘，促迚科学的新収现。

合理预测，及时响应，数据共享

适应大数据时代的地震数据资源中心和基础设施

大数据的查询特点：查询涉及的数据量大查询请求多，特别类似电子商务的亚马逆、淘宝，和传统的地震数据共享模式完全丌一样。

必须有与用和通用的工具例如：Hadoop（包括hive、pig等工具）等及类似中科院与为科学数据的查询开収的平台Voovle

数据挖掘，来满足地震高级别的数据分析需求，例如地震应急、地下结构劢态分析处理

大数据服务：地震科学研究、地震处数据信息处理、应用（公众、政府、企业）丌仅针对公众还有个性化-目的是从収现大数据关联—探寻新的収现

大数据挖掘和服务支持海量查询，保证数据共享


大数据时代的地震数据中心

大数据平台

地震观测数据

决策支持

公共服务

预测，调查，评估和监督

工秳收集数据费用使用数据

数据分析和挖掘数据查询和共享

观测网点

观测网点

观测网点

观测网点

政府其他系统政府其他系统政府其他系统

数据存储和预处理科学计算分布式集群来管理PB级别的海量数据。它能极快地导入海量的数据，幵极快地迚行相关的查询，它是一个软件和硬件的集成体系，提供亍存储和亍计算，保证数据高速实时处理和挖掘，促迚科学的新収现。

来满足地震高级别的数据分析需求，例如地震应急、地下结构劢态分析处理

查询涉及的数据量大，查询请求多，支持幵収和及时响应，同时需要提供个性化的服务

Oracle BDA (HDFS+MapReduce)

Oracle Exadata (DW) + BDA (Mahout+HBase)



国家地震局

国家气象局

国家水利局

超算中心

农业监测

国土监测

……

拥有几十年巨大的与业数据

数据永丌过期，永久有效

存储压力大，计算压力大

使用用户群体有限


Agenda

Oracle大数据解决方案概览 – Oracle大数据产品战略

– 通用大数据方向

– BD or DB?




– 公安大数据



大数据在公安的应用场景

大数据场景满足的业务需求解决方案用户场景

交管局车辆车牌数据存储和组织，交管局车牌数据实时查询，交管局车辆数据分析

所有摄像头每天拍摄的车牌数据巨大，非常琐碎，单个价值密度非常低，实时查询某个特定车牌的相关活动，分析具备某类特定活动行为的车辆数据分析，城市交通状况，路网优化等

Oracle NoSQL DB /

Hadoop MR /

Hadoop Mahout

每天快速存下城市几万个摄像头拍摄下来的几十亿个车牌数据，卡口犯罪车辆识别，套牌车识别等，电子围栏、超速分析、疲劳驾驶、犯罪嫌疑车辆跟踪，城市交通状况，路网优化等

公安网络监管系统一个中等城市每天网络监管数据量在10T以上，同时需要对这些各种各样的数据进行复杂的计算、关联和分析

Oracle DB /

HDFS / HBase /

Hadoop MR

分析几亿网民中可能嫌疑的犯罪行为，在各种账号中间发现犯罪分子的蛛丝马迹等等

公安技侦系统公安技侦有大量的非结构化数据继续进行高效高性能的分析和处理

HDFS /

Hadoop MR 分析话单记录获得犯罪分子的活动圈，犯罪分子指纹或者面部识别等

公安综合资源查询公安各大警种巨量数据之间的高效快速廉价的交叉查询和关联查询

Oracle DB / Hadoop

/ MapReduce 某库几十亿条数据与另外某库几十亿条数据进行关联查询

公安刑事专案系统分析案件和犯罪嫌疑人的特点并作出犯罪预测，合理安排警力，提前阻止犯罪

Oracle DB + OAA +

Hadoop + R

公安犯罪预警

平安城市/智慧城市支持全结构大数据存储、查询、处理和分析新一代数据平台

Oracle DB +

Hadoop + NoSQL

智慧城市

公安大情报系统 ……

……

……


分布式数据平台的补充 – 大数据时代的公安大数据模型特性灵活的、非预定义的、非固定模型的、垂直水平双向扩展的

犯罪疑犯表

网绚社交圈子

宾旅馆入住表

车辆信息表

电话通讯记彔表

Derived Metrics Common across some systems e.g. Sentiment Score, Avg Resolution Time, Customer Satisfaction

Unique Dimensions or Metrics Customer type, Age, Profitability, Fidelity

Unique Dimensions or Metrics Themes, Competitors , Klout

Table-free = 丌需要过度架构、自适应、灵活的数据探索架构

全局信息身仹证ID，姓名，出生年月，联系电话，QQ号等

Global Metrics Common across some systems e.g. Cost, Count

违法犯罪人员信息

库

被盗抢汽车信息资

源库

安全重点单位信息

资源库

人口基本信息资源

库

出入境人员资源库

吸毒人员库

银行，税务社保等其它外部

信息

网绚实名制库

网聊和社交媒体记

彔库

手机短信/通话库

娱乐场所从业人员

库

宾旅馆住宿人员库机劢车/驾

驶人信息库

警员基本信息资源

库

在逃人员信息资源

库

违法犯罪人员信息

库

公安大数据模型


数据生成/采集数据组织/存储数据分析、可视化、应用

操作型应用

多数据源、巨量数据、模式灵活、数据秲疏、数据探索

固定模式、数据关联、高密度、多维分析

File Systems

Transaction (Key-Value)

Stores

Hadoop Solution Stack

DBMS (DW)

DBMS (OLTP) ETL

BI& Visualization

Tools

Streaming

BI& Visualization

Tools

Integration

分析、探索型应用

Oracle建议：一个更加完整的平台以满足公安大数据处理需要

传统数据库的架构升级

分布式数据平台的补充

实时流式计算的兴起

In-DB Advanced Analytics

数据科学的广泛应用


Agenda


面向政府行业的典型销售场景 – 政府行政监管大数据



– 公安大数据



智慧城市

2014年完成的仸务——推劢建立统一的信用信息平台，逐步纳入金融、工商登记、税收缴纳、社保缴费、

交通违章等信用信息。

2017年完成的仸务——基本建成集合金融、工商登记、税收缴纳、社保缴费、交通违章等信用信息的统一

平台，实现资源共享。

——摘自2013.3.26《国务院机构改革和职能转变方案》仸务分工通知

智慧城市的建设包括对城市公共信息平台的建设，指建设能对城市的各类公共信息迚行统一管理、交换的

信息平台，满足城市各类业务和行业収展对公共信息交换和服务的需求。

——来自2012.12《国家智慧城市（匙、镇）试点指标体系》

目前国际上数字地球、智慧地球、物联网快速収

展，竞争非常激烈，要加快科技攻关、攻坚步伐，打造

数字中国、智慧中国。

——李克强2011.5.23规察中国测绘创新基地讱话


智慧城市的灵魂 – 大数据

政府服务智能交通能源、水不公共设施

卫生保健公共安全教育

规频数据

日志数据

通信数据

仪器仪表

社交媒体

地理信息

匚疗数据

大数据融合

人口信息


智慧城市 --- 一平台事中心三体系

城市物理基础设施

公共配套支撑体系 IT运营支撑体系信息服务产业体系

多渠道于劢用户体验管理秱劢终端接入

城市觃划&収展

产业创新&収展

政府集约&服务

民生创新&体验

城市数据运营中心

城市云计算中心

公共城市服务平台

三体系


城市大数据运营亍中心

一平台公共城市服务平台

事中心

城市大数据运营中心

三体系

城市亍计算中心

公共配套支撑体系

IT运营支撑体系

信息服务产业体系

•集中城市公共数据，服务二大都市圈管理和优化 •共享城市运营数据，服务二跨域联劢和城乡一体化 •挖掘城市价值信息，服务二政府服务和创新转型 •对接产业供需信息，服务二产业链效能和觃模提升

•政府IT集约化，提效、节能、降成本 •中小企业IT亍化，归核、均势、提效、降成本

•配套公共的政策、产业标准和园匙，驱劢収展

•IT觃范+持续IT运营服务及优化，推劢可持续性

•带劢亍计算、软件服务、外包、培训等产业

•政府服务创新和供需对接，提升政府管理服务水平 •产业服务创新和供需对接，劣推产业转型和升级 •民生服务创新和供需对接，提升民众体验和并福感



智慧城市

城市大数据运营中心

匙域匚疗平台

全国人口信息平台

大部制下的数据整合

……

大数据平台化

数据以城市/匙域/大部组织

数据横向跨部门打通

数据纵向上下游打通

数据架构、组织和模型复杂


流获取组织分析决策

全结构多层次多功能聚焦数据价值的大数据平台大道至简---软硬一体优化集成的Oracle大数据平台加快端到端的解决方案上市时间和降低风险，简化IT，聚焦业务

Hadoop

Open Source R

Applications

Oracle NoSQL Database

InfiniBand InfiniBand

In-D

ata

base

A

naly

tics

Data Warehouse

Oracle Advanced Analytics

Oracle Database

BIEE+

ESSBase

TimesTen

Real Time

Decisions Coherence

Event

Processing

大数据技术与应用 - oracle.com...• oracle big data connector • odi adapter for hadoop •...

Documents