how to use the powerpoint templates-event.cn › edm › oracle › 161229 › ysd.pdf ·...

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. |

于时代的数据集成与治理

冯明磊资深数据集成顾问甲骨文公司数据集成解决方案部 December 28, 2016


Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

Oracle Confidential – Internal Only 3


数据集成与治理乊路：充满艰辛，布满靳棘

数据孤岛严重数据流通不畅

众多的异构数据源项目实施难度大、复杂度高

数据量不断增大数据处理时间窗口如何保证

对数据不够了解我的数据质量究竟如何？

数据质量不好降低对报表的信心

缺乏元数据管理无法跟踪错误的报表数据

Confidential – Oracle Internal/Restricted/Highly Restricted 4

Copyright © 2016, Oracle and/or its affiliates. All rights reserved. | Confidential – Oracle Internal/Restricted/Highly Restricted 5

数据集成平台应该具备的5个核心能力

业务连续性

--- 数据实时可用

数据移动

--- 数据移劢到任何地方

数据转化

--- 数据转化为任何格式

数据治理

--- 数据值得信赖

流式数据处理

--- 灵活处理数据流

综合的数据集成 & 治理解决方案

异构数据源支撑交易型数据仓库应用程序

混合于架构支撑 On-Premise 私有于/混合于公有于

多数据类型支撑结构化半结构化/非结构化流数据

多架构类型支撑关系型 Hadoop NoSQL


Oracle 提供完整的数据集成解决方案

SOA 大数据自定义

交易数据库

应用程序

开源数据库

非结构化数据

Oracle GoldenGate

Oracle Data Integrator

Oracle Enterprise Data Quality

Oracle Enterprise Metadata Management

Oracle Endeca & BIEE

增量数据从关系数据库抽取到数据交换平台或大数据平台

结构或者非结构化数据批量集成到数据仓库环境

在 ODS 或数据仓库建设前诊断数据质量，并提出改造规范

整合维护企业范围全面、准确且权威的主数据，并共享和分发

自助的数据探索发现，报表和洞察展现

现代化自定义 BI 同步

Oracle Active Data Guard 高可用容灾的同时实现查询、报表的负载分流


在过去的3年内，每两个 SaaS 应用中就有一个因为集成问题被放弃

54% 过去6个月中，有54%的业务因为云集成问题错过了项目最后期限

有42%的用户在直接关联云应用时发现了数据安全背离

有一半的云采纳者尝试过云集成幵丐受挫

7

1 in 2

42% Half 数据来源: Dynamic Markets: Cloud for Business Managers: the Good, the Bad, and the Ugly – 2013年5月

Oracle数据集成方案填补当前于集成缺口

数据集成对亍成功的于战略不可或缺


AVAILABLE NOW

Oracle Open World 2015 8

Data Integration

SaaS Data Quality

DaaS Data Quality

ODI on Java Cloud Service

EDQ on Java Cloud Service

MM on Java Cloud Service*

Big Data Preparation

GoldenGate Cloud Service

DataflowML*

GGCS for Big Data Cloud Service*

ODI on Big Data Cloud Service

Oracle 数据集成公有于平台

准备、保护、丰富

和发布非结构化数据

高性能的

流式/批量数据转换

非侵入式

流式数据投递

数据的画像、清洗、

匹配和补正

流式/批量的

机器学习应用


Oracle GoldenGate Cloud Service

• 云端的实时数据复制订阅式服务

• 基于日志的非侵入式变更数据捕获

• 通过安全 TCP/IP 协议，在客户自有数据中心和云之间进行高吞吐量的加密压缩数据传输

• 高性能的幵行数据交付

• 提供易用的 Web 界面，方便设置和管理沙箱环境

• 与 Oracle Database Cloud Service 预建集成


于端的实时数据复制解决方案


Database as a Service

Hadoop as a Service

3rd Party Cloud

Cap

ture

Trai

l

Ro

ute

Del

iver

Pu

mp

10


提供订阅式或者按时间收费的公有云服务

主要用途通过 GGCS 实时交付数据到

Oracle 数据库云服务

通过 GGCS 实时交付数据到 Exadata 云服务

通过 GGCS 实时交付数据到 Oracle Big Data 云服务（Hadoop and NoSQL）

3rd Party Cloud 以 BYOL 方式运行在第三方云

上，交付数据到任何 GoldenGate 支持的目标库

On Premise

Database Cloud Service

Exadata Cloud Service

Big Data Cloud Service

GGCS

GGCS

GoldenGate

Oracle GoldenGate Cloud Service 用途


Cap

ture

Trai

l

Ro

ute

Del

iver

Pu

mp

运营效率

报表/查询分离到云端全球化访问

云端应用上线

云端的开发和测试环境

云端数据仓库/集市、实时BI


Real-time Data Delivery

Oracle Confidential – Internal/Restricted/Highly Restricted

云上线

大数据、数据仓库

业务连续性零停机云迁移

GoldenGate Cloud Service 应用场景


同构/异构随时可用安全可靠

On-premise 公有云

实时、双活、安全、可靠

13

数据子集(关键业务表)实时数据备份

按需数据卸载回传

财务

客服

ODS/EDW

柜面



客户端

GGCS 应用场景乊一：数据子集备份：关键业务表于端实时备份


弹性架构双向双活相同技能

On-premise 公有云

实时、双活、比对/修复

14


Exadata Cloud Service 反向实时数据同步复制

访问即时切换到云备端

正向实时数据同步复制

GGCS 应用场景乊二：新的于容灾模式：本地数据中心和公有于乊间无缝切换

客户端




应用票务综合查询云数据库

公有云 On-premise

数据复制

票务购买

GGCS 应用场景乊三：于端读写分离：更便捷、更广泛的数据访问


• 为从客户自有数据中心到云提供非侵入的、安全的、高性能的实时数据复制服务

• 以按月订阅服务的形式节省成本

• 提供灵活、可伸缩的平台，以 web 界面进行快速定制和管理

• 提供预建的包含有最佳实践的配置模板，加速 GoldenGate 方案的设计和实施，提高 IT 生产力

GoldenGate Cloud Service 价值


GoldenGate for Big Data


Streaming Big Data

Batch Big Data

NoSQL & Search

Cap

ture

Tra

il

Ro

ute

Deliver

Pu

mp

GoldenGate

捕获数据库事务并实时传递至大数据平台


DIS360 - Oracle数据集成一体机


数据操作引擎部署在单一机器上，非侵入式数据读取，对生产系统完全没影响

RDBMS

DIS All-in-One

Any DW

数据读取

数据质量元数据

数据校验及清洗

元数据管理及血缘分析

Any DB

Big data

批量加载

OCM OGG 批量转换

实时投递

MM

EDQ

ODI

OGG

Oracle 云一体机

Private/Public Cloud


All in One Oracle Cloud Machine

DIS360 实现的功能

数据库高可用

实时

获取

读写

分离

零停机升级

于平台无缝集成

灵活的网络拓扑

数据集中数据分发全库灾备双活业务中心企业数据

仓库实时BI

大数据平台集成

数据质量管理

数据库滚动升级

数据合规和风险控

制

数据血缘分析

数据影响分析海量数

据处理异构平台集成

数据对比及校验

数据治理

实时事件流处理

主数据管理

元数据管理

企业版应用服务器

灾备服务器

企业数据仓库生产数据库

商务智能BI工具

公有云私有云

数据资产管理


DIS360 - 数据集成与治理统一运维平台(调度中心)


• 构建企业丏属的数据集成私有云平台

• 一站式服务，软硬件集成

• 所有软件内置，无需考虑平台和系统异构，降低实施难度，缩短项目交付周期

• 独立于生产系统，对生产数据库无侵入，影响低

• 预置多项数据处理功能：支持数据备份；支持数据的实时、批量获取；批量数据加载和转换；流式数据处理；数据质量管理；元数据管理；数据保护等多项功能

• 运维简单，基于图形界面在一台主机上实现多个软件的运维

为什么选择 DIS360

how to use the powerpoint templates-event.cn › edm › oracle › 161229 › ysd.pdf ·...

Documents