4.oracleexadata_goldengate
TRANSCRIPT
Oracle Exadata 和 GoldenGate
介绍
什么是极限性能数据库机
copy 2009 Oracle Corporation
Oracle Exadata V2 是一个完全优化的高性能数据库平台 解决传统的系统配置中的IO瓶颈 利用标准的工业化组件提供一个低TCO的系统 严格测试的预配置的系统提供极限的性能 存储的自动化管理和操作提供线性扩展的高性能和低运营成本
Exadata Storage Server Grid
bull 14高性能低成本存储服务器
bull 2 Intel Six-core Xeons each
bull 100 TB 裸高速SAS磁盘存储
or
336 TB 裸高容量SAS磁盘存储
bull 53TB 闪存存储
RAC Database Server Grid
bull 8 台双处理器高性能服务器
bull 2 Intel Six-core Xeons each
or
bull 2 台8处理器超高性能服务器
bull 8 Intel Eight-core Xeons each
InfiniBand Network
bull 40 Gbsec 服务器和存储的网络交换
copy 2010 Oracle Corporation 3
标准且简化的部署
bull 消除了数据库系统部署的复杂性
bull 随付即用
bull 经过测试的
bull 预置的
bull 无特殊配置问题
bull 由专门的Oracle工程师配置并优化
bull 运行现存的 OLTP 和 DW 应用
bull 30年的Oracle 数据库经验
bull 现有应用直接迁移无需任何修改
bull Oracle技术环境
bull 技术 知识库人 合作伙伴
几天内部署完毕而不是几个月
copy 2010 Oracle Corporation 4
平衡且优化
bull 客户化系统通常无法达到最佳性能
bull 组件不平衡 错误配置瓶颈
bull Exadata 端到端优化
bull 从磁盘到数据库传输是几十GBsec
bull 磁盘闪存控制器总线HBA 网络CPU等
bull 数据库从固件驱动操作系统网络的优化
bull 多年的调优经验
bull 没有瓶颈
bull 让系统人员有更多的时间花在业务处理上
bull 而不要设计调优维护硬件配置
端到端优化
从小到大
Full Rack
Half Rack
平衡OLTP 和 DW增长比例
Quarter Rack
copy 2010 Oracle Corporation 5
通过线缆联接可以扩展到8个机架
copy 2010 Oracle Corporation 6
bull 全部处理核数 1408 20 IBM Power 595s
bull 磁盘TB 2640 13 Rack EMC Symmetrix
bull InfiniBand 端口 864 4300 FC 端口
8 Rack Exadata 对比
数据库机完整产品线For OLTP Data Warehousing amp Consolidated Workloads
bull Quarter Half Full and Multi-Racks bull Full and Multi-Racks
Oracle Exadata X2-8Oracle Exadata X2-2
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 7 ndash
用户可选择数据库服务器操作系统
bull 可选择以下两种操作系统中的一种
bull Oracle Linux
bull Solaris 11 Express (x86) ndash Coming Soon
bull 数据库机安装时用户可要求安装那一种操作系统
bull Exadata Storage Servers存储服务器目前只支持Oracle
Linux
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 8 ndash
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
什么是极限性能数据库机
copy 2009 Oracle Corporation
Oracle Exadata V2 是一个完全优化的高性能数据库平台 解决传统的系统配置中的IO瓶颈 利用标准的工业化组件提供一个低TCO的系统 严格测试的预配置的系统提供极限的性能 存储的自动化管理和操作提供线性扩展的高性能和低运营成本
Exadata Storage Server Grid
bull 14高性能低成本存储服务器
bull 2 Intel Six-core Xeons each
bull 100 TB 裸高速SAS磁盘存储
or
336 TB 裸高容量SAS磁盘存储
bull 53TB 闪存存储
RAC Database Server Grid
bull 8 台双处理器高性能服务器
bull 2 Intel Six-core Xeons each
or
bull 2 台8处理器超高性能服务器
bull 8 Intel Eight-core Xeons each
InfiniBand Network
bull 40 Gbsec 服务器和存储的网络交换
copy 2010 Oracle Corporation 3
标准且简化的部署
bull 消除了数据库系统部署的复杂性
bull 随付即用
bull 经过测试的
bull 预置的
bull 无特殊配置问题
bull 由专门的Oracle工程师配置并优化
bull 运行现存的 OLTP 和 DW 应用
bull 30年的Oracle 数据库经验
bull 现有应用直接迁移无需任何修改
bull Oracle技术环境
bull 技术 知识库人 合作伙伴
几天内部署完毕而不是几个月
copy 2010 Oracle Corporation 4
平衡且优化
bull 客户化系统通常无法达到最佳性能
bull 组件不平衡 错误配置瓶颈
bull Exadata 端到端优化
bull 从磁盘到数据库传输是几十GBsec
bull 磁盘闪存控制器总线HBA 网络CPU等
bull 数据库从固件驱动操作系统网络的优化
bull 多年的调优经验
bull 没有瓶颈
bull 让系统人员有更多的时间花在业务处理上
bull 而不要设计调优维护硬件配置
端到端优化
从小到大
Full Rack
Half Rack
平衡OLTP 和 DW增长比例
Quarter Rack
copy 2010 Oracle Corporation 5
通过线缆联接可以扩展到8个机架
copy 2010 Oracle Corporation 6
bull 全部处理核数 1408 20 IBM Power 595s
bull 磁盘TB 2640 13 Rack EMC Symmetrix
bull InfiniBand 端口 864 4300 FC 端口
8 Rack Exadata 对比
数据库机完整产品线For OLTP Data Warehousing amp Consolidated Workloads
bull Quarter Half Full and Multi-Racks bull Full and Multi-Racks
Oracle Exadata X2-8Oracle Exadata X2-2
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 7 ndash
用户可选择数据库服务器操作系统
bull 可选择以下两种操作系统中的一种
bull Oracle Linux
bull Solaris 11 Express (x86) ndash Coming Soon
bull 数据库机安装时用户可要求安装那一种操作系统
bull Exadata Storage Servers存储服务器目前只支持Oracle
Linux
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 8 ndash
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
copy 2010 Oracle Corporation 3
标准且简化的部署
bull 消除了数据库系统部署的复杂性
bull 随付即用
bull 经过测试的
bull 预置的
bull 无特殊配置问题
bull 由专门的Oracle工程师配置并优化
bull 运行现存的 OLTP 和 DW 应用
bull 30年的Oracle 数据库经验
bull 现有应用直接迁移无需任何修改
bull Oracle技术环境
bull 技术 知识库人 合作伙伴
几天内部署完毕而不是几个月
copy 2010 Oracle Corporation 4
平衡且优化
bull 客户化系统通常无法达到最佳性能
bull 组件不平衡 错误配置瓶颈
bull Exadata 端到端优化
bull 从磁盘到数据库传输是几十GBsec
bull 磁盘闪存控制器总线HBA 网络CPU等
bull 数据库从固件驱动操作系统网络的优化
bull 多年的调优经验
bull 没有瓶颈
bull 让系统人员有更多的时间花在业务处理上
bull 而不要设计调优维护硬件配置
端到端优化
从小到大
Full Rack
Half Rack
平衡OLTP 和 DW增长比例
Quarter Rack
copy 2010 Oracle Corporation 5
通过线缆联接可以扩展到8个机架
copy 2010 Oracle Corporation 6
bull 全部处理核数 1408 20 IBM Power 595s
bull 磁盘TB 2640 13 Rack EMC Symmetrix
bull InfiniBand 端口 864 4300 FC 端口
8 Rack Exadata 对比
数据库机完整产品线For OLTP Data Warehousing amp Consolidated Workloads
bull Quarter Half Full and Multi-Racks bull Full and Multi-Racks
Oracle Exadata X2-8Oracle Exadata X2-2
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 7 ndash
用户可选择数据库服务器操作系统
bull 可选择以下两种操作系统中的一种
bull Oracle Linux
bull Solaris 11 Express (x86) ndash Coming Soon
bull 数据库机安装时用户可要求安装那一种操作系统
bull Exadata Storage Servers存储服务器目前只支持Oracle
Linux
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 8 ndash
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
copy 2010 Oracle Corporation 4
平衡且优化
bull 客户化系统通常无法达到最佳性能
bull 组件不平衡 错误配置瓶颈
bull Exadata 端到端优化
bull 从磁盘到数据库传输是几十GBsec
bull 磁盘闪存控制器总线HBA 网络CPU等
bull 数据库从固件驱动操作系统网络的优化
bull 多年的调优经验
bull 没有瓶颈
bull 让系统人员有更多的时间花在业务处理上
bull 而不要设计调优维护硬件配置
端到端优化
从小到大
Full Rack
Half Rack
平衡OLTP 和 DW增长比例
Quarter Rack
copy 2010 Oracle Corporation 5
通过线缆联接可以扩展到8个机架
copy 2010 Oracle Corporation 6
bull 全部处理核数 1408 20 IBM Power 595s
bull 磁盘TB 2640 13 Rack EMC Symmetrix
bull InfiniBand 端口 864 4300 FC 端口
8 Rack Exadata 对比
数据库机完整产品线For OLTP Data Warehousing amp Consolidated Workloads
bull Quarter Half Full and Multi-Racks bull Full and Multi-Racks
Oracle Exadata X2-8Oracle Exadata X2-2
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 7 ndash
用户可选择数据库服务器操作系统
bull 可选择以下两种操作系统中的一种
bull Oracle Linux
bull Solaris 11 Express (x86) ndash Coming Soon
bull 数据库机安装时用户可要求安装那一种操作系统
bull Exadata Storage Servers存储服务器目前只支持Oracle
Linux
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 8 ndash
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
从小到大
Full Rack
Half Rack
平衡OLTP 和 DW增长比例
Quarter Rack
copy 2010 Oracle Corporation 5
通过线缆联接可以扩展到8个机架
copy 2010 Oracle Corporation 6
bull 全部处理核数 1408 20 IBM Power 595s
bull 磁盘TB 2640 13 Rack EMC Symmetrix
bull InfiniBand 端口 864 4300 FC 端口
8 Rack Exadata 对比
数据库机完整产品线For OLTP Data Warehousing amp Consolidated Workloads
bull Quarter Half Full and Multi-Racks bull Full and Multi-Racks
Oracle Exadata X2-8Oracle Exadata X2-2
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 7 ndash
用户可选择数据库服务器操作系统
bull 可选择以下两种操作系统中的一种
bull Oracle Linux
bull Solaris 11 Express (x86) ndash Coming Soon
bull 数据库机安装时用户可要求安装那一种操作系统
bull Exadata Storage Servers存储服务器目前只支持Oracle
Linux
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 8 ndash
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
通过线缆联接可以扩展到8个机架
copy 2010 Oracle Corporation 6
bull 全部处理核数 1408 20 IBM Power 595s
bull 磁盘TB 2640 13 Rack EMC Symmetrix
bull InfiniBand 端口 864 4300 FC 端口
8 Rack Exadata 对比
数据库机完整产品线For OLTP Data Warehousing amp Consolidated Workloads
bull Quarter Half Full and Multi-Racks bull Full and Multi-Racks
Oracle Exadata X2-8Oracle Exadata X2-2
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 7 ndash
用户可选择数据库服务器操作系统
bull 可选择以下两种操作系统中的一种
bull Oracle Linux
bull Solaris 11 Express (x86) ndash Coming Soon
bull 数据库机安装时用户可要求安装那一种操作系统
bull Exadata Storage Servers存储服务器目前只支持Oracle
Linux
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 8 ndash
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
数据库机完整产品线For OLTP Data Warehousing amp Consolidated Workloads
bull Quarter Half Full and Multi-Racks bull Full and Multi-Racks
Oracle Exadata X2-8Oracle Exadata X2-2
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 7 ndash
用户可选择数据库服务器操作系统
bull 可选择以下两种操作系统中的一种
bull Oracle Linux
bull Solaris 11 Express (x86) ndash Coming Soon
bull 数据库机安装时用户可要求安装那一种操作系统
bull Exadata Storage Servers存储服务器目前只支持Oracle
Linux
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 8 ndash
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
用户可选择数据库服务器操作系统
bull 可选择以下两种操作系统中的一种
bull Oracle Linux
bull Solaris 11 Express (x86) ndash Coming Soon
bull 数据库机安装时用户可要求安装那一种操作系统
bull Exadata Storage Servers存储服务器目前只支持Oracle
Linux
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 8 ndash
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
copy 2010 Oracle Corporation 9
Oracle Database Machine产品家族
四分之一
机架 X2-2
半个机架
X2-2
整个机架
X2-2
整个机架
X2-8
2-8 整个机架
Database Servers 2 4 8 2 16-64
Exadata Storage Servers 3 7 14 14 28-112
Total Disk Capacity 21 TB 50 TB 100 TB 100TB 200 ndash 800TB
User Data (uncompressed) 6 TB 14 TB 28 TB 28TB 56 ndash 224 TB
IO Throughput (disks) 54 GBsec 125 GBsec 25 GBsec 25 GBsec 50 - 200 GBsec
IO Throughput (flash) 11 GBsec 25 GBsec 50 GBsec 50 GBsec 100 - 400 GBsec
IO per Second (IOPS) 225000 500000 1000000 1000000 1M ndash 8M
Racks 1 1 1 1 2-8
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata容量
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk1高性能磁盘 100TB 21 TB 50 TB 100 TB
高容量磁盘 336 TB 72 TB 168 TB 336 TB
Raw Flash1 53 TB 11 TB 26 TB 53 TB
User Data2
(assuming no
compression)rlm
高性能磁盘 28 TB 6 TB 14 TB 28 TB
高容量磁盘 100 TB 21 TB 50 TB 100 TB
1 ndash Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes
2 - User Data Actual space for end-user data computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp logs undo and indexes Actual user data capacity varies by application User Data capacity calculated using 1 TB = 1024 1024 1024 1024 bytes
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata 的性能指标
满配
X2-8
四分之一配
X2-2
半配
X2-2
满配
X2-2
Raw Disk Data
Bandwidth14
高性能磁盘 25 GBs 54 GBs 125 GBs 25 GBs
高容量磁盘 14 GBs 3 GBs 7 GBs 14 GBs
Raw Flash Data Bandwidth14 50 GBs 11 GBs 25 GBs 50 GBs
Max User Data Bandwidth24
(10x compression amp Flash)500 GBs 110 GBs 250 GBs 500 GBs
Disk IOPS34高性能磁盘 50000 10800 25000 50000
高容量磁盘 25000 5400 12500 25000
Flash IOPS34 1000000 225000 500000 1000000
Data Load Rate4 5 TBhr 1 TBhr 25 TBhr 5 TBhr
1 ndash Bandwidth is peak physical disk scan bandwidth assuming no compression
2 - Max User Data Bandwidth assumes scanned data is compressed by factor of 10 and is on Flash
3 ndash IOPs ndash Based on IO requests of size 8K
4 - Actual performance will vary by application
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata 五项关键技术提升速度和节约成本的关键
copy 2010 Oracle Corporation 12
Exadata 混合列压缩Exadata智能存储网格 Exadata 智能Flash闪存
Infiniband高速网络 智能扫描
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata 的存储端数据库处理逻辑
bull Exadata Storage Server 在存储端进行数据密集型处理bull 智能扫描SmartScan
bull ROW使用ldquowhererdquo谓词筛选行
bull COLUMN列筛选
bull JOIN联接筛选
bull 增量备份筛选
bull 混合型列压缩技术
bull 自动透明的存储索引
bull 扫描加密数据
bull 数据挖掘模型评价
bull 通常可将发送到数据库服务器的数据减少10 倍
bull 无需更改应用程序bull 处理是自动和透明的
bull 即使在查询期间单元或磁盘发生故障
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 13 ndash
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata 存储索引无需任何DB开销即可透明地降低 IO负荷
bull Exadata 存储索引在内存中保存表数据的汇总信息
bull 存储列的 MIN 和 MAX 值
bull 通常每 MB 磁盘空间建立一个索引项
bull 如果 MIN 和 MAX 值不匹配查询的ldquowhererdquo子句则不访问磁盘 IO
bull 完全地自动化和透明不需要开发者创建及管理
A B C D
1
3
5
5
8
3
Min B = 1
Max B =5
Table 索引
Min B = 3
Max B =8
Select from Table where Blt2 mdash 仅第一组记录匹配
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 14 ndash
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
基础技术 ndash Smart Scan 处理技术Exadata为什么快10-100x倍
Oracle 数据库网格
问题昨天的销售业绩如何
Exadata 智能存储层
SUM
Select sum(sales)
where
Date=rsquo24-
Septrsquorlmhellip
Smart Scan
在TB 级数据中扫描匹配请求的数据
构建并发Smart Scan
请求
仅仅返回满足条件的数据(行列)
Exadata还支持存储层的Join过滤索引表空间创建增量备份hellip
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 15 ndash
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
压缩的行 混合列
Row 1
Symbol Table
Row 2
Row 3
Database Block
bull很好的随机行访问特性bull好的Table Scanbull2x - 5x 压缩
Co
lum
n 1
Co
lum
n 2
Colu
mn
3
列数据库
bull很差的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
Compression Unit 1
Colu
mn 1
Colu
mn 2
Colu
mn 3
Compression Unit 2
C1
C2
C3
bull很好的随机行访问特性bull非常好的 Table Scanbull5x - 40x 压缩
行压缩 vs 列数据库 vs 混合列
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata Flash闪存提供随机IO的超级性能For OLTP
bull 数据库一体机提供总计 5 TB 的闪存bull 每智能存储服务器配置4块高速闪存卡
bull 总共56块Flash PCI卡
bull Smart Flash Cache缓存热数据bull 智能感知那些数据需要缓存
bull 基于数据库数据使用逻辑知道那些数据应该缓存那些不应该缓存
bull Exadata Flash Cache能达到bull 1百万的IOPS
bull 亚毫秒(Sub-millisecond)的响应时间Oracle is the First Flash
Optimized Database
New
Copyright copy 2010 Oracle Corporation andor its affiliates ndash 17 ndash
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
数据库集成的最佳选择
copy 2010 Oracle Corporation 18
bull 集成是减少成本的关键
bull 管理硬件软件数据中心
bull 许多数据库可被Exadata集成
bull 在一个节点上的多个小数据库
bull 采用RAC的跨多节点大数据库
bull Exadata 提供farmcloud为数据库
bull Exadata 提供复杂混合OLTP和DW负载的极限性能
bull 复杂OLTP
bull 话务网管综合告警网络地理信息集中运维平台机房资源管理信息发布网络客服等
bull 复杂Warehousing
bull Real Time BI OLAP Data Mining Reporting
bull 不同应用的多个数据库
ERP
CRM
Warehouse
Data Mart
HR
Exadata FarmCloud的数据库部署时间不变
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
19
数据库存储的集中化
bull Exadata和ASM技术允许多个数据库共享全部的存储服务器的能力
bull 存储服务器共享配置方式
bull 先进的ASM数据条带化及镜像技术允许数据库跨越全部存储服务器进行分布
bull 降低数据热点及存储浪费
bull 使每个库都能得益于全部存储并发的好处
bull 支持数据库级或集群级存储安全控制
bull 性能可预测
bull Exadata IO resource manager资源管理器基于资源分配策略排队IO请求提供可预测的性能
bull 可支持user job application or database层级的IO资源控制
bull 不需要物理独立的存储孤岛
ERP
CRM
Warehouse
Data Mart
HR
copy 2010 Oracle Corporation
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
失败保护
bull 冗余硬件bull Servers Storage Network
bull 数据库级HAbull 可容忍失败和错误
bull 完整的远程活复制
copy 2010 Oracle Corporation 20
Active
Data Guard
GoldenGate
Replication
RAC
ASM
Flashback
Secure
Backup
Online
Redefinition
ERP
CRM
Warehouse
Data Mart
HR
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
21
完整开放集成的安全
Data
Masking
Advanced
SecuritySecure
Backup
Encryption and Masking
Database
VaultLabel
Security
Access Control
Configuration
Management
Audit
Vault Total
Recall
Monitoring
copy 2010 Oracle Corporation
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
极限数据库机的优势
bull 提供极限计算能力的服务器存储和网络的整合系统
bull 预配置的系统降低人工安装配置的成本和风险 (涉及到网络DBOS存储等多方面技术人员)
bull 最快的数据库服务器能够减少多种目的服务器的部署简化系统标准
bull 最有效的没有内部瓶颈的平衡配置系统
bull 容易地按需增加处理能力无需变更应用
Best for Data Warehousing
Best for OLTP
Best for Database Consolidation
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
bull Exadata在全球所有行业已经取得了对所有竞争对手的成功
Exadata市场反馈
copy 2010 Oracle Corporation 23
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
24
Select APAC Exadata WinsSmall amp Large Customers Across all Industries Household names
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata测试案例介绍一某省移动经分应用测试
现有系统硬件bull2台Sun E25Kbull每节点28 CPU 224 GB内存网络bullPublic网络为2块1GB的网卡绑定bullPrivate(Interconnect)网络为4块1GB的网卡绑定存储bullEMC DMX-4DMX-3CX4-960IBM 4800bull总容量大概120TBbull每节点16块4GB的HBA卡软件bullDBEE 10204bullRACbull经分应用期望bull当前应用性能主要的关键报表大概需要6-7小时生成bull用户期望2小时以内生成报表
测试系统测试基于Oracle Exadata 四分之一配置bull2个数据库服务器bull2个四核 Intelreg Xeon E5540处理器 (253 GHz)bull每节点72 GB内存bull每节点带有512MB电池支援写缓存的HBA磁盘控制器bull4个146 GB SAS 10000RPM硬盘bull双端口QDR InfiniBand Host Channel Adapterbull4个内置千兆位以太网接口bull2个36端口QDR (40 Gb秒)InfiniBand交换机bull3个Sun Oracle Exadata Storage Server带有36个600 GB SAS 15000RPM硬盘包含11 TB Exadata Smart Flash Cache软件bullOracle数据库11gR2bull经分SQL语句与数据大概180GB左右29亿条记录
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata测试案例介绍一某省移动经分应用测试
bull 最高压缩比大8倍左右bull 全表扫描的执行时间随压缩比增大而减少
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata测试案例介绍一某省移动经分应用测试
测试结果bull Exadata混合列压缩(EHCC)最高压缩比可达将近8倍平均压缩比也在5倍以上
bull frac14配置IO吞吐可达45GBs而flash cache的IO吞吐可达108GBs
bull 真实的应用程序在14配置中的运行时间为6分钟而在生产环境中需要17小时性能提高168倍而优化后性能还可提高20
bull 基于复杂查询(星形)的执行时间基本在2分40秒左右完成而在生产环境中相似且数据量较小的查询需要30分钟以上性能提高12倍以上
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata测试案例介绍二某省移动结算系统测试
bull 平均列压缩率10倍bull 最大压缩率21倍bull 平均扫描速度10 GBs 相当与25块4GB的HBA卡
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Exadata测试案例介绍二某省移动结算系统测试
bull Flash Cache能使查询的性能提升2-5倍bull 基于压缩表查询的性能平均提升2-4倍
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
前面照片
7台Storage
Server
4台DB
Server
4台DB Server
Storage Server
Disk
7台Storage Server
机柜前门关闭 机柜前门打开
InfiniBand Switch
KVM
KVM Switch
CISCO Switch
InfiniBand Switch
InfiniBand Switch
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
前面照片
Exadata机柜是最大的Sun标准机柜
KVM(Keyboard Video Mouse)抽出
KVM固定卡子
机柜前门打开 KVM支持图形和字符界面
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
后面照片后面全景(三张照片拼接而成) DB Server Eth 1 插上连DB
Client用的灰色网线
KVM转换口
7台Storage Server
多种Switch详见下页照片
被密麻黑电源线挡住的8台DB Server
每台Storage Server两个电源
7台Storage Server (Cell)
InfiniBand Switch
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
后面照片InfiniBand Switch
KVM Switch
Cisco Switch
InfiniBand Switch
KVM Switch
Cisco Switch
DB Server Eth 0线
Storage Server Eth 0线
ILOM线
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
34
数据复制及容灾方案Oracle GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Oracle GoldenGate特点
GoldenGate 提供异构环境下交易数据的实时捕捉变换投递与验证
GoldenGate 具有
实时性秒一级延迟
异构环境支持在不同平台和数据库环境下复制数据
以交易为单位复制维护交易一致性
特性
高性能能够以低资源消耗完成每秒数千交易的复制
可扩展开放的结构使客户适应各种异构数据平台
可靠
保证数据的连续可用
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
GoldenGate技术架构
LANWANInternet
TCPIP
双向
捕获跟踪
传输 投递跟踪
CRM生产 CRM容灾
捕获通过读取事务日志在事务发生时捕获(也可过滤)提交的事务
跟踪记录变化数据并排入队列以备路由
传输分发数据以便路由到目标
路由压缩加密数据以便路由到目标
投递保证事务数据完整根据需要转换数据
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
灵活的拓扑结构-适用于多种场景
单向复制备份查询
双向复制灾备双业务中心
点对点多业务中心
广播复制数据分发
集中复制数据仓库N+1灾备
多级复制层次化企业数据
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
GoldenGate构建双活异构容灾系统
双活异构的特点
1容灾数据库始终Open发生故障时切换时间短
2容灾系统可分担生产系统部分业务压力资源利用率高
3容灾数据库和生产库可以跨平台跨版本跨品牌
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
GoldenGate对异构环境的支持
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2 UDB
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata
1048707 Ingres
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL HP Neoview Netezza
1048707 And ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
IBM AIX
IBM zOS
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
GoldenGate支持的主流数据库版本
bullOracle 8i (DML only)
bullOracle 91 and 92 (DML and DDL)
bullOracle 101 and 102 (DML and DDL)
bullOracle 11g (DML and DDL)
bullDB2 UDB 8x and 95 on Windows and UNIX
bullDB2 UDB for OS390 and zOS 71 (until IBM end of service
date)
bullDB2 UDB for zOS Version 81 and 91
bullSQL Server 2000 and 2005 on MS-supported OS as a source
or target
bullSQL Server 2008 on MS-supported OS as a target only
bullSybase 1254 and 15 ASE
bullMySQL versions 40 and 41
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
GoldenGate对数据类型和大数据量支持
GoldenGate支持除下列特殊类型外的所有Oracle常用数据类型和特性(包括序列中文LOB大对象ASMRAC等)
GoldenGate通过配置多个捕获进程多个投递进程的方式
可线性增加其处理能力
GoldenGate单个捕获进程每小时可处理约50G数据库日志完全可满足目前一般电信生产系统的日常运行压力GoldenGate在某移动测试证明在目标端配置13个投递进程可满足每日200GB数据库日志量压力下的数据实时同步
ANYDATA
ANYDATASET
ANYTYPE
BFILE
BINARY_INTEGER
MLSLABEL
PLS_INTEGER
TIMEZONE_ABBR
TIMEZONE_REGION
URITYPE
UROWID
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程Commit Ordered
Source Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
一致性的机制Checkpointing
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
一致性的机制Checkpointingbull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
错误恢复功能bull Capture Pump and Delivery三个进程将当前位置保存在一个checkpoint file以便于发生错误时恢复
捕获进程 应用进程传输进程Commit Ordered
Source Trail
Commit Ordered
Target Trail源生产系统 目标系统
Begin TX 1
Insert TX 1
Begin TX 2
Update TX 1
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Begin TX 4
Commit TX 3
Delete TX 4
Begin TX 2
Insert TX 2
Commit TX 2
Begin TX 3
Insert TX 3
Commit TX 3
Begin TX 2
Insert TX 2
Commit TX 2
Start of Oldest Open (Uncommitted) Transaction
Current Read Position
Capture Checkpoint
Current Write
Position
Current Read
Position
Pump Checkpoint
Current Write
Position
Current Read
Position
Delivery Checkpoint
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
源和目标的延迟检查
源生产系统 目标系统
抽取延迟
抽取
传输延迟
应用延迟
WAN
应用传输Source Trail Target Trail
端到端的延迟
Sour
ce Commit Timestamp
Targ
et Com
mit Timestamp
System Time Write to
Trail
System Time Write to Trail
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
Extract Replicat
ManagerManager
Source
Database
TablesTarget
Database
Network
(TCPIP)
Server
CollectorFiles
Or DB
Bulk Load
Utility
GoldenGate 初始数据同步方式
GoldenGate 初始化同步方式 直接加载方式GoldenGate从源端将数据库数据抽取出来直接传递给目标端的投递集成加
载到数据库中 SQLLoader方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端在目
标端采用sqlloader方式加载 传统的文件方式GoldenGate从源端将数据库数据抽取到数据文件传输到目标端再通
过GoldenGate加载到目标数据库 数据库工具方式采用rmandata pumpexport importTTS方式实现两端数据库的同步也
可以采用现成的BCVCA等第三方工具实现初始数据同步
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
GoldenGate的优势
高效率
无需与数据库交互复制效率高对源系统的影响非常小所有复制进程CPU占用率在5以内
基于交易(Transaction)的复制可以保证数据复制过程中交易的完整性
灵活
支持两种不同数据库之间的一对多多对多拓扑架构的数据同步
安装时不需要在原系统上插入表对原系统的影响非常小运行可靠性高
支持双向双活单向延时等多种复制方式
与Oracle数据库结合紧密
最大限度的利用数据库的新功能
与Oracle数据库最好的兼容性和集成
产品成熟
在全球有2000多个成功案例
强大的技术支持
Oracle全球超过6000名售后工程师可提供7x24技术支持
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
GoldenGate 成功案例
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
广东移动电子渠道应急系统GoldenGate应用
bull BOSS系统建有存储级的容灾系统但是缺乏对短时间业务
故障的高效处理手段
bull 为配合春节保障工作以及满足未来业务连续性的需求对
BOSS核心系统接入部分的网上营业厅短信营业厅自助
终端空中充值四个系统实施应急系统
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
广东移动电子渠道应急系统建设目标与规模
bull 实现四个接入系统的核心数据的数据复制并保证一定的
实时性
bull 针对四个接入系统的核心业务实现业务应急
bull 分担生产系统统计分析和报表压力
bull 采用产品Oracle GoldenGate同时支持Oracle和DB2数据库
bull 每天数据库日志数据量300GB
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
广东移动电子渠道应急系统系统架构mdash示意图
应用服务器
生产数据库
Boss
IOD
其他平台
应急数据库
GoldentGate双向数据复制
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
广东移动电子渠道应急系统OGG实施总结
GoldenGate满足应急系统对数据同步方面的各项指标要求在生产系统CPU
负载达60的业务峰值下通过一个复制进程业务数据可在10秒之内同步到
应急系统
启动数据复制功能后未接到业务异常或应用性能下降报告GoldenGate数据
同步不影响业务性能及功能
通过本次测试还显示GoldenGate以下产品特点
Oracle GoldenGate实现了核心的数据复制功能可以根据业务需求挑选应急的
数据表操作灵活方便
通过Oracle GoldenGate的Active to Active架构实现了数据容灾和应急备份最大限度地降低了计划内停机时间
启动数据复制功能后生产系统CPU负载增加在32之内内存消耗增加64MB
占系统内存消耗01总体上没有对生产系统的造成明显的性能影响
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
广东电信MBOSS系统现状
省级系统
区域系统
地市系统
网上营业厅 省综合计费结算 OCS
C网客服中心
广深韶梅汕五大C网区域中心
IBSS 计费帐务 固网一万号 自助终端
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
查询报表压力分担
实现
将实时报表从主系统剥离在ODS-D中实现准实时查询和报表业务
降低生产中心的业务压力提高系统性能和可用性
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心负责全省电信用户的业务处理数据量大交易量大
生产中心的查询统计业务量大占用大量系统资源
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
准实时数据集成平台场景
实现
简化数据提供的过程降低生产系统的压力
提供准实时的数据满足ODS-ADW对时间上的需求
目前在CRMCBSSPS系统中部署上线
业务场景
生产中心需要向ODS-ADW系统提供大量的业务数据
ODS-AEDW对生产系统提供的数据在时间上面的要求不断增强
BillingCRM
ODS
EDWETL
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
省集中数据的集中分发
实现
关键配置业务数据的实时同步分发
实现统一配置自动分发功能
业务场景
省集中之后CRM系统划分为CRM目录节点(省中心节点)和CRM实例节点(业务中心节点)两类
两类节点之间存在大量的分发数据的要求
省中心 业务节点
LAN WAN Internet
(TCPIP)Capture
Source Trail Target Trail
Delivery
单向复制
Pump
Pump
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
系统域之间数据交换
实现
实现CRM与SPS之间的订单客户资料等数据的数据传输
在保证业务数据的准实时传输的情况下降低应用层的业务负载
业务场景
本次上线的MBOSS系统中划分为BSS与OSS两大功能之间存在大量数据传输的需求
如若在应用层进行数据交换则业务压力过大
CRM SPS
LAN WAN Internet
(TCPIP)
Capture
Source TrailTarget Trail
Delivery
单向复制
Pump
Pump
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
中华人民共和国海关总署
远距离容灾
低带宽 lt2M
RPO lt3秒
双业务中心每四个月切换一次
RTO lt3分钟
IBM P690 + EMCDMX1000
Oracle RAC
Log 20G Queue 4G
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽 lt2x2M
IBM P570h -gt HP Superdome
RPO lt3秒
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate