使用 oracle 数据库 11g 第2 版 实现存储管理...存储成本 过度供应...
TRANSCRIPT
存储成本过度供应
• 过度供应是一个真正的挑战– DBA 需要 2 TB,但是由于请求周期可能为数周到数月,因此请求 4 TB
– 存储管理员获取 8 TB,这样他们不必再次调整管理
• 据 Horison Information Strategies 报告,超过 60% 的磁盘空间未使用/未分配
信息来源:www.horison.com
存储管理数据存档挑战
Dividing databases into multiple
smaller databasesPurging data from databases
Offline
• 这些解决方案增加了运营和基础架构成本
• 当前的合规性挑战
• 潜在降低应用程序灵活性
存储管理性能管理
• 存储在数据库性能中起着很重要的作用,应该正确调整大小
• OLTP — 关键度量是每秒 I/O 操作数,因为 I/O 是随机的– 假设每个数据库事务有 5 个 I/O 操作
– 假设每个磁盘有 30 个 I/O 操作
– 磁盘数 =(每秒数据库事务数 * 5)/30
• 数据仓库 — 关键度量是 I/O 带宽,因为要扫描表– 根据经验,对于每个 CPU(或内核),将需要维持大约 200
Mb/秒
– 您需要调整下游 HBA、交换机和阵列的大小以匹配此吞吐量,从而保持平衡。
• 当前的仓库部署通常存在瓶颈,限制了从磁盘到服务器的数据移动– 处理器到光纤通道环路上存在存储阵列瓶颈
– 服务器中的光纤通道主机总线适配器有限
– 未配置完备的、复杂的 SAN
• 存储互连速度降至原来的 1/100 到 1/10
存储管理存储数据带宽瓶颈
存储管理更改管理
• 数据库存储配置取决于许多变量
• 哪些数据要放在哪个磁盘上• LUN 配置
• 使设备匹配负载类型(OLTP、DSS„„)
• 在可用选项之间进行权衡
• 文件清单:
• 2 个控制文件、2 个日志文件、每个表空间有多个数据文件、备份文件、临时文件等„„
• 用于创建、命名和管理的数百或数千个文件乘以数据库数 n
• 我选择的配置正确吗?• 持续调整
Oracle 解决方案规划
• 自动存储管理 (ASM) —降低存储管理成本,提高灵活性,实现性能最佳实践
• 基于磁盘的备份和恢复 —RMAN 和 OSB 能够恢复数据库和文件系统中的损坏数据
• Oracle 闪回技术 —能够恢复因人为错误而损坏的数据
• 分区 —对大型数据集进行分而治之 — 提高查询性能,改善数据加载和清除
• 高级压缩 —磁盘空间利用率提高 4 倍
• 只读表和表空间 —提高性能,实现隐私/审计合规性
• 数据库管理的信息生命周期管理 (ILM) —使用数据库管理数据存储位置,保持审计跟踪,加强安全性和合规性,并且索引、查询和搜索所有信息
• Exadata Storage Server–显著提高存储效率
自动存储管理
存储管理器旨在管理 Oracle 数据库文件,而无需额外成本
• 卷管理器
• 文件系统
• 集群功能
针对性能和可用性
SLA 可预测地交付
提高存储利用率和灵活性
简化和自动化数据库存储管理
降低成本和复杂性,并且不会影响性能或可用性
自动存储管理 (ASM)简化供应,提高性能
• 自动 I/O 负载平衡
• 将数据条带化分布到磁盘上,以平衡负载
• 最佳 I/O 吞吐量
• 自动镜像
• 高效、联机添加/删除磁盘
• 将来自多个数据库的数据整合到同一共享存储环境中
自动存储管理
DB A DB B DB C
“Oracle 自动存储管理 (ASM) 极大地增强了我们在数据库中管理存储的能力。它允许有多个层,这样我们可以使不同类型的存储设备适应不同应用程序需求和性能要求。它按需平衡以实现最佳性能。”
Donald Eyberg
Embarq 的数据库服务经理
Oracle 数据库 11g 第 2 版ASM 增强
• 改善的管理– ASM 安装和配置助手
(ASMCA)
– 功能完备的 ASMCMD
– ASM 文件访问控制
– ASM 磁盘组重命名
– 数据文件到磁盘映射
• 可调优的性能– 智能数据放置
– Sector_size
不经常访问的数据
经常访问的数据
Oracle 数据库 11g 第 2 版ASM 集群文件系统
• 通用集群或本地文件系统构建于 ASM 之上
• 优化的磁盘布局、联机添加/删除/重新平衡磁盘、集成的镜像
• 动态卷管理、只读快照
HR 销售 ERP
数据库文件Oracle 二进制文
件文件
只读表和表空间性能和管理优势
• 只读表在 11g 中提供,只读表空间在 Oracle 8i 之前已存在
• 只读表和表空间提供增强的性能和安全性– RMAN 不需要备份只读表
– 只读表的查询性能提高
– 便于实施隐私和审计合规性策略
– 可以将数据放于只读介质上
– 可以与 ILM 解决方案结合使用
基于磁盘的备份和恢复集成的消除重复和存储分层
• 完全自动化
• 快速增量备份– 仅备份更改的块
– 使用非常高效的算法跟踪更改的块 — 速度提高 20 倍
– 验证块以防止备份副本损坏
• 夜间增量备份前滚恢复区备份– 不需要进行完整备份
• 低成本的 SATA 磁盘可用于恢复区
• 或者使用存储阵列中的未使用空间闪回恢复区
在夜间应用经过验证的增量
每周归档到磁带
数据库区
Oracle 闪回技术
• 闪回从根本上改变了错误恢复– 仅对更改的数据进行操作
– 纠正错误的时间等于造成错误的时间
• 数分钟而不是数小时
• 闪回很容易– 单个命令取代复杂过程
– 根据观察,闪回数据库对 OLTP 负载的影响小于 2%
• 对于测试也有重要作用!
纠正时间 = 出错时间 + f(DB_SIZE)
0
10
20
30
40
50
60
70
80
Time To Recover (minutes)
传统恢复
闪回
Oracle 分区将数据分成可管理的单元
Col 5
Row 6
Row 5
Row 4
Row 3
Row 2
Row 1
Col 4Col 3Col 2Col 1
Customer Table
Partition Key
(Order Date)
Age < 3
Month
s
Age > 3 & < 12 Months
Age > 12 M
onths
分区类型• 范围•散列•列表
•组合
“Oracle 分区使我们的应用程序执行起来非常快。总的来说,当我们从 Oracle 数据库 10g 升级到 11g 时,性能提升约为 30 到 50%。”
Satish Palvai
Xactly 的共同创办人和首席技术官
显著减少存储使用高级压缩OLTP
• 压缩大型应用程序表– 事务处理、数据仓库
• 压缩所有数据类型– 结构化和非结构化数据类型
• 提高查询性能– 整个数据中心的级联存储节省
压缩
4 倍
高达
© 2009 Oracle Corporation
高级压缩显著改善容量和性能
0
1000
2000
3000
无压缩 压缩 0
0.1
0.2
0.3
0.4
无压缩 压缩
0
2000
4000
6000
8000
10000
12000
14000
无压缩 压缩
0
5
10
15
20
25
无压缩 压缩
节省超过 70% 的存储空间
存储消耗量
性能提高 2.5 倍
表扫描时间
索引范围扫描时间
性能无变化
表扫描读取量
读取量减少为原来的 1/3.5
MB
秒
读取量
秒
“我们的一个大型 Oracle RAC 系统是一个 16 节点系统,其中 6 个是存储节点,未压缩的数据大概有 1 PB。压缩后仅有 200 TB。”
David Apgar
业务连续性规划高可用性工程师Yahoo
信息生命周期管理经济高效的数据管理
Da
ta C
ha
racte
ristics
Age
Access Frequency
Volume
Months 1 - 3 Months 4 - 12 Months 13 - 72
Tier 1 Tier 2 Tier 3
SD
* Mission critical Applications
* Enterprise storage
* Mirroring & replication
* Continuous Data Protection
* Low-cost storage
* Flash recovery area
* Unused storage
* MAID storage
Recovery R
equirements
SD
存储层存储成本范围(2008 年 1 月)
存储层供应商 最低美元数/GB
(2008 年 1 月)
最高美元数/GB
(2008 年 1 月)
平均值
高端 EMC DMX 1000-M2 146GB,<10TB $11.10 $14.70
$13.80HP XP10000 146GB,<10TB $12.00 $16.10
IBM DS8300 146GB,<10TB $12.20 $16.90
低端 EMC CX500 146GB,<6TB $4.40 $6.00
$5.20HP EVA 4000 146GB,6TB $4.90 $6.50
IBM DS4300 146GB,<6TB $4.10 $5.50
高端和低端之间的平均差值 2.65
• 高端范围的价格通常表示针对性能配置系统•低端范围的价格通常表示针对容量配置系统•所有的负载成本都介于 5-14 美元/GB 之间
使用 Oracle 数据库实现 ILM通过分区将数据映射到存储层
1997-2001
2002
5% 常用 35% 不常用 60% 历史
订单
高端存储层2.5 倍
低端存储层
1 倍
联机归档存储层½ 倍
4 - 12 个月 13 - 72 个月1 - 3 个月
使用 Oracle 数据库实现 ILM压缩数据以提高存储利用率
订单
5% 常用 35% 不常用 60% 历史
4 - 12 个月 13 - 72 个月1 - 3 个月
1997-2001
2002
高端存储层2.5 倍
低端存储层
1 倍
联机归档存储层½ 倍
使用 Oracle 数据库实现 ILM只读表/表空间
订单
5% 常用 35% 不常用 60% 历史
4 - 12 个月 13 - 72 个月1 - 3 个月
高端存储层2.5 倍
低端存储层
1 倍
联机归档存储层½ 倍
使用 Oracle 数据库实现 ILM仅备份更改的内容
高性能存储层
低成本存储层
订单
5% 常用 35% 不常用 60% 历史
4 - 12 个月 13 - 72 个月1 - 3 个月
联机归档存储层
HP Exadata Storage Server 硬件
• 每个单元的数据带宽高达 1GB/秒
• HP DL180 G5
– 2 个 Intel 4 核处理器
– 8GB RAM
– 双端口 4X DDR InfiniBand 卡
– 12 个 SAS 或 SATA 磁盘
• 预安装了软件– Oracle Exadata Storage Server 软件
– Oracle Enterprise Linux
– HP 管理软件
• 硬件保修– 3 年部件/3 年人员/3 年现场
– 全天候、4 小时响应
Exadata Storage Server
机架式Exadata Storage Server
HP Oracle Database Machine针对高性能数据仓库进行配置
• 8 台 Oracle 数据库服务器– 64 个 Intel 处理器内核
– Oracle Enterprise Linux
• 14 台 Exadata Storage
Server
– 高达 168 TB 的原始存储
• InfiniBand 交换机
• 由 Oracle 优化、认证和支持
Exadata — 新体系结构打破数据带宽瓶颈
• Exadata 传送较少数据
– 查询处理将移入存储设备中,以便在卸载服务器 CPU 时显著减少发送给服务器的数据
• Exadata 拥有更多管道
– 模块化存储“单元”构建块组织到大量并行网格中
– 带宽随容量扩展
• Exadata 拥有较大的管道– InfiniBand 互连的数据传输速度比光纤通道快 5 倍 Exadata 移动的数据较少
且速度较快
零售商 Exadata 速度提高 — 3 倍到 50 倍
- 5.0 10.0 15.0 20.0 25.0 30.0 35.0 40.0 45.0 50.0
Recall Query
Gift Card Activations
Sales and Customer Counts
Prompt04 Clone for ACL audit
Date to Date Movement
Comparison - 53 weeks
Materialized Views Rebuild
Merchandising Level 1 Detail by
Week
Supply Chain Vendor - Year - Item
Movement
Merchandising Level 1 Detail:
Current - 52 weeks
Merchandising Level 1 Detail:
Period Ago
速度平均提高16 倍
• 数据按列存储,然后压缩
• 对于批量加载或移动的数据很有用
• 针对数据仓库的查询模式
• 通常压缩率为 10 倍
• 扫描相应增长
• 针对旧数据的存档模式
• 通常压缩率为 15 倍到 50 倍
Oracle Exadata Storage Server混合列压缩
50 倍
高达
© 2009 Oracle Corporation
Exadata 共存和迁移
• 数据库可以同时部署在 Exadata 和传统存储设备上– 表空间可以在 Exadata 存储产品、传统存储设备或二者组合上存在,并对数据库应用程序透明
– SQL 卸载处理要求表空间的所有部分都位于 Exadata 上
• 如果当前使用 ASM 和 ASM 冗余,则可以联机迁移
• 可以使用 RMAN 或 Data Guard 进行迁移
Exadata 非 Exadata
数据库服务器
联机迁移
Oracle 优势在数据管理方面的投资已逾 30 年
性能
安全性
保护性
一致性
灵活性
硬件
长期性
简单性
开放性
- 最快速、最全面的数据访问功能
- 业界最佳的安全性
- 全面保护防止数据丢失
- 数据在事务上的一致性
- 轻松适应不断变化的需求
- 完全硬件独立性
- Oracle 数据库已得到数十年的支持
- 无需管理专用数据存储
- 标准的 SQL 接口