Создание географически-распределенных датацентров на...

Введение в Oracle GoldenGate:Интеграция

данных в реальном времени

Александр Рындин

Старший консультант

Agenda

• Введение в Oracle GoldenGate

• GoldenGate для распределенных центров

• GoldenGate и ODI для распределенных центров

• GoldenGate для безостановочной миграции

• Технические подробности

• Вопросы&Ответы

Oracle Data Integration SolutionBest-in-

class Heterogeneous Platform for Data Integration

MDMApplications

SOAPlatforms

BusinessIntelligence

Activity Monitoring

Custom Applications

Oracle GoldenGate

Log-based CDC

Bi-directional Replication

Real-time Data

SOA Abstraction Layer

Service BusProcess Manager Data Services

Oracle Data Integrator

ELT/ETL

Data Transformation

Bulk Data Movement

OLTPSystem

Flat FilesData Warehouse/Data Mart

OLAP Cube Web 2.0 Web and Event Services, SOA

Storage

Data Verification

Oracle Data Quality

Data Profiling

Data Parsing

Data Cleansing

Data Federation

Data Lineage Match and Merge

Comprehensive Data Integration Solution

OracleApplications

Ключевые интеграционные продукты

• Comprehensive Integration

• ELT/ETL for Bulk Data

• Service Bus

• Process Orchestration

• Human Workflow

• Data Grid

• Business Data / Metadata

• Statistical Analysis

• Time Series Reporting

• Integrated Data Quality

• Cleansing & Parsing

• De-duplication

• High Performance

• Integrated w/ODI

• Heterogeneous E-LT & ETL

• High-speed Transformations

• OLAP Data Loading

• Data Warehouse Loading

• Real Time Data Replication

• Changed Data Capture

• DBMS High Availability

• Disaster Tolerance

• Data Service Modeling

• XQuery Data Federation

• Data Security/Redaction

• XA Compliance

• Лидирующее решение в области интеграции и репликации данных в реальном времени

• Более 2000 клиентов с 8,000+ внедрениями

в финансовом секторе, связи, медицине,

госсекторе, ритейле и коммуникациях:

• Top 3 из 5 крупнейших коммерческих

банков

• Top 3 из 3 самых нагруженных ATM сетей

• Top 7 из 10 компаний финансового

сектора

• Top 4 из 5 телекоммуникационных

провайдеров

• Top 3 из 5 крупнейших

продовольственных и аптечных сетей

GoldenGate – стратегическое решение для OracleЛучшее в своем классе решение

Oracle GoldenGate обеспечивает сбор, маршрутизацию, преобразование и доставку транзакционных данных между гетерогенными средами в реальном времени c минимальной дополнительной нагрузкой

Ключевые отличия:

Не нарушаем работу, минимальное влияние, задержки меньше секунды

Открытая, модульная архитектура –поддержка гетерогенных источников и целей

Транзакционная целостность – устойчиво к прерываниям работы и сбоям

Что такое Oracle GoldenGate?

Производительность

Гибкость и расширяемость

Надежность

Oracle GoldenGate – единая платформа

Oracle GoldenGate гетерогенная поддержка

Базы данных O/S и платформы

Сбор:

▪ Oracle

▪ DB2

▪ Microsoft SQL Server (+2008, 2012)

▪ Sybase ASE

▪ Ingres

▪ Teradata

▪ Enscribe

▪ SQL/MP

▪ SQL/MX

▪ MySQL

▪ JMS очереди

Применение:

▪ Вышеперечисленные плюс:

▪ TimesTen, Netezza, Greenplum, HP

▪ ETL продукты

▪ JMS очереди

Windows 2000, 2003, XP

Sun Solaris

HP NonStop

HP TRU64

HP OpenVMS

IBM AIX

IBM z/OS

Как работает Oracle GoldenGate

LAN/WANInternet

Capture: зафиксированные транзакции захватываются (фильтруются) по мере их появления в журналах (online, arc).

SourceOracle &

Non-OracleDatabase(s

TargetOracle &

Capture

LAN/WANInternet

Capture

SourceOracle &

TargetOracle &

Trail: записываем данные для маршрутизации.

LAN/WANInternet

Capture

TrailPump

Pump: передает данные на целевую систему

SourceOracle &

TargetOracle &

LAN/WANInternet

TCP/IP

Capture

TrailPump

Маршрутизация: данные могут быть сжаты и зашифрованы при передаче

SourceOracle &

TargetOracle &

LAN/WANInternet

TCP/IP

Capture

TrailPump Delivery

Delivery: применяет данные с транзакционной целостностью

SourceOracle &

TargetOracle &

LAN/WANInternet

TCP/IP

Двунаправленная

Capture

TrailPump Delivery

SourceOracle &

TargetOracle &

Топологии Oracle GoldenGate

Однонаправленная Перенос нагрузки

на чтение

ДвунаправленнаяLive Standby или

Active-Active for HA

Peer-to-PeerБалансировка нагрузки с несколькими главными

Трансляция Распространение

данных

Интеграция/консолидацияХранилище данных

КаскадированиеData Marts

Oracle Management Pack for Oracle

GoldenGateПростое управление решением Oracle GoldenGate

• Управляет, формирует,

конфигурирует и отслеживает

компоненты Oracle GoldenGate

• Ключевые особенности:

• Централизация управления

модулями GoldenGate

• Rich-client и Web-based интерфейс

• Отслеживает работу в реальном

времени

• Не влияет на работу

Comparison of Data Acquisition Methods

Attribute Batch

Scripts

Database

Triggers

Oracle

GoldenGate

Latency Hours Hours-

Minutes

Minutes Sub-seconds

Data Volume Medium Low Low High

Processing

Overhead

Very High

20-50+%

15-20%

Medium-High

10-15%

Transaction

Integrity

No No No Guaranteed

Transformations Intermediate Basic Basic Basic -supplemented with

ODI EE

Implementation

Complexity & Risks

Medium Medium to

High Low

Data Recoverability Medium Poor Poor Full

Management

Overhead

Medium Medium High Low

GoldenGate и Data Guard

• Для распространения информации & консолидации, обновлений &

изменения приложений

• Используйте GoldenGate - гетерогенный, active-active, преобразования,

подмножество

• Для восстановления после сбой / Защиты данных / HA

• Простая полная защита Oracle Database

• Используйте Active Data Guard

• Гибкое HA, active-active, изменения схемы, изменение платформы

• Используйте GoldenGate

• Для лучшей защиты и распространения данных используйте оба продукта

Oracle

Active Data

Oracle DB Primary Oracle DB Standby

Heterogeneou

Distributed

Fully-active

Subset

Replicas

Oracle

GoldenGate

Agenda

Oracle GoldenGate для Oracle DatabaseПовышаем ROI на

существующих серверах и синхронизация данных по всему миру

•Используем вторичные

системы для транзакций

• Нет остановки в случае

запланированного или

незапланированного

останова

• Синхронизация данных

между датацентрами

по всему миру

Решение

• Перенос данных о производстве во многих направлениях менее чем за секунду

• Позволяет транзакциям приложения быть распределенным по нескольким базам данных

• Поддержка 24*7*365 глобального процесса с точными и надежными данными

• Перенос операционной отчетности на Oracle Exadata для повышения производительности OLTP

Пример клиента: Research in Motion (RIM)Глобальная интеграция данных и высокая доступность

Oracle GoldenGate

Oracle RAC

Oracle Exadata

• Каждая фабрика должна приспосабливаться к производству новых устройству и планировать загрузку в зависимости от производства на других фабриках

• Фабричные системы должны быть доступны в режиме 24x7, чтобы работать на глобальном рынке

Oracle для хранилищ данных в реальном

времениВысочайшая скорость интеграции данных в реальном

времени, Высочайшая скорость пакетной трансформации

BI Application

Production

OLTP Databases

tx6 tx5 tx4 tx2 tx1tx3

Real-time streaming of transactions

LAN / WAN /

InternetCapture

Source TrailTarget Trail

Deliver

• Задержка данных менее секунды

• Минимальная доп. нагрузка, нет пакетного окна

• Высокая скорость, преобразования в базе данных

• Согласованные на чтения данные, ссылочная целостность

• Полная восстановимость данных с помощью Trail файлов

Agenda

Oracle GoldenGate and Oracle Data

IntegratorNon-invasive Data Capture with E-LT Micro-Batch

ProcessingApplication Real Time BI

(using Data Copy)Analytic BI

(Facts & Dims)

Oracle Data Integrator

Consistency Window

Oracle GoldenGate

Auto-GenerateData Lineage

BI ToolsMetadata

Задачи проекта миграции

• Пошаговая, безостановочная миграция в течение длительного времени (оценочно 1,5 года).

• Работа в режиме Active – Active (6 М транзакций в день, пиковая нагрузка 2 М транзакций в

час).

• Различные платформы и различные версии СУБД.

• Различные структуры баз данных. Требуются преобразования простых типов, а также BLOB,

CLOB, XML.

Архитектура как есть Архитектура как должно быть

Логическая архитектура решения

Физическая архитектура решения

Solaris 11.1

CPU 2х16

RAM 2x96GB

HDD 1.2 TB disks group

RH 5.8

RAM 12GB

HDD 1.5 TB

Результаты тестированияФункциональной тестирование: пройдено 100%• Трансформация структуры.

• Агрегация

• Изменение типа данных.

• Регулярные выражения.

• Корректность преобразования русскоязычных символов.

• Корректность наложения фильтрации на реплицируемые данные.

• Захват изменений с двух нод кластера.

Нагрузка Система Кол-во строк Разбор GG

мин.

Разбор ODI

мин.

кратная

V3 5 000 000 11 34

V4 2 000 000 12 142

20-ти

кратная

V3 31 000 000 29 126

V4 16 000 000 31 211

Нагрузочное тестирование: 20-ти кратная нагрузка

Agenda

Состояния недоступностиИсключить все остановы для Постоянной Доступности

Доступен – нет проблем

• Запланированны

й останов

• Обновление

• Миграция

• Поддержка• Незапланированный

останов

• Сбой системы

• Сбой данных

• Полу-доступен

• Проблемы с

производитель

ностью

Oracle GoldenGate для Oracle DatabaseИсключаем

останов во время обновления базы данных

• Безостановочная

миграция с 8i, 9i,

10g на 11g

• Миграция с других

баз данных (MS,

Sybase)

• Миграция на новую

версию приложения

• Минимизируем

риски с помощью

failback

Миграция без остановки, шаги: 9i → 11g Cross-Platform

Solaris

1. Запуск модуля захвата изменений

2. Запуск процесса клонирования, потом

обновление до 11g

3. Cross platform transportable tablespaces

экспорт метаданных

4. Используем полный экспорт базы вNOROWS

(Views, Packages, etc)

9i Clone → 11g

Solaris2

3,4Oracle

GoldenGate

Capture

Solaris

9i Clone →

Solaris

4. Используем полный экспорт базы

вNOROWS (Views, Packages, etc)

5. Новая инсталляция11g

6. Cross platform transportable

tablespaces импорт метаданных

7. Полный импорт в IGNORE режиме

Oracle

GoldenGate

Capture

Solaris

9i Clone → 11g

Solaris

4. Используем полный экспорт базы в

NOROWS (Views, Packages, etc)

5. Новая инсталляция11g

импорт метаданных

7. Полный импорт в IGNORE режиме

8. Запуск модуля доставки изменений

9. **SWITCHOVER** (not depicted)

Oracle

GoldenGate

Capture

Oracle

GoldenGate

Delivery

Solaris

Дополнительные шаги:

• Запуск модуля захвата изменений на 11g

• Запуск процесс доставки на 9i (old source)

9i Clone → 11g

Solaris2

Failback

contingency

Пример клиента: First Data

CorporationБезостановочная миграция базы данных

Решение:• Oracle 8i на 10g Database Upgrade & OS миграция на AIX

• Поэтапная миграция в течение 3 месяцев

• Обе системы в оперативном доступе в течение 1 месяца в режиме Active-Active, чтобы избежать останова

IIP Infrastructure

81,000

агентов одновременно

Oracle 8i

Oracle 10g

IIP Infrastructure

Oracle GoldenGate

• Merchant Services Infrastructure для web & call orders требовала обновления с 8i

• Возможность остановки отсутствовала

Oracle GoldenGate для Oracle DatabaseИзбегаем

незапланированного останова с помощью Active Data Guard & Oracle

GoldenGate

• Active Data Guard для

восстановления после

сбоя и защиты данных:

• Oracle-Oracle

databases

• Oracle GoldenGate для

восстановления после

сбоя и защиты данных:

• Non-Oracle platforms

• Конфигурация

active-active

• Cross-OS и Oracle

database версий

Oracle GoldenGate для Oracle DatabaseПовышение

производительности основной системы и снижение расходов

• Перенос нагрузки на чтение с основной системы:

• Гетерогенная

конфигурация

• Другая

OS, версия

базы данных,

другая база

• Перенос

нагрузки с

унаследов.

системы

• Среды

active-active

Пример клиента : Sabre HoldingСнижены расходы и повышена производительность

Oracle GoldenGate

Oracle & MySQL Databases

Oracle Databases

“Lookups”

GoldenGate Transaction Updates

Up to 800,000 p/hour, 1.6 TB/day

Air Travel

Shopping

Schedule &

Availability

• Поддержка миллиардов транзакций в день

• Высокая сложность архитектуры

Решение:

• Перенос “чтения” на real-time реплики

➢ 80% снижение в TCO

• Миграция движка магазина и контента с NonStop платформы на Linux/Oracle

➢ 64% снижение стоимости лицензий

➢ 88% снижение стоимости оборудования

• Миграция 160 реплик ‘для чтения’ с MySQL на Oracle

➢ 69% снижение стоимости поддержки софта

➢ 81% снижение в будущих затратах на оборудование

➢ 79% уменьшение стоимости хостинга

Выгода от Oracle GoldenGate Ниже расходы, Меньше риск,

Революционное понимание бизнеса

• Распространяем данные в реальном времени для более точного принятия решения

• Повышаем удовлетворенность клиентов, обслуживая без остановов

• Минимизация потерь данных и поддержание целостности

• Обеспечить откат в случае сбоя миграции

• Избегая остановов, снижаем расход бизнеса и IT

• Переносим нагрузку на чтение с унаследованных систем, масштабируем эффективнее

Ниже расходы, Выше эффективность

Меньше риск, Гарантированная целостность

Улучшить операции бизнеса

Oracle GoldenGate VeridataСравнение данных без остановки

• Высокоскоростное решение для

сравнения данных с низкой

дополнительной нагрузкой

• Выявляет несоответствия данных

между гетерогенными базами данных

• Не прерывает предоставление

сервиса

• Плюсы:

• Снижает финансовые/юридические

риски

• Ускоряет и упрощает работу IT при

сравнении источников данных

• Не нарушает работу бизнес-систем

• Уверенность в дублирующих системах

• Уверенность при принятии решении и

формировании отчетности

Oracle GoldenGate VeridataСравнение данных без остановки

• Высокоскоростное решение для

сравнения данных с низкой

дополнительной нагрузкой

• Выявляет несоответствия данных

между гетерогенными базами данных

• Не прерывает предоставление

сервиса

• Плюсы:

• Снижает финансовые/юридические

риски

• Ускоряет и упрощает работу IT при

сравнении источников данных

• Не нарушает работу бизнес-систем

• Уверенность в дублирующих системах

• Уверенность при принятии решении и

формировании отчетности

Oracle GoldenGate 11gR1 New Features

• Bounded recovery

• LOB теперь из журналов

• OLE DB для MSSQL

• Bind переменные в SQL

• Сбор изменений из кэша ASM

• Timeouts для транзакций

• Улучшенная трассировка

• Уведомления о модификации схемы

• DDL – двусторонний, расширена поддержка

• Отключение триггеров

• Новые типы данных

• Capture для Direct Load

Производительность Управляемость Гибкость

Платформы и инфраструктура

Oracle, SQL Server, MySQL, DB2 for iSeries, JMS

Direct Load INSERTs

• Using replication, actual application operations or changes initiated by a trigger can cause database inconsistencies

• Oracle GoldenGate now supports direct-load INSERTs

• Redo logs must have compatibility of Oracle 10g or later and supplemental logging must be enabled

• Database must be in archive log mode and the affected object must be in logging mode

• The following methods are supported:

- /*+ APPEND */ hint

- /*+ BUFFER +/ hint

- /*+ PARALLEL */ hint

- SQLLDR with DIRECT=TRUE

• SKIPDIRLOADINSERT option of TRANLOGOPTIONS causes Extract to skip all Oracle direct-load INSERTs

Oracle GoldenGate 11g – JMS как транспорт

Двунаправленная

Capture

TrailPump Delivery

SourceOracle &

TargetOracle &

New Features: GoldenGate 11.1 PS1

• Oracle Transparent Data Encryption Support (TDE)

• Column and Tablespace Level

• Use Extract DBOPTIONS Parameter DECRYPTPASSWORD

• Extract “Read-Ahead” Mechanism

• Now Parses and Reads Data in Parallel

• Reduces I/O Latency

• Replicat Asynchronous Commit

• Replicat Uses NOWAIT Option on Commit

• Improved Performance

• Available Oracle 10gR2 and Later Targets

New Features: GoldenGate 11.1 PS1

• Extract Now Integrated with RMAN for Recovery

• By Default Retains Appropriate Logs for Bounded Recovery

• Retention can be Configured for Normal Recovery

• Use Extract TRANLOGOPTIONS Parameter LOGRETENTION

• Smarter Extract in Oracle RAC Environment

• Extract now uses Redo Log Heartbeat instead of SCN to Maintain

Transaction Order

• Delivery to EHCC-Compressed Tables in Oracle Exadata

• Use Replicat Parameter INSERTAPPEND

Value Propositions для Oracle GoldenGate

Обеспечивается непрерывный сервис для бизнес-критичных

приложений, позволяя избежать запланированных и

незапланированных простое и соответствующих потерь

Меньшие IT расходы через поддержку гетерогенности для

различных платформ, что снижает затраты на инфраструктуру

Снижение рисков за счет гарантированности целостности

данных и надежности передачи в целевые системы

Высокая эффективность за счет высокой производительности

и масштабируемости средств мы обеспечены данными в

реальном времени

Облегчается совместное использование данных за счет

того, что нет влияния на существующие приложения при

извлечении данных в реальном времени

Oracle GoldenGate…

Заключение

• Характеристики

• минимальная нагрузка, низкая задержка

гетерогенность, большая база клиентов, для

Oracle - native

• Использование – построение RTDW, Query

offloading, миграция, отказоустойчивость

• Дополнительное – удобное GUI, Veridata

ALEXANDER RYNDIN

Старший консультант по

пространственным технологиям и

технологиям хранилищ данных

Moscow,

Krasnopresnenskaya

nab., 18, Block C

phone +7(495) 641-1400

fax +7(495) 641-1414

alexander.ryndin@oracle.com

http://www.oracle.com/

http://www.oraclegis.com/

Oracle CIS

Создание географически-распределенных датацентров на...

Technology

Внедрение БЛВС в территориально...

НИШ - Центр инженерных знаний...

Поддержка разработки...

smalltalk в распределенных...

mathcad - стандарт в области...

анализ состояния инженерных...

Подготовка инженерных кадров...

Оборудование для инженерных...

Осознанность рефакторинга:...

Надежная защита для малых,...

Техническое обслуживание...

Дисциплина «Компьютерное...

Регламентация ИТ-процессов в...

Защита информации в...

Построение территориально...

Имплементация инженерных...

Тенденции развития инженерных...

Презентация 1.24 - Автоматизация...

Развитие технологий построения...

Модель распределенных...