![Page 1: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/1.jpg)
<Insert Picture Here>
Технологии построения хранилищ данных:Oracle Data IntegratorРодион Константинов
![Page 2: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/2.jpg)
<Insert Picture Here>
• 4 Ключевых преимущества• Расширенные возможности• 6 шагов к внедрению• Сценарии использования
План презентации
![Page 3: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/3.jpg)
Информация там и в том виде в каком необходимоИнформация там и в том виде в каком необходимо
Данные в несогласованных источникахДанные в несогласованных источниках
ERP
------------
------
CRM
- - -
Legacy
------------
------ ---------
---
------
Best-of-breed Applications
Business IntelligenceCorporate Performance
ManagementBusiness Activity
MonitoringBusiness Process
Management
ИМЕЕМ…
НУЖНО…
Интеграция данныхИнтеграция данныхData
WarehousingMaster Data Management
SOA (Messaging)
FederationMigration
- - -- - - - - -- - -
Data Synchronization
Почему интеграция данных?
![Page 4: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/4.jpg)
Oracle Data Integrator
• Трансформация и перемещение данных из множественных источников в гетерогенной среде
1. Скорость: Архитектура “E-LT”
2. Гибкость: Активная интеграция
3. Продуктивность: Декларативный дизайн
4. Расширяемость: Модули знаний
Преимущества Отличительные возможности
![Page 5: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/5.jpg)
E-LT архитектураВысокая производительность
«Обычная» ETL Архитектура
Extract LoadTransform
Архитектура нового поколения
“E-LT”“E-LT”LoadExtract
Transform Transform
Специализированный ETL сервер
• Черный ящик• Слабая производительность• Высокая цена
Преобразования внутри СУБД• Использование современных
возможностей• Эффективность• Высокая производительность
ПреимуществаОптимальная производительность и
масштабируемостьЛегкость управления и низкая цена
![Page 6: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/6.jpg)
• Java design-time environment• Работает на любых платформах• Тонкий клиент для просмотра
метаданных
• Java runtime environment• Работает на любых платформах• Управляет выполнением потока
задач
• Metadata repository• Ставится на любую БД• Модульность и расширяемость
Design-Time
Metadata Management
Runtime
Agent
Data Flow Conductor
Service Interfaces and Developer APIs
UserInterfaces
Thin Client
Data Flow Generator
Knowledge Module Interpreter
Knowledge Modules
Master Repository
Work Repositories
Runtime Repositories
Data Flow Generator
Runtime Session
Interpreter
Data Flow
Operator
Designer
Архитектура: Концепция
![Page 7: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/7.jpg)
Архитектура: Компоненты
ODI Design-Time Environment Development Servers and Applications
Design-time Repositories
Code Execution
Execution Log Return Codes
AgentData Flow Conductor
CRM
Legacy
ERP
Data Warehouse
Files / XML
User Interfaces
Administrators
Designers
Topology/Security
Metadata/Rules
Development
ESB
Production Servers and Applications
ODI Runtime Environment
Runtime Repository Return Codes
Code
Execution Log
Execution
Metadata Navigator
Production
CRM
Legacy
ERP
Data Warehouse
Files / XML
ESB
User Interfaces
Administrators
Operators
Thin Client
Data Stewarts
Topology/Security
Execution Log
Metadata Lineage
AgentData Flow Conductor
Scenarios and ProjectsReleases
![Page 8: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/8.jpg)
Позволяет построить хранилища реального времени и хабы
Можно использовать в SOA
Oracle Data Integrator
Data-oriented Integration
Event ConductorEvent Conductor
Event-orientedIntegration
Service ConductorService Conductor
Service-orientedIntegration
Declarative Design
Metadata
Data ConductorData Conductor
Активная интеграцияCобытийная и сервис-ориентированная интеграция
• Переход от пакетной загрузки к хранилищам реального времени
• Единообразие инструмента
• Интеграция на лету
Преимущества
![Page 9: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/9.jpg)
JournalizeRead from CDC
Source
LoadFrom Sources to
Staging
CheckConstraints before
Load
IntegrateTransform and Move
to Targets
ServiceExpose Data and Transformation
Services
ReverseEngineer Metadata
Используется опыт лучших наработок Легко администрировать
Reverse
Journalize
Load
Check
IntegrateServices
CDC
Sources
Staging Tables
Error Tables
Target Tables
WS
WS W
S
SAP/R3
Siebel
Log Miner
DB2 Journals
SQL Server Triggers
Oracle DBLink
DB2 Exp/Imp
JMS Queues Check MS Excel
Check Sybase
Oracle SQL*Loader
TPump/ Multiload
Type II SCD
Oracle Merge
Siebel EIM Schema
Oracle Web Services
DB2 Web Services
Готовые модули знаний
Преимущества
Модули знаний (Knowledge Modules)Модульность, гибкость, расширяемость
![Page 10: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/10.jpg)
Готовые Knowledge Modules• Generic SQL DB• Oracle DB 9i• Oracle DB 10g• Oracle DB 10g XE• IBM DB2/400• IBM DB2/UDB• IBM Informix SE• IBM LDAP Server• MS SQL Server 2000• MS SQL Server 2005• MS SQL Server 2005 SE• MS Office Access 2000• MS Office Excel 2000• MS Active Directory• Sybase ASA 8.x & 9.x• Sybase IQ 12.x• Sonic MQ v7.0• Teradata V2R5.x• Teradata V2R6.x
• Netezza Performance Server 2.2.1• Hyperion Essbase• PostgresSQL 8.1• MySQL 4.0• MySQL 5.0• Oracle BI Suite 10g• Oracle BAM 10g• Oracle Internet Directory 9i• OpenLDAP 2.3• Siebel CRM 7.8• JD Edwards• PeopleSoft• SAP R/3• Oracle EBusiness Suite• Oracle AQ 10g• Oracle SOA Suite• Oracle ESB 10g• SalesForce.com App Exchange• Any JMS Standard Implementation
Out-of-BoxKnowledge
Modules
![Page 11: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/11.jpg)
Declarative DesignПродуктивность разработчиков
Традиционный ETL дизайнТрадиционный подход• Разработчик должен определить каждый
шаг сложного ETL процесса• Требуются специальные ETL навыки• Существенные усилия по разработке и
поддержке
Declarative Set-based Design• Уменьшается число шагов• Автоматическая генерация процедур
Преимущества Существенное ускорение обучения Уменьшение сроков внедрения Облегчение понимания для не-ИТ
персонала
ODI Declarative Design
Define How: Built-in Templates
Define What You Want
Automatically GenerateDataflow
11 22
![Page 12: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/12.jpg)
Oracle Data IntegratorРасширенные возможности
![Page 13: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/13.jpg)
Расширенные возможности
• Master Data Management enabled• Создание унифицированных форматов• Автоматическое создание канонического формата и
трансформаций• Встроенная проверка целостности данных
• Real-time enabled• Захват изменений• Message Oriented Integration (JMS)
• SOA enabled• Службы доступа к данным• Службы трансформации
• Extensibility• Knowledge Modules Framework• Языки сценариев• Open Tools
![Page 14: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/14.jpg)
MDM: Canonical Format Design
• Разработка и наполнение Канонического формата1. Использование имеющихся
объектов для построения MDM приложений (entities, fields, relationships)
2. Создание и поддержка структур эталонных данных
CRM
Enterprise Service Bus
SCM Legacy ERP
Master Data
![Page 15: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/15.jpg)
MDM: Встроенная проверка целостности данных
1. Определение ограничений (constraints) на уровне таблиц
2. Дизайн сценариев и проверка целостности
3. Просмотр, очистка или повторная обработка отброшенных записей
Message Id Name City
Duplicated Record 001 John Doe New York
Duplicated Record 022 John Doe Boston
Invalid City Reference 230 Albert Fresh Maris
![Page 16: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/16.jpg)
Real-time enabled: Changed Data Capture
• Публикация и подписка CDC Framework• Database logs
• Triggers
• Third-tier solutions
• Поддержка целостности транзакций затрагивающих несколько таблиц
1. Создайте или сгенерируйте сценарий
2. Выбирите Journalized Data Only
3. Запустите Журналирование
CDC
![Page 17: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/17.jpg)
Real-time enabled: Интеграция основанная на сообщениях
• Подключитесь к провайдеру публикации сообщений и подписки на них (JMS)
• Проверьте, что целостность сообщений не нарушается
• Сложные трансформации1. Разрабатывайте сложные
сценарии используя очереди, БД и приложения
2. Используйте JMS Queues как источники и приемники
JMS Provider(MOM, ESB)
CDC
Subscribe
Publish
![Page 18: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/18.jpg)
SOA Enabled: Data Access Services• Создавайте и публикуйте службы
доступа к данным1. Создайте службу доступа к данным
2. Протестируйте службу
3. Задействуйте службу доступа к данным в вашей SOA инфраструктуре
SOA Infrastructure
Services
Data Access
Transform
Business
Business Processes
ESB
![Page 19: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/19.jpg)
SOA Enabled: Data Flow Services
• Представьте сценарии как Web Services
1. Манипулируйте сценариями2. Публикуйте сценарии как web-
сервисы в вашей SOA инфраструктуре
SOA Infrastructure
Services
Data Access
Transform
Business
Business Processes
ESB
Bulk Transf
.
![Page 20: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/20.jpg)
JournalizeRead from CDC
Source
LoadFrom Sources to
Staging
CheckConstraints before
Load
IntegrateTransform and Move
to Targets
ServiceExpose Data and Transformation
Services
ReverseEngineer Metadata
Reverse
Journalize
Load
Check
IntegrateServices
Pluggable Knowledge Modules Architecture
CDC
Sources
Staging Tables
Error Tables
Target Tables
WS
WS W
S
Knowledge Modules
• 120+ KMs out-of-the-box Доступ к best practices Упрощение администрирования Уменьшение стоимости владения
• Переопределение и расширение
KMInterpreter
KM’s Meta Code
Metadata
Executed Code
![Page 21: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/21.jpg)
Scripting Framework
• Используйте языки сценариев
• Применяйте языки встроенные в базы данных
• SQL, PL/SQL, Transact SQL, etc.
• Используйте OS shell скрипты• Win32 DOS, sh, ksh, csh, OS400
commands, JCL, etc.
• Используйте языки совместимые с Bean Scripting Framework Java, JavaScript, Jython (Java Python), Perl, etc.
![Page 22: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/22.jpg)
Open Tool• Расширяйте ODI • Добавляйте свои инструменты в
палитру1. Определите
OdiOpenToolAbstract Java интерфейс
2. Зарегистрируйте Open Tool в Designer
3. Используйте Open Tool в среде разработки
![Page 23: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/23.jpg)
Oracle Data Integrator6 шагов к внедрению
![Page 24: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/24.jpg)
ODI Design-Time Environment ODI Runtime Environment
User Interfaces
6 шагов к внедрению1. Получите/Создайте метаданные
2. Разработайте трансформации
3. Настройте сценарии выполнения
4. Сгенерируйте сценарии
5. Мониторинг выполнения
6. Анализируйте влияние
Development
Development Servers and Applications
AgentData Flow Conductor
CRM
Legacy
ERP
Data Warehouse
Files / XML
User Interfaces
Administrators
Designers
ESB
Design-time RepositoriesDesign-time
Repositories
Production
Production Servers and Applications
AgentData Flow Conductor
CRM
Legacy
ERP
Data Warehouse
Files / XML
Operator
Metadata Navigator
ESB
Runtime Repository
![Page 25: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/25.jpg)
1. Reverse-engineer • Автоматическая• Настраиваемая• 40+ технологий
2. Создание метаданных• Документирование• Правила для целостности
данных
Design-Time Environment
ODI Designer
Design-time Repositories
Development Servers and Applications
CRM
Legacy
ERP Data Warehouse
Files / XML
ESB
Получите/Создайте метаданные11
![Page 26: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/26.jpg)
Oracle Data Integrator “Interface”
Declarative Design
11 Определите Что Вы хотите 33 Автоматически сгенерируйте трансформацию
22 Определите Как делать: Выберите шаблон
Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension
Разработайте трансформации22
![Page 27: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/27.jpg)
1. Последовательность трансформаций
2. ODI инструменты• Data Quality Processes• Files/Archives Management• Send/Receive Emails• Web Services Invokation• Event Detection• Создайте собственные
инструменты
3. Используйте • Цыклы• Условия• Обработку ошибок
33 Настройте сценарии выполнения
![Page 28: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/28.jpg)
1. Скомпилируйте сценарии для выполнения
2. Используйте управление версиями• Advanced Version Management
3. Перенесите в ProductionDesign-time Repositories
Scenarios and ProjectsReleases
Runtime Repository
Сгенерируйте сценарии44
![Page 29: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/29.jpg)
• Просмотр выполнения сессий в ральном времени
• Просмотр кода• Детальная статистика• Перезапуск сбойных сессий
55 Мониторинг выполнения
![Page 30: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/30.jpg)
Анализируйте влияния/зависимости
• Поддержка большого числа сценариев в сложных проектах
• Основанный на Web инструмент просмотра1. Отследите ваши потоки данных2. Следуйте по пути данных3. Drill-down к трансформациям
?
66
![Page 31: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/31.jpg)
Сценарии использования
![Page 32: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/32.jpg)
E-LT для хранилищ данных
Гетерогенные источники и цели
Инкрементальная загрузка Медленно меняющиеся
размерности Целостность данных Захват изменений (CDC) Анализ влияния
Data Warehouse
Cube
Cube
Cube
----------------
Оп
ер
ати
вн
ые
си
сте
мы
Ан
ал
ити
ка
Метаданные
ЗагрузкаПреобразованиеЗахват изменений
Инкрементальное обновление
АгрегацияЭкспорт
![Page 33: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/33.jpg)
Master Data Management(Управление основными данными)
Используется как инфраструктура для создания собственного хаба
Описания потоков данных
Захват изменений (CDC)
Очистка и согласование данных
Публикация эталонных данных
Расширение метаданных
Эталонные данные
----------------
Метаданные
Захват измененийЗагрузка основных данных
Разработка Канонического форматаОчистка и согласование
Публикация эталонных данных
----------------
CDCCDC
CDC
![Page 34: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/34.jpg)
Миграция
Массовая перегрузка данных в новое приложение
Преобразование форматов
Синхронизация старого и нового приложения в период совместного использования
Двусторонний захват изменений (CDC)
Ста
ро
е п
ри
ло
же
ни
е
Но
во
е п
ри
ло
же
ни
е
Метаданные
Начальная загрузкаCDC для синхронизации
Преобразование в новый формат
Двусторонний захват изменений
CDC
CDC----------------
![Page 35: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/35.jpg)
Использование в SOA
Вызов внешних сервисов для интеграции
Создание сервисов
Публикация сервисов
Services
Data Access
Transformation
Others
----------------
Оп
ер
ати
вн
ые
си
сте
мы
Метаданные
Создание сервисовПубликация сервисов
Развертывание и использование сервисов
Business Processes
![Page 36: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/36.jpg)
Oracle Data Integrator: Roadmap
• Focus Areas for Next Major Release• Deep Integration with Fusion Middleware
• Runtime, Design time, Security, Administration, Events
• Functional Integration with Oracle Warehouse Builder• Runtime Integration, Metadata Sharing, Knowledge Module Sharing
• Deployment of ODI for Embedded Data Integration• OracleBI Enterprise Edition, Data Hubs, Application Migrations
• Enhanced Usability and Debuggability• Wizards, New Views, User-definable Debugging
• Improved Support for Native Oracle Database Features• Oracle OLAP
![Page 37: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/37.jpg)
Заказчики
![Page 38: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/38.jpg)
AQ&
![Page 39: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/39.jpg)
![Page 40: Технологии построения хранилищ данных: Oracle Data Integrator](https://reader036.vdocuments.pub/reader036/viewer/2022062309/5681592f550346895dc66183/html5/thumbnails/40.jpg)