Иван Тимофев, hp. Архивация баз данных и миграция...

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Архивация баз данных и миграция устаревших приложенийc использованием продукта

Structured Data Manager

Тимофеев Иван

HP Big Data

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

2

Роль базы данных

• БД – хранилище структурированных данных дляприложений

• Уровень БД нужен для серверов приложений исерверов пакетной обработки

• БД может иметь копии для резервноговосстановления

• БД может часто клонироваться для тестирования иразработки

– Обычно 3-5 копий, иногда до 25

– Все эти копии требуют места на диске

HA Copy

data

Test/Dev Copies

Production

Batch Processes

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

3

Проблемы, связанные с ростом БД

• Сложность поддержки приложения

– Ухудшение производительности при росте БД

– Увеличение окна РК и восстановления

– Длительные простои при апгрейде

• Увеличение стоимости владения

– Необходимы сложные и дорогие СХД

– Необходимость поддержки и сохранения инфраструктурыустаревших приложений

• Юридические требования к хранению информации

– Финансовые данные

– Длительный срок хранения

Dat

a G

row

thО

бщ

ий

об

ъе

мд

анн

ых

Время

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

4

С другой стороны – стадии жизни данных

Высокая

Рекламации

Внутренний аудит

Изменен заказ

Частичная отгрузка

Полная отгрузка

Заказ на продажу закрыт

Срок использования Срок хранения

Тренды продаж

Низкая

Частота

доступа

Транзакции Отчетность Юридические требования

Создан заказ

Уничтожение

e-discovery событие

Конец стадиитранзакций

Частичная оплата

Время

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

5

BKUPTRAIN DEV2

UATDEV1TEST

2 34

Year

Активные и неактивные данные

• Доля активных данных существенно ниже

• Темп роста активных данных ниже

1Основная

БД

Dat

a G

row

thО

бщ

ий

об

ъем

дан

ны

х

Используемые данные

Время

Производительность

Стабильность

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

6

PRODUCTION

Приложение

ARCHIVEPRODUCTION

Приложение

Backup

Ежемесячно

CompressedActive

Backup Backup

Недельный полныйНедельный полный

Месячныйполный

ВосстановлениеВосстановление

Восстановление

ПОСЛЕДО

Оптимизация бэкапа (пример)

HP and P&G Confidential

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

7

Основные возможности SDM

• HP SDM предоставляет:

– Архивирование в БД или в файл XML,CSV

– Прозрачный доступ к архивным данным

– Централизованное управление БД разных приложений

– WEB-интерфейс управления

– Миграция устаревших приложений

– Удобный конструктор для настройки правил

– Индексирование IDOL для поиска

• Поддержка

– Поддержка Oracle, MS SQL, Sybase, DB2

– Общий JDBC коннектор для других БД

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

8

Возможные варианты архивирования

1. DB2DB

• Перенос из активной БД в архивную

• Сохранение доступа приложения к обеим базам

2. DB2F

• Перенос из активной БД в файлы XML, CSV

• Обычно используется для длительного хранениянеиспользуемых данных

• Используется для отказа от устаревших приложений(Application Retirement)

3. Много-уровневые решения

DB DB

DB XML

DB DBDB XML

DB DBXML DBLoad

DB DB

XMLCopy

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

9

Стратегия управления архивными данными

Production

Неактивныеданные

Активныеданные

Транзакц

ии

Отчетн

ость

Хранение

12 месяцев

12-36 месяцев

36-120 месяцев

Пример

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

10

Транзакц

ии

Отчетн

ость

Хранение

Использование соответствующего оборудования

Production

Малобюджетные решения

Hi-endСервера и СХД

Средний класс

Активныеданные

Неактивныеданные

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

11

Low-Tier Archive / Worm

Com

plian

ceTran

sactiveR

epo

rting

Сохранение доступа ко всем данным

ProductionHighest class

Servers and Storage

Mid-Tier class

Приложение

Обычный доступ

Расширенный доступ

Отчетность / BI

Активныеданные

Неактивныеданные

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

12

Архитектура для базовых приложений

• Данные помещаются в архивную БД

• Работа с активной частью продолжается как

и раньше

• Через дополнительный ярлык приложения

мы получаем доступ и к архивным данным

и к рабочей базе.

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

13

Архитектура для Oracle EBS

• Данные помещаются в архивную БД

• На уровне приложения без создания

дополнительных ярлыков выбирается

вариант доступа – только к активной части

или к обеим.

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

14

HA Copy

Test/Dev Copies

Production

Data cloned

Эффект от не архивирования

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

15

HA Copy

Test/Dev Copies

Production

Data cloned

Эффект от архивирования

T2/3 Storage

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

16

Визуальный редактор правил

Наглядный графический интерфейс для

моделирования правил архивирования,

правил work flow

Преднастроенные правила для Oracle E-

Business Suite и PeopleSoft

Автоматическое создание архивной

документации

Автоматическое создание необходимых

действий по работе с БД

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

18

Talkline deployed HP Database Archiving software to ensure appropriate performance levels as their customer base grew while legislation required them to retain data for longer. Additionally a major version upgrade was pending - the DBA group estimates they saved 50% of unavoidable downtime during the upgrade.

Tektronix (NYSE: TEK) deployed HP Database Archiving across multiple Oracle E-Business database. Implemented archiving to improve performance and meet compliance across 27 countries. Using XML archiving for compliance and sunsetting.

Agilent (NYSE: A) deployed HP Database Archiving within a year of initial rollout of the applications due to excessive growth rate and test/dev footprint. Agilent has experienced performance improvements, stability and storage saving in their worldwide rollout.

Customer Examples

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

19

Насколько решение масштабируется?

IT отдел HP архивирует БД с помощью

HP SDMс ноября 2009

• Время запроса уменьшено на 89%

• Объем хранилища уменьшен на 48%

• Окно полного бэкапа уменьшено на 37%

• HPIT отказался от 50% приложений с БД

• Апгрейды приложений теперь от 3 до 5 раз быстрее

К июлю 2014 - 122 БД, 836 db-db заданий, 57млрд строк заархивировано

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

20

Смысловой поиск– интеграция с IDOLПоиск в приложениях, обычный способ

• Структурированный запрос

• Поиск в каждой БД с использованием одного приложения

© Copyright 2013 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

21

Активные данные Архив

• Запрос всех БД

• Активные и архивные данныеВовлечение смыслового иконцептуального поиска дляданных

Смысловой поиск– интеграция с IDOLПоиск в приложениях, новый и более правильный способ

© Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Спасибо за внимание!