greenplum: история одной миграции

Greenplum: история одной миграции

Егор Осипов Эксперт направления «Хранилища данных, аналитика и BigData»

Москва, 24.03.2015

2

О BIGDATA

3

• Стоимость • Масштабируемость • Скорость

КЛЮЧЕВЫЕ ПРЕИМУЩЕСТВА

4

• Весь ETL написан на SQL и PL/SQL

• 10-ки тысяч строк кода • >10 ТБ данных • Разработка велась почти

10 лет

О ПРОЕКТЕ

Oracle → Greenplum

5

Уменьшение времени расчета ХД

Увеличение производительности отчетности

Аудит ХД и оптимизация процесса его наполнения

ЗАДАЧИ ПРОЕКТА

6

ВХОД В ПРОЕКТ

8

КОНТРОЛЬ СУБПОДРЯДЧИКОВ

9

БЫСТРОЕ ОБУЧЕНИЕ СПЕЦИАЛИСТОВ

10

ТЕХНИЧЕСКИЕ ВОПРОСЫ

11

• Нестабильная работа - падение запросов и сегментов • Out of memory • Unexpected Internal error

• Проблемы с обновлением прошивки • Смерть серверов

КЛЮЧЕВЫЕ ТЕХНИЧЕСКИЕ ПРОБЛЕМЫ

12

• Перенос данных из Oracle в Greenplum • Работа с иерархиями • Миграция циклов • Совместимость с Oracle: функции, синтаксис

• Пакет совместимости • Least, greatest • Keep dense_rank

• Обращение к таблицам в функциях • Коррелированные подзапросы

АРХИТЕКТУРНЫЕ ЗАДАЧИ

15

ПОДЫТОЖИМ

16

17

СПАСИБО ЗА ВНИМАНИЕ!

Егор Осипов Эксперт департамента информационных технологий КРОК

111033, Москва, ул. Волочаевская, д.5, корп.1 +7 495 974 2274, +7 495 974 2277 (факс)

eosipov@croc.ru www.croc.ru