Опыт использования oracle essbase+ при работе с большими...

ОПЫТ ИСПОЛЬЗОВАНИЯ

ORACLE ESSBASE+ ПРИ РАБОТЕ

С БОЛЬШИМИ ОБЪЕМАМИ ДАННЫХ

Роман Удальцов

КОНСУЛЬТАНТ

ПО ВНЕДРЕНИЮ

БИЗНЕС-ПРИЛОЖЕНИЙ

КОМПАНИИ КРОК

О ГРУППЕ КОМПАНИЙ «СПОРТМАСТЕР»• Деятельность

− Розничный и оптовый оператор рынка спорттоваров – бренд

Спортмастер

− Розничный оператор рынка casual – бренд O’stin

• Масштаб

− Оборот в 2007 г. – более 1 млрд. $

− Количество магазинов – более 250

• География

− Операции в РФ, Украине, Белоруссии

− Магазины во всех крупных городах

• Логистика

− Более 500 точек поставки по всему миру

− Сеть собственных складов (ФРЦ, РРЦ)

БИЗНЕС-ЗАДАЧИ ПИЛОТНОГО ПРОЕКТА• Формирование ряда регламентированных отчетов

• Произвольный анализ (online) для аналитика

• Простота анализа данных для обычного пользователя, в привычном

инструменте (MS Excel)

• Скорость выполнения типовых BI-операций (drill-down/rollup) <10 секунд, в

том числе с максимальной детализацией

• Возможность сведения остатков и продаж в одном отчете

ИТ-ЗАДАЧИ ПИЛОТНОГО ПРОЕКТА• Поддержка больших объемов данных куба Essbase (сотни млн. строк

в фактах, млн. строк в измерениях)

• Производительность при создании/обновлении куба (полное обновление

< 4 часов, инкрементальное < 1.5 часов)

• Работа с атрибутами измерений (вычисляемые показатели на атрибутах,

поиск, фильтрация по атрибутам)

• Масштабируемость: рост уровней деревьев не должен требовать

изменения модели

ИСХОДНЫЕ ДАННЫЕ ПРОЕКТА

• Факты (8 месяцев, ежедневные):

− 50 млн. записей по продажам

− 520 млн. записей по остаткам

• Справочники:

− 745 записей магазины/склады

− 1 200 000 записей артикулы каталога

− 7459 записей время (примерно 20 лет)

60 Гб данных в таблицах Oracle /

55 Гб в текстовых файлах

• Оптимизатор: низкое качество генерируемого native SQL for Oracle

• Низкая производительность на реляционных источниках высокой нагрузки

и больших объемах

• Большое количество материализованных представлений, рост времени

ETL на их обновление, что приводит к выходу за допустимые временные

рамки

MICROSTRATEGY 8.01 (RELATIONAL OLAP)

ORACLE DISCOVERER 10G

FOR OLAP (MOLAP)

• Низкая производительность на больших объемах данных

(измерение товар 1 млн. артикулов /740 строк планирования)

• Медленная работа java-клиента Discoverer

(при расчете вычисляемых агрегатов)

• Отсутствие стандартизации

COGNOS BI (MULTIDIMENSIONAL OLAP)

• Отсутствие parent-child деревьев (эмуляция за счет level-based деревьев

=> проблема отображения)

• Отсутствие поддержки атрибутов измерений => эмуляция

через измерения приводит к росту объема куба и времени обновления

ПРЕДЛОЖЕННОЕ РЕШЕНИЕ

Oracle 10g

(ХД)

ETL

Hyperion

Essbase

Oracle BI Server

Oracle

Dashboards

Oracle

Answers

Oracle

BI Publisher

Oracle

Delivers

MS Office

Hyperion

Essbase Visual

Explorer

ИЗМЕРЕНИЯ И ПОКАЗАТЕЛИ

МНОГОМЕРНОГО ХРАНИЛИЩА• Измерения/иерархии:

− Время (7459, григорианский календарь), 4 уровня (год, квартал, месяц, день)

− Товар (1 200 000 артикулов) – 10 уровней, parent-child дерево

− Каналы реализации/Объекты хранения (745 элемента) – 6 уровней, parent-child

− Тип операции (10)

• Атрибуты измерений:

− Время – сезон, день недели, номер дня в неделе/месяце/сезоне/году

− Более 10 атрибутов товара (цвет, размер, коллекция, ТМ, группа, направление,

категория, подкатегория, тов.группа, тов.подгруппа, пол и т.д.)

− Каналы реализации – площадь, тип, наименование, даты, проект, дивизион

• Показатели:

− Продажи/остатки в шт. и ценах (цена реализации, ррц, с/c) и валютах (рубли, у.е.)

− Более 20 мер, включая расчетные «продажи на м2», GMROI и пр.

ПРИМЕРЫ ДЕРЕВЬЕВ В ИЗМЕРЕНИЯХ• Товары • Каналы реализации

БИЗНЕС-РЕЗУЛЬТАТЫ

ПИЛОТНОГО ПРОЕКТА• Максимальная детализации до артикула товара (около 1 млн.)

(артикул, магазин, день)

• Скорость операций в пределах 5 секунд на полных данных

• Сведение остатков и продаж в одном кубе/отчете

• Получение регламентированных отчетов в удобном для работы online-виде

(Oracle BI Publisher)

• Произвольный анализ и визуальное создание отчетов

в Hyperion Visual Explorer для продвинутого аналитика

ИТ-РЕЗУЛЬТАТЫ ПРОЕКТА

• Построено компактное многомерное хранилище (<20 Гб)

• Общее время полного построения куба – менее 1,5 часов

• Время отклика на запросы <5 секунд для типичных операций, <10 cекунд

для сложных фильтров

• Хорошая масштабируемость модели: рост уровней деревьев не требует

изменения модели

• Поддержка атрибутов измерений, вычисляемые показатели на основе

атрибутов измерений, несбалансированных parent-child деревьев

ORACLE BI EE: АНАЛИЗ ДАННЫХ ПРОДАЖ

ФИЛЬТРАЦИЯ ПО АТРИБУТАМ

ГРАФИЧЕСКИЙ DRILL-DOWN,

ВАЛОВАЯ ПРИБЫЛЬ

VISUAL EXPLORER: АНАЛИЗ

ОСТАТКОВ И ПРОДАЖ

АНАЛИЗ ОБЪЕМА РЕАЛИЗАЦИИ

АНАЛИЗ РЕАЛИЗАЦИИ ПО КАНАЛАМ

ПРОДАЖ И ВРЕМЕНИ

ВЫВОДЫ

• Проект успешно выполнен за 1 месяц

• Достигнуты все бизнес- и ИТ-результаты

• Компанией КРОК проведено обучение сотрудников Спортмастера

(по итогам которого всеми получены официальные сертификаты

Oracle Essbase Developer)

ОТЗЫВ КОМПАНИИ СПОРТМАСТЕР

«Мы выбрали Oracle Hyperion из массы протестированных нами BI-решений.

Как показал пилотный проект, мы не ошиблись. Уже сейчас можно говорить

об эффективности работы новой технологии для витрин данных, которые

мы будем создавать над нашим реляционным хранилищем.

Мы планируем запустить систему в промышленную эксплуатацию,

ее использование обеспечит распределение нагрузки и эффективное

решение задач ассортиментного анализа коллекционного

и потокового товара»

ИТ-директор группы компаний «Спортмастер»

Герман Алексеев

СПАСИБО ЗА ВНИМАНИЕ!

Роман Удальцов

КОНСУЛЬТАНТ

ПО ВНЕДРЕНИЮ

БИЗНЕС-ПРИЛОЖЕНИЙ

КОМПАНИИ КРОК

Тел: (495) 974 2274

E-mail: rudaltsov@croc.ru