Организация самообслуживаемогоbi с...
TRANSCRIPT
Организация самообслуживаемого BI с
использованием Qlik
14.06.2016
Черницын И.Г.
ПАО «Газпром нефть»
2Газпром нефть
Сбытовой блок ПАО «Газпром нефть»:
виды деятельности и масштаб
Управление автотранспортом:
бензовозы/газовозы
Услуги метрологии
Реализация нефтепродуктов оптом
Хранение нефтепродуктов
Управление >50 собств. нефтебазами
Розничная реализация нефтепродуктов
Продажи корпоративным клиентам
Управление АЗС \ АСК >1500 объектов
Реализация сопутствующих товаров,
оказание услуг моек, СТО
>800 магазинов
Численность блока –порядка 23 тыс. человек
>20 ДЗО на
территории РФ и
СНГ
36 регионов
присутствия в РФ +
4 страны СНГ
Клиентов-
участников
бонусной
программы > 6
млн. человек
3Газпром нефть
Параметры BI-системы сбытового блока (июнь 2016)
Платформа QlikView
Структура пользователей по функциям
В контуре системы все предприятия
сбытового блока ГПН, включая зарубежные
80% пользователей – сотрудники бизнес-
функций
В апреле 2016 г. число пользователей BI
превысило 1000 человек
>160 BI приложений, 19 подсистем
>60 источников данных
Ежемесячно 4-5 новых приложений и 30-40
новых пользователей + постоянный рост
среднего времени работы пользователя с BI
4Газпром нефть
Основной функционал BI-системы сбытового блока (июнь 2016)
Подсистема Функциональность
Маржинальный доход Анализ структуры маржи предприятий, включая ВГО и упр. Аналитики
Расходы Анализ структуры расходов предприятий, включая ВГО и упр. Аналитики
Экономический анализ
Расчет и анализ финансового результата с учетом ВГО и упр. аналитик, рабочего
капитала, материальный баланс
Розничные продажи Блок приложений для анализа продаж АЗС с детализацией до транзакций
Оптовые продажи Аналитика оптовых продаж с детализацией до транзакций
Ценообразование
Аналитика биржевых, региональных, заводских, оптовых и розничных цен на
нефтепродукты, ценообразование
Инвестиции Постинвестиционный мониторинг проектов розничной сети
Программа лояльности
АЗС Анализ транзакций и структуры продаж программы лояльности АЗС
Сервисы для АЗС Чек-листы, проверки АЗС, Тайный покупатель
Управление
ассортиментом АЗС
Анализ ассортимента, оборачиваемости запасов и эффективности торгового
оборудования АЗС
Сравнительный анализ
АЗС Бенчмаркинг показателей АЗС сети ГПН, расчет фин. результата по каждой АЗС
Аналитика розничных
продаж
Кросс-анализ чеков, корреляции продаж и факторов погоды, изменения цены
нефтепродуктов, разницы цен с конкурентами
Финансовый учет Куб проводок бухгалтерского, управленческого учета предприятий
Отчетность АРМ руководителя сбытового и витрины для оперативной отчетности директоров
Эффективность Анализ эффективности учетных процессов предприятий
Терминал Операционная аналитика по деятельности нефтебазового хозяйства
Модель распределения Распределение ресурса нефтепродуктов, модель товарного запаса нефтебаз
Качество данных Витрины проверки качества данных
5Газпром нефть
Условия внедрения и выбора BI
Куратор проекта BI – финансовый директор (CFO), стратегия делового партнерства
Общекорпоративный масштаб, проект BI как портфель бизнес-инициатив
подразделений
Организационная культура результата, ценности «оранжевой» модели*
Очень высокий темп организационных изменений, BI как инструмент быстрого
прототипирования и поиска бизнес-решений
Высокий уровень стандартизации и автоматизации учетных процессов
Требование максимальной адаптируемости решения без привлечения ИТ-служб и
ИТ-специалистов
Реализация BI-системы «снизу вверх»
* - Фредерик Лалу «Открывая организации будущего», 2016
6Газпром нефть
Исходная цель проекта BI – трансформация культуры, единое
информационное пространство
▪ Культура согласия, совместное использование
данных несколькими подразделениями,
регламенты взаимодействия в процессах
подготовки данных
▪ Единая аналитическая система для отчетности
и прогнозирования, используемая
руководителями и сотрудниками
▪ Отчетность и аналитика не создается в
отдельных транзакционных системах,
локальные источники данных не используются
▪ Единый глоссарий данных для подразделений
▪ Централизованные аналитические сервисы и
сервис контроля качества данных
▪ Использование системных данных для
оперативной отчетности (быстрые
интеграционные механизмы)
▪ Прозрачные модель и схема потоков данных,
централизованный контроль изменения мастер-
данных и ключевых метаданных
7Газпром нефть
Трансформация работы с отчетностью с помощью BI
Gartner’s Pace-Layered Application Strategy (Апрель 2011, Январь 2012)
• 2014 год – начало перевода
отчетности и расчетов учетных
систем в BI
• 2016 год – отчетность в BI как ИТ-
стратегия
Эффекты:
Высокая скорость
адаптации
Самообслуживание
Гибкость и глубина
аналитики за счет
объединения данных
многих источников
Единые инструмент,
культура работы с
данными и
терминология
Снижение ИТ-
расходов
8Газпром нефть
Qlik и самообслуживаемый BI
Публикации и исследования Gartner по теме
• Январь 2011 - Magic BI Quadrant – самообслуживаемый BI становится трендом
• Май 2012 - How To Deliver Self-Service BI – статья для руководителей по культурной трансформации
• Февраль 2014 - Magic BI Quadrant: фокус BI смещается от отчетности к аналитике, smart data discovery
• Февраль 2016 – Gartner Magic BI Quadrant: самообслуживаемый BI обязателен, Qlik - лидер
Динамика изменения положения лидеров Self-service BI в Gartner BI Quadrant
9Газпром нефть
Qlik и трансформация подходов к исследованию данных
Data Discovery
Практики управления данными в контуре единой BI-системы ДРП
10Газпром нефть
Qlik в сбытовом блоке ГПН – платформа самообслуживаемой
аналитики
▪ Преимущества Qlik:
самостоятельное и быстрое создание аналитических приложений бизнес-сотрудниками
(Self-Service BI)
интуитивно понятный интерфейс для объединения и исследования данных (Data
Discovery)
▪ Подход Self-Service BI подразумевает создание аналитического функционала консультантами-
аналитиками и продвинутыми пользователями без привлечения ИТ-специалистов и подрядчиков
▪ При Self-Service BI место ИТ-разработчика занимает бизнес-консультант, а фокус внедрения
смещается от технологических аспектов к пониманию и качеству данных
Практики управления данными в контуре единой BI-системы ДРП* - Gartner BI Magic Quadrant 2016
▪ Self-Service BI – доминирующий мировой тренд,
с 2018 года все BI-платформы обязательно будут
иметь функционал самообслуживания*
▪ Self-Service BI позволяет существенно ускорить
изменения в аналитике и снизить стоимость
владения отчетными и аналитическими
системами по сравнению с историческим
подходом (ИТ-бизнес), применять Agile-подход
11Газпром нефть
Организация самообслуживаемого BI – лучшие практики
Централизация (внутри блока CFO, CDO, COO или CIO) ключевых аналитических функций (BI
Center Of Excellence состоит из аналитиков Бизнес-ИТ 50%-50%)
Тотальное обучение пользователей, выращивание BI-чемпионов в каждом бизнес-
направлении
Предоставление полных полномочий по созданию собственных инструментов аналитикам и
бизнес-пользователям
Инсорсинг разработки и поддержки критичных аналитических приложений/инструментов
Организация маневренного подхода с малыми формальностями к развитию аналитических
инструментов
Рекомендации Gartner* для централизованной группы развития BI
▪ Центр компетенции по архитектуре BI
Управление дизайном и архитектурой BI-системы
Управление релизами
Управление расписанием задач обработки данных
Аудит и оптимизация приложений
▪ Центр компетенции по модели и качеству данных
Управление моделью данных
Единый глоссарий
«Единое окно» и единые правила для качества данных
▪ Центр компетенции по продвинутой аналитике и исследованию данных
Экспертиза в моделях математической статистики и оптимизации
Интеграция активностей, гармонизация/объединение моделей и подходов по созданию
инструментов продвинутой аналитики
*Источники: Gartner’s BI & Analytics Platform Magic Quadrant Study (Ноябрь 2015 г.), Gartner’s How To Deliver Self-Service BI (май 2012 г.)
12Газпром нефть
Основа принятия бизнес-решений и ключевой фактор успеха BI –
качество исходных данных
Gartner: умение Компании обеспечить
качественные данные является
ключевым фактором успеха BI
Качество данных – это степень соответствия данных
ожиданиям сотрудников и клиентов компании, так что
сотрудники с их помощью могут эффективно выполнять
свою работу и вносить вклад в достижение миссии
компании, а клиенты – успешно вести с компанией
бизнес и наслаждаться ее продуктами, сервисами и
взаимодействием
13Газпром нефть
Реализованные централизованные сервисы BI
Сервисы Функционал
BI Группа
качества
данных
Единая точка приемки обращений по нарушениям качества данных в контуре BI-системы
Формирование базы знаний о нарушениях в данных, выработка правил выявления нарушений и
контрольных соотношений по проверке данных
Постоянный мониторинг и контроль качества данных, использование тематических дашбордов
и закладок в BI-системе
Постановка задачи и контроль автоматизации правил проверки корректности данных в контуре
смежных для BI систем
Разработка методологии для нормативно-справочной информации
BI Группа
разработки
Разработка новых BI-инструментов и приложений, внутреннее тестирование
Экспертиза по сложным вопросам функциональности BI и качества данных
Консультирование методологов и специалистов по качеству данных BI
Проведение обучений пользователей и продвинутых пользователей
BI Архитектор Принятие решений по вопросам построения технической и логической архитектуры BI
Экспертиза работ и обучение специалистов по развитию и сопровождению BI
Согласование Технических заданий
Аудит и оптимизация BI-системы
Участие в проектах и контроль качества работ в случае привлечения внешних подрядчиков
BI Группа
методологии
Единая линия консультации и центр компетенции по использованию BI
Централизация методологии BI и проработки бизнес-требований
Тестирование нового функционала для всех подразделений
Разработка документации и презентаций
BI Бизнес-
администратор
Контроль критичных потоков данных BI-системы и системы управления НСИ со смежными
системами, разрешение инцидентов и взаимодействие с поставщиками данных
Ведение регламентов и аудит процессов сбора и обработки данных
Ведение централизованных справочников и регистров, необходимых для корректной
интеграции BI-системы и смежных систем, в системе управления НСИ
14Газпром нефть
Реализованная гибкая архитектура Qlik: без Хранилища данных,
виртуализация данных и единый словарь на слоях BI
Бизнес-
пользователь
Бизнес-
аналитик
Создание
новых
приложений и
инструментов
Архитектура BI-системы изолирует пользователей и аналитиков от источников данных,
предоставляя «магазин данных» со сформированным семантическим слоем для разработчиков
приложений и бизнес-аналитиков
Консультант-
разработчик
Загрузка,
объединение и
подготовка
данных в BI-
систему
Системные и несистемные
данные в источниках
Слой экстракции –
отслеживается
происхождение данных
Виртуализация и единый
словарь данных - слой
трансформации
Формирование расчетных
показателей и агрегатов
Конечные приложения в
едином словаре
15Газпром нефть
Элементы практики использования BI в сбытовом блоке ГПН
Централизация функции развития BI обеспечивает единую архитектуру и модель
данных во всех приложениях BI
Применение элементов Scrum и платформы Self-Service BI позволяет поддерживать
высокий темп развития функционала
Применение Pace-Layered Application Strategy: большая часть отчетности учетных
систем переведена в BI
Активную роль в создании новых приложений и инструментов BI играют аналитики в
бизнес-подразделениях
Культурная трансформация: кроссфункциональное взаимодействие и
информирование при разработке и эксплуатации приложений
Новые сотрудники в бизнес-подразделениях подбираются руководителями
целенаправленно на работу с BI-инструментами
>20 внутренних референс-визитов по BI для подразделений и предприятий группы
ГПН проведено, по образцу запущены аналогичные проекты в других блоках группы
16Газпром нефть
Гибкий подход к разработке с использованием элементов Scrum
17Газпром нефть
Элементы развития заказчиков и пользователей BI
Корпоративные курсы, проводимые внутренними тренерами на продуктивных
приложениях (>650 человек обучены) Базовый курс пользователя (аналог Qlik Designer)
Продвинутый дизайн
Базовый курс разработчика (аналог Qlik Developer)
Продвинутая разработка и оптимизация приложений
Мероприятия Qlik QRUG для аналитиков и разработчиков BI
Конференции Qlik
Системное обучение Тренинги по системному мышлению
Тренинги по Scrum
Дистанционное обучение на Coursera Data Science, Университет Джона Хопкинса (США)
Основы Big Data, Университета Сан-Диего (США)
Университет больших данных ВШЭ+Яндекс (Россия)
Прием на BI-стажировку профильных студентов с
дальнейшим приемом в штат бизнес-подразделений
18Газпром нефть
Благодарю за внимание!