Перспективы тестирования хранилищ данных и bi систем
DESCRIPTION
Доклад Светлана Родионовой на конференции SQA Days-12, 30 ноября-1 декабря, МинскTRANSCRIPT
![Page 1: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/1.jpg)
Докладчик
Светлана Родионова
Testing Team Lead in EPAM
БГУ радиофизика
опыт работы в IT 5 лет
skype: svetlana_kolopenko
![Page 2: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/2.jpg)
Перспективы тестирования хранилищ данных и BI систем
Светлана Родионова. EPAM Systems
![Page 3: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/3.jpg)
Сложно?
![Page 4: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/4.jpg)
НЕТ!
Заманчиво
![Page 5: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/5.jpg)
Содержание
1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать
- Что такое DWH/BI
- Преимущества BI систем в цифрах
2. Архитектура DWH/BI. Проблемы и разработанные best practices
3. Кто такой QA в BI? Высокая востребованность
![Page 6: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/6.jpg)
Содержание
1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать
- Что такое DWH/BI
- Преимущества BI систем в цифрах
2. Архитектура DWH/BI. Проблемы и разработанные best practices
3. Кто такой QA в BI? Высокая востребованность
![Page 7: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/7.jpg)
Что такое DWH/BI
Кто использует BI системы?
- Главный/технический директор(CEO/CTO)- Главы отделов и управлений- …
![Page 8: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/8.jpg)
Зачем понадобились BI системы
![Page 9: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/9.jpg)
Зачем понадобились BI системы
Невозможно использовать существующие БД Необходимо трансформировать данные в
информацию Необходимо выработать единые методологии
и алгоритмы внутри компании Растут объемы данных и нагрузки
Эффективное принятие решений
![Page 10: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/10.jpg)
Что такое DWH/BI
BI – это технология и программное решение для сбора и анализа данных,с целью оптимизации принятия решений.
Источником информации в BI является хранилище данных (DWH)
![Page 11: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/11.jpg)
Характеристики хранилищ
предметная ориентированность
интегрированность
историчность
стабильность
нацеленность на принятие решений
![Page 12: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/12.jpg)
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%Преимущества от внедрения BI (по BARC)
Преимущества BI-систем в цифрах
![Page 13: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/13.jpg)
Содержание
1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать
- Что такое DWH/BI
- Преимущества BI систем в цифрах
2. Архитектура DWH/BI. Проблемы и разработанные best practices
3. Кто такой QA в BI? Высокая востребованность
![Page 14: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/14.jpg)
Архитектура DWH/BI
источники
DWH хранилище
Анализ
Отчетность
![Page 15: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/15.jpg)
Архитектура DWH/BI
STAGINGSTORE
MARTS
![Page 16: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/16.jpg)
Архитектура DWH/BI
STAGINGSTORE
MARTS
![Page 17: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/17.jpg)
STAGING
Захват• Данные real-
time• Потеря/
порча/дублирование данных
Трансформация• Разные
форматы• Переименования
Очистка• Изоляция
ошибочных записей
+ Performance загрузки
![Page 18: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/18.jpg)
Архитектура DWH/BI
STAGING MARTSSTORE
![Page 19: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/19.jpg)
STORE
Загрузка/Чистка• Частичная
загрузка• Изоляция ошибок
Консолидация• Неверные
бизнес правила• Пропущенные
записи
Подготовка• Логические
ошибки в построении
+ Performance загрузки
![Page 20: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/20.jpg)
STAGING - STORE
Select * from source minus select * from target
SOURCE TARGET
Диаграммы Маппинг
![Page 21: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/21.jpg)
Архитектура DWH/BI
STAGINGSTORE
MARTS
![Page 22: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/22.jpg)
MARTS
Агрегация• Ошибки агрегирующих
функций• Фильтры
Предрасчеты• Ошибки расчетов• Неверная логика
расчетов
![Page 23: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/23.jpg)
STGbuild1
STORE MARTS1
ETL2STORE MARTS2
Сравнить тестовые результаты
КАК тестировать постоянно изменяющиеся системы?
Регрессия
STGbuild2
ETL1
ETL2
ETL1
![Page 24: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/24.jpg)
Архитектура DWH/BI
источники
DWH хранилище
Анализ
Отчетность
![Page 25: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/25.jpg)
Архитектура DWH/BI
Анализ
Отчетность
AD HOC
PRINT READY
![Page 26: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/26.jpg)
Анализ и отчетность
Data Mart
Отчетность
![Page 27: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/27.jpg)
Отчетность
Данные• Ошибки в
запросах в базе• Неверная логика
отчетов
Структура• Неверная
структура или /и формат
• Drills
Расчеты• Ошибки в
расчете метрик
+ Performance отчетов
![Page 28: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/28.jpg)
Содержание
1. Ждать нельзя внедрять. Или почему BI системы выгодно использовать
- Что такое DWH/BI
- Преимущества BI систем в цифрах
2. Архитектура DWH/BI. Проблемы и разработанные best practices
3. Кто такой QA в BI? Высокая востребованность
![Page 29: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/29.jpg)
Кто такой QA в BI?
![Page 30: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/30.jpg)
Кто такой QA в BI?
- Знания DW/BI
- SQL
- ETL
- OLAP
- Опыт автоматизации
- Комплексное тестовое окружение
- Менеджмент
- Специфика BI и заказчиков
![Page 31: Перспективы тестирования хранилищ данных и BI систем](https://reader035.vdocuments.pub/reader035/viewer/2022062419/557eba55d8b42a1e438b52a5/html5/thumbnails/31.jpg)
Вопросы ?