Большим данным — быстрые тесты

Большим данным –

быстрые тесты

Станислав Буткеев

О себе

– Ведущий тестировщик в 2ГИС

– За плечами 4 года

– Внутренние продукты

WWW.2GIS.RU

Мы знаем, что вы делали прошлым летом

– куда кликали,

– что искали,

– что смотрели

2gis.ru

Big

Data Статистика Online

Mobile

Desktop

«Big Data – большой объём

информации, её разнообразие и

необходимость очень быстрой

обработки данных»

Состав хранилища данных

Статистика

Справочники

WWW.2GIS.RU

20Гб ежедневно

+ 4Тб

Скачивания

баз оболочек 10 000

Москва Скачивания

баз оболочек 1000

Москва

Март 2014

Скачивания

баз оболочек 600

Москва

Март 2014

Один запуск

Скачивания

баз оболочек 200

Как тестировать?

Хранилище

данных

Внутр.

продукты

Базы

сырой

стат-ки

Внешние

продукты Отчёты

OLAP

кубы

WWW.2GIS.RU

парсеры

SSIS

14.02

Дата

Кол-во

WWW.2GIS.RU

Посещение рубрик

?

14.02

Дата

Кол-во

WWW.2GIS.RU

Посещение рубрик

Цветы

Какие есть проблемы?

Проблемы

– Данных очень много, 4Тб

– Сложные взаимосвязи между справочниками

и статистикой пользователей

– Длительное время для сборки кубов

Долгое тестирование

Целых 2 дня

Автоматизация

–Исключить человеческий фактор

–Проверка связей между справочниками

и фактами

–Корректность данных в кубах

1. Автотесты

Автотесты на кубы

2 дня 1 день

Результат №1

WWW.2GIS.RU

2 дня Прогон тестов - 4ч

Результат №1

WWW.2GIS.RU

Подготовка базы – 20ч

2. Нужно уметь создавать

срез хранилища

Подготовка тестовой среды

1. Резвёртывание тестовых БД (MSSQL, OLAP)

2. Копирование таблиц

3. Обработка кубов

10 WWW.2GIS.RU

ToolStick

WWW.2GIS.RU

WWW.2GIS.RU

Один конфиг на сборку куба

WWW.2GIS.RU

Несколько конфигов на каждый куб

WWW.2GIS.RU

Общий конфиг для всех кубов

Результат №2

WWW.2GIS.RU

1 день

1 час

БОНУС

Автоматизация пакетов

интеграции

Другие возможности

1. Запуск SQL, PostgreSQL-скриптов

2. Создание связанных серверов

3. Запуск cmd-файлов

4. Работа с rabbit-очередями

WWW.2GIS.RU

WWW.2GIS.RU

Несколько конфигов на каждый пакет

WWW.2GIS.RU

Общий конфиг для всех пакетов

WWW.2GIS.RU

Автотесты на пакеты

ИТОГО

WWW.2GIS.RU

+ ToolStick Автотесты

3. Сontinuous Integration

ToolStick + MSTest = TeamCity

Результаты выполнения теста

WWW.2GIS.RU

Результат №3

WWW.2GIS.RU

1 час 0 мин

WWW.2GIS.RU

Покрытие

42%

Заключение

Big Data тоже можно тестировать быстро:

– Использование фреймворков (ToolStick)

– Автотесты

– CI

WWW.2GIS.RU

WWW.2GIS.RU

https://github.com/2gis/ToolStick

Вопросы?

Станислав Буткеев

s.butkeev@2gis.ru