Как мы тестировали ситуационный центр Центральной ППК

Как мы тестировали ситуационный центр

Центральной ППК

Ася Ливенская

2

О себе

• В тестировании 6+ лет• Ведущий тестировщик – 4 года• Все эти 6 лет – в сфере заказного ПО• Окончила МИСиС (прикладная математика)

3

План доклада1. Как выглядит САЦ?2. Стенды3. Некоторые фишки организации

тестирования4. А что у нас с тест-кейсами и

документацией?5. Как мы контролируем процесс

тестирования

4

Что из себя представляет САЦ?

Система тикетов (ITSM)

НСИBI

Внешние системы

50-2000

5

Стенды

Все интегрируемые подсистемы переходят на новый стенд ОДНОВРЕМЕННО.Стенд тестирования иногда становится предпромом, а еще стендом для обучения и всяких ПСИ.

1.Стенд разработки2.Стенд тестирования3.Промышленный стенд

6

Планирование тестирования. Шаг 1

7

Планирование тестирования. Шаг 2

8

Планирование тестирования. Шаг 3

9

Нет бета-тестирования

• Она же ОЭ• Тест. -> Пром.• Ошибка на проме-> Пострелизная депрессия

10

Автотесты или руки?

• В основном – руки• Нагрузочное тестирование системы тикетов мы

решили не делать• SOAP UI – для нагрузочного тестирования внешних

веб-сервисов• Jmeter – для тестирования интеграций с внешними

системами (те самые черные квадраты)• Для тестирования наших интеграций – махинации

в интерфейсе с подсматриванием в логи.

11

Тестирование требований

• Да, мы проверяем требования до реализации.

• На практике это чуть-чуть сокращает количество ошибок, попавших к тестировщикам.

• Но не сильно Такая жизнь.

12

Тестирование системы тикетов

• 170 страниц требований

• На самом деле нет (не так страшно)

13

Тестирование системы тикетов

Когда аналитики подготовили

варианты использования

14

Тестирование системы тикетов

Что мы решили делать:• тестировать только под настоящими

ролями пользователей, никаких суперадминов

• тестировать по вариантам использования (всё как в жизни будет происходить)

• первое, что проверяли – обязательность полей, правила их заполнения

15

Роли тестировщиков

• Нет тестировщиков подсистемы, есть тестировщики интеграции.

• Подход «1 тестировщик=1 подсистема» не заработал.

• 1 интеграция с внешней системой – 1 тестировщик (он в курсе всего и всем рулит)

• НО! Каждый тестировщик примерно в курсе всей системы целиком в случае чего

16

Тест-кейсы: было

17

Тест-кейсы: стало

• Они есть!• Они обновляются для каждого релиза• Сначала определяем критичность функций• Затем частоту использования• Редкие и некритичные проверяем 1 раз,

остальные – много раз (разными тест-кейсами)• Опять же варианты использования(какая роль пользователя в какой момент и что делает) – всё как в реальной жизни

18

Виды боли

1. Отчеты в BI (100 отчетов, в одном отчете ~1500 ячеек)

2. Случаи, когда электричка опаздывает и эта информация передается внешней системой к нам

3. Тестирование интеграции с внешними системами4. Один заковыристый бизнес-процесс в системе

тикетов5. Моя личная боль – проверка интеграции с НСИ

19

Тестирование BI

20

Тестирование BI

Как справляемся:• Классы эквивалентности в столбцах отчета

(проверяем по одному значению из класса)• В тест-кейсе пишем, какой селект нужно

сделать в системе-источнике (чтоб поменьше думать в след. раз)

• Придумываем собственные межотчетные формулы

21

Опоздание электричек1. Цепочка вызовов небанальных сервисов2. Нельзя заставить нужный тебе поезд

опоздать3. Можно только ждать нужного случая4. Разбирать случившееся уже по факту

22

Опоздание электричекКак справляемся:Вот в этом случае нет никаких способов уменьшить боль, каждая новая проверка – по-прежнему уникальна, нельзя заставить поезд опаздывать.

23

Интеграция с внешними системами

1. Приходится иметь дело с людьми2. Люди из внешних систем – у них свои принципы и своя культура3. Нет доказательств, что на внешней стороне всё отработало без ошибок4. Если один тестировщик уже начал эту проверку, у нас невозможно передать потом эту проверку другому тестировщику

24

Интеграция с внешними системами

Как справляемся:1. Мы сами составляем тест-кейсы на полную

цепочку от нас к ним2. Просим присылать скриншоты3. Мы очень дружелюбные и понимающие

25

Заковыристый бизнес-процесс

26

Заковыристый бизнес-процесс

Как справляемся:• Проверили простые пути графа• Проверили полный путь графа• Проверили возможности пойти в обход

графа• Допросили аналитика, а как бывает в

реальной жизни с этим бизнес-процессом

27

Контроль прогресса тестирования“As intelligence goes up, happiness goes down. See, I made a graph. I make lots of graphs” Lisa Simpson

28

Контроль прогресса тестирования

«Ошибки на каждый день» (10 минут в день)

29

Контроль прогресса тестирования

16

6

2 1

ОткрытоНа тестированииЕсть ошибкиЗакыто

Статус проверки требований (5 минут в день)

30

Контроль прогресса тестирования

Подсчитываю: • сколько требований в день проверяем• сколько ошибок в день исправляетсяСоставляю прогноз (зная оставшееся количество дней), успеваем ли и какая должна быть скорость20 минут в конце рабочего дня на составление письма для всех

31