black box testing

Тестирование «черного ящика»

Николай Васильев

ИИТУ Тестирование ПО, 2014 1

Напутствие

«Модели -‐ это мысленные инструменты, в них нет чего-‐либо принципиально правильного или неправильного. Они могут быть полезными и бесполезными.»

Б. Бейзер, «Тестирование черного ящика»


Что такое «черный ящик»?

•  Не знаю, что это, но нужно проверить что оно работает правильно

•  «Горшочек, не вари!» •  Квадрат Малевича •  Кубик-‐рубик?


Что такое «черный ящик»?

•  Не знаю, что это, но нужно проверить что оно работает правильно

•  «Горшочек, не вари!» •  Квадрат Малевича •  Кубик-‐рубик? Нет.


Тестирование «черного ящика»

А.к.а. •  Поведенческое тестирование •  Функциональное тестирование

Мы знаем, с чем имеем дело.


Тестирование по спецификации


С чего начать?

•  Какой подход к тестированию выбрать? •  Какие тесты из огромного множества выбрать?

•  Как оценить время тестирования? – На этот вопрос мы здесь не будем отвечать :)


Тестирование по модели 1.  Составление спецификации 2.  Анализ требований –  Однозначность –  Тестируемость –  Непротиворечивость

3.  Составление модели 4.  Составление тестовых сценариев по модели 5.  Проведение тестирования 6.  Анализ покрытия 7.  Повторить или завершить тестирование


Построение модели

•  Графы •  Узлы •  Связи •  Их свойства – Симметричность, транзитивность, направление…


Создание тестового набора

•  Начиная с самых простых сценариев •  Дополняем набор, чтобы обеспечить желаемую полноту тестирования (покрыть граф)

•  Проводим тесты, анализируем результаты…


Что делать со всеми этими тестами?

•  Как понять, что результат теста говорит об ошибке?

•  Где взять эталон ожидаемого значения? •  Одного ответа нет, зато есть много: –  Уже существующие тесты (работающие) – Предыдущая версия программы (stable) – Прототипная или модельная программа – Простые сценарии («синтетические») –  Сама программа (но что мы в таком случае проверяем?)


Пример. Тестирование веб-‐форм

•  hmps://metrika.yandex.ru/add/



Модель •  Заполнить имя счетчика или адрес сайта и нажать «принимаю соглашение» – Доступна кнопка «Продолжить»

•  Нажать кнопку «продолжить» – Создание счетчика – Переход на страницу со счетчиком



Анализ модели •  Узлы – действия пользователя •  Связи – последовательность действий •  Условия? – Тоже узлы – Содержат предикаты – Исходящих связей > 1

•  Граф потока управления ИИТУ Тестирование ПО, 2014 19

Граф потока управления

•  Блок-‐схема •  Модель – это программа на псевдокоде – Может существовать только у вас в голове :)

•  Как создавать тестовые сценарии по такой модели?


Граф потока управления: пишем тесты

1.  Проверить узлы графа –  Пользователь может сделать каждое действие? –  Нет ли лишних доступных действий?

2.  Проверить связи –  Правильно ли обрабатываются

последовательности действий?

3.  Проверить входы и выходы –  Как можно попасть на форму? –  Как можно выйти с формы?


Граф потока управления: rule of thumb

•  Сначала создать простые тесты •  Если простые тесты не дают нужное покрытие, сделайте более сложные

•  Если тест слишком сложен – мы что-‐то делаем не так


Пример. Тестирование веб-‐форм Тест-‐кейсы 1.  Кейс 1.

1.  Заполнить имя счетчика 2.  Нажать «принимаю условия» 3.  Нажать «продолжить» 4.  Ожидание – счетчик появился в списке

2.  Кейс 2. 1.  Заполнить сайт 2.  Дальше 1.2 – 1.4

3.  Кейс 3. 1.  Заполнить имя 2.  Заполнить сайт 3.  Дальше 1.3, 1.4

Этого достаточно?


Граф потока управления

•  А что если есть циклы в графе?


Пример. Обработчик логов событий

•  Входные данные – текстовые файлы вида user_<�mestamp>.txt –  UserID, EventTime

•  Выходные данные –  Date, UniqUsersCount

•  Входные логи появляются в real-‐�me •  Обработчик запускается по cron, обработанные логи удаляются

•  Обработчик считает, сколько было уникальных пользователей за каждый день

•  Обработчик берет все файлы которые есть


Пример. Обработчик логов событий

Явный цикл •  Входных файлов нет •  Есть один файл •  Есть много файлов Другой явный цикл •  Файл пуст •  В файле 1, 2, много записей… Неявный цикл? •  SomeId за день SomeDate не встречался •  SomeId встретился однажды •  SomeId встретился несколько раз


Модель: цикл

•  0 итерация (мимо цикла) •  1 итерация (или n первых итераций) •  Все последующие итерации •  … •  Максимальная итерация ? – В нашем примере маловероятно достичь ограничения сверху


Пример. Сложный обработчик логов

•  Входные данные – текстовые файлы вида user_<�mestamp>.txt – UserID, EventTime, EventType, TraficSource – EventType ::= Show, Click – TraficSource ::= Search, Adv, Other

•  Выходные данные – UsersClicked: Date, UserID, SearchClickCount, AdvClickCount


Модель

•  CFG не подходит. Что еще? •  Попробуем вывести •  Имеем такой же цикл, но усложненные условия


Создадим модель •  Если EventType = Click –  Если нет UserID, Date

•  Если TraficSource = Search –  Insert UserID, 1, 0

•  Если TraficSource = Adv –  Insert UserID, 0, 1

•  Иначе ничего –  Если есть UserID, Date

•  Если TraficSource = Search –  Replace UserID, searchCntOld + 1, advCntOld

•  Если TraficSource = Adv –  replace UserID, searchCntOld, advCntOld + 1

•  Иначе ничего


Тестирование потока данных

•  data flow graph •  Узлы –  Входные – параметры извне –  Вычисляющие – которые генерируют промежуточное значение

–  Выходные – которые выводят конечное значение –  Условия выбора данных

•  Связи –  «используется для вычисления», «входит в формулу»


Метод тестирования графа потока данных

1.  Проверить, дополнить спецификацию 2.  Найти входные переменные, константы 3.  Найти функции, зависящие только от

констант или входных переменных 4.  Найти функции, зависящие только от ф. из

3 5.  … 6.  профит



•  Константы –  EventType = Show, Click; TraficSource = Adv, Search, Other; 0, 1;

•  Входные переменные –  UserID, EventTime, EventType, TraficSource –  UsersClicked: Date, SearchUniqUsersCount,

AdvUniqUsersCount – с предыдущего шага •  Функции –  Определение типа события –  Определение типа источника –  Вычисление {Search|Adv}ClickCnt для новой строки –  Вычисление {Search|Adv}ClickCnt для обвовляемой строки –  …



Тесткейсы…


Пример. Сложные условия

•  Будем считать TopAc�veUniqUsers – Date, TopAc�veUniqUsersCnt

•  Критерий: SearchClickCount > 5, AdvClickCount <= 10, за день



•  Составной предикат –  SearchClickCount > 5 and AdvClickCount <= 10

•  Сколько есть вариантов входных параметров? – Maxint * maxint

•  Сколько есть вариантов выходного значения? –  2

•  Разобьем на части: –  F1 <= SearchClickCount > 5 (int -‐> boolean) –  F2 <= AdvClickCount <= 10 (int -‐> boolean) –  F3 <= F1 and F2

•  Сколько нужно тесткейсов?



true, false •  SearchClickCount > 5 – 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, …

•  AdvClickCount <= 10 – 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, …

•  Какие точки выбрать?

ИИТУ Тестирование ПО, 2014

(0, 0) (1, 1) (6, 11) (5, 5)

(6, 10) (3, 12) (3, 3) (5, 11)

(20, 5) (5, 10) (15, 3) (MAXINT, MAXINT)

40

Метод тестирования доменов

•  «граничных условий» •  Домен – область в пространстве •  Точка на границе и сразу за ней


Пример. Конвейер обработки логов

Этапы конвейера 1.  Делит входные логи на шарды –  UserID % 10 = номер шарда –  Из 1 получается 10

2.  Считает статистику UserID, Date, Count –  Заводит заявку на обновление сводной

статистики 3.  Считает сводную статистику Date,

UniqUsersCount –  Удаляет заявку


Что изменилось?

•  Для этапов конвейера есть CFG, DFG •  Создаются и удаляются заявки на обработку

•  Нет заявки – нет результата


Граф потока транзакций

•  != транзакциям в БД •  То же, что и раньше + маркеры (транзакции, заявки)

•  Узлы – обработчики заявок •  Связи – переходы заявок между узлами


Метод тестирования

1.  Проверить/дополнить спецификацию 2.  Обозначить все виды транзакций 3.  По каждому виду

1.  Как возникает 2.  Как уничтожается 3.  Как хранится

4.  Каков порядок обработки транзакций? 5.  Разбить граф на части, проверить от

малого к целому ИИТУ Тестирование ПО, 2014 46

Оценка покрытия

•  Все узлы – все этапы конвейера – слабое

•  Создание и поглощение всех заявок – лучше

•  Все связи – переходы заявок между узлами – Хорошее

•  Если конвейер straigh¤orward, можно обойтись 1 большим тест-‐кейсом


Когда использовать граф потока транзакций

1.  Есть параллельные вычисления 2.  Работа идет кусочками. Прогресс

сохраняется. 3.  Есть очереди обработки 4.  Есть механизм отправки сообщений 5.  Обработка распределена


Пример. Веб-‐интерфейс графика

•  hmps://metrika.yandex.ru/stat/traffic/?counter_id=5265289


Пример. Веб-‐интерфейс графика. Исходная


Пример. Веб-‐интерфейс графика. Другой период, другие данные


Пример. Веб-‐интерфейс графика. Другая группировка


Пример. Веб-‐интерфейс графика. Модель

•  Временной период •  Тип данных •  Способ группировки •  Состояние графика – объединение состояний его контролов

•  Графики есть почти в каждом отчете


Тестирование конечного автомата

•  Узлы – состояния •  Связи – переходы между ними •  Веса связей – условия переходов •  Начальная маркировка – Значения по-‐умолчанию для контролов – Запоминаются ли значения с прошлого визита, и как?


Методика тестирования

•  Все состояния •  Все переходы между состояниями •  От частного к целому


black box testing

Technology