testing mistakes

РАСПРОСТРАНЕННЫЕ ОШИБКИ В ИДЕОЛОГИИ, ПЛАНИРОВАНИИ И ПРОВЕДЕНИИ ТЕСТИРОВАНИЯ

2

Цели и задачи:

• Что за ошибки?• Почему это ошибки?• Как их избежать?

Oracle ISV Forum 3

Классификация ошибок

• Идеология и методология• Планирование• Персонал• Механика• Технологии

Oracle ISV Forum 4

ИДЕОЛОГИЯ И МЕТОДОЛОГИЯ

Oracle ISV Forum 5

Идеология и методология - 1

Oracle ISV Forum 6

Группа тестирования ответственна за обеспечение качества

• Группа тестирования ответственна за контроль и измерение качества!

• Обеспечение качества – командная задача

Идеология и методология - 2

Oracle ISV Forum 7

«Цель тестирования – нахождение дефектов»

Идеология и методология - 2

Oracle ISV Forum 8

«Цель тестирования – нахождение важных дефектов»

Важных - ?

Идеология и методология - 3

Oracle ISV Forum 9

• Удобство использования• Вопросы масштабирования• Вопросы локализации• …

Узость представление о тестировании – что считать дефектами?

Идеология и методология - 4

Oracle ISV Forum 10

Пренебрежение оценками качества и качеством этих оценок• Метрики• Покрытие• Тестирование• Контекст оценок

Идеология и методология - 5

Oracle ISV Forum 11

Слишком позднее начало тестирования

• Некогда проводить• Некогда исправлять• Пропускаем дефекты• …

Oracle ISV Forum 12

Идеология и методология - сумма

• «Цель команды тестирования – обеспечение качества»

• «Цель команды тестирования – находить дефекты»

• Узость взглядов на задачи тестирования

• Пренебрежение оценками качества и качества оценок

• Слишком позднее тестирование

ПЛАНИРОВАНИЕ

Oracle ISV Forum 13

Oracle ISV Forum 14

Неправильное определение рисков

Планирование - 1

• Ставит под вопрос эффективность всего следующего процесса

• Упускаем важные дефекты

Планирование - 2

Oracle ISV Forum 15

Излишний фокус на функциональном тестировании

• Пользователь реализует свои задачи, а не функционал

• Упускаем типовые шаблоны работы пользователей• Можем пропустить важные ошибки

Планирование - 3

Oracle ISV Forum 16

Планирование нагрузочных тестов на последний момент

• Тяжело• Долго• Дорого исправлять

Планирование - 4

Oracle ISV Forum 17

Переоценка возможностей β-тестирования• Предвзятость тестеров• Несерьезное использование (не «боевое»)• Редко отсылают отчеты о дефектах• Ценность отчетов сомнительна• Не дают отчетов по удобству использования

Планирование - 5

Oracle ISV Forum 18

В планы не вносится «исследовательское» тестирование

• Гипотетические дефекты пропускаются• Не испытываются новые последовательности

действий

Oracle ISV Forum 19

Планирование- сумма

• Неправильное определение рисков• Излишний фокус на функциональном

тестировании• Планирование нагрузочных тестов на

последний момент• Переоценка возможностей β -

тестирования• Отсутствие в планах

«исследовательского тестирования»

ПЕРСОНАЛ

Oracle ISV Forum 20

Oracle ISV Forum 21

«Тестирование – для начинающих программистов»

Персонал - 1

• Стремятся проявить себя как программисты• Могут получится «специалисты по инструментам»• Нетерпеливость• Незаинтересованность

Oracle ISV Forum 22

«Тестирование – для неудавшихся программистов»

Персонал - 2

• Невнимательный программист – невнимательный тестировщик

• Усталость• Незаинтересованность

Oracle ISV Forum 23

Отсутствие специалистов в предметной области

Персонал - 3

• Пропускаем важные дефекты• Неэффективно тестируем• Не знаем, как наши пользователи работают с

продуктом

Oracle ISV Forum 24

«Тестировщик должен уметь программировать»

Персонал - 4

• Можно научить и специалиста-предметника• Лучше хорошо тестировать чем не очень хорошо

программировать

Oracle ISV Forum 25

Пробелы в знаниях команды тестирования

Персонал - 5

• Тяжело компенсировать• Пропускаем важные дефекты, и некому на это

указать

Oracle ISV Forum 26

«Программисты не должны тестировать»

Персонал - 6

• Не все может быть протестировано тестировщиком

• Кто кроме программиста лучше знает его код?

Oracle ISV Forum 27

Персонал - сумма

• «тестирование – для начинающих программистов»

• «тестирование – для неудавшихся программистов»

• Отсутствие специалистов в предметной области

• «Тестировщик должен программировать»• Пробелы в знаниях команды тестирования• «Программисты не должны тестировать»

МЕХАНИКА

Oracle ISV Forum 28

Oracle ISV Forum 29

Невнимательность к тест-дизайну

Механика - 1

• Пропускаем сложные сценарии• Пропускаем важные тесты• Производим синтетические тесты

Oracle ISV Forum 30

Чересчур подробные сценарии

Механика - 2

• Сложно поддерживать• Долго писать• «А что будет, если мы интерфейс поменяем?»

Oracle ISV Forum 31

Чересчур обобщенные сценарии

Механика - 3

• Сложно поддерживать• Понятны только автору• «И как это проверять?»

Oracle ISV Forum 32

Тестирование продукта только через UI

Механика - 4

• Пропускаем дефекты, связанные с внутренней архитектурой (утечки, сроки, …)

• Теряем контроль за происходящим в системе

Oracle ISV Forum 33

«Плохие» отчеты об ошибках

Механика - 5

• Трудно повторить• Трудно понять• Не описывают, что именно неправильно• Не описывают, как правильно надо• Не могут помочь в отладке• Служат причиной обиды

Oracle ISV Forum 34

Механика - сумма

• Невнимательность к тест-дизайну• Чересчур подробные сценарии• Чересчур общие сценарии• Тестирование продукта только через

UI• «Плохие» отчеты об ошибках

ТЕХНОЛОГИИ

Oracle ISV Forum 35

Oracle ISV Forum 36

«Мы прогоним 100% наших ручных скриптов!»

Технологии - 1

• Долго, если вообще реально• Зачем, если вероятность найти дефект для

некоторых тестов мала, но ресурс мы израсходуем?

Oracle ISV Forum 37

«Давайте мы автоматизируем все!»

Технологии - 2

• Тяжело• Долго• Малое соотношение «время

разработки/количество найденных дефектов»

Oracle ISV Forum 38

«С помощью point-and-click инструмента автоматизации мы сможем автоматизировать много тестов»

Технологии - 3

• Требует много времени на редактирование• Требует много времени на поддержку• Как правило не понимает custom - элементы

Oracle ISV Forum 39

«С помощью наших регрессионных тестов мы найдем много дефектов!»

Технологии - 4

• Статистика показывает, что новые тесты справляются лучше

• Найдем, но лучше спроектировать новые тесты• Регрессионное тестирование надо проводить с умом

Oracle ISV Forum 40

«Мы должны обеспечить 100% покрытие»

Технологии - 5

• Слабое утверждение с точки зрения нахождения важных дефектов

• Не самая показательная метрика• Много времени может уйти только на покрытие,

вместо поиска дефектов

Oracle ISV Forum 41

«А зачем нам контролировать покрытие?»

Технологии - 6

• Не дает представления о текущей ситуации• Не дает метрик для анализа следующих релизов и

похожих проектов

Oracle ISV Forum 42

Технологии - сумма

• 100% прогон ручных тестов• 100% автоматизация• Неразумное регрессионное

тестирование• Переоценка важности тестового

покрытия• Недооценка важности тестового

покрытия

Oracle ISV Forum 43

Вопросы?oracle-isv@atermath.com