Download - Наталья Руколь (Лаборатория Качества)
![Page 1: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/1.jpg)
[RE:]ОРГАНИЗАЦИЯ ПРОЦЕССА ТЕСТИРОВАНИЯ
Наталья Руколь Москва, 2014 ritconf.ru
![Page 2: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/2.jpg)
О докладчике• Тестер 10-го
уровня• ТМ 9-го уровня• РМ 5-го уровня• Тренер и
консультант 5-го уровня
• Клёвая!
http://natalyarukol.ru
http://quality-lab.ru
http://software-testing.ru
![Page 3: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/3.jpg)
О докладе• Занудный• Структуризатор• Ничего невозможного!
Бонус: доп.
материалы по теме!
![Page 4: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/4.jpg)
Организовали и забыли?• Эволюционный процесс• Итеративный процесс
![Page 5: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/5.jpg)
Когда надо проводить?
• Новый человек на проекте
• «Мы пропустили багу! А! Что делать?»
• От скуки, лишнее время на проекте
• Постоянно
![Page 6: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/6.jpg)
Кто проводит?• Тест-
менеджер• РМ,
технический директор
• Команда• Самый
инициативный
![Page 7: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/7.jpg)
Значит, это – ТЫ!
Пришёл сюда?
![Page 8: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/8.jpg)
НО КАК
?
![Page 9: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/9.jpg)
Давайте внедрим автотест
ы!
Нужно проверят
ь быстрее!
Больше багов! Сначала
расширить
команду!
![Page 10: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/10.jpg)
НЕЛЬЗЯ ПРОСТО ВЗЯТЬ
И УЛУЧШИТЬ ТЕСТИРОВАНИЕ
![Page 11: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/11.jpg)
Сначала – думать!
![Page 12: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/12.jpg)
АНАЛИЗ
![Page 13: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/13.jpg)
Анализ «Что улучшать»
• По привычным решениям
• Анкетирование и опросы
• Сбор метрик
![Page 14: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/14.jpg)
Привычные решения
• Давайте автоматизировать!
• Давайте писать юнит-тесты!
• Давайте установим TMS!
• …
Анализ «Что улучшать»
![Page 15: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/15.jpg)
Решения: сначала посчитай!
• Точно нужно?• Точно выгодно?• Точно поможет?• Как потом
оценим?
Анализ «Что улучшать»
СэкономилиПотратили
100%
Возврат инвестиций
![Page 16: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/16.jpg)
Анкетирование и опросы
![Page 17: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/17.jpg)
Анкеты• Ускоряют опрос• Дают время
подумать• Анонимно =
больше интересного
• Можно добавить оценок и посчитать
• Приоритеты направлениям и проблемам
0
3
Анализ анкет
Dev Test PM
Анализ «Что улучшать»
![Page 18: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/18.jpg)
Опросы• Тестирование
– сервис!• Разработчики
, аналитики, РМ-ы – заказчики!
• Что они хотят?
Анализ «Что улучшать»
![Page 19: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/19.jpg)
Опросы. Что важно?
• Слушать!• Открытость,
нет проекциям
• Готовность • Конкретизаци
я
Анализ «Что улучшать»
![Page 20: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/20.jpg)
— Скажите, пожалуйста, куда мне отсюда идти?— А куда ты хочешь попасть? — ответил Кот.— Мне все равно… — сказала Алиса.— Тогда все равно, куда и идти, — заметил Кот.— … только бы попасть куда-нибудь, — пояснила Алиса.— Куда-нибудь ты обязательно попадешь, — сказал Кот. — Нужно только достаточно долго идти.
![Page 21: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/21.jpg)
Метрики• Посчитали? ОК!• Насколько мы
это хотим улучшить?
• На сколько мы это хотим улучшить?
• На сколько мы это можем улучшить?
Анализ «Что улучшать»
![Page 22: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/22.jpg)
Метрики. Что считать?
Анализ «Что улучшать»
![Page 23: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/23.jpg)
Метрики. Что считать?
• Количество багов на CLOK
• Количество тестировщиков на разработчика
• Количество тестировщиков на 1 кв. м. офиса
Анализ «Что улучшать»
![Page 24: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/24.jpg)
Метрики. Стандарты?Тест не пройден из-за несоответствия внутренним стандартам шумоизоляции. Отправлено на доработку.
Тест пройден, качество шумоизоляции соответствует стандарту ГОСТ Р 52231-2004
Анализ «Что улучшать»
![Page 25: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/25.jpg)
Метрики. Что нужно НАМ?
• Текущие приоритеты проекта
• Выявленные проблемы тестирования
• Пожелания участников
Анализ «Что улучшать»
![Page 26: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/26.jpg)
Метрики результата
• Обращения пользователей
• Покупки продукта• Конверсия на сайте• Hotfix’ы• Затраты
техподдержки• Сроки выпуска,
затраты
Анализ «Что улучшать»
![Page 27: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/27.jpg)
Парня в горы тяни - рискни! Не бросай одного его, Пусть он в связке в одной с тобой – Там поймешь, кто такой.
![Page 28: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/28.jpg)
Ок, узнали! Софт – отстой!Ура, метрики собраны!
![Page 29: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/29.jpg)
Ок, узнали! Софт – отстой!Ура, метрики собраны!НО ПОЗДНОПоезд ушёл.
![Page 30: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/30.jpg)
Метрики процесса• Тестовое
покрытие• Скорость
тестирования• Предоставляемая
информация•Отчёты•Ошибки•Статистика•И т.д.
Анализ «Что улучшать»
![Page 31: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/31.jpg)
Тестовое покрытие• Требований• Фич• Кода • Окружений• Пользовательск
их сценариев
Мы проверили вооот столько!
Анализ «Что улучшать»
![Page 32: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/32.jpg)
Скорость тестирования
• Одной сборки• Полного цикла
(FTP)• Time to BTS•Заведение критикалов
•Оценка валидности сборки
• Точность планирования
Анализ «Что улучшать»
![Page 33: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/33.jpg)
Артефакты на выходе
• Ошибки•Понятность•Локализация
• Тесты• Отчёты• Статистика
Анализ «Что улучшать»
![Page 34: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/34.jpg)
ИТОГО• Пообщались• Выявили
проблемы• Нашли способы
померить• Можно идти
отдыхать?
Анализ «Что улучшать»
![Page 35: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/35.jpg)
![Page 36: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/36.jpg)
Это только начало!
• Фиксируем цели
• На видном месте
• Обсуждаем совместно
ЗА РАБОТУ!
![Page 37: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/37.jpg)
ОК, с тестированием у нас полная …Что дальше?
![Page 38: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/38.jpg)
Например,• Пропуск 8%
ошибок• 40% КрО после 2
недель• 3 недели FTP при
2-недельных релизах
• Ошибки «непонятные», оценка 2,2
![Page 39: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/39.jpg)
Пропуск ошибокЧто делать?
![Page 40: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/40.jpg)
Пропуск ошибокАнализ причин пропуска•Требования•Тесты•Не хватило времени
•Человеческий фактор
![Page 41: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/41.jpg)
Решения под причины
42% Не хватило времени на финальное тестирование
• Внедрение автоматизация
• Приоритизированные приёмочные тесты
35% потому что не поняли требования
• Согласование требований
• Совместное обсуждение
• Feature-teams
18% потому что не догадались это проверить
• Согласование тестов• Обсуждение «как
тестировать»• Повышение
квалификации тестировщиков
5% человеческий фактор
• Уволить• Наказать
![Page 42: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/42.jpg)
Долго тестируемЧто делать?
![Page 43: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/43.jpg)
Долго тестируемДетализируем «долго»:• Полный цикл 3
недели• Критичные ошибки
заносятся поздно• Много времени на
документирование• Много избыточных
тестов
![Page 44: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/44.jpg)
Решения под причины
Полный цикл – 3 недели
• Внедрение автоматизации• Расширение ресурсов• Согласование «что выкинуть»
из тестов
Критичные баги заводятся поздно
• Новый анализ «почему?» – рекурсия
• Приоритеты• Обсуждение рисков перед
тестированием• Совместные демо и пре-демо
Избыточность тестов
• Что можем выкинуть? Анализ рисков!
• Аутсорс мелочей, если выкинуть нельзя
![Page 45: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/45.jpg)
Непонятные ошибки
Что делать?
ЧО?
![Page 46: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/46.jpg)
Непонятные ошибки
• Ввод оценок для измерений
• Уточнение «чего не хватает?»
• Внутреннее обучение
• Регламент, шаблоны
![Page 47: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/47.jpg)
Строим процесс• Что не так?• Измеряем• Ставим цели• Анализируе
м причины• Решаем «как
решать?»
![Page 48: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/48.jpg)
Важно при [ре]организации
• Цели всем видны и понятны
• У задач есть ответственные
• Результаты, метрики – наглядно собираются
• Промежуточные оценки и фидбеки
![Page 49: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/49.jpg)
ИТОГО-2:• Сделал анализ
и решил, что делать?
• Планы, задачи, цели – всё есть?
• Промежуточные результаты достигнуты?
• Всё хорошо?
![Page 50: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/50.jpg)
![Page 51: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/51.jpg)
Непрерывность изменений
Идеал недостижим! Это ужасно, и грустно, и никогда ничего не будет хорошо!!!
![Page 52: Наталья Руколь (Лаборатория Качества)](https://reader030.vdocuments.pub/reader030/viewer/2022013105/5555aa77d8b42a52568b48b2/html5/thumbnails/52.jpg)
Непрерывность изменений
Идеал недостижим! Это значит, что перед нами всегда будут стоять новые, интересные, развивающие задачи!