Как внедрить, чтобы никому не было больно и было понятно. Как всё это применять на практике
- Выберите несколько ключевых метрик, а не десяток.
Например:
- покрытие критичных сценариев,
- долю багов, пойманных автотестами,
- уровень flakiness,
- время прогона smoke-набора.
- Договоритесь в команде, что именно вы считаете чем:
- что такое «регрессия»,
- что входит в «критичные сценарии»,
- как помечаете флейковые тесты.
- Регулярно смотрите динамику, а не только текущие значения:
- стало ли лучше через квартал,
- не растёт ли flakiness,
- не раздувается ли время прогона.
В целом нас в принципе не очень интересуют абсолютные значения, но очень важен тренд, куда он направлен
Тогда метрики перестают быть отчётом «для галочки» и превращаются в инструмент. Они помогают принимать решения, где чинить архитектуру, где оптимизировать пайплайн, а где, наоборот, пора инвестировать в новые наборы автотестов.
Дискуссия