Скриншотные тесты стабильны локально и падают на CI с различием в пару пикселей
Скриншотные тесты сравнивают страницы с эталонами, снятыми на ноутбуке тестировщика. На CI падает около трети тестов: дифф показывает сдвиги сглаживания шрифтов, другую дату в шапке и разные аватары в блоке отзывов.
Как сделать эти тесты надёжными?
- Снимать эталоны в том же контейнере, что и CI, и маскировать динамические области
- Поставить допуск различия в 30% пикселей
- Перезапускать упавшие скриншотные тесты до зелёного результата
- Отказаться от скриншотных тестов в пользу ручной проверки