Управление ненадежными тестами

Azure DevOps Services

Производительность для разработчиков зависит от возможности тестов найти реальные проблемы с кодом в процессе разработки или обновления в своевременной и надежной форме. Тесты Flaky представляют барьер для поиска реальных проблем, так как сбои часто не связаны с тестируемыми изменениями. Тест flaky — это тест, который предоставляет различные результаты, такие как передача или сбой, даже если в исходном коде или среде выполнения нет изменений. Тесты Flaky также влияют на качество отправленного кода.

Цель ввести в продукте управление лязкими тестами — уменьшить боль разработчика, вызванную пламенными тестами и обеспечить весь рабочий процесс. Управление тестами Flaky обеспечивает следующие преимущества.

• Обнаружение — автоматическое обнаружение пламенного теста с повторной запуском или расширяемостью для подключения к собственному пользовательскому методу обнаружения

• Управление flakiness . После того как тест помечается как льняный, данные доступны для всех конвейеров для этой ветви.

• Отчет о тестах flaky. Возможность выбора, если вы хотите предотвратить сбои сборки, вызванные тестами flaky, или использовать тег flaky только для устранения неполадок

• Разрешение . Создание ошибок вручную или ручное маркировка и отмена маркировки в виде плашки на основе анализа

• Закройте цикл . Сброс пламенного теста в результате разрешения ошибок / ввода вручную

Включение управления ненадежными тестами

Чтобы настроить управление тестами flaky, выберите "Параметры проекта" и выберите "Управление тестами" в разделе "Конвейеры ".

Переместите кнопку "Вкл." или "Выкл.".

Параметр по умолчанию для всех проектов — использовать блочные тесты для устранения неполадок.

Обнаружение тестов Flaky

Управление тестами Flaky поддерживает системное и настраиваемое обнаружение.

• Обнаружение системы: обнаружение в продукте использует тестовые данные повторного запуска. Обнаружение выполняется с помощью повторного запуска задачи VSTest возможности неудачных тестов или повторных попыток этапа в конвейере. Вы можете выбрать определенные конвейеры в проекте, для которого вы хотите обнаружить тесты flaky.

  Примечание.

  После того как тест помечается как лентяный, данные доступны для всех конвейеров для этой ветви, чтобы помочь в устранении неполадок в каждом конвейере.

• Настраиваемое обнаружение. Вы можете интегрировать собственный механизм обнаружения пламени с Azure Pipelines и использовать возможность создания отчетов. При настраиваемом обнаружении необходимо обновить метаданные результатов теста для тестовых тестов. Дополнительные сведения см. в разделе "Результаты тестирования", "Метаданные результатов" — обновление REST API.

Параметры теста Flaky

Параметры теста Flaky указывают, как блочные тесты доступны в отчетах о тестах, а также в возможностях разрешения, как описано в следующих разделах.

Управление ненадежными тестами и создание отчетов

На странице управления тестами в разделе "Параметры теста Flaky" можно задать параметры включения в отчет сводки тестов. Данные теста Flaky для пройденного и неудачного теста доступны в результатах теста. Тег Flaky помогает определить тесты с пламенем. По умолчанию в сводку теста включены тесты пламени. Однако если вы хотите убедиться, что неисправные тестовые сбои не завершаются сбоем конвейера, вы можете не включать их в сводку теста и подавлять сбой теста. Этот параметр гарантирует, что тесты flaky (переданные и неудачные) удаляются из процента прохода и отображаются в тестах, не сообщаемых, как показано на следующем снимке экрана.

Тесты, помеченные как льняные

Вы можете пометить или отменить метку теста как лязкий на основе анализа или контекста, выбрав Flaky (или UnFlaky, в зависимости от того, помечен ли тест как фляк.)

Если тест помечается в конвейере, изменения в текущем конвейере не вносятся. Только в будущих выполнениях этого теста вычисляется измененный параметр flaky. Тесты, помеченные как flaky, имеют тег Отмеченный flaky в пользовательском интерфейсе.

Справка и поддержка

• См. нашу страницу по устранению неполадок
• Получите советы по Stack Overflow и получите поддержку через Сообщество разработчиков

Связанные статьи

• Просмотр результатов теста
• Задача теста Visual Studio
• Публикация задачи "Результаты теста"
• Результаты теста, метаданные результатов — обновление REST API