Flaky tests sample report

  • Artikel

Azure DevOps Services | Azure DevOps Server 2022 | Azure DevOps Server 2020

Sie können einen Bericht erstellen, wie in der folgenden Abbildung dargestellt, in dem die flackernden Tests aufgelistet sind, die in Pipelineausführungen auftreten, die Testaufgaben enthalten. Ein unzuverlässiger Test ist ein Test, der unterschiedliche Ergebnisse liefert, z. B. bestanden oder nicht bestanden, auch wenn keine Änderungen am Quellcode oder an der Ausführungsumgebung vorgenommen wurden. Weitere Informationen zum Aktivieren flackeriger Tests finden Sie unter Verwalten von flackerigen Tests. Informationen zum Hinzufügen von Tests zu einer Pipeline finden Sie im Abschnitt "Ressourcen für Testaufgaben" weiter unten in diesem Artikel.

Screenshot des Berichts

Verwenden Sie die in diesem Artikel bereitgestellten Abfragen, um die folgenden Berichte zu generieren:

  • Flaky-Tests für Buildworkflow
  • Flaky tests for release workflow
  • Flaky-Tests für einen bestimmten Zweig
  • Flaky-Tests für eine bestimmte Testdatei
  • Flaky Tests für einen bestimmten Testbesitzer.

Wichtig

Power BI-Integration und Zugriff auf den OData-Feed des Analytics-Diensts sind in der Regel für Azure DevOps Services und Azure DevOps Server 2020 und höhere Versionen verfügbar. Die in diesem Artikel bereitgestellten Beispielabfragen gelten nur für Azure DevOps Server 2020 und höhere Versionen und hängen von version 3.0-preview oder höher ab. Wir empfehlen Ihnen, diese Abfragen zu verwenden und uns Feedback zu geben.

Voraussetzungen

Hinweis

In diesem Artikel wird davon ausgegangen, dass Sie eine Übersicht über Beispielberichte mit OData-Abfragen lesen und ein grundlegendes Verständnis von Power BI haben.

Beispielabfragen

Sie können die folgenden Abfragen des TestResultsDaily Entitätssatzes verwenden, um unterschiedliche, aber ähnliche Pipeline-Flaky-Testberichte zu erstellen. Der TestResultsDaily Entitätssatz stellt ein tägliches Snapshot-Aggregat von TestResult Ausführungen bereit, gruppiert nach Test.

Hinweis

Informationen zum Ermitteln der verfügbaren Eigenschaften für Filter- oder Berichtszwecke finden Sie in der Metadatenreferenz für test Plans Analytics and Metadata reference for Azure Pipelines. Sie können Ihre Abfragen filtern oder Eigenschaften zurückgeben, indem Sie einen der Werte unter oder NavigationPropertyBinding PathEntityType verwenden, die Property mit einem EntitySetverfügbar sind. Jede EntitySet entspricht einem EntityType. Weitere Informationen zum Datentyp der einzelnen Werte erhalten Sie in den Metadaten, die für den entsprechenden Wert EntityTypebereitgestellt werden.

Flaky-Tests für einen Buildworkflow

Verwenden Sie die folgenden Abfragen, um die flackerigen Tests für eine Build-Workflowpipeline anzuzeigen.

Kopieren Sie die folgende Power BI-Abfrage, und fügen Sie sie direkt in das Fenster "Leere Datenabfrage> abrufen" ein. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName} "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlaykRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Flaky tests for Release workflow

Verwenden Sie die folgenden Abfragen, um die flackerigen Tests für eine Release-Workflowpipeline anzuzeigen.

Kopieren Sie die folgende Power BI-Abfrage, und fügen Sie sie direkt in das Fenster "Leere Datenabfrage> abrufen" ein. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Workflow), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Flaky-Tests gefiltert nach Branch

Verwenden Sie die folgenden Abfragen, um die fehlgeschlagenen Tests einer Pipeline für eine bestimmte Verzweigung anzuzeigen. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel angegebenen Schritten aus.

  • Erweitern Branch in Branch.BranchName
  • Wählen Sie power BI Visualization Slicer aus, und fügen Sie das Feld Branch.BranchName zum Feld des Datenschnitts hinzu.
  • Wählen Sie den Verzweigungsnamen aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen müssen.

Weitere Informationen zur Verwendung von Datenschnitten finden Sie unter Datenschnitte in Power BI.

Kopieren Sie die folgende Power BI-Abfrage, und fügen Sie sie direkt in das Fenster "Leere Datenabfrage> abrufen" ein. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate} "
                &"And Workflow eq 'Build') "
        &"/groupby((TestSK, Test/TestName, Branch/BranchName), "
            &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
    &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Flaky-Tests gefiltert nach Testdatei

Verwenden Sie die folgenden Abfragen, um die flakigen Tests für eine Pipeline und eine bestimmte Testdatei anzuzeigen. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel definierten Schritten aus.

  • Erweitern Test in Test.ContainerName
  • Wählen Sie power BI Visualization Slicer aus, und fügen Sie das Feld Test.ContainerName zum Feld des Datenschnitts hinzu.
  • Wählen Sie den Containernamen aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen müssen.

Kopieren Sie die folgende Power BI-Abfrage, und fügen Sie sie direkt in das Fenster "Leere Datenabfrage> abrufen" ein. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/ContainerName), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Flaky-Tests gefiltert nach Testbesitzer

Verwenden Sie die folgenden Abfragen, um die Flaky-Tests für eine Pipeline und Tests im Besitz eines bestimmten Testbesitzers anzuzeigen. Führen Sie zum Erstellen des Berichts die folgenden zusätzlichen Schritte zusammen mit den weiter unten in diesem Artikel definierten Schritten aus.

  • Erweitern Test in Test.TestOwner
  • Wählen Sie power BI Visualization Slicer aus, und fügen Sie das Feld Test.TestOwner zum Feld des Datenschnitts hinzu.
  • Wählen Sie den Testbesitzer aus dem Datenschnitt aus, für den Sie die Ergebniszusammenfassung anzeigen müssen.

Kopieren Sie die folgende Power BI-Abfrage, und fügen Sie sie direkt in das Fenster "Leere Datenabfrage> abrufen" ein. Weitere Informationen finden Sie unter Übersicht über Beispielberichte mit OData-Abfragen.

let
   Source = OData.Feed ("https://analytics.dev.azure.com/{organization}/{project}/_odata/v4.0-preview/TestResultsDaily?
$apply=filter("
                &"Pipeline/PipelineName eq '{pipelineName}' "
                &"And Date/Date ge {startdate}) "
        &"/groupby((TestSK, Test/TestName, Test/TestOwner), "
        &"aggregate( "
                &"ResultCount with sum as TotalCount, "
                &"ResultPassCount with sum as PassedCount, "
                &"ResultFailCount with sum as FailedCount, "
                &"ResultNotExecutedCount with sum as NotExecutedCount, "
                &"ResultNotImpactedCount with sum as NotImpactedCount, "
                &"ResultFlakyCount with sum as FlakyCount)) "
        &"/filter(FlakyCount gt 0) "
    &"/compute( "
    &"(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate) "
    ,null, [Implementation="2.0",OmitValues = ODataOmitValues.Nulls,ODataVersion = 4]) 
in
    Source

Ersetzungszeichenfolgen und Abfrageaufschlüsselung

Ersetzen Sie die folgenden Zeichenfolgen durch Ihre Werte. Schließen Sie keine Klammern {} in Ihre Ersetzung ein. Wenn Ihr Organisationsname beispielsweise "Fabrikam" lautet, ersetzen Sie {organization} durch Fabrikam, nicht {Fabrikam}.

 

  • {organization} - Name Ihrer Organisation
  • {project} - Name Ihres Teamprojekts
  • {pipelinename} - Ihr Pipelinename. Beispiel: Fabrikam hourly build pipeline
  • {startdate} - Das Datum, an dem Der Bericht beginnt. Format: JJJJ-MM-DDZ. Beispiel: 2021-09-01Z steht für den 1. September 2021. Schließen Sie keine Anführungszeichen oder eckigen Klammern ein, und verwenden Sie zwei Ziffern sowohl für Monat als auch für Datum.

Abfrageaufschlüsselung

In der folgenden Tabelle werden die einzelnen Teile der Abfrage beschrieben.

Abfrageteil

Beschreibung

$apply=filter(

Startklausel filter() .

Pipeline/PipelineName eq '{pipelineName}'

Rückgabetestläufe für die angegebene Pipeline.

and CompletedOn/Date ge {startdate}

Rückgabetest wird am oder nach dem angegebenen Datum ausgeführt.

and Workflow eq 'Build'

Rückgabetestausführungen für einen Build Workflow.

)

Close-Klausel filter() .

/groupby(

Startklausel groupby() .

(TestSK, Test/TestName),

Gruppieren nach dem Testnamen.

aggregate(

Startklausel aggregate zum Berechnen der Testläufe, die den Filterkriterien entsprechen.

ResultCount with sum as TotalCount,

Zählen Sie die Gesamtanzahl der Testläufe als TotalCount.

ResultPassCount with sum as PassedCount,

Zählen Sie die Gesamtzahl der bestandenen Testläufe als PassedCount.

ResultFailCount with sum as FailedCount,

Zählen Sie die Gesamtzahl der fehlgeschlagenen Testausführungen als FailedCount.

ResultNotExecutedCount with sum as NotExecutedCount

Zählen Sie die Gesamtzahl der nicht ausgeführten Testläufe als NotExecutedCount.

ResultNotImpactedCount with sum as NotImpactedCount,

Zählen Sie die Gesamtzahl der nicht betroffenen Testläufe als NotImpactedCount.

ResultFlakyCount with sum as FlakyCount

Zählen Sie die Gesamtzahl der flackerigen Testläufe als FlakyCount.

))

Schließen aggregate() und groupby() Klauseln.

/filter(FlakyCount gt 0)

Filtern Sie nur die Tests, die mindestens einmal flackern.

/compute(

Startklausel compute() .

(FlakyCount div cast(TotalCount, Edm.Decimal)) mul 100 as FlakyRate

Berechnen Sie für alle schläfigen Tests die FlakyRate.

)

Close-Klausel compute() .

(Optional) Abfrage umbenennen

Sie können die Standardabfragebezeichnung Query1 in aussagekräftiger umbenennen. Geben Sie einfach im Bereich Abfrageeinstellungen einen neuen Namen ein.

Screenshot: Menüoptionen für Power BI-Abfragen, Abfrage umbenennen.

Erweitern der Spalte "Test" in Power BI

Erweitern Sie die Test Spalte, um die erweiterte Entität Test.TestNameanzuzeigen. Durch das Erweitern der Spalte wird der Datensatz in bestimmte Felder vereinfacht. Informationen dazu finden Sie unter Transform Analytics-Daten zum Generieren von Power BI-Berichten, Erweitern von Spalten.

Ändern des Spaltendatentyps

  1. Wählen Sie in der Power Query-Editor die TotalCountSpalten , PassedCount, NotExecutedCountFailedCountNotImpactedCountund FlakyCount wählen Sie den Datentyp im Menü "Transformieren" aus, und wählen Sie dann "Ganze Zahl" aus.

  2. Wählen Sie die FlakyRate Spalte aus, wählen Sie "Datentyp " im Menü "Transformieren " und dann " Dezimalzahl" aus.

Weitere Informationen zum Ändern des Datentyps finden Sie unter Transform Analytics-Daten zum Generieren von Power BI-Berichten, Transformieren eines Spaltendatentyps.

Schließen Sie die Abfrage, und wenden Sie Ihre Änderungen an.

Nachdem Sie alle Datentransformationen abgeschlossen haben, wählen Sie "Schließen" und "Übernehmen " im Menü "Start " aus, um die Abfrage zu speichern und zur Registerkarte "Bericht " in Power BI zurückzukehren.

Screenshot der Option

Erstellen des Tabellenberichts

  1. Wählen Sie in Power BI unter "Visualisierungen" die Option "Tabelle " aus, und ziehen Sie die Felder in den Spaltenbereich .

    Screenshot der Auswahl von Visualisierungsfeldern für den Tabellenbericht

  2. Fügen Sie dem Abschnitt "Spalten" die folgenden Felder in der aufgeführten Reihenfolge hinzu.

    • Test.TestName
    • TotalCount
    • PassedCount
    • FailedCount
    • FlakyCount
    • FlakyRate

Ihr Bericht sollte ähnlich wie in der folgenden Abbildung aussehen.

Screenshot des Beispielberichts

Testen von Vorgangsressourcen