Kontrola výsledků testu

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019

Automatizované testy je možné nakonfigurovat tak, aby běžely jako součást sestavení nebo vydané verze pro různé jazyky. Sestavy testů poskytují efektivní a konzistentní způsob zobrazení výsledků testů provedených pomocí různých testovacích architektur, aby bylo možné měřit kvalitu kanálu, kontrolovat sledovatelnost, řešit chyby a řídit vlastnictví selhání. Kromě toho poskytuje mnoho pokročilých možností vytváření sestav, které jsou prozkoumány v následujících částech.

Přečtěte si glosář a seznamte se s terminologií testovací sestavy.

Výsledky publikovaných testů lze zobrazit na kartě Testy v souhrnu sestavení nebo vydané verze.

Výsledky testů surface na kartě Testy

Výsledky testů se dají zobrazit na kartě Testy pomocí jedné z následujících možností:

• Automaticky odvozené výsledky testu. Ve výchozím nastavení může kanál automaticky odvodit výstup testu pro několik oblíbených spouštěčů testů. Parsujte protokoly chyb vygenerované během operace sestavení a zkontrolujte podpisy selhání testu. Azure DevOps v současné době podporuje následující jazyky a spouštěče testů pro automatické odvozování výsledků testu:

  • JavaScript – Mocha, Jest a Jasmine

  • Python – Unittest

    Poznámka:

    Tato odvozená sestava testů je omezená. Některé funkce, které jsou k dispozici v plně vytvořených testovacích sestavách, zde nejsou k dispozici (další podrobnosti). Doporučujeme publikovat plně vytvořenou testovací sestavu, abyste získali úplné prostředí pro testování a přehledy v kanálech. Další zdroje informací:

  • Publikování plně vytvořených testovacích sestav pro spouštěče testů JavaScriptu

  • Publikování plně vytvořených testovacích sestav pro spouštěče testů Pythonu

• Otestujte úlohy provádění. Předdefinované úlohy provádění testů, například Visual Studio Test , které automaticky publikují výsledky testů do kanálu, nebo jiné, jako jsou Ant, Maven, Gulp, Grunt a Xcode , které poskytují tuto funkci jako možnost v rámci úlohy.

• Publikujte úlohu výsledky testu. Úloha, která publikuje výsledky testů ve službě Azure Pipelines nebo TFS při provádění testů s použitím zvoleného spouštěče a výsledky jsou k dispozici v libovolném podporovaném formátu výsledků testu.

• Rozhraní API. Výsledky testů publikované přímo pomocí rozhraní API pro správu testů

Informace o testu zařízení Surface nad kartou Testy

Karta Testy obsahuje podrobný souhrn provádění testů. To je užitečné při sledování kvality kanálu a při řešení potíží se selháními. Azure DevOps také nabízí další způsoby, jak se připojit k testovacím informacím:

• Řídicí panel poskytuje přehled o průběhu vašeho týmu. Přidejte jeden nebo více widgetů, které surface testují související informace:

  • Kvalita požadavků
  • Trend výsledků testů
  • Stav nasazení

• Analýza testů poskytuje bohaté přehledy o výsledcích testů měřených v určitém časovém období. Může vám pomoct identifikovat problematické oblasti testu tím, že poskytne data, jako jsou nejčastější neúspěšné testy a další.

Zobrazení výsledků testů v sestavení

Souhrn sestavení poskytuje zobrazení časové osy klíčových kroků provedených v sestavení. Pokud byly testy provedeny a hlášeny jako součást sestavení, zobrazí se v zobrazení časové osy milník testu. Milník testu poskytuje souhrn výsledků testu jako míru úspěšnosti procent spolu s indikátory selhání a přerušením, pokud existují.

Zobrazení výsledků testů ve vydané verzi

V zobrazení kanálu můžete zobrazit všechny fáze a přidružené testy. Zobrazení poskytuje souhrn výsledků testů jako míru procenta průchodu spolu s indikátory selhání a přerušením, pokud existují. Tyto indikátory jsou stejné jako v zobrazení časové osy sestavení a poskytují konzistentní prostředí pro sestavení a vydání.

Karta Testy

Souhrny sestavení i verze poskytují podrobnosti o provedení testu. Výběrem možnosti Souhrn testů zobrazíte podrobnosti na kartě Testy . Tato stránka obsahuje následující části.

• Shrnutí: Poskytuje klíčové kvantitativní metriky pro provádění testu, jako je celkový počet testů, neúspěšné testy, procento úspěšného průchodu a další. Poskytuje také rozdílové indikátory změn v porovnání s předchozím provedením.

• Výsledky: Zobrazí seznam všech spuštěných a hlášených testů jako součást aktuálního sestavení nebo vydané verze. Ve výchozím zobrazení se zobrazují pouze neúspěšné a přerušené testy, aby se mohly zaměřit na testy, které vyžadují pozornost. Pomocí zadaných filtrů ale můžete zvolit jiné výsledky.

• Podrobnosti: Seznam testů, které můžete seřadit, seskupit, vyhledat a filtrovat a najít potřebné výsledky testu.

Výběrem libovolného testovacího spuštění nebo výsledku zobrazíte podokno podrobností, které zobrazuje další informace potřebné pro řešení potíží, jako je chybová zpráva, trasování zásobníku, přílohy, pracovní položky, historický trend a další.

Následující možnosti karty Testy pomáhají zlepšit produktivitu a prostředí pro řešení potíží.

Filtrování rozsáhlých výsledků testů

V průběhu času můžou testy nabíhání a u velkých aplikací snadno narůstat až na desítky tisíc testů. U těchto aplikací s mnoha testy může být obtížné procházet výsledky a identifikovat selhání testu, přidružit původní příčiny nebo získat vlastnictví problémů. Filtry usnadňují rychlý přechod na výsledky testů, které vás zajímají. Můžete filtrovat podle názvu testu, výsledku (neúspěšného, úspěšného a dalšího), testovacích souborů (souborů s testy) a vlastníka (pro testovací soubory). Všechna kritéria filtru jsou souhrnná v přírodě.

Kromě toho můžete s několika možnostmi seskupení , jako je testovací běh, testovací soubor, priorita, požadavek a další, uspořádat zobrazení výsledků přesně tak, jak potřebujete.

Testování správy dluhu s využitím chyb

Pokud chcete spravovat svůj testový dluh za neúspěšné nebo dlouhotrvající testy, můžete vytvořit chybu nebo přidat data do existující chyby a zobrazit všechny přidružené pracovní položky na kartě pracovní položky.

Prostředí pro řešení potíží s asistivním prostředím

Chybové zprávy a trasování zásobníku jsou zdlouhavé a potřebují dostatek nemovitostí k zobrazení podrobností během řešení potíží. Chcete-li poskytnout imerzivní prostředí pro řešení potíží, můžete zobrazení Podrobností rozšířit na zobrazení celé stránky a zároveň zajistit, aby bylo možné provádět požadované operace v kontextu, jako je vytvoření chyby nebo přidružení požadavků pro vybraný výsledek testu.

Řešení potíží s daty při selhání testu

V případě selhání testu jsou k dispozici chybové zprávy a trasování zásobníku pro řešení potíží. Všechny přílohy přidružené k chybě testu můžete zobrazit také na kartě Přílohy .

Testování správy dluhu

Můžete vytvořit nebo přidat k existující chybě, abyste mohli spravovat testovací dluh za selhání nebo dlouhotrvající testy. Karta Pracovní položky obsahuje podrobnosti o všech chybách a požadavcích spojených s testem, které vám pomůžou analyzovat dopad požadavků a zjistit stav a kdo na chybě pracuje.

Testování trendů s historickými daty

Historie provádění testů může poskytovat smysluplné přehledy o spolehlivosti nebo výkonu testů. Při řešení potíží se selháním je důležité vědět, jak se test v minulosti provedl. Karta Testy poskytuje historii testů v kontextu s výsledky testu. Informace o historii testů se zveřejňují progresivním způsobem, počínaje aktuálním kanálem buildu pro jiné větve nebo aktuální fází v jiných fázích pro sestavení a vydání.

Zobrazení provádění probíhajících testů

Testy, jako jsou integrace a funkční testy, můžou běžet dlouhou dobu. Proto je důležité kdykoli zobrazit aktuální nebo téměř aktuální stav provádění testů v reálném čase. I v případech, kdy testy běží rychle, je užitečné co nejdříve znát stav relevantních výsledků testů; zejména v případě selhání. Probíhající zobrazení eliminuje potřebu čekat na dokončení provádění testů. Výsledky jsou k dispozici téměř v reálném čase jako průběh provádění a pomáhají vám rychleji provádět akce. Můžete ladit selhání, zařaďte chybu nebo přerušte kanál.

Následující příklad ukazuje probíhající souhrn testů ve vydané verzi, hlášení celkového počtu testů a počet selhání testů v daném bodu v čase. Chyby testů jsou k dispozici pro řešení potíží, vytváření chyb nebo provedení jakékoli jiné vhodné akce.

Zobrazení souhrnných výsledků testů

Během provádění testu může test vytvořit více instancí nebo testů, které přispívají k celkovému výsledku. Mezi příklady patří testy, které se znovu spustí, testy složené z seřazené kombinace jiných testů (seřazených testů) nebo testů, které mají různé instance založené na vstupním parametru (testy řízené daty).

Vzhledem k tomu, že tyto testy souvisejí, musí být hlášeny společně s celkovým výsledkem odvozeným z jednotlivých instancí nebo testů. Tyto výsledky testů jsou hlášeny jako souhrnný výsledek testu na kartě Testy :

• Opětovné spuštění neúspěšných testů: Možnost opětovného spuštění neúspěšných testů je k dispozici v nejnovější verzi úlohy Visual Studio Test . Během opětovného spuštění může být provedeno více pokusů o neúspěšný test a každé selhání může mít jinou původní příčinu kvůli nedeterministickému chování testu. Sestavy testů poskytují kombinované zobrazení pro všechny pokusy o opětovné spuštění a celkový výsledek testu jako souhrnnou jednotku. Rozhraní API pro správu testů teď podporují možnost publikovat a dotazovat souhrnné výsledky testů.

  

• Testy řízené daty: Podobně jako při opětovném spuštění neúspěšných testů jsou všechny iterace testů řízených daty hlášeny v souhrnném zobrazení. Souhrnné zobrazení je také k dispozici pro seřazené testy (.orderedtest v sadě Visual Studio).

  

Zobrazení přerušených testů

Spuštění testu může být přerušeno z několika důvodů, jako je chybný testovací kód, chyby ve zdroji v rámci testu nebo problémy s prostředím. Bez ohledu na důvod přerušení je důležité, abyste mohli diagnostikovat chování a identifikovat původní příčinu. Přerušené testy a testovací běhy lze zobrazit společně s dokončenými spuštěními na kartě Testy .

Automaticky odvozené výsledky testu

Azure DevOps může automaticky odvodit výstup testů spuštěných v kanálech pro několik podporovaných testovacích architektur. Tyto automaticky odvozené sestavy testů nevyžadují žádnou konkrétní konfiguraci kanálů a představují nulový způsob, jak začít používat vytváření sestav testů.

Podívejte se na seznam spouštěčů, u kterých se výsledky testů automaticky odvozují.

Vzhledem k tomu, že v těchto odvozených sestavách existují jenom omezená testovací metadata, jsou omezená na funkce a možnosti. Pro odvozené testovací sestavy nejsou k dispozici následující funkce:

• Seskupte výsledky testu podle testovacího souboru, vlastníka, priority a dalších polí.
• Hledání a filtrování výsledků testu
• Kontrola podrobností o úspěšných testech
• Zobrazení náhledu všech příloh vygenerovaných během testů v samotném webovém uživatelském rozhraní
• Přidružení selhání testu k nové chybě nebo zobrazení seznamu přidružených pracovních položek pro toto selhání
• Zobrazení analýzy sestavení pro testování v Pipelines

Související články

• Analýza výsledků testů
• Požadavky na trasování testů
• Kontrola výsledků pokrytí kódu

Nápověda a podpora

• Podívejte se na naši stránku pro řešení potíží.
• Získejte rady o Stack Overflow a získejte podporu prostřednictvím komunity vývojářů.