Spouštění automatizovaných testů z testovacích plánů
Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019
Automatizujte testovací případy ve svých testovacích plánech a spouštějte je přímo z azure Test Plans. Automatizované testy poskytují následující výhody:
- Uživatelsky přívětivý proces pro testery, kteří nemusí být dobře obeznámeni se spouštěním testů v pracovních postupech sestavení nebo vydaných verzí.
- Flexibilita při spouštění vybraných testů na vyžádání místo naplánovaného testování v pracovních postupech sestavení nebo vydání, kde jsou spuštěny všechny testy splňující kritéria filtru.
- Možnost opětovného spuštění několika testů, které selhaly kvůli problémům s testovací infrastrukturou, nebo máte nový build, který obsahuje opravy neúspěšných testů.
Požadavky
- Přístup k projektu: Ujistěte se, že jste přidaní do projektu.
- Úrovně přístupu: Ujistěte se, že máte alespoň základní přístup nebo vyšší.
- Další informace naleznete v tématu Ruční test přístupu a oprávnění.
- Musíte mít také následující položky.
- Testovací plán, který obsahuje automatizované testy přidružené k automatizovaným testovacím metodám pomocí sady Visual Studio 2017 nebo sady Visual Studio 2015 nebo starší.
- Kanál buildu, který generuje buildy obsahující testovací binární soubory.
- Aplikace, která se má testovat. Aplikaci můžete nasadit jako součást pracovního postupu sestavení a vydání a také ji použít k testování na vyžádání.
- Oprávnění k vytváření a správě vydaných verzí, úpravám prostředí vydaných verzí a správě nasazení Další informace najdete v tématu Oprávnění k vydání.
Nastavení prostředí
Na stránce Testovací plány zvolte testovací plán, otevřete místní nabídku a pak vyberte Nastavení testovacího plánu.
V dialogovém okně Nastavení testovacího plánu vyberte kanál buildu, který generuje sestavení obsahující testovací binární soubory. Pak můžete vybrat konkrétní číslo sestavení, které chcete otestovat, nebo nechat systém při spuštění testů automaticky používat nejnovější sestavení.
K spouštění testů z testovacích plánů v Azure Test Plans potřebujete kanál verze vytvořený ze šablony Spustit automatizované testy ze šablony Test Manageru. Pokud máte existující kanál verze vytvořený pomocí této šablony, vyberte ho a pak vyberte existující fázi v kanálu verze pro spuštění testu. V opačném případě vyberte Vytvořit nový v dialogovém okně a vytvořte nový kanál verze, který obsahuje jednu fázi s již přidanou úlohou Visual Studio Test .
Návody předat parametry testovacímu kódu z kanálu buildu nebo verze?
Podle potřeby přiřaďte smysluplné názvy kanálu verze a dílčí fázi.
Pokud už je sada Visual Studio nainstalovaná na počítači agenta, přeskočte tento krok. Pokud ne, přidejte do definice kanálu úlohu instalačního programu testovací platformy sady Visual Studio.
Přidejte úlohu Visual Studio Test do kanálu verze a nakonfigurujte ji následujícím způsobem:
Ověřte, že je vybraná verze 2 úlohy Visual Studio Test. Číslo verze se zobrazí v rozevíracím seznamu panelu nastavení úloh.
Ověřte, že je vybrání testů, které používáte , nastaveno na testovací běh. Co toto nastavení znamená?
Pro nastavení verze testovací platformy vyberte Nainstalovat podle instalačního programu nástrojů.
Pokud máte testy uživatelského rozhraní, které běží na fyzických prohlížečích nebo silných klientech, ujistěte se, že je agent nastavený tak, aby běžel jako interaktivní proces s povoleným automatickým protokolem. Před zahájením fronty sestavení nebo vydání musíte nastavit agenta tak, aby běžel interaktivně. Kombinace testů obsahuje zaškrtávací políčko testy uživatelského rozhraní nekonfiguruje agenta v interaktivním režimu automaticky – používá se pouze jako připomenutí ke konfiguraci agenta odpovídajícím způsobem, aby nedocházelo k selháním.
Pokud spouštíte testy uživatelského rozhraní v bezobrátovém prohlížeči, konfigurace interaktivního procesu se nevyžaduje.
Vyberte způsob zřízení testovací platformy a verzi sady Visual Studio nebo umístění testovací platformy nainstalované na testovacích počítačích.
Pokud testy vyžadují vstupní parametry, jako jsou adresy URL aplikace nebo připojovací řetězec databáze, vyberte příslušný soubor nastavení z artefaktů sestavení. Úlohy publikování artefaktů sestavení v kanálu buildu můžete použít k publikování souboru nastavení do umístění v rozevíracím seznamu, pokud tento soubor není součástí artefaktů. V následujícím příkladu se adresa URL aplikace zobrazí v souboru nastavení spuštění a přepíše se, aby se nastavil na přípravnou adresu URL pomocí nastavení přepsat parametry testovacího spuštění.
Informace o nastavení možností úlohy Visual Studio Test naleznete v úlohu Visual Studio Test.
Zvolte položku úlohy agenta a ověřte, že je fronta nasazení nastavená na počítač obsahující počítače, ve kterých chcete testy spustit. Pokud vaše testy vyžadují speciální počítače z fondu agentů, můžete přidat požadavky, které vyberou za běhu.
Časy testů můžete minimalizovat tak, že testy distribuujete mezi více agentů nastavením paralelismu na více spuštění a určením počtu agentů.
Poznámka:
Pokud spouštíte testy uživatelského rozhraní, jako je CodeUI nebo Selenium ve fyzických prohlížečích, jako je IE, Firefox nebo Chrome, agent na počítačích musí být spuštěný v interaktivním režimu, a ne jako služba. Další podrobnosti.
Na stránce Kanál kanálu verze ověřte, že kanál buildu obsahující testovací binární soubory odkazuje na tento kanál verze jako zdroj artefaktů.
Uložte kanál verze.
Pokud jste v dialogovém okně Nastavení testovacího plánu v kroku 2 tohoto příkladu zvolili Možnost Vytvořit nový , vraťte se na stránku prohlížeče, která obsahuje nastavení testovacího plánu. V dialogovém okně Nastavení testovacího plánu vyberte kanál verze a fázi, kterou jste uložili.
Spuštění automatizovaných testů
Na webovém portálu Testovací plány otevřete testovací plán a vyberte sadu testů, která obsahuje automatizované testy.
Vyberte testy, které chcete spustit, otevřete nabídku Spustit a pak vyberte Spustit test.
Binární soubory testů pro tyto testy musí být dostupné v artefaktech sestavení vygenerovaných kanálem buildu.
Vyberte OK a spusťte proces testování. Systém zkontroluje, že se vyberou jenom automatizované testy (všechny ruční testy se ignorují), ověří fázi, aby se zajistilo, že úloha Visual Studio Test existuje a má platná nastavení, zkontroluje oprávnění uživatele k vytvoření verze pro vybraný kanál verze, vytvoří testovací běh a pak aktivuje vytvoření verze ve vybrané fázi.
Výběrem možnosti Zobrazit spuštění testu zobrazíte průběh testu a analyzujete neúspěšné testy. Výsledky testů mají relevantní informace pro ladění neúspěšných testů, jako jsou chybová zpráva, trasování zásobníku, protokoly konzoly a přílohy.
Po dokončení provádění testů se na stránce Spuštění plánů azure Test zobrazí výsledky testu. Na stránce souhrnu spuštění se zobrazí přehled spuštění.
Existuje odkaz na verzi použitou ke spuštění testů, což usnadňuje nalezení verze, která testy spustila, pokud se potřebujete vrátit později a analyzovat výsledky. Tento odkaz použijte také v případě, že chcete otevřít verzi a zobrazit protokoly verzí.
Poznámka:
Automatické výsledky testů nepodporují ruční přílohu souborů.
Na stránce Výsledků testu jsou uvedeny výsledky pro každý test v testovacím běhu. Výběrem testu zobrazíte informace o ladění neúspěšných testů, jako je chybová zpráva, trasování zásobníku, protokoly konzoly a přílohy.
Otevřete stránku Testovací plány a výběrem testovacího plánu zobrazte stav testů, pokud se testy aktualizují po dokončení testu. Výběrem testu zobrazíte nedávné výsledky testů.
Často kladené dotazy
Podívejte se na následující nejčastější dotazy k azure Test Plans.
Otázka: Jaká oprávnění potřebuji ke spouštění automatizovaných testů z Azure Test Plans?
A: Musíte být přispěvatelem projektu nebo mít následující oprávnění:
- Vytváření vydaných verzí
- Správa vydaných verzí
- Úprava fáze vydání
- Správa nasazení
Další informace najdete v tématu Oprávnění k vydání.
Otázka: Můžu přepsat sestavení nebo fázi nastavenou na úrovni testovacího plánu pro konkrétní instanci testovacího spuštění?
A: Ano, můžete to udělat pomocí příkazu Spustit s možnostmi . Otevřete místní nabídku testovací sady v levém sloupci a vyberte Spustit s možnostmi.
Do dialogového okna Spustit s možnostmi zadejte následující hodnoty a pak vyberte OK:
- Typ testu a spouštěč: Výběr automatizovaných testů pomocí fáze vydání
- Sestavení: Vyberte sestavení s testovacími binárními soubory. Výsledky testu jsou přidružené k tomuto sestavení.
- Kanál verze: V seznamu kanálů verze vyberte kanál, který může využívat vybraný artefakt sestavení.
- Fáze vydání: Vyberte název fáze nakonfigurované v kanálu verze.
Otázka: Proč ke spouštění testů používat fáze vydaných verzí?
A: Azure Pipelines nabízí atraktivní pracovní postup orchestrace pro získání testovacích binárních souborů jako artefaktů a spouštění testů. Tento pracovní postup sdílí stejné koncepty používané v pracovním postupu plánovaného testování, což znamená, že uživatelé, kteří spouští testy v naplánovaném pracovním postupu, snadno se přizpůsobí; Například naklonováním existujícího kanálu naplánovaného testování verze.
Další hlavní výhodou je dostupnost bohaté sady úloh v katalogu úloh, které umožňují provádět celou řadu aktivit před a po spuštění testů. Mezi příklady patří příprava a čištění testovacích dat, vytváření a čištění konfiguračních souborů a další.
Otázka: Jak funguje výběr možnosti Testovací běh v úloze Visual Studio Test verze 2?
A: Subsystém správy testů používá objekt testovacího spuštění k předání seznamu testů vybraných ke spuštění. Úloha testu vyhledá identifikátor spuštění testu, extrahuje informace o spuštění testu, jako jsou názvy kontejneru a testovací metody, spustí testy, aktualizuje výsledky spuštění testu a nastaví testovací body přidružené k výsledkům testu v testovacím běhu. Z hlediska auditování poskytuje úloha sady Visual Studio trasování z historických verzí a identifikátory testovacího spuštění k testům, které byly odeslány k provedení testu na vyžádání.
Otázka: Má agent běžet v interaktivním režimu nebo jako služba?
A: Pokud spouštíte testy uživatelského rozhraní, jako jsou programové testy uživatelského rozhraní nebo Selenium , musí agent na testovacích počítačích běžet v interaktivním režimu s povoleným automatickým protokolem, nikoli jako službou, aby agent mohl spustit webový prohlížeč. Pokud používáte bezobslužný prohlížeč, například FantomovýJS, může být agent spuštěný jako služba nebo v interaktivním režimu. Další informace najdete v tématu Agenti sestavení a vydání, Nasazení agenta ve Windows a fondy agentů.
Otázka: Kde najdu podrobnou dokumentaci ke spouštění testů Selenium?
A: Podívejte se, jak začít s testováním Selenium.
Otázka: Co se stane, když pro stejný test vyberu více konfigurací?
A: V současné době pracovní postup na vyžádání nepodporuje konfiguraci.
Otázka: Co když potřebuji stáhnout binární soubory produktů a otestovat binární soubory z různých sestavení? Nebo pokud potřebuji získat artefakty ze zdroje, jako je Jenkins?
A: Aktuální funkce je optimalizovaná pro jeden týmový build, který se má testovat na vyžádání pomocí pracovního postupu Azure Pipelines. Na základě zpětné vazby uživatelů vyhodnocujeme podporu verzí s více artefakty, včetně artefaktů mimo Azure Pipelines, jako je Jenkins.
Otázka: Už mám naplánovaný kanál testovací verze. Můžu znovu použít stejný kanál ke spuštění testu na vyžádání nebo mám vytvořit nový kanál?
Odpověď: Pro automatizované testování na vyžádání z azure Test Plans doporučujeme použít samostatný kanál verze a fázi, protože:
Aplikaci možná nebudete chtít nasadit pokaždé, když chcete spustit několik testů na vyžádání. Naplánované fáze testování jsou obvykle nastavené pro nasazení produktu a následné spuštění testů.
Nové verze se aktivují pro každé spuštění na vyžádání. Pokud máte mnoho testerů, kteří každý den spouštějí několik testovacích běhů na vyžádání, může být váš naplánovaný kanál testovací verze přetížen verzemi pro tato spuštění, což ztěžuje vyhledání verzí, které aktivují kanál, který obsahuje plánované testování a nasazení do produkčního prostředí.
Možná budete chtít nakonfigurovat úlohu Visual Studio Test s identifikátorem testovacího spuštění jako vstupem, abyste mohli sledovat, co vydání aktivovalo. Další informace naleznete v tématu Jak funguje výběr možnosti Testovací běh (pro spuštění na vyžádání) v úloze Visual Studio Test?.
Otázka: Můžu tato spuštění aktivovat a zobrazit výsledky v Microsoft Test Manageru?
Odpověď: Ne. Microsoft Test Manager nepodporuje spouštění automatizovaných testů v buildech Team Foundation. Funguje jenom ve webovém rozhraní pro Azure Pipelines. Všechny nové investice do ručního a automatizovaného testování vývoje produktů jsou v webovém rozhraní. Pro Microsoft Test Manager se neplánuje žádný další vývoj. Přečtěte si pokyny k používání Microsoft Test Manageru.
Otázka: Mám v týmu více testerů. Můžou paralelně spouštět testy z různých testovacích sad nebo testovacích plánů pomocí stejného kanálu verze?
A: Pomocí stejného kanálu verze můžou paralelně aktivovat více testovacích běhů, pokud:
Fond agentů přidružený k této fázi má dostatek agentů pro zajištění paralelních požadavků. Pokud není k dispozici dostatek agentů, je možné spustit spuštění, ale uvolnit frontu pro zpracování, dokud nebudou agenti k dispozici.
Máte dostatek úloh pro povolení paralelních úloh. Další informace najdete v tématu Paralelní úlohy v Azure Pipelines nebo Paralelní úlohy v TFS.
Testeři nespouštějí stejné testy paralelně. To může způsobit přepsání výsledků v závislosti na pořadí provádění.
Pokud chcete povolit paralelní spouštění několika různých testovacích běhů, nastavte možnost triggeru fáze Azure Pipelines pro chování, když několik verzí čeká na nasazení následujícím způsobem:
Pokud vaše aplikace podporuje testy spuštěné paralelně z různých zdrojů, nastavte tuto možnost na Možnost Povolit nasazení více verzí současně.
Pokud vaše aplikace nepodporuje testy spuštěné paralelně z různých zdrojů, nastavte tuto možnost na Možnost Povolit pouze jedno aktivní nasazení najednou.
Otázka: Návody předat parametry testovacímu kódu z kanálu buildu nebo verze?
A: K předání hodnot jako parametrů testovacímu kódu použijte soubor runsettings . Například ve verzi, která obsahuje několik fází, můžete předat příslušnou adresu URL aplikace jednotlivým testovacím úlohám v každé z nich. Soubor runsettings a odpovídající parametry musí být zadány v úloze Visual Studio Test.
Otázka: Jaké jsou typické chybové scénáře nebo problémy, na které bych se měl podívat, pokud se testy nespustí?
A: Zkontrolujte a vyřešte problémy následujícím způsobem:
Kanál verze a fáze, ve které chci spustit testy, se po výběru sestavení nezobrazí.
- Ujistěte se, že kanál buildu, který generuje sestavení, je propojený jako primární artefakt na kartě Artefakty kanálu verze.
Zobrazuje se mi chyba, že nemám dostatečná oprávnění k aktivaci vydané verze.
- V nabídce Zabezpečení kanálu verze nakonfigurujte oprávnění Vytvořit vydané verze a Spravovat nasazení pro uživatele. Viz oprávnění k vydání.
Zobrazuje se mi chyba, že nebyly nalezeny žádné automatizované testy.
- Zkontrolujte stav automatizace vybraných testů. Proveďte to v pracovní položce pro testovací případ nebo pomocí odkazu Možnosti sloupce v Azure Test Plans přidejte sloupec stavu automation do seznamu testů. Další informace najdete v části Požadavky.
Testy se nespusily a mám podezření, že kanál verze je nesprávný.
- Odkaz na stránce souhrnu spuštění použijte pro přístup k instanci vydané verze, která se používá ke spuštění testů, a zobrazte protokoly vydaných verzí.
Moje testy přejdou do stavu chyby nebo zůstanou probíhající i po aktivaci uvolnění do fáze.
- Zkontrolujte, jestli vybraná fáze vydání obsahuje správnou úlohu a verzi. Musíte použít verzi 2 nebo vyšší úlohy Visual Studio Test . Verze 1 úlohy a úloha Spustit funkční testy nejsou podporovány.