Testování různých konfigurací

  • Článek

Azure DevOps Services | Azure DevOps Server 2022 – Azure DevOps Server 2019

Vaši uživatelé si vaši aplikaci pravděpodobně nainstalují nebo spustí na nejrůznějších konfiguracích, jako jsou různé operační systémy, webové prohlížeče a další varianty. Budete chtít spustit aspoň některé testy ve fázích, které mají tyto různé konfigurace.

Pomocí testovacích plánů se rozhodněte, které testy chcete spouštět pro které konfigurace. Musíte se ujistit, že když spustíte testy, které jste nastavili pro požadované konfigurace.

Můžete nakreslit schématickou matici kombinací, které chcete testovat:

Testovací matice konfigurací prohlížeče a operačního systému

Pak můžete:

Požadavky

  • Musíte se připojit k projektu. Pokud projekt ještě nemáte, vytvořte ho.
  • Musíte být přidáni do projektu. Pokud chcete přidat uživatele, přidejte uživatele do projektu nebo týmu.
  • Pokud chcete zobrazit nebo přidat konfigurace testů, musíte mít základní přístup nebo vyšší.
  • Pokud chcete přidat konfigurace testů, musíte mít oprávnění Spravovat konfigurace testů na úrovni projektu nastavená na Povolit. Ve výchozím nastavení je toto oprávnění uděleno členům skupin Přispěvatelé a Správce projektu.

Další informace naleznete v tématu Ruční test přístupu a oprávnění.

Práce s nástrojem příkazového řádku TCM

Pokud chcete použít nástroj příkazového řádku TCM, musíte mít následující položky:

  • Nainstalovali jste Visual Studio 2017 Professional nebo starší verzi. K TCM se dostanete z příkazového řádku a z následujících adresářů:

    • %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE
    • %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE

  • Pokud chcete spustit příkaz TCM, zadejte /collection parametry /teamproject a /login podle potřeby.

    Parametr Popis
    /sbírka:CollectionURL Povinný: Určuje identifikátor URI kolekce týmového projektu. Formát identifikátoru URI je následující:
    – Pro Azure DevOps Services: http://dev.azure.com/OrganizationName
    – Pro Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Pokud se nepoužívá žádný virtuální adresář, je formát identifikátoru URI následující:http://ServerName:Port/CollectionName
    /teamproject:project Povinný: Název projektu, který obsahuje testovací objekty, do kterého chcete klonovat nebo importovat automatizované testy.
    /login:username,[password] Nepovinné. Určuje název a heslo platného uživatele Azure DevOps, který má oprávnění ke spuštění příkazu. Tuto možnost použijte, pokud vaše přihlašovací údaje windows nemají příslušná oprávnění nebo používáte základní ověřování nebo nejste připojení k doméně.

  • Musíte být platným členem jednoho nebo více projektů, ke kterým chcete získat přístup, a mít požadovaná oprávnění na základě spuštěných příkazů. Další informace naleznete v tématu Ruční test přístupu a oprávnění.

  • Abyste mohli klonovat nebo importovat testovací objekty, musíte mít stejné úrovně přístupu potřebné k přidání testovacích plánů a sad testů.

Zobrazení konfigurací a proměnných

Často chcete zobrazit konfigurace, které jsou již k dispozici pro spouštění testů.

Seznam konfigurací testů a konfiguračních proměnných můžete zobrazit na stránce Konfigurace .

V projektu vyberte Konfigurace testovacích plánů>z levé navigační oblasti. Tady uvidíte všechny konfigurace testů a proměnné, které jsou aktuálně dostupné pro vaše testovací plány.

Snímek obrazovky Editor Power Query, testovacích plánů dotazu

Výběrem konfigurace nebo proměnné zobrazíte další informace o této konfiguraci v okně napravo.

Vytváření konfigurací a proměnných

Testovací konfigurace je kombinací hodnot proměnných konfigurace. Proměnné konfigurace můžou být například operační systém, prohlížeč, typ procesoru nebo databáze. Konfigurace může být "Windows 8 + 32bitový procesor" nebo "Windows 10 + 64bitový procesor".

Nejprve vytvořte konfigurační proměnné. Potom zkombinujte více hodnot proměnných a vytvořte konfiguraci.

  1. Otevřete stránku Konfigurace na webovém portálu Testovací plány, vyberte + ikonu a vyberte Novou konfigurační proměnnou.

    Snímek obrazovky s možností Nová proměnná konfigurace v nabídce Nový

  2. Zadejte název proměnné, například Prohlížeč, a popis. Vyberte Přidat novou hodnotu a pak přidejte hodnotu. Přidejte do konfigurační proměnné tolik hodnot, kolik chcete, a pak ho uložte.

    Snímek obrazovky znázorňující přidání hodnot do nové konfigurační proměnné

  3. Opakujte kroky a vytvořte další potřebné konfigurační proměnné. Vytvořte například proměnnou konfigurace s názvem Operační systém s názvy jednotlivých operačních systémů, na kterých chcete testovat.

    Snímek obrazovky ukazuje nastavení hodnot pro konfigurační proměnnou operačních systémů.

  4. + Vyberte ikonu a vyberte Nová konfigurace testu.

    Snímek obrazovky ukazuje možnost Nová konfigurace testu v nabídce Nový.

  5. Zadejte název konfigurace testu a přidejte proměnné konfigurace, které jste vytvořili. Zvolte hodnotu pro každou proměnnou pro tuto konfiguraci.

    Snímek obrazovky znázorňující přidání proměnných do nové konfigurace testu

    Ujistěte se, že je zaškrtnuté políčko Přiřadit k novým testovacím plánům , aby tato konfigurace byla výchozí pro všechny nové testovací plány, které vytvoříte.

  6. Uložte novou konfiguraci testu.

Testovací konfigurace je kombinací hodnot proměnných konfigurace. Proměnné konfigurace můžou být například operační systém, prohlížeč, typ procesoru nebo databáze. Konfigurace může být "Windows 8 + 32bitový procesor" nebo "Windows 10 + 64bitový procesor".

Nejprve je nutné vytvořit konfigurační proměnné. Potom zkombinujte více hodnot proměnných a vytvořte konfiguraci.

  1. Otevřete stránku Konfigurace na webovém portálu Testovací plány, zvolte Nové… ikonu a vyberte Novou konfigurační proměnnou.

    Přidání nové konfigurační proměnné

  2. Zadejte název proměnné, například Prohlížeč, a zadejte hodnotu. Přidejte do konfigurační proměnné tolik hodnot, kolik chcete, a pak ho uložte.

    Nastavení hodnot pro novou konfigurační proměnnou

  3. Opakujte kroky a vytvořte další potřebné konfigurační proměnné. Vytvořte například proměnnou konfigurace s názvem Operační systém s názvy jednotlivých operačních systémů, na kterých chcete testovat.

    Nastavení hodnot pro konfigurační proměnnou operačních systémů

  4. Nové… Zvolte ikonu a vyberte Nová konfigurace testu.

    Přidání nové konfigurace testu

  5. Zadejte název konfigurace testu a přidejte proměnné konfigurace, které jste vytvořili. Zvolte hodnotu pro každou proměnnou pro tuto konfiguraci.

    Přidání proměnných do nové konfigurace testu

    Ujistěte se, že je zaškrtnuté políčko Přiřadit k novým testovacím plánům , aby se tato výchozí konfigurace pro všechny nové testovací plány, které vytvoříte.

  6. Uložte novou konfiguraci testu.

Přiřazení konfigurací k testovacím plánům a sadám

Konfigurace můžete přiřadit testovací sadě nebo jednotlivým testovacím případům. Konfigurace přiřazené k testovací sadě se vztahují na všechny testy nebo sady v ní.

  1. Pokud chcete přiřadit konfiguraci testovací sadě, vyberte na stránce Testovací plány plán. V oblasti Sady testů vyberte testovací sadu a vyberte Další možnosti nebo kliknutím pravým tlačítkem otevřete místní nabídku a pak vyberte Přiřadit konfiguraci.

    Snímek obrazovky s možností nabídky Přiřadit konfiguraci

    Pokud do sady testů přidáte více konfigurací, budou se případy testů opakovat s každou konfigurací, kterou jste přiřadili.

    Snímek obrazovky znázorňující více přiřazení konfigurace k testovací sadě

  2. V případě potřeby přepište výchozí konfiguraci přiřazenou testovacímu případu a přiřaďte požadovanou konfiguraci. Vyberte jeden nebo více testovacích případů, otevřete místní nabídku a vyberte Přiřadit konfiguraci.

    Snímek obrazovky znázorňující přiřazení konfigurace přiřazené testovacímu případu

  3. Vyhledejte a vyberte konfigurace, které chcete přiřadit testovacím případům.

    Snímek obrazovky ukazuje nastavení konfigurace testovacího případu.

Konfigurace můžete přiřadit testovacímu plánu, sadě testů nebo jednotlivým testovacím případům. Konfigurace přiřazené k testovacímu plánu nebo sadě testů platí pro všechny testy nebo sady v něm.

  1. Pokud chcete přiřadit konfiguraci testovacímu plánu, otevřete na stránce Testovací plány místní nabídku plánu a zvolte Přiřadit konfiguraci k testovacímu plánu.

    Přiřazení konfigurace k testovacímu plánu

  2. Pokud chcete přiřadit konfiguraci testovací sadě, otevřete místní nabídku pro sadu a zvolte Přiřadit konfiguraci k testovací sadě.

    Přiřazení konfigurace k testovací sadě

    Pokud do testovacího plánu nebo sady přidáte více konfigurací, budou se testovací případy opakovat v plánu nebo sadě s jednotlivými konfiguracemi, které jste přiřadili.

    Přiřazení více konfigurací k testovací sadě

  3. V případě potřeby přepište výchozí konfiguraci přiřazenou testovacímu případu a přiřaďte požadovanou konfiguraci. Vyberte jeden nebo více testovacích případů, otevřete místní nabídku a zvolte Přiřadit konfigurace.

    Přepsání výchozí konfigurace přiřazené testovacímu případu

  4. Vyhledejte a vyberte konfigurace, které chcete přiřadit k těmto testovacím případům.

    Nastavení požadovaných konfigurací pro testovací případ

Spouštění testů s každou konfigurací

Nastavte testovací platformu pro konkrétní konfiguraci, jako je například testování aplikace pomocí Google Chrome ve Windows 10.

  1. Vyberte a spusťte test, který má přiřazenou tuto konfiguraci.

    Snímek obrazovky ukazuje test s konkrétní konfigurací a vybranou možností Spustit pro webovou aplikaci.

    Při spuštění testu se na stavovém řádku zobrazí připomenutí konfigurace.

    Snímek obrazovky ukazuje konfiguraci tohoto testu na stavovém řádku.

  1. Nastavte testovací platformu pro konkrétní konfiguraci, jako je například testování aplikace pomocí Google Chrome ve Windows 10.

  2. Vyberte a spusťte test, který má přiřazenou tuto konfiguraci.

    Spuštění testu s přiřazenou konfigurací

    Při spuštění testu se na stavovém řádku okna Test Runneru zobrazí připomenutí požadované konfigurace.

    Požadovaná konfigurace se zobrazí v okně Test Runneru.

Sledování výsledků testů pro každou konfiguraci

  1. Otevřete stránku Grafy pro sadu testů, vyberte Nový a vyberte Nový graf výsledků testu.

    Snímek obrazovky s možností nabídky Nový graf výsledků testu

  2. Zvolte typ grafu, třeba výsečový nebo pruhový graf, a pak vyberte Seskupování podle>konfigurace a zvolte OK.

    Snímek obrazovky znázorňuje výběr možnosti konfigurace pro seskupení podle dialogového okna konfigurovat graf.

    Vytvoří se graf, který vám pomůže sledovat testy na základě konfigurací. Tento graf můžete připnout na řídicí panel.

    Snímek obrazovky znázorňující pruhový graf s hodnotami nespouštěné, předané a neúspěšné

Pokud máte testovací případ, který se zobrazí v několika testovacích sadách, můžete pro každou sadu nastavit různé konfigurace. Stejný testovací případ může mít různá nastavení konfigurace v různých testovacích sadách a testovacích plánech.

  1. Otevřete stránku Grafy pro testovací plán nebo sadu testů, zvolte Nový a vyberte Nový graf výsledků testu.

    Vytvoření nového grafu výsledků testu

  2. Zvolte typ požadovaného grafu, vyberte v seznamu Seskupování podle a zvolte OK.

    Výběr typu požadovaného grafu

    Vytvoří se graf, který vám pomůže sledovat testy na základě konfigurací. Tento graf můžete připnout na řídicí panel.

    Graf výsledků testu konfigurace

Pokud máte testovací případ, který se zobrazí v několika testovacích plánech a testovacích sadách, můžete pro každou z nich nastavit různé konfigurace. Stejný testovací případ může mít různá nastavení konfigurace v různých testovacích sadách a testovacích plánech.