Ruční vyhodnocení výzev v dětském prostředí Azure AI Studio

Jakmile začnete s technikou výzvy, měli byste otestovat různé vstupy po jednom, abyste mohli vyhodnotit efektivitu výzvy, může být velmi časově náročné. Je to proto, že je důležité zkontrolovat, jestli filtry obsahu správně fungují, jestli je odpověď přesná a další.

Pokud chcete tento proces zjednodušit, můžete použít ruční vyhodnocení v Azure AI Studiu, což je nástroj pro vyhodnocení, který umožňuje nepřetržitě iterovat a vyhodnocovat výzvy vůči testovacím datům v jednom rozhraní. Výstupy, odpovědi modelu můžete také ohodnotit ručně, abyste získali jistotu v výzvě.

Ruční vyhodnocení vám pomůže pochopit, jak dobře vaše výzva funguje, a iterovat na příkazovém řádku, abyste měli jistotu, že dosáhnete požadované úrovně spolehlivosti.

V tomto článku se naučíte:

• Generování výsledků ručního vyhodnocení
• Ohodnoťte odpovědi modelu.
• Iterace na příkazovém řádku a opětovné hodnocení
• Uložení a porovnání výsledků
• Vyhodnocení s využitím předdefinovaných metrik

Požadavky

Pokud chcete vygenerovat výsledky ručního vyhodnocení, musíte mít následující:

• Testovací datová sada v jednom z těchto formátů: csv nebo jsonl. Pokud datovou sadu nemáte k dispozici, umožníme vám také ručně zadávat data z uživatelského rozhraní.

• Nasazení jednoho z těchto modelů: modely GPT 3.5, modely GPT 4 nebo Modely Davinci. Další informace o tom, jak vytvořit nasazení, najdete v tématu Nasazení modelů.

Generování výsledků ručního vyhodnocení

V dětském hřišti vyberte Ruční vyhodnocení a začněte proces ruční kontroly odpovědí modelu na základě testovacích dat a výzvy. Výzva se automaticky přepošla na ruční vyhodnocení a teď stačí přidat testovací data pro vyhodnocení výzvy.

To lze provést ručně pomocí textových polí ve sloupci Vstup .

Můžete také importovat data a zvolit jednu z předchozích existujících datových sad v projektu nebo nahrát datovou sadu, která je ve formátu CSV nebo JSONL. Po načtení dat se zobrazí výzva, abyste sloupce namapovali odpovídajícím způsobem. Po dokončení a výběru možnosti Importovat se data vyplní odpovídajícím způsobem ve sloupcích níže.

Teď, když jsou vaše data přidaná, můžete spustit a naplnit výstupní sloupec odpovědí modelu.

Ohodnoťte odpovědi modelu.

Pro každou odpověď můžete zadat palec nahoru nebo dolů, abyste mohli vyhodnotit výstup výzvy. Na základě vámi zadaných hodnocení můžete tyto skóre odpovědí zobrazit v souhrnech na první pohled.

Iterace na příkazovém řádku a opětovné hodnocení

Na základě souhrnu můžete chtít provést změny výzvy. Pomocí výše uvedených ovládacích prvků výzvy můžete upravit nastavení výzvy. Může se jednat o aktualizaci systémové zprávy, změnu modelu nebo úpravu parametrů.

Po provedení úprav můžete znovu spustit celou tabulku, nebo se zaměřit na opakované spuštění konkrétních řádků, které nesplní vaše očekávání při prvním spuštění.

Uložení a porovnání výsledků

Po naplnění výsledků můžete výsledky uložit , abyste mohli sdílet průběh se svým týmem nebo pokračovat v ručním vyhodnocení, odkud jste skončili později.

Můžete také porovnat palec nahoru a dolů hodnocení v různých ručních vyhodnoceních tím, že je uložíte a zobrazíte na kartě Vyhodnocení v části Ruční vyhodnocení.

Další kroky

Přečtěte si další informace o tom, jak vyhodnotit aplikace generující umělé inteligence:

• Vyhodnocení aplikací generující AI pomocí sady Azure AI Studio nebo sady SDK
• Zobrazení výsledků vyhodnocení

Přečtěte si další informace o technikách zmírnění škod.