Batchtestning med en uppsättning exempelyttranden

  • Artikel

Viktigt!

LUIS dras tillbaka den 1 oktober 2025 och från och med den 1 april 2023 kommer du inte att kunna skapa nya LUIS-resurser. Vi rekommenderar att du migrerar dina LUIS-program till förståelse för konversationsspråk för att dra nytta av fortsatt produktsupport och flerspråkiga funktioner.

Batch-testning validerar din aktiva tränade version för att mäta dess förutsägelsenoggrannhet. Ett batchtest hjälper dig att visa noggrannheten för varje avsikt och entitet i din aktiva version. Granska batchtestresultatet för att vidta lämpliga åtgärder för att förbättra noggrannheten, till exempel lägga till fler exempelyttranden i en avsikt om appen ofta inte kan identifiera rätt avsikt eller etiketteringsentiteter i yttrandet.

Gruppera data för batchtest

Det är viktigt att yttranden som används för batchtestning är nya för LUIS. Om du har en datauppsättning med yttranden delar du upp yttrandena i tre uppsättningar: exempelyttranden som lagts till i en avsikt, yttranden som tagits emot från den publicerade slutpunkten och yttranden som används för att batchtesta LUIS när den har tränats.

Batch-JSON-filen som du använder bör innehålla yttranden med maskininlärningsentiteter på toppnivå som är märkta med start- och slutposition. Yttrandena bör inte ingå i exemplen som redan finns i appen. De bör vara yttranden som du vill förutsäga positivt för avsikter och entiteter.

Du kan avgränsa tester efter avsikt och/eller entitet eller ha alla tester (upp till 1 000 yttranden) i samma fil.

Vanliga fel vid import av en batch

Om du stöter på fel vid uppladdning av batchfilen till LUIS kontrollerar du följande vanliga problem:

  • Mer än 1 000 yttranden i en batchfil
  • Ett uttrycks-JSON-objekt som inte har en entitetsegenskap. Egenskapen kan vara en tom matris.
  • Word(er) märkta i flera entiteter
  • Entitetsetiketter som börjar eller slutar på ett blanksteg.

Åtgärda batchfel

Om det finns fel i batchtestningen kan du antingen lägga till fler yttranden i en avsikt och/eller märka fler yttranden med entiteten för att hjälpa LUIS att göra diskrimineringen mellan avsikter. Om du har lagt till yttranden och märkt dem och fortfarande får förutsägelsefel i batchtestning kan du överväga att lägga till en fraslista med domänspecifik vokabulär för att hjälpa LUIS att lära sig snabbare.

Batchtestning med HJÄLP av LUIS-portalen

Importera och träna en exempelapp

Importera en app som tar en pizzabeställning, till exempel 1 pepperoni pizza on thin crust.

  1. Ladda ned och spara JSON-filen för appen.

  2. Logga in på LUIS-portalen och välj din prenumerations - och redigeringsresurs för att se de appar som tilldelats den redigeringsresursen.

  3. Välj pilen bredvid Ny app och klicka på Importera som JSON för att importera JSON till en ny app. Ge appen Pizza appnamnet .

  4. Välj Träna i det övre högra hörnet i navigeringen för att träna appen.

Roller i batchtestning

Varning

Entitetsroller stöds inte i batchtestning.

Batch-testfil

Exempel-JSON innehåller ett yttrande med en märkt entitet för att illustrera hur en testfil ser ut. I dina egna tester bör du ha många yttranden med rätt avsikt och entitet för maskininlärning märkt.

  1. Skapa pizza-with-machine-learned-entity-test.json i en textredigerare eller ladda ned den.

  2. I den JSON-formaterade batchfilen lägger du till ett yttrande med den avsikt som du vill förutse i testet.

    [
    {
        "text": "I want to pick up 1 cheese pizza",
        "intent": "ModifyOrder",
        "entities": [
            {
                "entity": "Order",
                "startPos": 18,
                "endPos": 31
            },
            {
                "entity": "ToppingList",
                "startPos": 20,
                "endPos": 25
            }
        ]
    }
]

Kör batchen

  1. Välj Testa i det övre navigeringsfältet.

  2. Välj Panelen Batch-testning på den högra panelen.

    Batch-testlänk

  3. Välj Importera. I dialogrutan som visas väljer du Välj fil och letar upp en JSON-fil med rätt JSON-format som inte innehåller fler än 1 000 yttranden att testa.

    Importfel rapporteras i ett rött meddelandefält överst i webbläsaren. När en import har fel skapas ingen datauppsättning. Mer information finns i Vanliga fel.

  4. Välj filplatsen för pizza-with-machine-learned-entity-test.json filen.

  5. Namnge datauppsättningen pizza test och välj Klar.

  6. Klicka på knappen Kör.

  7. När batchtestet är klart kan du se följande kolumner:

    Kolumn beskrivning
    Delstat Status för testet. Se resultat visas bara när testet har slutförts.
    Name Det namn som du har gett testet.
    Storlek Antal tester i den här batchtestfilen.
    Senaste körning Datum för den senaste körningen av den här batchtestfilen.
    Senaste resultat Antal lyckade förutsägelser i testet.

  8. Om du vill visa detaljerade resultat av testet väljer du Visa resultat.

    Dricks

    • Om du väljer Ladda ned hämtas samma fil som du laddade upp.
    • Om batchtestet misslyckades matchade inte minst en yttrandeinsikt förutsägelsen.

Granska batchresultat för avsikter

Om du vill granska batchtestresultatet väljer du Visa resultat. Testresultaten visar grafiskt hur testyttrandena förutsades mot den aktiva versionen.

Batchdiagrammet visar fyra kvadranter med resultat. Till höger om diagrammet finns ett filter. Filtret innehåller avsikter och entiteter. När du väljer ett avsnitt i diagrammet eller en punkt i diagrammet visas de associerade yttrandena under diagrammet.

När du hovrar över diagrammet kan ett mushjul förstora eller minska visningen i diagrammet. Detta är användbart när det finns många punkter i diagrammet som är tätt sammansvetsade.

Diagrammet finns i fyra kvadranter, där två av avsnitten visas i rött.

  1. Välj avsikten ModifyOrder i filterlistan. Yttrandet förutsägs som sant positivt , vilket innebär att yttrandet har matchat dess positiva förutsägelse som anges i batchfilen.

    Yttrandet matchade dess positiva förutsägelse

    De gröna bockmarkeringarna i filterlistan anger också att testet lyckades för varje avsikt. Alla andra avsikter visas med en positiv 1/1-poäng eftersom yttrandet testades mot varje avsikt, som ett negativt test för eventuella avsikter som inte anges i batchtestet.

  2. Välj avsikten Bekräftelse . Den här avsikten visas inte i batchtestet, så det här är ett negativt test av yttrandet som visas i batchtestet.

    Yttrande förutsagt negativt för onoterad avsikt i batchfil

    Det negativa testet lyckades, enligt den gröna texten i filtret och rutnätet.

Granska batchtestresultat för entiteter

Entiteten ModifyOrder, som en datorentitet med underentiteter, visar om den översta entiteten matchade och hur underentiteterna förutsägs.

  1. Välj entiteten ModifyOrder i filterlistan och välj sedan cirkeln i rutnätet.

  2. Entitetsförutsägelserna visas under diagrammet. Visningen innehåller solida linjer för förutsägelser som matchar förväntningarna och prickade linjer för förutsägelser som inte matchar förväntningarna.

    Entitetsförordnad förutsagd i batchfil

Filtrera diagramresultat

Om du vill filtrera diagrammet efter en specifik avsikt eller en entitet väljer du avsikten eller entiteten i filtreringspanelen till höger. Datapunkterna och deras distributionsuppdatering i diagrammet enligt ditt val.

Visualiserat batchtestresultat

Diagramresultatexempel

Diagrammet i LUIS-portalen kan du utföra följande åtgärder:

Visa enpunktsyttrandedata

Hovra över en datapunkt i diagrammet för att se säkerhetspoängen för förutsägelsen. Välj en datapunkt för att hämta motsvarande yttrande i yttrandelistan längst ned på sidan.

Valt yttrande

Visa avsnittsdata

I diagrammet med fyra avsnitt väljer du avsnittsnamnet, till exempel False Positive längst upp till höger i diagrammet. Under diagrammet visas alla yttranden i det avsnittet under diagrammet i en lista.

Valda yttranden efter avsnitt

I den här föregående bilden är yttrandet switch on märkt med avsikten TurnAllOn, men har fått förutsägelsen Ingen avsikt. Detta är en indikation på att Avsikten TurnAllOn behöver fler exempelyttranden för att kunna göra den förväntade förutsägelsen.

De två avsnitten i diagrammet i rött anger yttranden som inte matchade den förväntade förutsägelsen. Dessa anger yttranden som LUIS behöver mer utbildning.

De två avsnitten i diagrammet i grönt matchade den förväntade förutsägelsen.

Nästa steg

Om testning indikerar att LUIS-appen inte känner igen rätt avsikter och entiteter kan du arbeta för att förbättra LUIS-appens prestanda genom att märka fler yttranden eller lägga till funktioner.