Utvärderings- och övervakningsmått för generativ AI

Med Azure AI Studio kan du utvärdera konversationer med en enda tur eller komplexa konversationer med flera svängar där du maler den generativa AI-modellen i dina specifika data (även kallat hämtningsförhöjd generation eller RAG). Du kan också utvärdera allmänna fråge- och svarsscenarier med en enda tur, där ingen kontext används för att grunda din generativa AI-modell (icke-RAG). För närvarande stöder vi inbyggda mått för följande aktivitetstyper:

Fråga och svar (enkel tur)

I den här konfigurationen ställer användarna enskilda frågor eller uppmaningar, och en generativ AI-modell används för att omedelbart generera svar.

Testuppsättningsformatet följer det här dataformatet:

{"query":"Which tent is the most waterproof?","context":"From our product list, the Alpine Explorer tent is the most waterproof. The Adventure Dining Table has higher weight.","response":"The Alpine Explorer Tent is the most waterproof.","ground_truth":"The Alpine Explorer Tent has the highest rainfly waterproof rating at 3000m"} 

Konversation (enkel tur och flera svängar)

I det här sammanhanget deltar användarna i konversationsinteraktioner, antingen via en serie svängar eller i ett enda utbyte. Den generativa AI-modellen, utrustad med hämtningsmekanismer, genererar svar och kan komma åt och införliva information från externa källor, till exempel dokument. RAG-modellen (Retrieval Augmented Generation) förbättrar kvaliteten och relevansen för svar med hjälp av externa dokument och kunskaper.

Testuppsättningsformatet följer det här dataformatet:

{"messages":[{"role":"user","content":"How can I check the status of my online order?"},{"content":"Hi Sarah Lee! To check the status of your online order for previous purchases such as the TrailMaster X4 Tent or the CozyNights Sleeping Bag, please refer to your email for order confirmation and tracking information. If you need further assistance, feel free to contact our customer support at support@contosotrek.com or give us a call at 1-800-555-1234.
","role":"assistant","context":{"citations":[{"id":"cHJvZHVjdF9pbmZvXzYubWQz","title":"Information about product item_number: 6","content":"# Information about product item_number: 6\n\nIt's essential to check local regulations before using the EcoFire Camping Stove, as some areas may have restrictions on open fires or require a specific type of stove.\n\n30) How do I clean and maintain the EcoFire Camping Stove?\n   To clean the EcoFire Camping Stove, allow it to cool completely, then wipe away any ash or debris with a brush or cloth. Store the stove in a dry place when not in use."}]}}]}

Mått som stöds

Som beskrivs i metoderna för att utvärdera stora språkmodeller finns det manuella och automatiserade mätmetoder. Automatiserad mätning är användbar för att mäta i stor skala med ökad täckning för att ge mer omfattande resultat. Det är också användbart för löpande mätning att övervaka eventuell regression när systemet, användningen och minskningarna utvecklas.

Vi stöder två huvudsakliga metoder för automatiserad mätning av generativa AI-program:

• Traditionella maskininlärningsmått
• AI-assisterade mått

AI-assisterade mått använder språkmodeller som GPT-4 för att utvärdera AI-genererade utdata, särskilt i situationer där förväntade svar inte är tillgängliga på grund av avsaknaden av en definierad grundsanning. Traditionella maskininlärningsmått, till exempel F1-poäng, mäter precisionen och återkallandet mellan AI-genererade svar och förväntade svar.

Våra AI-assisterade mått utvärderar säkerheten och generationskvaliteten för generativa AI-program. Dessa mått delas in i två olika kategorier:

• Risk- och säkerhetsmått:

  Dessa mått fokuserar på att identifiera potentiella innehålls- och säkerhetsrisker och säkerställa säkerheten för det genererade innehållet.

  De omfattar:

  • Hatiskt och orättvist innehåll
  • Sexuellt innehåll
  • Våldsamt innehåll
  • Självskaderelaterat innehåll
  • Jailbreak för direkt attack (UPIA, användarprompt inmatad attack)
  • Indirekt attack jailbreak (XPIA, cross-domain prompt injected attack)
  • Innehåll av skyddat material

• Kvalitetsmått för generation:

  Dessa mått utvärderar den övergripande kvaliteten och konsekvensen för det genererade innehållet.

  AI-assisterade mått är:

  • Koherens
  • Flyt
  • Grundstötning
  • Relevans
  • Likhet

  Traditionella ML-mått är:

  • F1-poäng
  • ROUGE-poäng
  • BLEU-poäng
  • GLEU-poäng
  • METEOR-poäng

Vi stöder följande AI-assisterade mått för ovanstående aktivitetstyper:

Risk- och säkerhetsmått

Risk- och säkerhetsmåtten bygger på insikter från våra tidigare stora språkmodellprojekt som GitHub Copilot och Bing. Detta säkerställer en omfattande metod för att utvärdera genererade svar för risk- och säkerhetspoäng. Dessa mått genereras via vår säkerhetsutvärderingstjänst, som använder en uppsättning LLM:er. Varje modell har till uppgift att bedöma specifika risker som kan finnas i svaret (till exempel sexuellt innehåll, våldsamt innehåll osv.). Dessa modeller är försett med riskdefinitioner och allvarlighetsgradsskalor, och de kommenterar genererade konversationer i enlighet med detta. För närvarande beräknar vi en "defekt hastighet" för risk- och säkerhetsmåtten nedan. För vart och ett av dessa mått mäter tjänsten om dessa typer av innehåll har identifierats och på vilken allvarlighetsgrad. Var och en av de fyra typerna har fyra allvarlighetsgradsnivåer (Mycket låg, Låg, Medel, Hög). Användare anger ett tröskelvärde för tolerans, och defektfrekvensen produceras av vår tjänst motsvarar antalet instanser som genererades vid och över varje tröskelvärdesnivå.

Typer av innehåll:

• Hatiskt och orättvist innehåll
• Sexuellt innehåll
• Våldsamt innehåll
• Självskaderelaterat innehåll
• Indirekt attack jailbreak
• Direkt attack jailbreak
• Skyddat materialinnehåll

Du kan mäta dessa risk- och säkerhetsmått på dina egna data eller testa datauppsättningen genom redteaming eller på en syntetisk testdatauppsättning som genereras av vår adversariella simulator. Då matas en kommenterad testdatauppsättning ut med allvarlighetsnivåer för innehållsrisk (mycket låg, låg, medel eller hög) och visar dina resultat i Azure AI , som ger dig en övergripande defektfrekvens för hela testdatauppsättningen och instansvyn för varje innehållsrisketikett och resonemang.

Utvärdera sårbarhet för jailbreak

Vi stöder utvärdering av sårbarhet mot följande typer av jailbreak-attacker:

• Direkt attack jailbreak (även kallat UPIA eller User Prompt Injected Attack) injicerar uppmaningar i användarrollen tur konversationer eller frågor till generativa AI-program. Jailbreaks är när ett modellsvar kringgår begränsningarna för det. Jailbreak sker också när en LLM avviker från den avsedda uppgiften eller ämnet.
• Indirekt attack jailbreak (även kallat XPIA eller korsdomän prompt matas in attack) injicerar prompter i returnerade dokument eller kontexten för användarens fråga till generativa AI-program.

Att utvärdera direktangrepp är en jämförande mätning med hjälp av innehållssäkerhetsutvärderingarna som en kontroll. Det är inte ett eget AI-assisterat mått. Kör ContentSafetyEvaluator på två olika, rödlagrade datauppsättningar:

• Baslinjedatauppsättning för kontradiktoriskt test.
• Adversarial testdatauppsättning med direkt attack jailbreak injektioner i första svängen.

Du kan göra detta med funktioner och attackdatauppsättningar som genereras med direktangreppssimulatorn med samma randomiseringsfrö. Sedan kan du utvärdera sårbarheter i jailbreak genom att jämföra resultat från utvärderare för innehållssäkerhet mellan de två testdatauppsättningens aggregerade poäng för varje säkerhetsutvärdering. En direkt attack jailbreak defekt identifieras när det finns förekomst av svar på innehållsskador identifieras i den andra direkt attack inmatade datamängden när det inte fanns någon eller lägre allvarlighetsgrad upptäcktes i den första kontrolldatauppsättningen.

Att utvärdera indirekta attacker är ett AI-assisterat mått och kräver inte jämförande mått som att utvärdera direkta attacker. Generera en inmatad datauppsättning med en indirekt attack i jailbreak med den indirekta attacksimulatorn och utvärdera sedan med IndirectAttackEvaluator.

Hatiskt och orättvist innehåll definition och allvarlighetsgrad skala

Definition och allvarlighetsgrad för sexuellt innehåll

Definition av våldsamt innehåll och allvarlighetsgrad

Självskaderelaterad innehållsdefinition och allvarlighetsgradsskala

Definition och etikett för skyddat material

Definition:

Skyddat material är all text som är upphovsrättsskyddad, inklusive sångtexter, recept och artiklar. Utvärdering av skyddat material använder Azure AI Content Safety Protected Material for Text-tjänsten för att utföra klassificeringen.

Etikett:

Definition och etikett för indirekt attack

Definition:

Indirekta attacker, även kallade xpia(cross-domain prompt injected attacks), är när jailbreak-attacker matas in i kontexten för ett dokument eller en källa som kan leda till ett förändrat, oväntat beteende.

Etikett:

Kvalitetsmått för generation

Kvalitetsmått för generation används för att utvärdera den övergripande kvaliteten på innehållet som produceras av generativa AI-program. Här är en uppdelning av vad dessa mått innebär:

AI-assisterad: Groundedness

För grunderna tillhandahåller vi två versioner:

• Grundavkänning som utnyttjar Azure AI Content Safety Service (AACS) via integrering i Azure AI Studio-säkerhetsutvärderingarna. Ingen distribution krävs från användaren eftersom en serverdelstjänst tillhandahåller modeller som du kan använda för att mata ut en poäng och ett resonemang. Stöds för närvarande i följande regioner: USA, östra 2 och Sverige, centrala.
• Prompt-only-based Groundedness använder dina egna modeller för att endast mata ut en poäng. Stöds för närvarande i alla regioner.

AACS-baserad grund

Prompt-only-based groundedness

Inbyggd prompt som används av domaren för den stora språkmodellen för att bedöma det här måttet:

You will be presented with a CONTEXT and an ANSWER about that CONTEXT. You need to decide whether the ANSWER is entailed by the CONTEXT by choosing one of the following rating: 

1. 5: The ANSWER follows logically from the information contained in the CONTEXT. 

2. 1: The ANSWER is logically false from the information contained in the CONTEXT. 

3. an integer score between 1 and 5 and if such integer score does not exist,  

use 1: It is not possible to determine whether the ANSWER is true or false without further information. 

Read the passage of information thoroughly and select the correct answer from the three answer labels. 

Read the CONTEXT thoroughly to ensure you know what the CONTEXT entails.  

Note the ANSWER is generated by a computer system, it can contain certain symbols, which should not be a negative factor in the evaluation. 

AI-assisterad: Relevans

Inbyggd prompt som används av domaren för den stora språkmodellen för att bedöma det här måttet (för dataformat för frågor och svar):

Relevance measures how well the answer addresses the main aspects of the query, based on the context. Consider whether all and only the important aspects are contained in the answer when evaluating relevance. Given the context and query, score the relevance of the answer between one to five stars using the following rating scale: 

One star: the answer completely lacks relevance 

Two stars: the answer mostly lacks relevance 

Three stars: the answer is partially relevant 

Four stars: the answer is mostly relevant 

Five stars: the answer has perfect relevance 

This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5. 

Inbyggd prompt som används av domaren för den stora språkmodellen för att bedöma det här måttet (för konversationsdataformat) (utan ground truth tillgänglig):

You will be provided a query, a conversation history, fetched documents related to the query and a response to the query in the {DOMAIN} domain. Your task is to evaluate the quality of the provided response by following the steps below:  
 
- Understand the context of the query based on the conversation history.  
 
- Generate a reference answer that is only based on the conversation history, query, and fetched documents. Don't generate the reference answer based on your own knowledge.  
 
- You need to rate the provided response according to the reference answer if it's available on a scale of 1 (poor) to 5 (excellent), based on the below criteria:  
 
5 - Ideal: The provided response includes all information necessary to answer the query based on the reference answer and conversation history. Please be strict about giving a 5 score.  
 
4 - Mostly Relevant: The provided response is mostly relevant, although it might be a little too narrow or too broad based on the reference answer and conversation history.  
 
3 - Somewhat Relevant: The provided response might be partly helpful but might be hard to read or contain other irrelevant content based on the reference answer and conversation history.  
 
2 - Barely Relevant: The provided response is barely relevant, perhaps shown as a last resort based on the reference answer and conversation history.  
 
1 - Completely Irrelevant: The provided response should never be used for answering this query based on the reference answer and conversation history.  
 
- You need to rate the provided response to be 5, if the reference answer can not be generated since no relevant documents were retrieved.  
 
- You need to first provide a scoring reason for the evaluation according to the above criteria, and then provide a score for the quality of the provided response.  
 
- You need to translate the provided response into English if it's in another language. 

- Your final response must include both the reference answer and the evaluation result. The evaluation result should be written in English.  

Inbyggd prompt som används av domaren för den stora språkmodellen för att bedöma det här måttet (för konversationsdataformat) (med Ground Truth tillgängligt):

Your task is to score the relevance between a generated answer and the query based on the ground truth answer in the range between 1 and 5, and please also provide the scoring reason.  
 
Your primary focus should be on determining whether the generated answer contains sufficient information to address the given query according to the ground truth answer.   
 
If the generated answer fails to provide enough relevant information or contains excessive extraneous information, then you should reduce the score accordingly.  
 
If the generated answer contradicts the ground truth answer, it will receive a low score of 1-2.   
 
For example, for query "Is the sky blue?", the ground truth answer is "Yes, the sky is blue." and the generated answer is "No, the sky is not blue.".   
 
In this example, the generated answer contradicts the ground truth answer by stating that the sky is not blue, when in fact it is blue.   
 
This inconsistency would result in a low score of 1-2, and the reason for the low score would reflect the contradiction between the generated answer and the ground truth answer.  
 
Please provide a clear reason for the low score, explaining how the generated answer contradicts the ground truth answer.  
 
Labeling standards are as following:  
 
5 - ideal, should include all information to answer the query comparing to the ground truth answer， and the generated answer is consistent with the ground truth answer  
 
4 - mostly relevant, although it might be a little too narrow or too broad comparing to the ground truth answer, and the generated answer is consistent with the ground truth answer  
 
3 - somewhat relevant, might be partly helpful but might be hard to read or contain other irrelevant content comparing to the ground truth answer, and the generated answer is consistent with the ground truth answer  
 
2 - barely relevant, perhaps shown as a last resort comparing to the ground truth answer, and the generated answer contradicts with the ground truth answer  
 
1 - completely irrelevant, should never be used for answering this query comparing to the ground truth answer, and the generated answer contradicts with the ground truth answer  

AI-assisterad: Enhetlighet

Inbyggd prompt som används av domaren för den stora språkmodellen för att bedöma det här måttet:

Coherence of an answer is measured by how well all the sentences fit together and sound naturally as a whole. Consider the overall quality of the answer when evaluating coherence. Given the query and answer, score the coherence of answer between one to five stars using the following rating scale: 

One star: the answer completely lacks coherence 

Two stars: the answer mostly lacks coherence 

Three stars: the answer is partially coherent 

Four stars: the answer is mostly coherent 

Five stars: the answer has perfect coherency 

This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5. 

AI-assisterad: Flyt

Inbyggd prompt som används av domaren för den stora språkmodellen för att bedöma det här måttet:

Fluency measures the quality of individual sentences in the answer, and whether they are well-written and grammatically correct. Consider the quality of individual sentences when evaluating fluency. Given the query and answer, score the fluency of the answer between one to five stars using the following rating scale: 

One star: the answer completely lacks fluency 

Two stars: the answer mostly lacks fluency 

Three stars: the answer is partially fluent 

Four stars: the answer is mostly fluent 

Five stars: the answer has perfect fluency 

This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5. 

AI-assisterad: Hämtningspoäng

Inbyggd prompt som används av domaren för den stora språkmodellen för att bedöma det här måttet:

A chat history between user and bot is shown below 

A list of documents is shown below in json format, and each document has one unique id.  

These listed documents are used as context to answer the given question. 

The task is to score the relevance between the documents and the potential answer to the given question in the range of 1 to 5.  

1 means none of the documents is relevant to the question at all. 5 means either one of the document or combination of a few documents is ideal for answering the given question. 

Think through step by step: 

- Summarize each given document first 

- Determine the underlying intent of the given question, when the question is ambiguous, refer to the given chat history  

- Measure how suitable each document to the given question, list the document id and the corresponding relevance score.  

- Summarize the overall relevance of given list of documents to the given question after # Overall Reason, note that the answer to the question can be solely from single document or a combination of multiple documents.  

- Finally, output "# Result" followed by a score from 1 to 5.  

  

# Question 

{{ query }} 

# Chat History 

{{ history }} 

# Documents 

---BEGIN RETRIEVED DOCUMENTS--- 

{{ FullBody }} 

---END RETRIEVED DOCUMENTS--- 

AI-assisterad: GPT-Similarity

Inbyggd prompt som används av domaren för den stora språkmodellen för att bedöma det här måttet:

GPT-Similarity, as a metric, measures the similarity between the predicted answer and the correct answer. If the information and content in the predicted answer is similar or equivalent to the correct answer, then the value of the Equivalence metric should be high, else it should be low. Given the question, correct answer, and predicted answer, determine the value of Equivalence metric using the following rating scale: 

One star: the predicted answer is not at all similar to the correct answer 

Two stars: the predicted answer is mostly not similar to the correct answer 

Three stars: the predicted answer is somewhat similar to the correct answer 

Four stars: the predicted answer is mostly similar to the correct answer 

Five stars: the predicted answer is completely similar to the correct answer 

This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5. 

Traditionell maskininlärning: F1-poäng

Traditionell maskininlärning: BLEU-poäng

Traditionell maskininlärning: ROUGE-poäng

Traditionell maskininlärning: GLEU-poäng

Traditionell maskininlärning: METEOR-poäng

Nästa steg

• Utvärdera dina generativa AI-appar via lekplatsen
• Utvärdera med Azure AI-utvärdera SDK
• Utvärdera dina generativa AI-appar med Azure AI Studio
• Visa utvärderingsresultaten
• Transparensanteckning för säkerhetsutvärderingar i Azure AI Studio