Метрики оценки и мониторинга для создания искусственного интеллекта

Azure AI Studio позволяет оценивать одноэтапные или сложные многоэтапные беседы, в которых создается модель искусственного интеллекта в конкретных данных (также известной как извлечение дополненного поколения или RAG). Вы также можете оценить общие сценарии одноключевых запросов и ответов, где контекст не используется для создания модели искусственного интеллекта (не RAG). В настоящее время мы поддерживаем встроенные метрики для следующих типов задач:

Запрос и ответ (один поворот)

В этой настройке пользователи представляют отдельные запросы или запросы, а модель создания искусственного интеллекта используется для мгновенного создания ответов.

Формат тестового набора будет соответствовать этому формату данных:

{"query":"Which tent is the most waterproof?","context":"From our product list, the Alpine Explorer tent is the most waterproof. The Adventure Dining Table has higher weight.","response":"The Alpine Explorer Tent is the most waterproof.","ground_truth":"The Alpine Explorer Tent has the highest rainfly waterproof rating at 3000m"} 

Беседа (один поворот и несколько поворотов)

В этом контексте пользователи участвуют в диалоговых взаимодействиях через ряд поворотов или в одном обмене. Модель создания ИИ, оснащенная механизмами извлечения, создает ответы и может получать доступ к информации из внешних источников, например документов. Модель получения дополненного поколения (RAG) повышает качество и релевантность ответов с помощью внешних документов и знаний.

Формат тестового набора будет соответствовать этому формату данных:

{"messages":[{"role":"user","content":"How can I check the status of my online order?"},{"content":"Hi Sarah Lee! To check the status of your online order for previous purchases such as the TrailMaster X4 Tent or the CozyNights Sleeping Bag, please refer to your email for order confirmation and tracking information. If you need further assistance, feel free to contact our customer support at support@contosotrek.com or give us a call at 1-800-555-1234.
","role":"assistant","context":{"citations":[{"id":"cHJvZHVjdF9pbmZvXzYubWQz","title":"Information about product item_number: 6","content":"# Information about product item_number: 6\n\nIt's essential to check local regulations before using the EcoFire Camping Stove, as some areas may have restrictions on open fires or require a specific type of stove.\n\n30) How do I clean and maintain the EcoFire Camping Stove?\n   To clean the EcoFire Camping Stove, allow it to cool completely, then wipe away any ash or debris with a brush or cloth. Store the stove in a dry place when not in use."}]}}]}

Поддерживаемые метрики

Как описано в методах оценки больших языковых моделей, существуют ручной и автоматизированный подходы к измерению. Автоматическое измерение полезно для измерения в масштабе с повышенным охватом, чтобы обеспечить более полные результаты. Кроме того, это полезно для постоянного измерения для отслеживания любой регрессии по мере развития системы, использования и устранения рисков.

Мы поддерживаем два основных метода автоматического измерения создаваемых приложений ИИ:

• Традиционные метрики машинного обучения
• Метрики с поддержкой ИИ

Метрики с поддержкой искусственного интеллекта используют языковые модели, такие как GPT-4, для оценки выходных данных, созданных ИИ, особенно в ситуациях, когда ожидаемые ответы недоступны из-за отсутствия определенной правды. Традиционные метрики машинного обучения, такие как оценка F1, измеряют точность и отзыв между ответами, созданными ИИ, и ожидаемыми ответами.

Наши метрики с поддержкой искусственного интеллекта оценивают безопасность и качество создания создаваемых приложений ИИ. Эти метрики делятся на две отдельные категории:

• Метрики риска и безопасности:

  Эти метрики сосредоточены на выявлении потенциальных рисков содержимого и безопасности и обеспечения безопасности созданного содержимого.

  К ним относятся:

  • Ненавистное и несправедливое содержимое
  • Сексуальное содержимое
  • Насильственное содержимое
  • Содержимое, связанное с самостоятельной вредом
  • Direct Attack Jailbreak (UPIA, User Prompted Attack)
  • Непрямая атака в тюрьме (XPIA, междоменная запросная атака, внедренная атака)
  • Содержимое защищенного материала

• Метрики качества создания:

  Эти метрики оценивают общее качество и согласованность созданного содержимого.

  Метрики с поддержкой ИИ включают:

  • Согласованность
  • Беглость
  • Заземленность
  • С сортировкой по релевантности
  • Similarity

  К традиционным метрикам машинного обучения относятся:

  • Оценка F1
  • Оценка ROUGE
  • Оценка BLEU
  • Оценка GLEU
  • ОЦЕНКА МЕТЕОРА

Мы поддерживаем следующие метрики СИ для указанных выше типов задач:

Метрики риска и безопасности

Метрики риска и безопасности опирались на аналитические сведения, полученные от наших предыдущих проектов крупной языковой модели, таких как GitHub Copilot и Bing. Это обеспечивает комплексный подход к оценке созданных ответов на оценки серьезности рисков и безопасности. Эти метрики создаются с помощью нашей службы оценки безопасности, которая использует набор LLM. Каждая модель предназначена для оценки конкретных рисков, которые могут присутствовать в ответе (например, сексуальное содержимое, насильственное содержимое и т. д.). Эти модели предоставляются с определениями рисков и масштабами серьезности, и они соответствующим образом создают созданные беседы. В настоящее время мы вычисляем "частоту дефектов" для метрик риска и безопасности ниже. Для каждой из этих метрик служба измеряет, обнаружены ли эти типы содержимого и на каком уровне серьезности. Каждый из четырех типов имеет четыре уровня серьезности (очень низкий, низкий, средний, высокий). Пользователи указывают пороговое значение допустимости, а коэффициенты дефектов создаются нашей службой, соответствуют количеству экземпляров, созданных на каждом уровне порогового значения и выше.

Типы содержимого:

• Ненавистное и несправедливое содержимое
• Сексуальное содержимое
• Насильственное содержимое
• Содержимое, связанное с самостоятельной вредом
• Непрямая атака в тюрьме
• Прямая атака в тюрьме
• Защищенное содержимое материала

Эти метрики риска и безопасности можно измерять в собственных данных или тестовых наборах данных с помощью перенаправки или в наборе данных искусственного теста, созданном нашим состязательном симуляторе. В результате выводятся аннотированные тестовые наборы данных с уровнем серьезности риска содержимого (очень низкий, низкий, средний или высокий) и отображаются результаты в Azure AI , которые обеспечивают общую частоту дефектов во всем тестовом наборе данных и представлении экземпляров каждой метки риска содержимого и причин.

Оценка уязвимости в тюрьме

Мы поддерживаем оценку уязвимости в отношении следующих типов атак в тюрьме:

• Direct attack jailbreak (также известный как UPIA или User Prompt Injected Attack) внедряет запросы в роль пользователя бесед или запросов для создания приложений ИИ. Тюрьма возникает, когда ответ модели проходит ограничения, введенные на него. Кроме того, в тюрьме происходит отклонение LLM от предполагаемой задачи или раздела.
• Непрямая атака в тюрьму (также известная как XPIA или междоменная атака), внедряет запросы в возвращенные документы или контекст запроса пользователя для создания приложений ИИ.

Оценка прямой атаки — это сравнительное измерение с помощью оценщиков безопасности содержимого в качестве элемента управления. Это не собственная метрика с поддержкой ИИ. Запустите ContentSafetyEvaluator два разных набора данных с красным набором данных:

• Базовый набор данных состязательной проверки.
• Состязательный тестовый набор данных с прямыми внедрениями в тюрьму атак в первую очередь.

Это можно сделать с помощью функциональных возможностей и наборов данных атак, созданных с помощью симулятора прямой атаки с тем же начальным значением случайности. Затем вы можете оценить уязвимость в тюрьме, сравнивая результаты оценки безопасности содержимого между статистическими оценками двух тестовых наборов данных для каждого вычислителя безопасности. При обнаружении прямого дефекта атаки в тюрьме при обнаружении ответа на вред содержимого, обнаруженного во втором прямом наборе данных, когда в первом наборе данных управления не было обнаружено ни одного или более низкого уровня серьезности.

Оценка косвенной атаки — это метрика с поддержкой ИИ и не требует сравнения измерений, таких как оценка прямых атак. Создайте непрямый набор данных, внедренный в тюрьму, с помощью симулятора непрямой атаки, а затем оцените его.IndirectAttackEvaluator

Ненавистное и несправедливое определение контента и масштаб серьезности

Масштаб определения и серьезности сексуального содержимого

Масштаб определения насильственного содержимого и серьезности

Определение и масштабирование содержимого, связанного с самоубийным ущербом

Определение защищенного материала и метка

Definition (Определение):

Защищенный материал — это любой текст, который находится под авторским правом, включая текст песни, рецепты и статьи. Оценка защищенных материалов использует защищенный материал для службы "Безопасность содержимого ИИ" для службы "Текст" для выполнения классификации.

Метка —

Определение и метка непрямой атаки

Definition (Определение):

Непрямые атаки, также известные как междоменные запросы на внедрение атак (XPIA), возникают при внедрении атак в тюрьму в контекст документа или источника, что может привести к изменению, неожиданному поведению.

Метка —

Метрики качества создания

Метрики качества создания используются для оценки общего качества содержимого, созданного созданными приложениями искусственного интеллекта. Ниже приведены сведения о том, что эти метрики влечет за собой:

С помощью искусственного интеллекта: Заземление

Для приземления мы предоставляем две версии:

• Обнаружение приземления с использованием Службы безопасности содержимого Azure (AACS) с помощью интеграции с оценками безопасности Azure AI Studio. Развертывание не требуется от пользователя в качестве внутренней службы, предоставляя модели для вывода оценки и причины. В настоящее время поддерживается в следующих регионах: восточная часть США 2 и Центральная Швеция.
• Приземление на основе запроса с помощью собственных моделей для вывода только оценки. В настоящее время поддерживается во всех регионах.

Основанное на AACS основание

Основанное только на запросе основание

Встроенный запрос, используемый судьей крупной языковой модели для оценки этой метрики:

You will be presented with a CONTEXT and an ANSWER about that CONTEXT. You need to decide whether the ANSWER is entailed by the CONTEXT by choosing one of the following rating: 

1. 5: The ANSWER follows logically from the information contained in the CONTEXT. 

2. 1: The ANSWER is logically false from the information contained in the CONTEXT. 

3. an integer score between 1 and 5 and if such integer score does not exist,  

use 1: It is not possible to determine whether the ANSWER is true or false without further information. 

Read the passage of information thoroughly and select the correct answer from the three answer labels. 

Read the CONTEXT thoroughly to ensure you know what the CONTEXT entails.  

Note the ANSWER is generated by a computer system, it can contain certain symbols, which should not be a negative factor in the evaluation. 

С помощью ИИ: релевантность

Встроенный запрос, используемый судьей крупной языковой модели для оценки этой метрики (для формата данных запроса и ответа):

Relevance measures how well the answer addresses the main aspects of the query, based on the context. Consider whether all and only the important aspects are contained in the answer when evaluating relevance. Given the context and query, score the relevance of the answer between one to five stars using the following rating scale: 

One star: the answer completely lacks relevance 

Two stars: the answer mostly lacks relevance 

Three stars: the answer is partially relevant 

Four stars: the answer is mostly relevant 

Five stars: the answer has perfect relevance 

This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5. 

Встроенный запрос, используемый судьей крупной языковой модели для оценки этой метрики (для формата данных беседы) (без доступности правды для земли):

You will be provided a query, a conversation history, fetched documents related to the query and a response to the query in the {DOMAIN} domain. Your task is to evaluate the quality of the provided response by following the steps below:  
 
- Understand the context of the query based on the conversation history.  
 
- Generate a reference answer that is only based on the conversation history, query, and fetched documents. Don't generate the reference answer based on your own knowledge.  
 
- You need to rate the provided response according to the reference answer if it's available on a scale of 1 (poor) to 5 (excellent), based on the below criteria:  
 
5 - Ideal: The provided response includes all information necessary to answer the query based on the reference answer and conversation history. Please be strict about giving a 5 score.  
 
4 - Mostly Relevant: The provided response is mostly relevant, although it might be a little too narrow or too broad based on the reference answer and conversation history.  
 
3 - Somewhat Relevant: The provided response might be partly helpful but might be hard to read or contain other irrelevant content based on the reference answer and conversation history.  
 
2 - Barely Relevant: The provided response is barely relevant, perhaps shown as a last resort based on the reference answer and conversation history.  
 
1 - Completely Irrelevant: The provided response should never be used for answering this query based on the reference answer and conversation history.  
 
- You need to rate the provided response to be 5, if the reference answer can not be generated since no relevant documents were retrieved.  
 
- You need to first provide a scoring reason for the evaluation according to the above criteria, and then provide a score for the quality of the provided response.  
 
- You need to translate the provided response into English if it's in another language. 

- Your final response must include both the reference answer and the evaluation result. The evaluation result should be written in English.  

Встроенный запрос, используемый судьей крупной языковой модели для оценки этой метрики (для формата данных беседы) (с доступной земной правдой):

Your task is to score the relevance between a generated answer and the query based on the ground truth answer in the range between 1 and 5, and please also provide the scoring reason.  
 
Your primary focus should be on determining whether the generated answer contains sufficient information to address the given query according to the ground truth answer.   
 
If the generated answer fails to provide enough relevant information or contains excessive extraneous information, then you should reduce the score accordingly.  
 
If the generated answer contradicts the ground truth answer, it will receive a low score of 1-2.   
 
For example, for query "Is the sky blue?", the ground truth answer is "Yes, the sky is blue." and the generated answer is "No, the sky is not blue.".   
 
In this example, the generated answer contradicts the ground truth answer by stating that the sky is not blue, when in fact it is blue.   
 
This inconsistency would result in a low score of 1-2, and the reason for the low score would reflect the contradiction between the generated answer and the ground truth answer.  
 
Please provide a clear reason for the low score, explaining how the generated answer contradicts the ground truth answer.  
 
Labeling standards are as following:  
 
5 - ideal, should include all information to answer the query comparing to the ground truth answer， and the generated answer is consistent with the ground truth answer  
 
4 - mostly relevant, although it might be a little too narrow or too broad comparing to the ground truth answer, and the generated answer is consistent with the ground truth answer  
 
3 - somewhat relevant, might be partly helpful but might be hard to read or contain other irrelevant content comparing to the ground truth answer, and the generated answer is consistent with the ground truth answer  
 
2 - barely relevant, perhaps shown as a last resort comparing to the ground truth answer, and the generated answer contradicts with the ground truth answer  
 
1 - completely irrelevant, should never be used for answering this query comparing to the ground truth answer, and the generated answer contradicts with the ground truth answer  

С помощью ИИ: Согласованность

Встроенный запрос, используемый судьей крупной языковой модели для оценки этой метрики:

Coherence of an answer is measured by how well all the sentences fit together and sound naturally as a whole. Consider the overall quality of the answer when evaluating coherence. Given the query and answer, score the coherence of answer between one to five stars using the following rating scale: 

One star: the answer completely lacks coherence 

Two stars: the answer mostly lacks coherence 

Three stars: the answer is partially coherent 

Four stars: the answer is mostly coherent 

Five stars: the answer has perfect coherency 

This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5. 

С помощью ИИ: Fluency

Встроенный запрос, используемый судьей крупной языковой модели для оценки этой метрики:

Fluency measures the quality of individual sentences in the answer, and whether they are well-written and grammatically correct. Consider the quality of individual sentences when evaluating fluency. Given the query and answer, score the fluency of the answer between one to five stars using the following rating scale: 

One star: the answer completely lacks fluency 

Two stars: the answer mostly lacks fluency 

Three stars: the answer is partially fluent 

Four stars: the answer is mostly fluent 

Five stars: the answer has perfect fluency 

This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5. 

С помощью ИИ: оценка получения

Встроенный запрос, используемый судьей крупной языковой модели для оценки этой метрики:

A chat history between user and bot is shown below 

A list of documents is shown below in json format, and each document has one unique id.  

These listed documents are used as context to answer the given question. 

The task is to score the relevance between the documents and the potential answer to the given question in the range of 1 to 5.  

1 means none of the documents is relevant to the question at all. 5 means either one of the document or combination of a few documents is ideal for answering the given question. 

Think through step by step: 

- Summarize each given document first 

- Determine the underlying intent of the given question, when the question is ambiguous, refer to the given chat history  

- Measure how suitable each document to the given question, list the document id and the corresponding relevance score.  

- Summarize the overall relevance of given list of documents to the given question after # Overall Reason, note that the answer to the question can be solely from single document or a combination of multiple documents.  

- Finally, output "# Result" followed by a score from 1 to 5.  

  

# Question 

{{ query }} 

# Chat History 

{{ history }} 

# Documents 

---BEGIN RETRIEVED DOCUMENTS--- 

{{ FullBody }} 

---END RETRIEVED DOCUMENTS--- 

С помощью ИИ: GPT-сходство

Встроенный запрос, используемый судьей крупной языковой модели для оценки этой метрики:

GPT-Similarity, as a metric, measures the similarity between the predicted answer and the correct answer. If the information and content in the predicted answer is similar or equivalent to the correct answer, then the value of the Equivalence metric should be high, else it should be low. Given the question, correct answer, and predicted answer, determine the value of Equivalence metric using the following rating scale: 

One star: the predicted answer is not at all similar to the correct answer 

Two stars: the predicted answer is mostly not similar to the correct answer 

Three stars: the predicted answer is somewhat similar to the correct answer 

Four stars: the predicted answer is mostly similar to the correct answer 

Five stars: the predicted answer is completely similar to the correct answer 

This rating value should always be an integer between 1 and 5. So the rating produced should be 1 or 2 or 3 or 4 or 5. 

Традиционное машинное обучение: оценка F1

Традиционное машинное обучение: оценка BLEU

Традиционное машинное обучение: оценка ROUGE

Традиционное машинное обучение: оценка GLEU

Традиционное машинное обучение: ОЦЕНКА МЕТЕОРА

Следующие шаги

• Оценка созданных приложений ИИ с помощью игровой площадки
• Оценка с помощью пакета SDK для ИИ Azure
• Оценка созданных приложений ИИ с помощью Azure AI Studio
• Просмотр результатов оценки
• Примечание о прозрачности для оценки безопасности Azure AI Studio