Создание аналитики ответственного искусственного интеллекта в пользовательском интерфейсе студии

В этой статье описано, как создать информационную панель ответственного искусственного интеллекта и систему показателей (предварительная версия) с интерфейсом без кода в пользовательском интерфейсе Студия машинного обучения Azure.

Чтобы получить доступ к мастеру создания панелей мониторинга и создать панель мониторинга ответственного искусственного интеллекта, сделайте следующее:

1. Зарегистрируйте модель в решении Машинного обучения Azure, чтобы получить доступ к интерфейсу без кода.

2. В левой панели Студии машинного обучения Azure выберите вкладку Модели.

3. Выберите зарегистрированную модель, для которой нужно создать аналитику ответственного применения ИИ, и откройте вкладку Сведения.

4. Выберите Создание панели мониторинга ответственного применения ИИ (предварительная версия).

   

Дополнительные сведения о поддерживаемых типах моделей и ограничениях на панели мониторинга ответственного искусственного интеллекта см . в поддерживаемых сценариях и ограничениях.

Этот мастер предоставляет интерфейс для ввода всех необходимых параметров и создания панели мониторинга ответственного применения ИИ без изменения кода. Интерфейс выполняется полностью в пользовательском интерфейсе Студии машинного обучения Azure. Студия представляет интерактивный поток и обучающий текст, помогающий контекстуализировать различные варианты выбора компонентов ответственного ИИ, с которыми вы хотите заполнить панель мониторинга.

Мастер состоит из пяти разделов:

1. Обучающие наборы данных
2. Проверочный набор данных
3. Задача моделирования
4. Компоненты панели мониторинга
5. Параметры компонентов
6. Конфигурация эксперимента

Выбор наборов данных

В первых двух разделах вы выбираете обучающие и тестовые наборы данных, используемые при обучении модели для создания аналитических сведений об отладке моделей. Для таких компонентов, как анализ причинно-следственных связей, для которых не требуется модель, набор данных обучения будет использоваться для обучения модели причинно-следственных связей и создания соответствующей аналитики.

1. Выберите набор данных для обучения. В списке зарегистрированных наборов данных в рабочей области Машинное обучение Azure выберите набор данных, который вы хотите использовать для создания аналитических сведений об ответственном ИИ для компонентов, таких как объяснения моделей и анализ ошибок.

   

2. Выберите набор данных для тестирования: в списке зарегистрированных наборов данных выберите набор данных, который вы хотите использовать для заполнения визуализаций панели мониторинга ответственного искусственного интеллекта.

   

3. Если набор данных для обучения или тестирования, который вы хотите использовать, не указан, выберите "Создать ", чтобы отправить его.

Выбор задачи моделирования

После выбора наборов данных выберите тип задачи моделирования, как показано на следующем рисунке:

Выбор компонентов панели мониторинга

Панель мониторинга ответственного применения ИИ предлагает два профиля для рекомендуемых наборов инструментов, которые можно создать:

• Отладка модели: анализ ошибок и отладка когорт ошибочных данных в модели ML с помощью анализа ошибок, примеров гипотетических предположений "что если" и объясняемости модели.

• Практические вмешательства: понимание и отладка когорт ошибочных данных в модели ML с помощью анализа причинно-следственных связей.

  Примечание.

  Многоклассовая классификация не поддерживает профиль анализа практического вмешательства.

1. Выберите профиль, который необходимо использовать.
2. Выберите Далее.

Настройка параметров для компонентов панели мониторинга

После выбора профиля отображаются параметры компонента для области конфигурации отладки модели для соответствующих компонентов.

Параметры компонента для отладки модели:

1. Целевой признак (обязательно) — укажите признак, прогнозировать который обучена модель.

2. Категориальные признаки — укажите, какие признаки являются категориальными для их правильного отображения в виде категориальных значений в пользовательском интерфейсе панели мониторинга. Это поле предварительно заполнено на основе метаданных набора данных.

3. Создать дерево ошибок и тепловую карту — включите и отключите этот параметр, чтобы создать компонент анализа ошибок для панели мониторинга ответственного применения ИИ.

4. Признаки для тепловой карты ошибок — выберите до двух признаков, чтобы предварительно создать тепловую карту ошибок.

5. Расширенная конфигурация: укажите дополнительные параметры, такие как Максимальная глубина дерева ошибок, Количество листовых узлов в дереве ошибок и Минимальное количество примеров в каждом листовом узле.

6. Создать примеры гипотетических предположений "что если" — включите или отключите этот параметр для создания компонента "что если" для информационной панели ответственного применения ИИ.

7. Количество гипотетических предположений (обязательно) — укажите количество примеров гипотез, создаваемых для каждой точки данных. Необходимо создать не менее 10, чтобы отобразить линейчатую диаграмму признаков, которые были больше всего изменены, в среднем, для достижения желаемого прогноза.

8. Диапазон прогнозов значений (обязательно) — укажите для сценариев регрессии требуемый диапазон, в котором должны находиться прогнозируемые значения примеров гипотез для предположений. Для сценариев двоичной классификации в качестве диапазона будет автоматически задано создание гипотез предположений для противоположного класса каждой точки данных. Для сценариев множественной классификации используйте раскрывающийся список, чтобы указать, к какому классу необходимо отнести каждую точку данных.

9. Укажите признаки для изменения — по умолчанию будут изменяться все признаки. Тем не менее, если требуется, чтобы изменялись только определенные признаки, выберите параметр Укажите компоненты возмущения для создания гипотез объяснений, чтобы отобразить панель со списком признаков для выбора.

   При выборе параметра Указать признаки для возмущения можно указать диапазон, в котором требуется разрешить изменения. Например, для признака YOE (опыт в годах) укажите, что гипотетические предположения должны иметь только значения признаков в диапазоне от 10 до 21, а не от 5 до 21, как указывается по умолчанию.

   

10. Создать объяснения — включите и отключите этот параметр, чтобы создать компонент объяснения модели для панели мониторинга ответственного применения ИИ. Настройка не требуется, поскольку для создания важности признаков будет использоваться имитационный блок объяснения на основе модели "черного ящика".

Кроме того, если выбрать профиль реальных вмешательств, вы увидите, что на следующем экране будет создан причинный анализ. Это поможет вам понять причинно-следственные последствия функций, которые вы хотите "лечить" по определенному результату, который вы хотите оптимизировать.

В параметрах компонента для практического вмешательства используется анализ причинно-следственных связей. Выполните следующие действия.

1. Целевой признак (обязательно) — выберите результат, для которого нужно вычислить причинно-следственные эффекты.
2. Функции лечения (обязательные): выберите одну или несколько функций, которые вы хотите изменить ("лечение") для оптимизации целевого результата.
3. Категориальные признаки — укажите, какие признаки являются категориальными для их правильного отображения в виде категориальных значений в пользовательском интерфейсе панели мониторинга. Это поле предварительно заполнено на основе метаданных набора данных.
4. Расширенные настройки — укажите дополнительные параметры для анализа причинно-следственных связей, таких как разнородные признаки (то есть дополнительные признаки, помогающие понять причинно-следственную сегментацию в анализе в дополнение к исправляемым признакам), а также причинно-следственную модель, которую вы хотите использовать.

Настройка эксперимента

Наконец, настройте эксперимент, чтобы запустить задание для создания панели мониторинга ответственного применения ИИ.

В области "Обучение" или "Конфигурация эксперимента" выполните следующие действия.

1. Имя. Присвойте панели мониторинга уникальное имя, чтобы вы могли отличить его при просмотре списка панелей мониторинга для данной модели.
2. Имя эксперимента — выберите существующий эксперимент для запуска задания или создайте новый эксперимент.
3. Существующий эксперимент: в раскрывающемся списке выберите существующий эксперимент.
4. Выберите тип вычислений — укажите, какой тип вычислений вы хотите использовать для выполнения задания.
5. Выберите вычислительный ресурс — в раскрывающемся списке выберите вычислительные ресурсы, которые вы хотите использовать. Если существующих вычислительных ресурсов нет, нажмите на знак плюс (+), чтобы создать новый вычислительный ресурс, и обновите список.
6. Описание — добавьте более подробное описание панели мониторинга ответственного применения ИИ.
7. Теги — добавьте теги для этой панели мониторинга ответственного применения ИИ.

Завершив настройку эксперимента, нажмите кнопку "Создать ", чтобы начать создание панели мониторинга ответственного искусственного интеллекта. Вы будете перенаправлены на страницу эксперимента, чтобы отслеживать ход выполнения задания со ссылкой на полученную панель мониторинга ответственного ИИ на странице задания после завершения.

Чтобы узнать, как просматривать и использовать панель мониторинга ответственного ИИ, используйте панель мониторинга ответственного ИИ в Студия машинного обучения Azure.

Создание системы показателей ответственного ИИ (предварительная версия)

После создания панели мониторинга вы можете использовать пользовательский интерфейс без кода в Студия машинного обучения Azure для настройки и создания системы показателей ответственного ИИ. Это позволяет обмениваться ключевыми сведениями о ответственном развертывании модели, например справедливости и важности признаков, с не техническими и техническими заинтересованными лицами. Как и при создании панели мониторинга, можно выполнить следующие действия для доступа к мастеру создания системы показателей:

• Перейдите на вкладку Модели на панели навигации слева в Студии машинного обучения Azure.
• Выберите зарегистрированную модель, для которую вы хотите создать систему показателей, и выберите вкладку "Ответственный ИИ ".
• На верхней панели выберите "Создать аналитику ответственного ИИ" (предварительная версия) и создайте новую систему показателей PDF.

Мастер позволяет настраивать систему показателей PDF без необходимости касаться кода. Интерфейс выполняется полностью в Студия машинного обучения Azure, чтобы помочь контекстуализировать различные варианты пользовательского интерфейса с помощью интерактивного потока и обучающего текста, чтобы помочь вам выбрать компоненты, с которыми вы хотите заполнить систему показателей. Мастер разделен на семь шагов с восьмой (оценка справедливости), которая будет отображаться только для моделей с категориальными признаками:

1. Сводка по системе показателей PDF
2. Эффективность модели
3. Выбор инструмента
4. Анализ данных (ранее называемый обозреватель данных)
5. Анализ причинно-следственных связей
6. Интерпретируемость
7. Конфигурация эксперимента
8. Оценка справедливости (только если существуют категориальные признаки)

Настройка системы показателей

1. Сначала введите описательное название для системы показателей. Кроме того, можно ввести необязательное описание функций модели, обученных и вычисляемых данных, типа архитектуры и т. д.

   

2. В разделе "Производительность модели" можно включить в метрики оценки модели с отраслевым стандартом системы показателей, позволяя задать нужные целевые значения для выбранных метрик. Выберите нужные метрики производительности (до трех) и целевые значения с помощью раскрывающихся списков.

   

3. Шаг выбора инструмента позволяет выбрать последующие компоненты, которые вы хотите включить в систему показателей. Проверьте включение в систему показателей, чтобы включить все компоненты или проверить или снять флажок для каждого компонента по отдельности. Щелкните значок сведений ("i" в кругу) рядом с компонентами, чтобы узнать больше о них.

   

4. В разделе "Анализ данных" (ранее называемом обозревателем данных) можно анализировать когорту. Здесь вы можете определить проблемы чрезмерного и недостаточного представления изучить, как данные кластеризованы в наборе данных, а также как прогнозы модели влияют на определенные когорты данных. Установите флажки в раскрывающемся списке, чтобы выбрать интересующие вас функции, чтобы определить производительность модели на базовых когортах.

   

5. Раздел оценки справедливости может помочь в оценке того, какие группы людей могут негативно повлиять на прогнозы модели машинного обучения. В этом разделе есть два поля.

   • Конфиденциальные функции: определите выбранные атрибуты (например, возраст, пол) путем приоритета до 20 подгрупп, которые вы хотите изучить и сравнить.

   • Метрика справедливости: выберите метрику справедливости, соответствующую вашему параметру (например, разницу в точности, коэффициент частоты ошибок) и определите нужные целевые значения для выбранных метрик справедливости. Выбранная метрика справедливости (в сочетании с выбором разницы или соотношения через переключатель) зафиксирует разницу или соотношение между крайними значениями в подгруппах. (максимальное значение — минимальное или максимальное или минимальное).

   

   Примечание.

   Оценка справедливости в настоящее время доступна только для категориальных конфиденциальных атрибутов, таких как пол.

6. Раздел "Причинно-аналитический анализ " отвечает на реальные вопросы о том, как изменения лечения повлияют на реальный результат. Если причинный компонент активируется на панели мониторинга ответственного искусственного интеллекта, для которой создается схема показателей, конфигурация больше не требуется.

   

7. В разделе "Интерпретация" создаются понятные для человека описания прогнозов, сделанных моделью машинного обучения. С помощью объяснений модели вы можете понять причину принятия решений, принятых моделью. Выберите число (K) ниже, чтобы просмотреть основные важные функции K, влияющие на общие прогнозы модели. Значение по умолчанию для K — 10.

   

8. Наконец, настройте эксперимент для запуска задания для создания системы показателей. Эти конфигурации совпадают с конфигурациями для панели мониторинга ответственного искусственного интеллекта.

   

9. Наконец, просмотрите конфигурации и нажмите кнопку "Создать ", чтобы начать задание!

   

   Вы будете перенаправлены на страницу эксперимента, чтобы отслеживать ход выполнения задания после его запуска. Сведения о том, как просматривать и использовать систему показателей ответственного ИИ, см. в статье "Использование системы показателей ответственного ИИ" (предварительная версия).

Следующие шаги

• После создания панели мониторинга ответственного применения искусственного интеллекта просмотрите, как ее открыть и использовать в Студии машинного обучения Azure.
• Ознакомьтесь с дополнительными сведениями о концепциях и методах, на основе которых работает панель мониторинга ответственного применения ИИ.
• Дополнительная информация об ответственном сборе данных.
• Дополнительные сведения об использовании панели мониторинга и системы показателей ответственного применения ИИ для отладки данных и моделей и принятия более обоснованных решений см. в этой записи блога Tech Community.
• Чтобы узнать об использовании панели мониторинга и системы показателей ответственного применения ИИ Национальной службой здравоохранения (NHS) Великобритании, ознакомьтесь с реальной историей клиента.
• Ознакомьтесь с возможностями панели мониторинга ответственного применения ИИ, просмотрев эту интерактивную веб-демонстрацию лаборатории ИИ.