Что такое безопасность содержимого ВИ Azure?

Безопасность содержимого ИИ Azure — это служба искусственного интеллекта, которая обнаруживает вредное содержимое, созданное пользователем и ИИ, в приложениях и службах. Безопасность содержимого ИИ Azure включает API текста и изображения, которые позволяют обнаруживать материалы, которые являются вредными. Интерактивная среда Content Safety Studio позволяет просматривать, изучать и пробовать пример кода для обнаружения вредного содержимого в разных модальности.

Программное обеспечение фильтрации содержимого может помочь вашему приложению соответствовать нормативным требованиям или поддерживать предназначенную среду для пользователей.

Эта документация включает статьи следующих типов:

• Статьи с основными понятиями — здесь подробно описываются функциональность и возможности службы.
• Краткие руководства — инструкции по началу работы и отправке запросов в службу.
• Руководства — содержат инструкции для более специфического или специализированного использования службы.

Где используется

Ниже приведены несколько сценариев, в которых разработчику программного обеспечения или команде требуется служба модерации контента:

• Запросы пользователей, отправленные в созданную службу искусственного интеллекта.
• Содержимое, созданное с помощью моделей генерированных ИИ.
• интернет-магазины с модерацией каталогов продукции и создаваемого пользователями содержимого;
• компании-разработчики игр, которые модерируют создаваемые пользователями игровые артефакты и чаты;
• Социальные платформы обмена сообщениями, которые модерируют изображения и текст, добавленные пользователями.
• корпоративные медиакомпании, внедряющие централизованную модерацию своего содержимого;
• поставщики образовательных решений K-12, фильтрующие неуместное содержимое для учащихся и преподавателей.

Возможности продукта

Эта служба предоставляет несколько различных типов анализа. В следующей таблице описаны доступные в настоящее время API.

Студия безопасности содержимого

Azure AI Content Safety Studio — это онлайн-средство, предназначенное для обработки потенциально оскорбительных, рискованных или нежелательных материалов с помощью передовых моделей машинного обучения режим палатки. Он предоставляет шаблоны и настраиваемые рабочие процессы, позволяя пользователям выбирать и создавать собственную систему con режим палатки ration. Пользователи могут отправить собственное содержимое или попробовать его с предоставленным примером содержимого.

Content Safety Studio не только содержит стандартные модели ИИ, но и встроенные списки терминов Майкрософт, чтобы пометить ненормативность и оставаться в курсе новых тенденций контента. Вы также можете отправить собственные блок-списки, чтобы повысить охват вредного содержимого, относящееся к вашему варианту использования.

Studio также позволяет настроить рабочий процесс модерации, где можно непрерывно отслеживать и улучшать производительность кон режим палатки раций. Это поможет вам удовлетворить требования к контенту от всех видов отраслей, таких как игры, медиа, образование, электронная коммерция и многое другое. Предприятия могут легко подключать свои службы к Студии и иметь свои недостатки режим палатки оценены в режиме реального времени, будь то созданные пользователем или ИИ.

Все эти возможности обрабатываются студией и серверной частью; клиентам не нужно беспокоиться о разработке моделей. Вы можете подключить данные для быстрой проверки и отслеживать ключевые показатели эффективности соответствующим образом, такие как технические метрики (задержка, точность, отзыв) или бизнес-метрики (скорость блокировки, объем блоков, пропорции категорий, языковые пропорции и многое другое). С помощью простых операций и конфигураций клиенты могут быстро тестировать различные решения и находить оптимальные варианты, а не тратить время на эксперименты с пользовательскими моделями или выполнять модерацию вручную.

Функции Content Safety Studio

В Студии безопасности содержимого доступны следующие функции безопасности содержимого ИИ Azure:

• Умеренное текстовое содержимое. С помощью средства модерации текста можно легко выполнять тесты на текстовом содержимом. Независимо от того, хотите ли вы протестировать одно предложение или весь набор данных, наше средство предлагает удобный пользовательский интерфейс, который позволяет оценить результаты теста непосредственно на портале. Вы можете поэкспериментировать с различными уровнями конфиденциальности для настройки фильтров содержимого и управления блок-списками, гарантируя, что содержимое всегда модерировано до точных спецификаций. Кроме того, с возможностью экспорта кода вы можете реализовать средство непосредственно в приложении, оптимизируя рабочий процесс и экономя время.

• Умеренное содержимое изображения. С помощью средства модерации изображений можно легко выполнять тесты на изображениях, чтобы обеспечить соответствие стандартам содержимого. Наш пользовательский интерфейс позволяет оценить результаты теста непосредственно на портале, и вы можете экспериментировать с различными уровнями конфиденциальности для настройки фильтров содержимого. После настройки параметров можно легко экспортировать код для реализации средства в приложении.

• Мониторинг активности в Интернете: мощная страница мониторинга позволяет легко отслеживать использование и тенденции использования API модерации в различных модальности. С помощью этой функции вы можете получить доступ к подробным сведениям об ответе, включая распределение категорий и серьезности, задержку, ошибку и обнаружение списка блокировок. Эта информация содержит полный обзор производительности con режим палатки ration, что позволяет оптимизировать рабочий процесс и убедиться, что содержимое всегда модерировано в соответствии с вашими точными спецификациями. С помощью нашего пользовательского интерфейса вы можете быстро и легко перейти на страницу мониторинга, чтобы получить доступ к информации, необходимой для принятия обоснованных решений о стратегии con режим палатки ration. У вас есть инструменты, необходимые для того, чтобы оставаться на вершине вашей режим палатки производительности и достичь целей содержимого.

Безопасность

Использование идентификатора Microsoft Entra или управляемого удостоверения для управления доступом

Для повышения безопасности можно использовать идентификатор Microsoft Entra или Управляемое удостоверение (MI) для управления доступом к ресурсам.

• Управляемое удостоверение автоматически включено при создании ресурса безопасности содержимого.
• Идентификатор Microsoft Entra поддерживается как в сценариях API, так и в пакетах SDK. Ознакомьтесь с общим руководством по службам искусственного интеллекта для проверки подлинности с помощью идентификатора Microsoft Entra. Вы также можете предоставить доступ другим пользователям в организации, назначив им роли пользователей и читателей Cognitive Services. Дополнительные сведения о предоставлении пользователям доступа к ресурсам Azure с помощью портал Azure см. в руководстве по управлению доступом на основе ролей.

Шифрование неактивных данных

Узнайте, как безопасность содержимого ИИ Azure обрабатывает шифрование и расшифровку данных. Управляемые клиентом ключи (CMK), также известные как "Принести собственный ключ" (BYOK), обеспечивают большую гибкость для создания, поворота, отключения и отзыва элементов управления доступом. Они также дают возможность выполнять аудит ключей шифрования, используемых для защиты ваших данных.

Цены

В настоящее время безопасность содержимого ИИ Azure имеет ценовую категорию F0 и S0 . Дополнительные сведения см. на странице цен Azure.

Лимиты служб

Требования к входным данным

См. следующий список для требований к входным данным для каждой функции.

• Анализ API текста:
  • Максимальная длина по умолчанию: 10K символов (по мере необходимости разделены длинные тексты).
• Анализ API изображений:
  • Максимальный размер файла изображения: 4 МБ
  • Размеры от 50 x 50 до 7200 x 7200 пикселей.
  • Изображения могут быть в форматах JPEG, PNG, GIF, BMP, TIFF или WEBP.
• Анализ мультимодального API (предварительная версия):
  • Максимальная длина текста по умолчанию: 1K символов.
  • Максимальный размер файла изображения: 4 МБ
  • Размеры от 50 x 50 до 7200 x 7200 пикселей.
  • Изображения могут быть в форматах JPEG, PNG, GIF, BMP, TIFF или WEBP.
• API экранирования запросов:
  • Максимальная длина запроса: 10K символов.
  • До пяти документов с общей сложности 10K символов.
• API обнаружения заземления (предварительная версия):
  • Максимальная длина источников заземления: 55 000 символов (на вызов API).
  • Максимальная длина текста и запроса: 7500 символов.
• Api обнаружения защищенных материалов:
  • Максимальная длина по умолчанию: 1K символов.
  • Минимальная длина по умолчанию: 110 символов (для сканирования завершения LLM, а не запросов пользователей).
• Api пользовательских категорий (стандартный) (предварительная версия):
  • Максимальная длина входных данных вывода: 1K символов.

Поддержка языков

Модели безопасности содержимого ИИ Azure для защищенного материала, обнаружения заземления и пользовательских категорий (стандартные) работают только с английским языком.

Другие модели безопасности содержимого ИИ Azure специально обучены и протестированы на следующих языках: китайский, английский, французский, немецкий, испанский, итальянский, японский, португальский. Однако эти функции могут работать на многих других языках, но качество может отличаться. В любом случае вам следует провести собственное тестирование, чтобы убедиться, что она работает для вашего приложения.

Дополнительные сведения см. в разделе "Поддержка языков".

Доступность по регионам

Чтобы использовать API безопасности содержимого, необходимо создать ресурс безопасности содержимого Azure в поддерживаемом регионе. В настоящее время функции безопасности содержимого доступны в следующих регионах Azure с различными версиями API:

Вы можете связаться с нами , если ваш бизнес нуждается в других регионах, чтобы быть доступными.

Скорость запросов

Функции безопасности содержимого имеют ограничения частоты запросов в запросах в секунду (RPS) или запросы на 10 секунд (RP10S). В следующей таблице приведены ограничения скорости для каждой функции.

Если вам нужна более быстрая ставка, обратитесь к нам , чтобы запросить его.

Свяжитесь с нами

Если вы застряли, отправьте нам сообщение или используйте мини-приложение обратной связи в нижней части любой страницы Microsoft Learn.

Следующие шаги

Следуйте краткому руководству, чтобы приступить к работе с безопасностью содержимого ИИ Azure в приложении.