Индексатор видео Azure AI, включенный Arc (предварительная версия)

Индексатор видео Azure AI, включенный Arc, — это служба с поддержкой расширения Azure Arc , которая выполняет видео и аудиоанализ, а также генерирует ИИ на пограничных устройствах. Решение предназначено для запуска в Kubernetes с поддержкой Azure Arc и поддерживает множество форматов видео, включая MP4 и другие распространенные форматы. Он поддерживает несколько языков во всех основных моделях, связанных с звуком. Предполагается, что один ресурс Индексатора видео сопоставляется с одним расширением.

Если вы еще не знакомы с индексатором видео Azure AI, рекомендуется сначала ознакомиться с облачной службой.

Кроме того, прежде чем приступить к работе с Индексатором видео в Azure AI, включенной Arc, ознакомьтесь с примечанием о прозрачности, чтобы понять ограничения использования.

Что такое Azure Arc и Kubernetes с поддержкой Azure Arc?

Azure Arc упрощает управление сложными средами, которые расширяются между центрами обработки данных, несколькими облаками и пограничными устройствами, предоставляя согласованную многооблачную и локальную платформу управления.

Kubernetes с поддержкой Azure Arc позволяет подключать кластеры Kubernetes, работающие в любом месте, чтобы управлять и настраивать их в Azure. Управляя всеми ресурсами Kubernetes в одной плоскости управления, вы можете обеспечить более согласованный процесс разработки и операций для запуска облачных приложений в любом месте и на любой платформе Kubernetes.

При развертывании агентов Azure Arc в кластере инициируется исходящее подключение к Azure с помощью стандартного протокола SSL для защиты передаваемых данных.

После подключения кластеров к Azure они представлены как собственные ресурсы в Azure Resource Manager (ARM), и их можно упорядочить с помощью групп ресурсов и тегов.

Дополнительные сведения о Kubernetes с поддержкой Azure Arc и Azure Arc см. в этих статьях.

Что такое расширение Azure Arc?

Расширения виртуальных машин — это небольшие приложения, которые выполняют задачи по настройке и автоматизации после развертывания для виртуальных машин Azure. Например, с помощью расширения виртуальной машины (далее — расширение ВМ) на виртуальной машине можно установить программное обеспечение, настроить антивирусную защиту или выполнять сценарии. Дополнительные сведения о расширениях см. в статье об управлении расширениями виртуальных машин с серверами с поддержкой Azure Arc.

Расширение Индексатора видео Azure ИИ устанавливает и развертывает индексатор Видео Azure в кластере Kubernetes.

Все индексатор видео Azure AI, включенный Arc, поддерживает только учетные записи Azure Resource Manager (ARM). Операции ARM отделяются от операций анализа видео. Эта конструкция позволяет выполнять анализ на пограничных устройствах без необходимости передавать ресурсы мультимедиа в Azure.

Индексатор видео Azure AI, включенный Arc, не поддерживает классические учетные записи. Дополнительные сведения об выходе классических учетных записей см. в статье "Подготовка к выходу на пенсию AMS: VI миграция и обновление"

Расширение поддерживается только в сценариях прямого подключения . Сведения о плоскости управления отправляются в облако, например мониторинг, использование. Новые версии расширений скачиваются из облака. Данные клиента, такие как индексированные видео, не отправляются из пограничного расположения в облако.

Языковые модели

Языковая модель Phi 3 включается и автоматически подключается к расширению VI. Вы можете сразу начать использовать его. Дополнительные сведения об использовании языковых моделей с VI см. в следующей статье:

• Использование текстовой суммирования
• Создание содержимого запроса с помощью индексатора видео Azure AI
• Обзор модели ИИ для индексатора видео Azure (BYO)

См. также примечание о транспараранности для текстовой суммирования с поддержкой Vi с поддержкой Arc для требований к оборудованию, ограничений и известных проблем.

Случаи использования

• Управление данными — вы можете перенести ИИ в содержимое, а не наоборот. Используйте индексатор видео Azure AI, включенный Arc, если вы не можете переместить индексированные содержимое из локальной среды в облако из-за:
  • регулирование.
  • решения по архитектуре.
  • хранилище данных слишком большое, что делает подъем и сдвиг значительных усилий.
• Локальный рабочий процесс — процесс индексирования является частью локального рабочего процесса, и вы хотите снизить задержку в течение индексирования, влияющую на поток.
• Предварительная индексация — перед отправкой содержимого в облако необходимо индексировать. Чтобы создать ясность, вы можете предварительно настроить локальный архив видео и /или аудио, а затем передать его только для стандартного и /или расширенного индексирования в облаке.

Пример развертывания

На следующей схеме блоков показано расширение Индексатора видео Azure AI, работающее в Azure Arc. Существует три типа:

1. В магазине типа A используются предустановки визуального зрения и звука.
2. В магазине типа B используются только предустановки зрения. Он также имеет пользовательскую модель. Дополнительные сведения об использовании пользовательской модели с индексатором видео в Azure AI, включенной Arc, см. в статье "Создание собственной модели ИИ".
3. Store C использует только предустановки звука.

Расширение хранится на каждом пограничном устройстве, и каждое устройство связано с одной учетной записью Индексатора видео Azure AI, которая взаимодействует с Azure Arc и облаком.

Поддерживаемые предустановки ИИ

Индексатор видео Azure AI, включенный Arc, поддерживает следующие предустановки индексирования:

Минимальные требования к оборудованию

Индексатор видео, включенный Arc, предназначен для запуска в любой среде Kubernetes с поддержкой Arc.

Ниже приведен список минимальных и рекомендуемых требований, если расширение содержит поддержку одного языка. Если установить несколько контейнеров речи и перевода с несколькими языками, увеличьте требования к оборудованию соответствующим образом.

Минимальные требования к программному обеспечению

Поддерживаемые форматы ввода и кодеки

Форматы видео

• AVI (.avi)
• FLV (с кодеками H.264 и AAC) (.flv)
• ISMV (.isma, .ismv)
• Matroska/WebM (.mkv)
• MP4 (.mp4, .m4a, .m4v)
• MXF (.mxf)
• MPEG2-TS
• QuickTime (.mov)
• WAVE/WAV (.wav)
• Webm
• Windows Media Video (WMV)/ASF (.wmv, .asf)

Видеокодеки

Ниже приведен список в алфавитном порядке:

• AVC 8-разрядный/10-разрядный, до 4:2:2, включая AVCIntra
• Цифровое видео (DV) (в AVI-файлах)
• DVCPro/DVCProHD (в контейнере MXF)
• HEVC/H.265
• MPEG-1
• MPEG-2 (до профиля 422 и высокого уровня, включая такие варианты, как Sony XDCAM, Sony XDCAM HD, Sony XDCAM IMX, CableLabs® и D10)
• MPEG-4, часть 2
• VC-1/WMV9

Аудиокодеки до двух треков

• AAC (AAC-LC, AAC-HE и AAC-HEv2)
• FLAC
• MPEG Layer 2
• MP3 (MPEG-1 Audio Layer 3)
• VORBIS
• WAV/PCM
• Windows Media Audio

Поддерживаемые языки

• Арабский (Саудовская Аравия)
• Арабский (Египет)
• Китайский (упрощенное письмо)
• Английский (США)
• французский
• немецкий
• Итальянский
• Испанский

Создание собственной модели

Индексатор видео Azure AI, включенный Arc, также поддерживает создание собственной модели. Дополнительные сведения см. в статье "Создание собственной модели (BYO).

Ограничения

• Поддерживаемый размер файла для индексирования составляет до 2 ГБ.
• Обновление расширения:
  • Поддержка расширений применяется только для последней версии.
  • Рекомендуется задать для trueэтого auto-upgrade свойства значение . Этот параметр сохраняет расширение в актуальном состоянии.
  • Если для параметра автоматического обновления задано значение false, обновление версии должно выполняться постепенно. Переход между версиями может привести к сбою процессов индексирования.
• После установки или обновления расширения ожидается , что продолжительность первого процесса индекса\перевода будет длиннее. Более длинная длительность связана с скачиванием образа модели ИИ. Длительность зависит от скорости сети.
• Для каждого кластера Kubernetes с поддержкой Arc можно развернуть только одно расширение индексатора видео.
• Производительность тома кластера (на основе класса хранилища) оказывает значительное влияние на продолжительность выполнения задания индексирования, особенно так как извлечение кадра записывает все кадры в том.
• С помощью портал Azure можно использовать только маркеры доступа к облачной учетной записи. Маркеры доступа к облачным видео не поддерживаются, но с API доступны маркеры доступа к расширениям, и мы поддерживаем все типы.
• Сообщения об ошибках видео не хранятся из-за ограничений памяти.

Связанные статьи

• Попробуйте использовать индексатор видео Azure AI, включенный примером Arc на GitHub
• Попробуйте включить индексатор видео Azure AI с помощью Arc Jumpstart
• Попробуйте развернуть в портал Azure с помощью индексатора видео Azure AI, включенного кратким руководством по Arc.