Идеи решения
В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.
Используя службы Azure, такие как API Компьютерное зрение и Функции Azure, компании могут устранить необходимость управления отдельными серверами, а также сократить затраты и использовать опыт, который корпорация Майкрософт уже разработала с обработкой изображений с помощью служб ИИ Azure. Эта идея решения специально касается варианта использования обработки изображений. Если у вас есть различные потребности в ИИ, рассмотрите полный набор служб ИИ Azure.
Архитектура
Скачайте файл Visio этой идеи решения.
Поток данных
Этот сценарий охватывает серверные компоненты веб-приложения или мобильного приложения. Данные передаются в сценарии следующим образом:
- Добавление новых файлов (отправки изображений) в хранилище BLOB-объектов активирует событие в Сетка событий Azure. Процесс отправки можно управлять через интернет или мобильное приложение. Кроме того, изображения можно отправлять отдельно в хранилище BLOB-объектов Azure.
- Служба "Сетка событий" отправляет уведомление, которое активирует функции Azure.
- Функции Azure вызывает API визуального распознавания Azure для анализа только что отправленного образа. Azure AI Vision обращается к изображению через URL-адрес большого двоичного объекта, который анализируется Функции Azure.
- Функции Azure сохраняет ответ API визуального распознавания ИИ в Azure Cosmos DB. Этот ответ включает результаты анализа, а также метаданные изображения.
- Результаты можно использовать и отражать в веб-интерфейсе или мобильном интерфейсе. Обратите внимание, что этот подход извлекает результаты классификации, но не загруженный образ.
Компоненты
- Azure AI Vision является частью набора служб ИИ Azure и используется для получения сведений о каждом изображении.
- Функции Azure предоставляет внутренний API для веб-приложения. Эта платформа также предоставляет обработку событий для отправленных образов.
- Сетка событий Azure активирует событие при отправке нового образа в хранилище BLOB-объектов. Затем изображение обрабатывается с помощью Функции Azure.
- Хранилище BLOB-объектов Azure хранит все файлы изображений, передаваемые в веб-приложение, а также все статические файлы, которые использует веб-приложение.
- Azure Cosmos DB хранит метаданные о каждом отправленном образе, включая результаты обработки из API Компьютерное зрение.
Альтернативные варианты
- Azure OpenAI GPT-4 Turbo с vision (предварительная версия) GPT-4 Turbo с Vision — это многомодальная модель, которая может анализировать изображения и отвечать на вопросы о них.
- Пользовательская служба визуального распознавания. API компьютерного зрения возвращает набор таксономических категорий. Если вам необходимо обработать информацию, которую API компьютерного зрения не возвращает, рекомендуется использовать службу пользовательского визуального распознавания, которая позволяет создавать индивидуальные классификаторы изображений.
- Поиск ИИ Azure (ранее — поиск Azure). Если в вашем случае используется запрос метаданных, чтобы найти изображения, соответствующие определенным критериям, рассмотрите возможность использования службы "Поиск ИИ Azure". Поиск по искусственному интеллекту Azure легко интегрирует этот рабочий процесс.
- Logic Apps. Если не нужно в режиме реального времени реагировать на добавленные файлы в большой двоичный объект, можно использовать Logic Apps. Приложение логики, которое может проверить, был ли добавлен файл, может запускаться триггером повторения или триггером скользящего окна.
- Если у вас есть изображения, внедренные в документы, используйте Azure AI Document Intelligence для поиска этих изображений. С помощью этой информации вы можете извлечь и выполнить дальнейшие задачи компьютерного зрения на внедренных изображениях. Используйте аналитику документов для сбора данных об этих внедренных изображениях, таких как номер страницы или текст заголовка, который можно хранить вместе с другими метаданными изображений, полученными через API Компьютерное зрение.
Подробности сценария
Этот сценарий подходит для корпораций, которым нужно обрабатывать изображения.
Потенциальные приложения включают классификацию изображений для веб-сайтов о моде, анализ текста и изображений для страховых компаний или распознавание телеметрических данных со скриншотов игр. Обычно компаниям было необходимо приобретать специальные знания о моделях машинного обучения, обучать эти модели и, наконец, пропускать изображения через индивидуальный процесс, чтобы получить выходные данные.
Потенциальные варианты использования
Это решение идеально подходит для розничной торговли, игры, финансов и страховых отраслей. Другие варианты использования:
Классификация изображений на веб-сайте о моде. Классификация изображений может использоваться продавцами при отправке фотографий продуктов на платформу для продажи. Затем они могут автоматизировать следовательное ручное добавление тегов. Клиенты также могут искать визуальное впечатление о продуктах.
Классификация телеметрических данных со скриншотов игр. Классификация видеоигр на снимках экрана развивается в соответствующих проблемах в социальных сетях, в сочетании с компьютерным зрением. Например, когда потоковые потоки Twitch играют в разные игры в последовательности, они могут пропустить ручное обновление сведений о потоке. Сбой обновления сведений о потоке может привести к неправильному классификации потоков в поисках пользователей и может привести к потере потенциального просмотра как создателей контента, так и для платформ потоковой передачи. В то время как введение в новые игры, пользовательский маршрут модели может быть полезным, чтобы представить возможность обнаружения новых изображений из этих игр.
Классификация изображений для страховых требований. Классификация изображений может помочь сократить время и стоимость обработки утверждений и андеррайтинга. Это может помочь проанализировать ущерб от стихийных бедствий, повреждения транспортных средств и определить жилые и коммерческие свойства.
Следующие шаги
Документация по продукту
- Что такое Azure AI Vision?
- Обогащение ИИ в поиске ИИ Azure
- Общие сведения о Функциях Azure
- Что такое Сетка событий Azure?
- Общие сведения о хранилище BLOB-объектов Azure
- Вас приветствует Azure Cosmos DB
Интерактивные схемы обучения доступны в следующих статьях:
- Создание бессерверного веб-приложения в Azure
- Классификация изображений с помощью Azure AI Пользовательское визуальное распознавание
- Использование ИИ для распознавания объектов в изображениях с помощью службы Пользовательское визуальное распознавание
- Классификация видов птиц, находящихся под угрозой исчезновения, с Пользовательское визуальное распознавание
- Классификация изображений с помощью служб azure AI Пользовательское визуальное распознавание
- Обнаружение объектов в изображениях с помощью Azure AI Пользовательское визуальное распознавание
Связанные ресурсы
Использование обогащения ИИ с помощью обработки изображений и текста