Azure AI görüntü ve video işleme teknolojisi seçme

  • Makale

Azure yapay zeka hizmetleri , geliştiricilerin ve kuruluşların kullanıma hazır, önceden oluşturulmuş ve özelleştirilebilir API'ler ve modeller ile akıllı, son teknoloji, pazara hazır ve sorumlu uygulamalar oluşturmalarına yardımcı olur.

Bu makale görsel analiz ve görüntü oluşturma, nesne algılama, görüntü sınıflandırma ve yüz tanıma gibi video ve görüntü işleme özellikleri sunan Azure yapay zeka hizmetlerini kapsar.

Hizmetler

Aşağıdaki hizmetler, Azure AI hizmetleri için video ve görüntü işleme özellikleri sağlar:

  • Azure OpenAI

    • Önceden eğitilmiş üretken görüntüleme modellerini kullanarak doğal dilden görüntü oluşturmak için Azure OpenAI kullanın . Örneğin, özel sanatın isteğe bağlı olarak oluşturulması.
    • Görüntüler üzerinde özel olmayan, geniş kapsamlı analizler yapmanız gerektiğinde Azure OpenAI kullanın . Örneğin, erişilebilirlik açıklamaları oluşturma.
    • Azure Machine Learning'de kullanılabilen açık kaynak görüntü oluşturma modellerini kullanmak istiyorsanız Azure OpenAI kullanmayın.
    • Form ayıklama, yüz tanıma veya etki alanı özel görüntü özelliği algılama gibi belirli görüntü işleme türlerini gerçekleştirmeniz gerekiyorsa Azure OpenAI kullanmayın . Bu senaryolar için bunun yerine bu amaçlar için özel olarak eğitilmiş yapay zeka çözümleri kullanın veya oluşturun.

  • Azure AI Vision

    • Hareket ve diğer olayları algılamak için temel optik karakter tanıma (OCR), görüntü analizi veya temel video analizine ihtiyacınız olduğunda Görüntü İşleme hizmetini kullanın .
    • Büyük, çok modali, temel modellerin zaten desteklediği analizler için Görüntü İşleme hizmetini kullanmayın .
    • İçeriği moderatörlüğünü yapmak için Görüntü İşleme hizmetini kullanmayın . Bunun yerine content safety hizmetini kullanın.

  • Azure AI Özel Görüntü İşleme

    • Temel Görüntü İşleme hizmetinin görüntü analizinin sağlayabildiği belirli gereksinimleriniz olduğunda hizmeti kullanın . Örneğin, olağan dışı nesneleri tanımak, hata üretimi veya ayrıntılı özel sınıflandırmalar sağlamak için iyidir.
    • Temel nesne algılamaya veya yüz algılamaya ihtiyacınız varsa hizmeti kullanmayın . Bunun yerine Yüz Tanıma veya Görüntü İşleme hizmetlerini kullanın.
    • Hizmeti temel görsel çözümleme için kullanmayın . Bunun yerine Azure Machine Learning'de Azure OpenAI veya açık kaynak modellerinden görüntü işleme özelliğine sahip modelleri kullanın.

  • Azure AI Yüz Tanıma

    • Yüzlerin canlı mı yoksa sahte mi olduğunu denetlemeniz ya da benzer yüzleri tanımlamak, gruplandırmak veya bulmak için Yüz Tanıma hizmetini kullanın .
    • Yüzlerdeki duyguları algılamak veya yüzler hakkında başka üst düzey mantık yürütmemek için Yüz Tanıma hizmetini kullanmayın . Bunun yerine bu görevler için çok kalıcı dil modellerini kullanın.

  • Azure AI Video Indexer

    • Görüntü İşleme hizmetinin temel video analizinin sağlayabildiği daha gelişmiş video analiziyle ilgili görevler için Azure Video Indexer hizmetini kullanın .
    • Kişi sayma, hareket ve olay algılama gibi temel video analizi görevleri için Azure Video Indexer hizmetini kullanmayın . Görüntü İşleme hizmetinin temel video analizi bu görevler için daha uygun maliyetlidir.

Azure OpenAI

Azure OpenAI , en son nesil GPT modelleri de dahil olmak üzere OpenAI'nin güçlü dil modellerine erişim sağlar. Bunlar görsel analizi ve görüntü nesillerini destekler ve DALL-E de görüntü oluşturmayı destekler.

Azure Yapay Zeka Vizyonu

Azure AI Vision , ilgilendiğiniz görsel özelliklere göre görüntüleri işleyen ve bilgi döndüren gelişmiş algoritmalar sağlar. Dört hizmet sunar: OCR, Yüz Tanıma hizmeti, görüntü ve uzamsal analiz.

Özellikler

Aşağıdaki tablo, Azure AI Vision hizmetinde kullanılabilen özelliklerin bir listesini sağlar.

Yetenek Açıklama
Optik Karakter Tanıma (OCR) Optik Karakter Tanıma (OCR) hizmeti görüntülerden metin ayıklar. Fotoğraflardan ve belgelerden yazdırılan ve el yazısı metinleri ayıklamak için Okuma API'sini kullanabilirsiniz. Derin öğrenme tabanlı modelleri kullanır ve çeşitli yüzeylerde ve arka planlarda metinlerle çalışır. Bunlar arasında iş belgeleri, faturalar, makbuzlar, posterler, kartvizitler, mektuplar ve beyaz tahtalar yer alır. OCR API'leri, yazdırılan metnin Çeşitli dillerde ayıklanması için destek sağlar.
Görüntü Analizi Görüntü Analizi hizmeti görüntülerden nesneler, yüzler ve otomatik olarak oluşturulan metin açıklamaları gibi birçok görsel özelliği ayıklar. Floransa temel modelini temel alan Görüntü Analizi 4.0 ile özel görüntü tanımlayıcı modelleri de oluşturabilirsiniz.
Video Analizi Video Analizi, Uzamsal Analiz ve Video Alma gibi videoyla ilgili özellikleri içerir. Uzamsal Analiz, bir video akışındaki kişilerin varlığını ve hareketlerini analiz eder ve diğer sistemlerin yanıt verebileceği olaylar üretir.

Azure Yapay Zeka Özel Görüntü İşleme

Azure AI Özel Görüntü İşleme hizmeti, kendi görüntü tanımlayıcı modellerinizi oluşturmanıza, dağıtmanıza ve geliştirmenize olanak tanıyan bir görüntü tanıma hizmetidir. Görüntü tanımlayıcısı, görsel özelliklerine göre resimlere etiketler uygular. Her etiket bir sınıflandırmayı veya nesneyi temsil eder. Özel Görüntü İşleme, kendi etiketlerinizi belirtmenize ve bunları algılamak için özel modeller eğitmeye olanak tanır.

Özel Görüntü İşleme hizmeti, özel özelliklere yönelik görüntüleri analiz etmek için bir makine öğrenmesi algoritması kullanır. Aradığınız görsel özelliklere sahip olan ve olmayan görüntü kümeleri gönderirsiniz. Ardından, gönderme sırasında resimleri kendi etiketlerinizle (etiketler) etiketleyebilirsiniz. Algoritma bu verilere eğitilir ve aynı görüntüler üzerinde kendini test ederek kendi doğruluğunu hesaplar. Modelinizi eğitdikten sonra görüntüleri sınıflandırmak veya nesneleri algılamak için görüntü tanıma uygulamanızda test edebilir, yeniden eğitebilir ve sonunda kullanabilirsiniz. Modeli çevrimdışı kullanım için de dışarı aktarabilirsiniz.

Özellikler

Aşağıdaki tablo, Azure AI Özel Görüntü İşleme hizmetinde kullanılabilen özelliklerin listesini sağlar.

Yetenek Açıklama
Görüntü sınıflandırması Özellik olarak adlandırılan bir dizi girişi temel alarak bir kategoriyi veya sınıfı tahmin edin. Olası her sınıf için bir olasılık puanı hesaplayın ve nesnenin büyük olasılıkla ait olduğu sınıfı gösteren bir etiket döndürür. Bu modeli kullanmak için özelliklerden ve etiketlerinden oluşan verilere ihtiyacınız vardır.
Nesne algılama Görüntüdeki bir nesnenin koordinatlarını alma. Bu modeli kullanmak için özelliklerden ve bunların etiketlerinden oluşan verilere ihtiyacınız vardır

Kullanım örnekleri

Aşağıdaki tablo, Azure AI Özel Görüntü İşleme hizmeti için olası kullanım örneklerinin bir listesini sağlar.

Kullanım örneği Açıklama
Görsel durumları raporlamak için IoT cihazıyla Özel Görüntü İşleme kullanma Özel Görüntü İşleme kullanarak görsel durumları algılamak üzere bir cihazı kamerayla eğitin. Dışarı aktarılan ONNX modelini kullanarak bir IoT cihazında bu algılama senaryosunu çalıştırabilirsiniz. Görsel durum, bir görüntünün içeriğini açıklar: boş bir oda veya insanlarla birlikte bir oda, boş bir araç yolu veya kamyonlu bir garaj yolu vb.
Kamera resimlerindeki logoları tanıma Belirli logoları arayarak fotoğrafları analiz edin.

Azure AI Yüz Tanıma

Azure Yapay Zeka Yüz Tanıma hizmeti , görüntülerdeki insan yüzlerini algılayan, tanıyan ve analiz eden yapay zeka algoritmaları sağlar. Yüz tanıma yazılımı tanımlama, dokunmatik olmayan erişim denetimi ve gizlilik için otomatik yüz bulanıklaştırma gibi birçok senaryoda önemlidir.

Özellikler

Aşağıdaki tabloda, Azure AI Yüz Tanıma hizmetinde kullanılabilen özelliklerin listesi sağlanmaktadır.

Yetenek Açıklama
Yüz algılama ve analiz Genellikle yüzün çevresinde dikdörtgen oluşturan sınırlayıcı kutu koordinatlarını döndürerek, bir görüntünün insan yüzü içeren bölgelerini tanımlayın.
Benzer yüzleri bulma BenzerIni Bul işlemi, hedef yüzle aday yüz kümesi arasında eşleşmeyle yüz eşleştirmesi yapar ve hedef yüze benzer daha küçük bir yüz kümesi bulur. Bu, görüntüye göre yüz araması yapmak için kullanışlıdır.
Yüzleri gruplandırma Grup işlemi, bilinmeyen yüz kümesini benzerliğe göre birkaç küçük gruba böler. Her grup, özgün yüz kümesinin kopuk bir alt kümesidir. Ayrıca benzerlik bulunmayan yüz kimliklerini içeren tek bir "messyGroup" dizisi döndürür.
Kimlik Yüz belirleme, bir görüntüdeki bir yüzün güvenli bir depodaki yüz kümesiyle "bire çok" eşleşmesini ele alabilir. Eşleşme adayları, yüz verilerinin sorgu yüzüyle ne kadar yakın eşleşirlerine bağlı olarak döndürülür.
Yüz tanıma işlemleri Modern kuruluşlar ve uygulamalar, bir kullanıcının iddia ettikleri kişi olduğunu doğrulamak için Yüz doğrulama ("bire bir" eşleştirme) ve Yüz belirleme ("bire çok" eşleştirme) gibi Yüz tanıma teknolojilerini kullanabilir.
Canlılık algılama Canlılık algılama, bir kullanıcının kameranın önünde fiziksel olarak mevcut olup olmadığını denetleen bir kimlik sahtekarlığı önleme özelliğidir. Basılı bir fotoğraf, kaydedilmiş video veya kullanıcının yüzünün 3B maskesi kullanılarak kimlik sahtekarlık saldırılarını önlemek için kullanılır.

Kullanım örnekleri

Aşağıdaki tabloda, Azure AI Yüz Tanıma hizmeti için olası kullanım örneklerinin listesi sağlanır.

Kullanım örneği Açıklama
Kullanıcı kimliğini doğrulayın. Bir kişiyi güvenilir yüz görüntüsüne karşı doğrulayın. Bu doğrulama, dijital veya fiziksel özelliklere erişim vermek için kullanılabilir. Çoğu durumda, güvenilir yüz görüntüsü pasaport veya ehliyet gibi devlet tarafından verilen bir kimlikten veya bizzat çekilen bir kayıt fotoğrafından gelebilir. Doğrulama sırasında canlılık algılama, görüntünün basılı bir fotoğraf veya maskeden değil gerçek bir kişiden geldiğini doğrulamada kritik bir rol oynayabilir.
Yüz flulaştırma Gizliliklerini korumak için bir videoya kaydedilen kişilerin yüzlerini yeniden işlem veya bulanıklaştırma algıladı.
Temassız erişim denetimi. Kart veya bilet gibi yöntemlerle karşılaştırıldığında, yüz tanıma tercihi, fiziksel medya paylaşımı, kayıp veya hırsızlıktan kaynaklanan hijyen ve güvenlik risklerini azaltırken gelişmiş bir erişim denetimi deneyimi sağlar. Yüz tanıma, havalimanlarında, stadyumlarda, tema parklarında, binalarda, ofislerde, hastanelerde, spor salonlarında, kulüplerde veya okullarda resepsiyon kioskları için giriş döngüsünde bir insanla birlikte check-in işlemine yardımcı olur.

Azure Yapay Zeka Video Indexer

Azure AI Video Indexer , Azure yapay zeka hizmetlerinin bir parçası olan ve Azure yapay zeka hizmetleri (Yüz Tanıma, Çeviri, Azure Yapay Zeka Görüntü İşleme ve Konuşma gibi) üzerine kurulmuş bir bulut uygulamasıdır. Azure AI Video Indexer video ve ses modellerini kullanarak videolarınızdaki içgörüleri ayıklamanıza olanak tanır.

Özellikler

Aşağıdaki tabloda, Azure AI Video Indexer hizmetinde kullanılabilen bazı özelliklerin listesi sağlanmaktadır.

Yetenek Açıklama
Çok dilli konuşma tanımlama ve transkripsiyon Sesten farklı segmentlerde konuşulan dili tanımlar. Medya dosyasının transkripsiyonu alınacak her bölümünü gönderir ve sonra transkripsiyonu yeniden tek bir transkripsiyon olarak birleştirir.
Yüz algılama Videoda görünen yüzleri algılar ve gruplar.
Ünlü belirleme Dünya liderleri, aktörler, sanatçılar, sporcular, araştırmacılar, iş ve teknoloji liderleri gibi 1 milyondan fazla ünlünün kimliğini tanımlar. Bu ünlülerle ilgili veriler çeşitli web sitelerinde de bulunabilir (IMDB, Wikipedia vb.)
Hesap tabanlı yüz belirleme Modeli belirli bir hesap için eğiter. Ardından eğitilen modeli temel alarak videodaki yüzleri tanır.
Gözlemlenen kişi izleme (önizleme) Videolarda gözlemlenen kişileri algılar ve video çerçevesindeki kişinin konumu (sınırlayıcı kutuları kullanarak) ve bir kişi göründüğünde tam zaman damgası (başlangıç, bitiş) ve güven gibi bilgiler sağlar.
Ses transkripsiyonu Konuşmayı 50'den fazla dile dönüştürür ve uzantılara izin verir.
Dil algılama Baskın konuşulan dili tanımlar.
Gürültü azaltma Telefon sesini veya gürültülü kayıtları temizler (Skype filtreleri temelinde).
Çeviri F Ses transkriptinin çevirilerini birçok farklı dile oluşturur.

Azure AI Video Indexer hizmetinin diğer özelliklerini gözden geçirmek için Azure AI Video Indexer belgelerine bakın.

Kullanım örnekleri

Aşağıdaki tabloda, Azure AI Video Indexer hizmeti için olası kullanım örneklerinin listesi sağlanır.

Kullanım örneği Açıklama
Derin arama Video kitaplığındaki arama deneyimini geliştirmek için videodan ayıklanan içgörüleri kullanın. Örneğin, konuşulan sözcüklerin ve yüzlerin dizine oluşturulması, bir kişinin belirli sözcükleri konuştuğu veya iki kişinin birlikte görüldüğü anları bulma deneyimine olanak sağlayabilir. Videolardan bu tür içgörülere dayalı arama, haber ajansları, eğitim kurumları, yayıncılar, eğlence içeriği sahipleri, kurumsal LOB uygulamaları ve genel olarak kullanıcıların arama yapmak zorunda olduğu bir video kitaplığına sahip olan tüm sektörler için geçerlidir.
İçerik oluşturma Azure AI Video Indexer'ın içeriğinizden ayıkladığınız içgörüleri temel alarak fragmanlar oluşturun, makaraları, sosyal medya içeriğini veya haber kliplerini vurgulayın. Kişilerin ve etiket görünümlerinin ana kareleri, sahne işaretçileri ve zaman damgaları, oluşturma işlemini daha sorunsuz ve kolay hale getirerek içerik oluştururken videonun ihtiyacınız olan bölümlerine kolayca ulaşabilmenizi sağlar.
Erişilebilirlik İçeriğinizi engelli kişiler için kullanılabilir hale getirmek veya içeriğinizin farklı diller kullanılarak farklı bölgelere dağıtılmasını istiyorsanız Azure AI Video Indexer tarafından sağlanan transkripsiyon ve çeviriyi birden çok dilde kullanabilirsiniz.
Gelir elde etme Azure AI Video Indexer videoların değerini artırmaya yardımcı olabilir. Örneğin reklam gelirine (haber medyası, sosyal medya vb.) dayanan sektörler, ayıklanan içgörüleri reklam sunucusuna ek sinyaller olarak kullanarak ilgili reklamlar sunabilir.
İçerik moderasyonu Kullanıcılarınızı uygunsuz içeriklerden korumak ve yayımladığınız içeriğin kuruluşunuzun değerleriyle eşleştiğini doğrulamak için metinsel ve görsel con çadır modu ration modellerini kullanın. Belirli videoları otomatik olarak engelleyebilir veya kullanıcılarınızı içerik hakkında uyarabilirsiniz.
Öneriler Video içgörüleri, kullanıcılarla ilgili video anlarını vurgulayarak kullanıcı katılımını geliştirmek için kullanılabilir. Her videoyu ek meta verilerle etiketleyerek, kullanıcılara en uygun videoları önerebilir ve videonun ihtiyaçlarına uygun bölümlerini vurgulayabilirsiniz.

Sonraki adımlar