LLM istemleriyle Azure AI Video Indexer

Genel bakış

Azure AI Video Indexer, Büyük Dil Modelleri (LLM) ile tümleştirilir. LLM'ler, video içeriği ve daha fazlası hakkında sorular sormak için kullanabileceğiniz doğal dil yapay zeka modelleridir. Azure AI Video Indexer'ın içgörülerini LLM'lerle kolayca kullanılabilecek bir istemi hazır biçimde ayıklayın. Videoların istem için hazır biçimini oluşturmak için videoları yeniden dizine almanız gerekmez.

Kullanım Örnekleri

Video Özetlemesi Oluşturma: LLM modelinden tüm videoların veya video segmentlerinin özetlerini oluşturmasını isteyebilirsiniz. Bu segmentler, ihtiyaçlarınıza bağlı olarak bilgilendirici bir özet, bir teaser veya başka bir özet gibi çeşitli özet türleri oluşturmak için birleştirilebilir.

Aranabilirlik: Video içeriğini metin tabanlı, istem hazır bir biçime dönüştürerek, video içeriğinizde ayrıntılı, doğal dil aramaları yapabilirsiniz. Bu, belirli sorgulara göre büyük video kitaplıklarında bulunabilirliği önemli ölçüde geliştirebilir.

İçerik Oluşturma: Videolarınızda belirli duygular veya olaylarla ilişkili belirli anlar için video kitaplığınızı sorgulayabilirsiniz. Örneğin, bir video serisinden 'komik' veya 'üzgün' anları alabilir ve bunu bir promosyon veya vurgu oluşturmak için kullanabilirsiniz. Benzer şekilde, "son on yıldaki geçmiş depremler" gibi belirli ilgi çekici olaylarla ilgili anları alabilirsiniz.

Eğitim Amaçları: Öğrencilerin materyalleri gözden geçirmesini ve anlamasını kolaylaştırmak için ders videolarından özetler oluşturun. Öğrenciler ders materyalleriyle ilgili belirli sorular da sorabilirler. Öğrenme deneyimini daha verimli hale getirmek için makalenin tartışıldığı videonun tam bölümüne başvurabilirsiniz.

Etkileşimli Deneyimler: Videonun içeriğine göre kullanıcı sorgularını yanıtlayan video tabanlı sohbet botları veya sanal yardımcılar gibi etkileşimli deneyimler oluşturabilirsiniz.

Nasıl çalışır?

Çıkışın istenmeye hazır olması için video, hem videonun özüne hem de istem boyutuna uyan tutarlı bölümlere ayrılır. Bölümler, Azure AI Video Indexer Sahne Segmentasyonu ve diğer içgörülere göre bölünür. İstem içeriğinin sonuçları ayrı ayrı bir araya gelir ve segment başına oluşturulur. Örneğin:

İçgörüler

Aşağıdaki tabloda, istem oluşturma için kullanılan içgörüler yer alır.

Video için istem içeriği oluşturma

Her segment için prompt-Ready biçimini almak için dizine alınan videonuzda İçerik İstemi API'sini kullanın.

• İstem İçeriği API'sini oluşturmak için POST komut istemi içeriği oluşturma isteğini kullanın.
• İstem içeriğini görüntülemek için PromptContent Alma isteğini kullanın.

Örnek istek

AVI hesap kimliğinizi ve video kimliğinizi kullanın.

POST https://api.videoindexer.ai/trial/Accounts/{accountId}/Videos/{videoId}/PromptContent

Örnek yanıt

index
{
  "algoVersion": "2.0.0",
  "schemaVersion": "0.0.1",
  "partition": null,
  "name": "10_best_dressed_grammy",
  "sections": [
    {
      "id": 0,
      "start": "0:00:00",
      "end": "0:00:40.915875",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] necktie\n[Visual labels] human face, clothing, person, woman, suit, wedding dress, dress, indoor, wall, carpet, rug, fashion, lady, long hair, fashion accessory, fashion design\n[OCR] TROPHy, LIFE, SPECIAL, EDITION, news FEED, BY

 CLEVVER, CLEVVER, @NazPerez, BEST DRESSED CELEBS AT 2018 GRAMMYS\n[Transcript] Check out the 10 best dressed celebs from the 2018 Grammy Awards and don't forget to subscribe to our channel to get all the latest celebrity updates.\nFrom white roses to white hot looks, this year's Grammy Awards was a feast of fashion thanks to so many celebs bringing their A game to the show.\nSo let's kick off this list of the best dress from the red carpet, starting with Lady Gaga.\nGaga looked like a gothic Princess in her dramatic all black ball gown.\nThe Armani Preve dress featured A Lacy bodysuit and billowing black skirt with a huge train.\nAga's black heeled boots were also some of the highest we've ever seen, like ever, but we wouldn't expect anything less from Mama Monster.\nAnother look we love from the carpet was Anna Kendrick's sexy suit by Belmont."
    },
    {
      "id": 1,
      "start": "0:00:40.915875",
      "end": "0:01:17.202125",
      "content": "[Video title] 10_best_dressed_grammy\n[Detected objects] remote\n[Visual labels] human face, clothing, person, dress, carpet, rug, fashion, lady, furniture, female person, fashion model, model, haute couture, smile\n[OCR] TROPHy, LIFE, news FEED, BEST DRESSED CELEBS AT 2018 GRAMMYS, D CELEBS AT 2018 GRAMMYS, BEST DRESSED\n[Transcript] Anna gave the structured look a sexy feminine touch by wearing a Lacy strapless top underneath and some pale pink stilettos.\nHer suit may have said business, but her relaxed WAVY hairstyle said I came to get down.\nNext on our list is the literally red hot Camila Cabello.\nCamila was all glitzing glam in her strapless Vivian Westwood gown.\nThat humped her curves perfectly.\nCamila opted to wear her hair up and accessorized with some serious bling, but it's that plunging neckline that has this unable to look away.\nAnother look we loved came courtesy of Miley Cyrus, who absolutely slayed in this black velvet bodysuit.\nMiley looked beyond chic, from her classic Hollywood hairstyle to her glitter heels."
    },
}

İş durumunu denetleme

İstem işinin tamamlanması birkaç dakika sürer. İş durumunu denetlemek isterseniz İş Durumunu Al isteğini kullanabilirsiniz.

Büyük bir dil modelini görsel olarak istemde bulunabilmek için ana kareleri kullanma

İçerik İstemi isteği, istemlerde görsel girişi kullanabilen dil modellerini destekler. GPT-4V modelini seçerken, modele sağlanan istem kapsamında anahtar kareler ekleyebilirsiniz. İstem içerik yanıtında döndürülen çerçeveler, videodaki ana kareleri temsil eder. Bu özellik, videoda transkripti sınırlı olan veya hiç olmayan videolar için veya sonuçları geliştirmek için dil modeline daha fazla bağlam sağlamak istediğinizde önerilir.

İçerik İstemi isteği oluşturma ve gönderme

Yukarıda açıklandığı gibi, istem için metin içeriği JSON yanıtındadır. JSON yanıtının "çerçeveler" bölümündeki her dize, anahtar çerçevenin kimliğidir. Video Küçük Resmi Al özelliğini kullanma ThumbnailId, istemin içeriğindeki FrameId değeridir. Hem metin içeriğine hem de anahtar kare yapıtlarına sahip olduktan sonra, bunları istediğiniz yapay zeka modelini isterken birleştirebilirsiniz.

Sınırlamalar

İstem özelliği, mümkün olduğunca çok içgörü içeren videolar için iyileştirilmiştir.