Belge Zekası özel sinir modeli

Özel sinirsel belge modelleri veya sinir modelleri, belgelerden etiketlenmiş alanları doğru bir şekilde ayıklamak için düzen ve dil özelliklerini birleştiren, derin öğrenilmiş bir model türüdür. Temel özel sinir modeli, yapılandırılmış ve yarı yapılandırılmış belgelerden alan ayıklamak için eğitilmeye uygun hale getiren çeşitli belge türleri üzerinde eğitilir. Özel sinir modelleri v3.0 ve üzeri modellerde kullanılabilir Aşağıdaki tabloda her kategori için yaygın belge türleri listelenmiştir:

Özel sinir modelleri, özel şablon modelleri ile aynı etiketleme biçimini ve stratejisini paylaşır. Şu anda özel sinir modelleri, özel şablon modelleri tarafından desteklenen alan türlerinin yalnızca bir alt kümesini destekler.

Model özellikleri

Özel sinir modelleri şu anda anahtar-değer çiftlerini, seçim işaretlerini ve yapılandırılmış alanları (tablolar) destekler.

¹ Özel sinir modellerindeki bölge etiketleri, belirtilen bölge için Düzen API'sinden alınan sonuçları kullanır. Bu özellik, herhangi bir değer yoksa eğitim zamanında metin oluşturulan şablon modellerinden farklıdır.
² Rest API sürümünden 2024-02-29-previewbaşlayarak çakışan alanlar desteklenir. Çakışan alanların bazı sınırları vardır. Daha fazla bilgi için bkz. çakışan alanlar.

Derleme modu

İşlem, Build şablon ve sinir özel modellerini destekler. REST API'nin ve istemci kitaplıklarının önceki sürümleri artık şablon modu olarak bilinen tek bir derleme modunu destekliyor.

Sinir modelleri aynı bilgilere ancak farklı sayfa yapılarına sahip belgeleri destekler. Bu belgelere örnek olarak, aynı bilgileri paylaşan ancak şirketler arasında görünüm olarak farklılık gösterebilen Birleşik Devletler W2 formları verilebilir. Daha fazla bilgi için bkz. Özel model derleme modu.

Çakışan alanlar

API sürümlerinin ve sonraki sürümlerin 2024-02-29-preview yayımlanmasıyla birlikte, özel sinir modelleri çakışan alanları destekler:

Çakışan alanlar

API 2024-07-31-preview ve sonraki sürümlerinin yayımlanmasıyla birlikte, özel sinir modelleri çakışan alanları destekleyecektir:

Çakışan alanları kullanmak için veri kümenizin beklenen çakışmaya sahip en az bir örnek içermesi gerekir. Bir çakışmayı etiketlemek için bölge etiketlemesini kullanarak her alan için içerik aralıklarının her birini (çakışma ile birlikte) belirleyin. Alan seçimiyle örtüşme etiketleme (bir değeri vurgulama) Studio'da başarısız olur. Bölge etiketleme, alan çakışmalarını göstermek için desteklenen tek etiketleme aracıdır. Çakışma desteği şunları içerir:

• Tam çakışma. Aynı belirteç kümesi iki farklı alan için etiketlenmiştir.
• Kısmi çakışma. Bazı belirteçler her iki alana da aittir, ancak yalnızca bir alanın veya diğerinin parçası olan belirteçler vardır.

Çakışan alanların bazı sınırları vardır:

• Herhangi bir belirteç veya sözcük yalnızca iki alan olarak etiketlenebilir.
• bir tablodaki çakışan alanlar tablo satırlarına yayılamaz.
• Çakışan alanlar yalnızca veri kümesindeki en az bir örnek bu alanlar için çakışan etiketler içeriyorsa tanınabilir.

Çakışan alanları kullanmak için veri kümenizi çakışanlarla etiketleyip modeli API sürümü 2024-02-29-preview veya üzeriyle eğitin.

Tablosal alanlar

API'nin 2022-06-30-preview ve sonraki sürümlerinin yayımlanmasıyla birlikte, özel sinir modelleri tablo, satır ve hücre verilerini analiz etmek için tablosal alanları (tablolar) destekler ve daha fazla güvenle:

• API sürüm 2022-06-30-preview veya sonraki sürümlerle eğitilen modeller tablosal alan etiketlerini kabul eder.
• API sürüm 2022-06-30-preview veya üzeri kullanılarak özel sinir modelleri ile analiz edilen belgeler, tablolar arasında toplanan tablosal alanlar oluşturur.
• Sonuçlar, bir çözümleme işleminin analyzeResult ardından döndürülen nesnenin documents dizisinde bulunabilir.

Tablosal alanlar, varsayılan olarak çapraz sayfa tablolarını destekler:

• Birden çok sayfaya yayılan bir tabloyu etiketlemek için, tablonun her satırını tek bir tablodaki farklı sayfalar arasında etiketle.
• En iyi uygulama olarak, veri kümenizin beklenen varyasyonlardan birkaç örnek içerdiğinden emin olun. Örneğin, tüm tablonun tek bir sayfada olduğu ve tabloların iki veya daha fazla sayfayı nereye yayılacağı örneklerini ekleyin.

Tablosal alanlar, tablo olarak tanınmayan bir belge içinde yinelenen bilgileri ayıklarken de yararlıdır. Örneğin, özgeçmişteki iş deneyimlerinin yinelenen bir bölümü tablosal alan olarak etiketlenebilir ve ayıklanabilir.

Tablosal alanlar, API'den 2024-02-29-preview başlayarak tablo, satır ve hücre güvenilirliği sağlar:

• Düzeltildi veya dinamik tablolar aşağıdaki öğeler için güvenilirlik desteği ekler:

  • Tablo güveni, tablonun tamamının ne kadar doğru tanınıldığını gösteren bir ölçüdür.
  • Satır güveni, tek bir satırın tanınma ölçüsü.
  • Hücre güvenilirliği, tek bir hücrenin tanıma ölçüsüdür.

• Önerilen yaklaşım, önce tablodan, ardından satırdan ve sonra hücreden başlayarak doğruluğu yukarıdan aşağıya doğru gözden geçirmektir. Tablo, satır ve hücre güvenilirliği hakkında daha fazla bilgi edinmek için güvenilirlik ve doğruluk puanlarına bakın.

Desteklenen diller ve yerel ayarlar

Desteklenen dillerin tam listesi için Dil Desteği(özel modeller) bölümüne bakın.

Desteklenen bölgeler

18 Ekim 2022 itibarıyla, Document Intelligence özel sinir modeli eğitimi bir sonraki bildirime kadar yalnızca aşağıdaki Azure bölgelerinde kullanılabilir olacaktır:

• Doğu Avustralya
• Güney Brezilya
• Orta Kanada
• Orta Hindistan
• Central US
• Doğu Asya
• Doğu ABD
• Doğu ABD 2
• Orta Fransa
• Doğu Japonya
• Orta Güney ABD
• Güneydoğu Asya
• Güney Birleşik Krallık
• West Europe
• Batı ABD 2
• US Gov Arizona
• US Gov Virginia

Giriş gereksinimleri

• En iyi sonuçları elde için belge başına tek bir net fotoğraf veya yüksek kaliteli tarama sağlayın.

• Desteklenen dosya biçimleri:

  Model	PDF	Resim: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) ve HTML
  Okundu	✔	✔	✔
  Düzen	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview veya üzeri)
  Genel Belge	✔	✔
  Önceden oluşturulmuş	✔	✔
  Özel nöral	✔	✔

  ✱ Microsoft Office dosyaları şu anda diğer modeller veya sürümler için desteklenmiyor.

• PDF ve TIFF için en fazla 2.000 sayfa işlenebilir (ücretsiz katman aboneliğiyle yalnızca ilk iki sayfa işlenir).

• Belgeleri analiz etmek için dosya boyutu ücretli (S0) katman için 500 MB ve ücretsiz (F0) katmanı için 4 MB'tır.

• Görüntü boyutları 50 x 50 piksel ile 10.000 piksel x 10.000 piksel arasında olmalıdır.

• PDF’leriniz parola korumalıysa göndermeden önce kilidi kaldırmanız gerekir.

• Ayıklanacak metnin en düşük yüksekliği 1024 x 768 piksel görüntü için 12 pikseldir. Bu boyut, inç başına 150 nokta olan yaklaşık 8nokta metnine karşılık gelir.

• Özel model eğitimi için eğitim verileri için en fazla sayfa sayısı özel şablon modeli için 500, özel sinir modeli için 50.000'dir.

• Özel ayıklama modeli eğitimi için eğitim verilerinin toplam boyutu şablon modeli için 50 MB ve sinir modeli için 1G-MB'tır.

• Özel sınıflandırma modeli eğitimi için eğitim verilerinin toplam boyutu en fazla 10.000 sayfadır 1GB .

En iyi yöntemler

Özel sinir modelleri, özel şablon modellerinden birkaç farklı şekilde farklılık gösterir. Özel şablon veya model, etiketlenmiş verileri ayıklamak için tutarlı bir görsel şablonu kullanır. Özel sinir modelleri, alanları ayıklamak için yapılandırılmış ve yarı yapılandırılmış özellikleri destekler. Model türleri arasında seçim yaparken bir sinir modeliyle başlayın ve işlev gereksinimlerinizi destekleyip desteklemediğini belirlemek için test edin.

• Çeşitlemelerle ilgilenme - Özel sinir modelleri tek bir belge türünün farklı biçimlerinde genelleştirebilir. En iyi yöntem olarak, belge türünün tüm varyasyonları için tek bir model oluşturun. Eğitim veri kümesine farklı varyasyonların her biri için en az beş etiketli örnek ekleyin.
• Alan adlandırma - Verileri etiketlediğinizde, değerle ilgili alanı etiketlemek ayıklanan anahtar-değer çiftlerinin doğruluğunu artırır. Örneğin, sağlayıcı kimliğini içeren bir alan değeri için alanı supplier_id adlandırmayı göz önünde bulundurun. Alan adları belgenin dilinde olmalıdır.
• Bitişik değerleri etiketleme - Bir alanın değer belirteçleri/sözcükleri şu değerlerden biri olmalıdır:
  • Diğer alanlarla kesişmeden, doğal okuma sırasında art arda sıralanmış olarak
  • Diğer alanları kapsamaz bir bölgede
• Temsili veriler - Eğitim örneklerindeki değerler çeşitli ve temsili olmalıdır. Örneğin, bir alanın adı date ise, bu alanın değerleri bir tarih olmalıdır. Rastgele bir dize gibi yapay değer model performansını etkileyebilir.

Geçerli Sınırlamalar

• Özel sinir modeli sayfa sınırları arasında bölünmüş değerleri tanımaz.
• Özel bir sinir modelini eğitmek için özel şablon modelleri için etiketlenmiş bir veri kümesi kullanılırsa, özel sinirsel desteklenmeyen alan türleri yoksayılır.
• Özel sinir modelleri ayda 20 derleme işlemiyle sınırlıdır. Sınırın artırılmasını istiyorsanız bir destek isteği açın. Daha fazla bilgi için bkz . Belge Yönetim Bilgileri hizmeti kotaları ve sınırları.

Model eğitma

Özel sinir modelleri v3.0 ve üzeri modellerde kullanılabilir.

Modeli Build eğitmeye yönelik işlem, özel bir buildMode sinir modelini eğitmek için yeni bir özelliği destekler ve değerini olarak neuralayarlayınbuildMode.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels:build?api-version=v3.1:2023-07-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels/{modelId}:copyTo?api-version=2022-08-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Sonraki adımlar

Özel modeller oluşturmayı ve oluşturmayı öğrenin: