Özel ayıklama modeli oluşturma ve eğitma

Bu içerik şunlar için geçerlidir: v4.0 (önizleme) | Önceki sürümler: v3.1 (GA) v3.0 (GA) v2.1

Belge Zekası özel modelleri, kullanmaya başlamak için birkaç eğitim belgesi gerektirir. En az beş belgeniz varsa, özel bir model eğitmeye başlayabilirsiniz. Özel şablon modeli (özel form) veya özel sinir modeli (özel belge) ya da özel şablon modeli (özel form) eğitebilirsiniz. Bu belge, özel modelleri eğitma işleminde size yol gösterir.

Özel model giriş gereksinimleri

İlk olarak, eğitim veri kümenizin Belge Zekası için giriş gereksinimlerini karşıladığından emin olun.

• Desteklenen dosya biçimleri:

  Model	PDF	Resim: JPEG/JPG, PNG, BMP, TIFF, HEIF	Microsoft Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX), HTML
  Okundu	✔	✔	✔
  Düzen	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
  Genel Belge	✔	✔
  Önceden oluşturulmuş	✔	✔
  Özel ayıklama	✔	✔
  Özel sınıflandırma	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview)

• En iyi sonuçları elde için belge başına tek bir net fotoğraf veya yüksek kaliteli tarama sağlayın.

• PDF ve TIFF için en fazla 2.000 sayfa işlenebilir (ücretsiz katman aboneliğiyle yalnızca ilk iki sayfa işlenir).

• Belgeleri analiz etmek için dosya boyutu ücretli (S0) katman için 500 MB ve 4 ücretsiz (F0) katman için MB'tır.

• Görüntü boyutları 50 piksel x 50 piksel ile 10.000 piksel x 10.000 piksel arasında olmalıdır.

• PDF’leriniz parola korumalıysa göndermeden önce kilidi kaldırmanız gerekir.

• Ayıklanacak metnin en düşük yüksekliği 1024 x 768 piksel görüntü için 12 pikseldir. Bu boyut, yaklaşık 150 nokta/inç (DPI) nokta metnine karşılık gelir 8 .

• Özel model eğitimi için eğitim verileri için en fazla sayfa sayısı özel şablon modeli için 500, özel sinir modeli için 50.000'dir.

  • Özel ayıklama modeli eğitimi için eğitim verilerinin toplam boyutu şablon modeli için 50 MB ve 1 sinir modeli için GB'tır.

  • Özel sınıflandırma modeli eğitimi için eğitim verilerinin toplam boyutu en fazla 10.000 sayfa ile GB'tır 1 . 2024-07-31-preview ve üzeri sürümler için eğitim verilerinin toplam boyutu gb ve en fazla 10.000 sayfadır 2 .

Eğitim verileri ipuçları

Veri kümenizi eğitim için daha iyi hale getirmek üzere şu ipuçlarını izleyin:

• Görüntü tabanlı belgeler yerine metin tabanlı PDF belgeleri kullanın. Taranan PDF'ler görüntü olarak işlenir.
• Giriş alanları olan formlar için tüm alanların tamamlandığı örnekleri kullanın.
• Her alanda farklı değerlere sahip olan formlar kullanın.
• Form görüntüleriniz daha düşük kalitedeyse daha büyük bir veri kümesi (10-15 resim) kullanın.

Eğitim verilerinizi karşıya yükleme

Eğitim için bir form veya belge kümesi topladıktan sonra, bunu bir Azure blob depolama kapsayıcısına yüklemeniz gerekir. Kapsayıcı ile Azure depolama hesabı oluşturmayı bilmiyorsanız, Azure portalı için Azure Depolama hızlı başlangıcını izleyin. Ücretsiz fiyatlandırma katmanını (F0) kullanarak hizmeti deneyebilir ve daha sonra üretim için ücretli bir katmana yükseltebilirsiniz.

Video: Özel modelinizi eğitme

• Eğitim veri kümenizi toplayıp karşıya yükledikten sonra özel modelinizi eğitmeye hazırsınız demektir. Aşağıdaki videoda bir proje oluşturacak ve bir modeli başarıyla etiketlemek ve eğitecek bazı temelleri keşfedeceğiz.

Document Intelligence Studio'da proje oluşturma

Document Intelligence Studio, veri kümenizi tamamlamak ve modelinizi eğitmek için gereken tüm API çağrılarını sağlar ve düzenler.

1. Başlangıç olarak Document Intelligence Studio'ya geçin. Studio'yu ilk kez kullandığınızda aboneliğinizi, kaynak grubunuzu ve kaynağınızı başlatmanız gerekir. Ardından, özel projelerin önkoşullarını izleyerek Studio'yu eğitim veri kümenize erişecek şekilde yapılandırın.

2. Studio'da Özel ayıklama modeli kutucuğunu seçin ve Proje oluştur düğmesini seçin.

   

   1. İletişim kutusunda create project projeniz için isteğe bağlı olarak bir açıklama girin ve Devam'ı seçin.

   2. İş akışının sonraki adımında Devam'ı seçmeden önce bir Belge Yönetim Bilgileri kaynağı seçin veya oluşturun.

   Önemli

   Özel nöral modeller yalnızca birkaç bölgede kullanılabilir. Bir sinir modelini eğit almayı planlıyorsanız lütfen bu desteklenen bölgelerden birinde bir kaynak seçin veya oluşturun.

   

3. Ardından özel model eğitim veri kümenizi karşıya yüklemek için kullandığınız depolama hesabını seçin. Eğitim belgeleriniz kapsayıcının kökündeyse Klasör yolu boş olmalıdır. Belgeleriniz bir alt klasördeyse, Klasör yolu alanına kapsayıcı kökünden göreli yolu girin. Depolama hesabınız yapılandırıldıktan sonra Devam'ı seçin.

   

4. Son olarak proje ayarlarınızı gözden geçirin ve Proje Oluştur'u seçerek yeni bir proje oluşturun. Şimdi etiketleme penceresinde olmanız ve veri kümenizdeki dosyaların listelendiğini görmeniz gerekir.

Verilerinizi etiketleme

Projenizde ilk göreviniz veri kümenizi ayıklamak istediğiniz alanlarla etiketlemektir.

Depolama alanına yüklediğiniz dosyalar, ekranınızın sol tarafında listelenir ve ilk dosya etiketlenmeye hazır olur.

1. Ekranın sağ üst kısmındaki artı (➕) düğmesini seçerek veri kümenizi etiketlemeye ve ilk alanınızı oluşturmaya başlayın.

   

2. Alan için bir ad girin.

3. Belgede bir sözcük veya sözcük seçerek alana bir değer atayın. Açılan listeden veya sağ gezinti çubuğundaki alan listesinden alanı seçin. Etiketlenen değer, alan listesindeki alan adının altındadır.

4. Veri kümeniz için etiketlemek istediğiniz tüm alanlar için işlemi yineleyin.

5. Her belgeyi seçip etiketlenecek metni seçerek veri kümenizdeki kalan belgeleri etiketle.

Artık veri kümenizdeki tüm belgeler etiketlenmiştir. .labels.json ve .ocr.json dosyaları, eğitim veri kümenizdeki her belgeye ve yeni bir fields.json dosyasına karşılık gelir. Bu eğitim veri kümesi modeli eğitmek için gönderilir.

Modelinizi eğitme

Veri kümeniz etiketlenmiş durumdayken artık modelinizi eğitmeye hazırsınız. Sağ üst köşedeki tren düğmesini seçin.

1. Modeli eğit iletişim kutusunda benzersiz bir model kimliği ve isteğe bağlı olarak bir açıklama girin. Model kimliği bir dize veri türünü kabul eder.

2. Derleme modu için eğitmek istediğiniz model türünü seçin. Model türleri ve özellikleri hakkında daha fazla bilgi edinin.

   

3. Eğitim işlemini başlatmak için Eğit'i seçin.

4. Şablon modelleri birkaç dakika içinde eğitildi. Sinir modellerinin eğitilmiş olması 30 dakika kadar sürebilir.

5. Tren işleminin durumunu görüntülemek için Modeller menüsüne gidin.

Modeli test etme

Model eğitimi tamamlandıktan sonra model listesi sayfasında modeli seçerek modelinizi test edebilirsiniz.

1. Modeli seçin ve Test düğmesini seçin.

2. + Add Modeli test etmek için bir dosya seçmek için düğmesini seçin.

3. Bir dosya seçiliyken, modeli test etmek için Çözümle düğmesini seçin.

4. Model sonuçları ana pencerede görüntülenir ve ayıklanan alanlar sağ gezinti çubuğunda listelenir.

5. Her alanın sonuçlarını değerlendirerek modelinizi doğrulayın.

6. Sağ gezinti çubuğunda ayrıca modelinizi çağırmak için örnek kod ve API'den JSON sonuçları bulunur.

Tebrikler, Document Intelligence Studio'da özel bir model eğitmeye çalıştınız! Modeliniz, belgeleri analiz etmek için REST API veya SDK ile kullanıma hazırdır.

Şunlar için geçerlidir: v2.1. Diğer sürümler: v3.0

Belge Zekası özel modelini kullandığınızda, modelin sektöre özgü formlarınıza eğitebilmesi için Özel Modeli Eğit işlemine kendi eğitim verilerinizi sağlarsınız. Modeli etkili bir şekilde eğitmek için veri toplamayı ve hazırlamayı öğrenmek için bu kılavuzu izleyin.

Aynı türde en az beş tamamlanmış form gerekir.

El ile etiketlenmiş eğitim verilerini kullanmak istiyorsanız, aynı türde en az beş tamamlanmış formla başlamalısınız. Gerekli veri kümesine ek olarak etiketlenmemiş formları kullanmaya devam edebilirsiniz.

Özel model giriş gereksinimleri

İlk olarak, eğitim veri kümenizin Belge Zekası için giriş gereksinimlerini karşıladığından emin olun.

• Desteklenen dosya biçimleri:

  Model	PDF	Resim: JPEG/JPG, PNG, BMP, TIFF, HEIF	Microsoft Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX), HTML
  Okundu	✔	✔	✔
  Düzen	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
  Genel Belge	✔	✔
  Önceden oluşturulmuş	✔	✔
  Özel ayıklama	✔	✔
  Özel sınıflandırma	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview)

• En iyi sonuçları elde için belge başına tek bir net fotoğraf veya yüksek kaliteli tarama sağlayın.

• PDF ve TIFF için en fazla 2.000 sayfa işlenebilir (ücretsiz katman aboneliğiyle yalnızca ilk iki sayfa işlenir).

• Belgeleri analiz etmek için dosya boyutu ücretli (S0) katman için 500 MB ve 4 ücretsiz (F0) katman için MB'tır.

• Görüntü boyutları 50 piksel x 50 piksel ile 10.000 piksel x 10.000 piksel arasında olmalıdır.

• PDF’leriniz parola korumalıysa göndermeden önce kilidi kaldırmanız gerekir.

• Ayıklanacak metnin en düşük yüksekliği 1024 x 768 piksel görüntü için 12 pikseldir. Bu boyut, yaklaşık 150 nokta/inç (DPI) nokta metnine karşılık gelir 8 .

• Özel model eğitimi için eğitim verileri için en fazla sayfa sayısı özel şablon modeli için 500, özel sinir modeli için 50.000'dir.

  • Özel ayıklama modeli eğitimi için eğitim verilerinin toplam boyutu şablon modeli için 50 MB ve 1 sinir modeli için GB'tır.

  • Özel sınıflandırma modeli eğitimi için eğitim verilerinin toplam boyutu en fazla 10.000 sayfa ile GB'tır 1 . 2024-07-31-preview ve üzeri sürümler için eğitim verilerinin toplam boyutu gb ve en fazla 10.000 sayfadır 2 .

Eğitim verileri ipuçları

Veri kümenizi eğitim için daha iyi hale getirmek için bu ipuçlarını izleyin.

• Görüntü tabanlı belgeler yerine metin tabanlı PDF belgeleri kullanın. Taranan PDF'ler görüntü olarak işlenir.
• Tamamlanmış formlar için tüm alanlarının doldurulduğu örnekleri kullanın.
• Her alanda farklı değerlere sahip olan formlar kullanın.
• Tamamlanmış formlar için daha büyük bir veri kümesi (10-15 resim) kullanın.

Eğitim verilerinizi karşıya yükleme

Eğitim için belge kümesini topladıktan sonra bir Azure blob depolama kapsayıcısına yüklemeniz gerekir. Kapsayıcıyla Azure depolama hesabı oluşturmayı bilmiyorsanız Azure portalı için Azure Depolama hızlı başlangıcını izleyin. Standart performans katmanını kullanın.

El ile etiketlenmiş verileri kullanmak istiyorsanız, eğitim belgelerinize karşılık gelen .labels.json ve .ocr.json dosyalarını karşıya yükleyin. Bu dosyaları oluşturmak için Örnek Etiketleme aracını (veya kendi kullanıcı arabiriminizi) kullanabilirsiniz.

Verilerinizi alt klasörlerde düzenleme (isteğe bağlı)

Varsayılan olarak, Özel Modeli Eğit API'sinde yalnızca depolama kapsayıcınızın kökünde bulunan belgeler kullanılır. Ancak, API çağrısında belirtirseniz alt klasörlerdeki verilerle eğitebilirsiniz. Normalde, Özel Modeli Eğit çağrısının gövdesi aşağıdaki biçime sahiptir; burada <SAS URL> kapsayıcınızın Paylaşılan erişim imzası URL'si olur:

{
  "source":"<SAS URL>"
}

İstek gövdesine aşağıdaki içeriği eklerseniz, API alt klasörlerde bulunan belgelerle eğitilmiş olur. bu "prefix" alan isteğe bağlıdır ve eğitim veri kümesini yolları verilen dizeyle başlayan dosyalarla sınırlar. Örneğin değerinin "Test"olması, API'nin yalnızca Test sözcüğüyle başlayan dosya veya klasörlere bakabilmesine neden olur.

{
  "source": "<SAS URL>",
  "sourceFilter": {
    "prefix": "<prefix string>",
    "includeSubFolders": true
  },
  "useLabelFile": false
}