AI Belge Zekası kullanarak belge işlemeyi otomatikleştirme

Azure AI Arama
Azure AI services
Azure Cosmos DB
Azure AI Belge Zekası
Azure Machine Learning

Bu makalede, otomatik belge işleme işlem hattı oluşturmaya yönelik ölçeklenebilir ve güvenli bir çözüm özetlenmiştir. Çözüm, verilerin yapılandırılmış ayıklaması için Yapay Zeka Belge Zekası'nı kullanır. Doğal dil işleme (NLP) modelleri ve özel modeller verileri zenginleştirir.

Mimari

Belge işlemenin ayıklama, zenginleştirme ve analiz aşamalarında verilerin nasıl aktığını gösteren mimari diyagramı.

Bu mimarinin bir Visio dosyasını indirin.

Veri akışı

Aşağıdaki bölümlerde veri ayıklama işleminin çeşitli aşamaları açıklanmaktadır.

Veri alımı ve ayıklama

  1. Belgeler, web uygulamasının ön ucundaki bir tarayıcı aracılığıyla alınıyor. Belgeler resim içeriyor veya PDF biçiminde. Azure Uygulaması Hizmeti bir arka uç uygulaması barındırıyor. Çözüm, belgeleri Azure Uygulaması lication Gateway aracılığıyla bu uygulamaya yönlendirir. Bu yük dengeleyici, uygulamayı yaygın saldırılara ve güvenlik açıklarına karşı korumaya yardımcı olan Azure Web Uygulaması Güvenlik Duvarı ile birlikte çalışır.

  2. Arka uç uygulaması, şu modellerden birini kullanan bir Azure AI Belge Zekası REST API uç noktasına bir istek gönderir:

    Azure AI Belge Zekası'ndan alınan yanıt ham optik karakter tanıma (OCR) verilerini ve yapılandırılmış ayıklamaları içerir.

  3. App Service arka uç uygulaması, ayıklama kalitesini denetlemek için güvenilirlik değerlerini kullanır. Kalite belirtilen eşiğin altındaysa, uygulama verileri el ile doğrulama için işaretler. Ayıklama kalitesi gereksinimleri karşıladığında veriler aşağı akış uygulama tüketimi için Azure Cosmos DB'ye girer. Uygulama sonuçları ön uç tarayıcısına da döndürebilir.

  4. Diğer kaynaklar görüntüler, PDF dosyaları ve diğer belgeler sağlar. Kaynaklar e-posta eklerini ve Dosya Aktarım Protokolü (FTP) sunucularını içerir. Azure Data Factory ve AzCopy gibi araçlar bu dosyaları Azure Blob Depolama aktarır. Azure Logic Apps , e-postalardan ekleri otomatik olarak ayıklamak için işlem hatları sunar.

  5. Bir belge Blob Depolama'ya girdiğinde bir Azure işlevi tetikler. İşlev:

    • İlgili Azure AI Belge Zekası önceden oluşturulmuş uç noktasına bir istek postalar.
    • Yanıtı alır.
    • Ekstraksiyon kalitesini değerlendirir.

  6. Ayıklanan veriler Azure Cosmos DB'ye girer.

Veri zenginleştirme

Veri zenginleştirme için kullanılan işlem hattı, kullanım örneğine bağlıdır.

  1. Veri zenginleştirme aşağıdaki NLP özelliklerini içerebilir:

    • Adlandırılmış varlık tanıma (NER)
    • Kişisel bilgilerin, anahtar ifadelerin, sistem durumu bilgilerinin ve etki alanına bağımlı diğer varlıkların ayıkılması

    Verileri zenginleştirmek için web uygulaması:

  2. Özel modeller verilerde sahtekarlık algılama, risk analizi ve diğer analiz türlerini gerçekleştirir:

    • Azure Machine Learning hizmetleri özel modelleri eğitip dağıtır.
    • Ayıklanan veriler Azure Cosmos DB'den alınır.
    • Modeller verilerden içgörüler türetilir.

    Çıkarım için şu olasılıklar vardır:

    • Gerçek zamanlı süreçler. Modeller yönetilen çevrimiçi uç noktalara veya Kubernetes çevrimiçi uç noktalarına dağıtılabilir; burada yönetilen Kubernetes kümesi Azure Kubernetes Service (AKS) dahil her yerde olabilir.
    • Toplu çıkarım toplu iş uç noktalarında veya Azure Sanal Makineler'de yapılabilir.

  3. Zenginleştirilmiş veriler Azure Cosmos DB'ye girer.

Analiz ve görselleştirmeler

  1. Uygulamalar ham OCR'yi, Azure AI Belge Zekası uç noktalarındaki yapılandırılmış verileri ve NLP'den zenginleştirilmiş verileri kullanır:

    • Power BI verileri görüntüler ve bu veriler hakkında raporlar sunar.
    • Veriler, Azure Bilişsel Arama kaynağı olarak çalışır.
    • Diğer uygulamalar verileri tüketir.

Bileşenler

  • App Service , Azure'da sunulan bir hizmet olarak platform (PaaS) teklifidir. Ölçeği el ile veya otomatik olarak genişletebileceğiniz web uygulamalarını barındırmak için App Service'i kullanabilirsiniz. Hizmet, ASP.NET, ASP.NET Core, Java, Ruby, Node.js, PHP ve Python gibi çeşitli dilleri ve çerçeveleri destekler.

  • Application Gateway , web uygulamalarına yönelik trafiği yöneten bir katman 7 (uygulama katmanı) yük dengeleyicidir. Web uygulamalarını yaygın açıklardan ve güvenlik açıklarından korumaya yardımcı olmak için Application Gateway'i Azure Web Uygulaması Güvenlik Duvarı ile çalıştırabilirsiniz.

  • Azure İşlevleri, uygulama oluşturmak için kullanabileceğiniz sunucusuz bir işlem platformudur. İşlevler ile Tetikleyicileri ve bağlamaları kullanarak Blob Depolama ve Azure Cosmos DB gibi Azure hizmetlerindeki değişikliklere tepki vekleyebilirsiniz. İşlevler zamanlanmış görevleri çalıştırabilir, verileri gerçek zamanlı olarak işleyebilir ve mesajlaşma kuyruklarını işleyebilir.

  • Azure Yapay Zeka Belge Zekası , Azure yapay zeka hizmetlerinin bir parçasıdır. Azure AI Belge Zekası faturalardan, belgelerden, makbuzlardan, kimlik kartlarından ve kartvizitlerden veri ayıklamak için önceden oluşturulmuş uç noktalardan oluşan bir koleksiyon sunar. Bu hizmet, ayıklanan her veri parçasını anahtar-değer çifti olarak bir alana eşler. Azure AI Belge Zekası ayrıca tablo içeriğini ve yapısını ayıklar. Çıkış biçimi JSON'dır.

  • Azure Depolama nesne, blob, dosya, disk, kuyruk ve tablo depolamayı içeren bir bulut depolama çözümüdür.

  • Blob Depolama , Azure Depolama'nın bir parçası olan bir hizmettir. Blob Depolama, büyük miktarlarda yapılandırılmamış veri için iyileştirilmiş bulut nesne depolaması sunar.

  • Azure Data Lake Storage , yüksek performanslı analiz iş yükleri için ölçeklenebilir, güvenli bir veri gölüdür. Veriler genellikle birden çok heterojen kaynaktan gelir ve yapılandırılmış, yarı yapılandırılmış veya yapılandırılmamış olabilir. Azure Data Lake Storage 2. Nesil, Azure Data Lake Storage 1. Nesil özelliklerini Blob Depolama ile birleştirir. Yeni nesil bir çözüm olarak Data Lake Storage 2. Nesil dosya sistemi semantiği, dosya düzeyi güvenlik ve ölçeklendirme sağlar. Ancak Blob Depolama'nın katmanlı depolama, yüksek kullanılabilirlik ve olağanüstü durum kurtarma özelliklerini de sunar.

  • Azure Cosmos DB , tam olarak yönetilen, son derece hızlı yanıt veren, ölçeklenebilir bir NoSQL veritabanıdır. Azure Cosmos DB kurumsal düzeyde güvenlik sunar ve birçok veritabanı, dil ve platform için API'leri destekler. Örnek olarak SQL, MongoDB, Gremlin, Tablo ve Apache Cassandra verilebilir. Azure Cosmos DB'deki sunucusuz, otomatik ölçeklendirme seçenekleri, uygulamaların kapasite taleplerini verimli bir şekilde yönetir.

  • Yapay Zeka Dili , metni anlamak ve analiz etmek için kullanabileceğiniz birçok NLP hizmeti sunar. Bu hizmetlerden bazıları özel NER, özel metin sınıflandırması, konuşma dili anlama ve soru yanıtlama gibi özelleştirilebilir hizmetlerdir.

  • Machine Learning , makine öğrenmesi modellerinin büyük ölçekte geliştirilmesini ve dağıtımını yönetmeye yönelik açık bir platformdur. Machine Learning, veri bilimcileri veya iş analistleri gibi farklı kullanıcıların beceri düzeylerini karşılar. Platform yaygın olarak kullanılan açık çerçeveleri destekler ve otomatik özellik ve algoritma seçimi sunar. Modelleri çeşitli hedeflere dağıtabilirsiniz. Örnek olarak AKS, büyük ölçekte gerçek zamanlı çıkarım için web hizmeti olarak Azure Container Instances ve toplu puanlama için Azure Sanal Makinesi verilebilir. Machine Learning'deki yönetilen uç noktalar, gerçek zamanlı veya toplu iş modeli çıkarım için gerekli altyapıyı soyutlar.

  • AKS , kapsayıcılı uygulamaları dağıtmayı ve yönetmeyi kolaylaştıran tam olarak yönetilen bir Kubernetes hizmetidir. AKS sunucusuz Kubernetes teknolojisi, tümleşik bir sürekli tümleştirme ve sürekli teslim (CI/CD) deneyimi ve kurumsal düzeyde güvenlik ve idare sunar.

  • Power BI , analiz bilgilerini görüntüleyen yazılım hizmetlerinden ve uygulamalardan oluşan bir koleksiyondur.

  • Azure Bilişsel Arama, arama için altyapı, API'ler ve araçlar sağlayan bir bulut arama hizmetidir. web, mobil ve kurumsal uygulamalarda özel, heterojen içerik üzerinde arama deneyimleri oluşturmak için Azure Bilişsel Arama kullanabilirsiniz.

Alternatifler

  • Uygulamanızı barındırmak için App Service yerine Azure Sanal Makineler kullanabilirsiniz.

  • Ayıklanan verilerin kalıcı olarak depolanması için aşağıdakiler dahil olmak üzere herhangi bir ilişkisel veritabanını kullanabilirsiniz:

Senaryo ayrıntıları

Belge işlemeyi ve veri ayıklamayı otomatikleştirmek, tüm sektör dikey sektörlerindeki kuruluşlarda ayrılmaz bir görevdir. Yapay zeka, bu süreçte kanıtlanmış çözümlerden biridir ancak yüzde 100 doğruluk elde etmek uzak bir gerçekliktir. Ancak yapay zekayı tamamen el ile gerçekleştirilen işlemler yerine dijitalleştirme için kullanmak el ile yapılan çabayı yüzde 90'a kadar azaltabilir.

Optik karakter tanıma (OCR), kuruluşların kullandığı belgelerin çoğunu oluşturan görüntülerden ve PDF dosyalarından içerik ayıklayabilir. Bu işlem anahtar sözcük arama ve normal ifade eşleştirme kullanır. Bu mekanizmalar, tam metinden ilgili verileri ayıklar ve sonra yapılandırılmış çıkış oluşturur. Bu yaklaşımın dezavantajları vardır. Çıkarma sonrası süreci değişen belge biçimlerini karşılayacak şekilde gözden geçirme, kapsamlı bir bakım çalışması gerektirir.

Olası kullanım örnekleri

Bu çözüm finans sektörü için idealdir. Otomotiv, seyahat ve konaklama sektörleri için de geçerli olabilir. Aşağıdaki görevler bu çözümden yararlanabilir:

  • Gider raporlarını onaylama
  • Sigorta talepleri ve mali denetimler için faturaları, makbuzları ve faturaları işleme
  • Faturaları, deşarj özetlerini ve diğer belgeleri içeren talepleri işleme
  • çalışma deyimi (SoW) onaylarını otomatikleştirme
  • Kimlik ayıklamayı pasaportlar veya sürücü lisanslarında olduğu gibi doğrulama amacıyla otomatikleştirme
  • Ziyaretçi yönetim sistemlerine kartvizit verilerini girme işlemini otomatikleştirme
  • Sahtekarlık algılama için satın alma düzenlerini ve yinelenen finansal belgeleri tanımlama

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.

Bu çözümü kullanırken bu noktaları göz önünde bulundurun.

Kullanılabilirlik

Mimarinin kullanılabilirliği, çözümü oluşturan Azure hizmetlerine bağlıdır:

  • Azure Yapay Zeka Belge Zekası, Azure yapay zeka hizmetlerinin bir parçasıdır. Bu hizmetin kullanılabilirlik garantisi için bkz . Azure AI hizmetleri için hizmet düzeyi sözleşmesi (SLA).

  • Yapay Zeka Dili, Azure yapay zeka hizmetlerinin bir parçasıdır. Bu hizmetlerin kullanılabilirlik garantisi için bkz . Azure AI hizmetleri için SLA.

  • Azure Cosmos DB, her bölgede dört veri çoğaltması tutarak ve verileri bölgeler arasında çoğaltarak yüksek kullanılabilirlik sağlar. Tam kullanılabilirlik garantisi, tek bir bölgede mi yoksa birden çok bölgede mi çoğaltma yaptığınıza bağlıdır. Daha fazla bilgi için bkz . Azure Cosmos DB ile yüksek kullanılabilirlik elde edin.

  • Blob Depolama, yüksek kullanılabilirlik sağlamaya yardımcı olan yedeklilik seçenekleri sunar. Verileri birincil bölgede üç kez çoğaltmak için bu yaklaşımlardan birini kullanabilirsiniz:

    • Yerel olarak yedekli depolama (LRS) için tek bir fiziksel konumda.
    • Farklı kullanılabilirlik parametrelerini kullanan üç kullanılabilirlik alanında. Daha fazla bilgi için bkz . Dayanıklılık ve kullanılabilirlik parametreleri. Bu seçenek, yüksek kullanılabilirlik gerektiren uygulamalar için en iyi şekilde çalışır.

  • Çözümdeki diğer Azure hizmetlerinin kullanılabilirlik garantileri için şu kaynaklara bakın:

Ölçeklenebilirlik

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.

  • Azure Web Uygulaması Güvenlik Duvarı, uygulamanızın yaygın güvenlik açıklarından korunmasına yardımcı olur. Bu Application Gateway seçeneği siteler arası betik, oturum ele geçirme ve diğer açıklardan yararlanma gibi saldırıları önlemek için Open Worldwide Application Security Project (OWASP) kurallarını kullanır.

  • App Service güvenliğini geliştirmek için şu seçenekleri göz önünde bulundurun:

    • App Service, sanal ağ tümleştirmesi aracılığıyla Azure Sanal Ağ'daki kaynaklara erişebilir.
    • App Service'i ayrılmış bir sanal ağa dağıttığınız bir App Service Ortamı kullanabilirsiniz. Bu yaklaşım, App Service ile sanal ağdaki diğer kaynaklar arasındaki bağlantıyı yalıtmaya yardımcı olur.

    Daha fazla bilgi için bkz. Azure Uygulaması Hizmetinde Güvenlik.

  • Blob Depolama ve Azure Cosmos DB bekleyen verileri şifreler. Hizmet uç noktalarını veya özel uç noktaları kullanarak bu hizmetlerin güvenliğini sağlayabilirsiniz.

  • Azure İşlevleri sanal ağ tümleştirmeyi destekler. İşlev uygulamaları bu işlevi kullanarak sanal ağ içindeki kaynaklara erişebilir. Daha fazla bilgi için bkz. [Azure İşlevleri ağ seçenekleri][Azure İşlevleri ağ seçenekleri].

  • Belirli sanal ağlardan veya özel uç noktalardan erişim için Azure AI Belge Zekası ve Yapay Zeka Dili'ni yapılandırabilirsiniz. Bu hizmetler bekleyen verileri şifreler. Bu hizmetlere yönelik isteklerin kimliğini doğrulamak için abonelik anahtarlarını, belirteçleri veya Microsoft Entra Id'yi kullanabilirsiniz. Daha fazla bilgi için bkz . Azure yapay zeka hizmetlerine yönelik isteklerin kimliğini doğrulama.

  • Machine Learning birçok güvenlik düzeyi sunar:

Dayanıklılık

  • Çözümün dayanıklılığı App Service, İşlevler, Azure Cosmos DB, Depolama ve Application Gateway gibi tek tek hizmetlerin hata modlarına bağlıdır. Daha fazla bilgi için bkz . Belirli Azure hizmetleri için dayanıklılık denetim listesi.

  • Azure AI Belge Zekası'nın dayanıklı olmasını sağlayabilirsiniz. Bunun için başka bir bölgeye yük devretme tasarlanması ve iş yükünün iki veya daha fazla bölgeye bölünmesi de olasıdır. Daha fazla bilgi için bkz . Azure AI Belge Zekası modellerinizi yedekleme ve kurtarma.

  • Machine Learning hizmetleri birçok Azure hizmetini temel alır. Dayanıklılık sağlamak için her hizmeti dayanıklı olacak şekilde yapılandırmanız gerekir. Daha fazla bilgi için bkz . İş sürekliliği ve olağanüstü durum kurtarma için yük devretme.

Maliyet iyileştirme

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.

Bu çözümü uygulamanın maliyeti, kullandığınız bileşenlere ve her bileşen için hangi seçenekleri belirlediğinize bağlıdır.

Birçok faktör her bileşenin fiyatını etkileyebilir:

  • İşlediğiniz belge sayısı
  • Uygulamanızın aldığı eşzamanlı istek sayısı
  • İşledikten sonra depoladığınız verilerin boyutu
  • Dağıtım bölgeniz

Bu kaynaklar bileşen fiyatlandırma seçenekleri hakkında bilgi sağlar:

Her bileşen için bir fiyatlandırma katmanına karar verdikten sonra çözüm maliyetini tahmin etmek için Azure Fiyatlandırma hesaplayıcısını kullanın.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

  • Jyotsna Ravi | Baş Müşteri Mühendisi
  • Dixit Arora | Kıdemli Müşteri Mühendisi

Sonraki adımlar