Delphix ve Azure Data Factory kullanarak SAP uygulamaları için veri karıştırma

Azure Data Factory
Azure Synapse Analytics

Birçok kuruluşta SAP, çok çeşitli veriler için en görev açısından kritik uygulama ve birincil kayıt sistemidir. Şirketlerin hem SAP'den hem de yukarı akış/aşağı akış uygulamalarından uygun maliyetli, ölçeklenebilir ve esnek bir şekilde analiz için içgörülü verilerden yararlanabilmesi gerekir. Aynı zamanda şirketlerin de bu verilerin sayısız düzenlemeye uygun olduğundan emin olması gerekir.

Mimari

Aşağıdaki mimaride, hassas verileri tanımlamak ve maskelemek için Bir Azure veri fabrikasında/Azure Synapse işlem hattında Delphix CC kullanımı özetlenmektedir.

Sap verilerini Azure Data Factory ile kullanmak üzere karıştırmak için Delphix kullanmak için gereken ortamın mimarisini gösteren diyagram.

Bu mimarinin bir Visio dosyasını indirin.

Azure Data Factory nedir?

Azure Data Factory , tam olarak yönetilen, sunucusuz bir veri tümleştirme hizmetidir. Veri kaynaklarını ek ücret ödemeden 100'den fazla yerleşik, bakım gerektirmeden bağlayıcıyla tümleştirmek için zengin bir görsel deneyim sağlar. Ayıklama, dönüştürme, yükleme (ETL) ve ayıklama, yükleme, dönüştürme (ELT) işlemlerini sezgisel bir ortamda kolayca oluşturun veya kendi kodunuzu yazın. Ardından, iş içgörüleri aracılığıyla verilerinizin gücünden faydalanmak için Azure Synapse Analytics'e tümleşik veriler sağlayın.

Delphix Sürekli Uyumluluk (Delphix CC) nedir?

Delphix Sürekli Uyumluluk (Delphix CC), hassas bilgileri tanımlar ve veri maskeleme/karıştırma işlemini otomatikleştirir. Kuruluşlarda ihtiyaç duyulan yerlerde güvenli veriler sağlamak için hızlı, otomatik, API temelli bir yol sunar.

Delphix CC ve Azure Data Factory uyumlu verileri otomatikleştirmeyi nasıl çözer?

Güvenli verilerin taşınması tüm kuruluşlar için zor bir durumdur. Delphix, tutarlı veri uyumluluğu sağlamayı kolaylaştırırken, Azure Data Factory verileri sorunsuz bir şekilde bağlamaya ve taşımaya olanak tanır. Delphix CC ve Azure Data Factory birlikte, isteğe bağlı ve uyumlu verilerin herkes için teslimini kolaylaştırmak için sektör lideri uyumluluk ve otomasyon tekliflerini bir araya getirmektedir.

Azure Data Factory tarafından sunulan veri kaynağı bağlayıcılarını kullanarak, son kullanıcının aşağıdaki adımları otomatikleştirmesini sağlayan bir ETL işlem hattı oluşturduk:

  1. Kayıt sisteminden (SAP HANA) verileri okuyun ve Azure Depolama'da CSV dosyalarına yazın.
  2. Hassas veri öğelerini benzer ama kurgusal değerlerle değiştirmek için dosyalara karşı bir Delphix maskeleme işi yürütür.
  3. Uyumlu verileri Azure Synapse Analytics'e yükleyin.

Veri akışı

Veriler senaryo boyunca aşağıdaki gibi akar:

  1. Azure Data Factory, Veri Kopyalama etkinliğini kullanarak verileri kaynak veri deposundan (SAP HANA) Azure Dosyalar bir kapsayıcıya ayıklar. Bu kapsayıcı Kaynak Veri Kapsayıcısı olarak adlandırılır ve veriler CSV biçimindedir. Microsoft, SAP HANA bağlayıcısını kullanmak için Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı kullanılmasını önerir. Daha fazla bilgi için bu nasıl kılavuzluk yapılır konusuna bakın.
  2. Data factory, Delphix içinde yapılandırılan maskeleme işlerinin listesi boyunca döngü oluşturan bir yineleyici (ForEach etkinliği) başlatır. Bu maskeleme işleri önceden yapılandırılır ve Kaynak Veri Kapsayıcısı'nda bulunan hassas verileri maskeler.
  3. Listedeki her iş için Maskelemeyi Başlat etkinliği kimlik doğrulaması yapar ve Delphix CC Altyapısı'ndaki REST API uç noktalarını çağırarak maskeleme işini başlatır.
  4. Delphix CC Altyapısı, Kaynak Veri Kapsayıcısı'ndan verileri okur ve maskeleme işlemi boyunca çalışır.
  5. Bu maskeleme işleminde Delphix, verileri bellekte maskeler ve sonuçta elde edilen maskelenmiş verileri bir hedef Azure Dosyalar kapsayıcısına (Hedef Veri Kapsayıcısı olarak adlandırılır) geri yazar.
  6. Data factory artık yürütmeleri izleyen ikinci bir yineleyici (ForEach etkinliği) başlatır.
  7. Başlatılan her yürütme (Maskeleme İşi) için Durumu Denetle etkinliği maskelemenin sonucunu denetler.
  8. Tüm maskeleme işleri başarıyla tamamlandıktan sonra, data factory maskelenmiş verileri Hedef Veri Kapsayıcısı'ndan Azure Synapse Analytics'e yükler.

Bileşenler

  • Azure Data Factory , genişleme sunucusuz veri tümleştirmesi ve veri dönüşümü için bir ayıklama, dönüştürme, yükleme (ETL) hizmetidir. Sezgisel yazma işlemleri ve tek bölmede izleme ve yönetim için kod içermeyen bir kullanıcı arabirimi sunar.
  • Azure Depolama , kaynak veri depolarından ayıklanan verileri ve hedef veri depolarına yüklenecek maskelenmiş verileri depolar.
  • Kaynak Grupları , Azure kaynakları için mantıksal bir kapsayıcıdır. Kaynak grupları bu projeyle ilgili her şeyi Azure konsolunda düzenler.
  • Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı ayarlanmalıdır ve SAP HANA'dan veri ayıklama için bir SAP HANA ODBC sürücüsü yüklenmelidir.
  • İsteğe bağlı: Azure Sanal Ağ, Azure Synapse çalışma alanının parçası olmayan Azure kaynakları için özel ağ özellikleri sağlar. Kaynaklar arasındaki erişimi, güvenliği ve yönlendirmeyi yönetmenize olanak tanır.

Olası kullanım örnekleri

  • Analistlere maliyete duyarlı, hızlı ve ölçeklenebilir bir şekilde test etmek için ihtiyaç duydukları verileri almak için SAP uygulamalarından (burada HANA arka ucu olan SAP uygulamalarına özgü mimari) uyumlu verileri otomatik olarak Microsoft Synapse'e taşıyın. Dakikalar içinde milyonlarca karıştırma işlemi gerçekleştirin.
  • Verilerinize yönelik tüm mevzuat gereksinimlerini (örneğin, Genel Veri Koruma Yönetmeliği (GDPR), CCPA, LGPD ve HIPAA'ya uymak için) ele almak için kapsamlı Delphix Algoritması çerçevesini otomatik olarak kullanın.
  • Tümleşik uygulama testi için bilgi tutarlılığını korurken verileri veri kaynakları arasında tutarlı bir şekilde maskeleyin/karıştırın. Örneğin, George ve SSN'si SAP, Oracle, Salesforce veya başka bir uygulamada görünse de George adı her zaman Elliot'a maskelenmelidir veya belirli bir sosyal güvenlik numarası (SSN) her zaman aynı kurgusal SSN'ye maskelenmelidir.
  • Verileri eğitim döngülerini artırmayan ve model veya tahmin doğruluğunu etkilemeyen bir şekilde maskele/karıştır.
  • Kaynak bağlayıcıları değiştirerek hem şirket içi hem de bulut için çalışan bir çözüm yapılandırın. Örneğin bir şirket içi SAP uygulamasından veri çekebilir, bu verileri buluta çoğaltabilir ve Synapse'e yüklemeden önce uyumluluğu güvence altına alabilir.

Temel avantajlar

  • Bilgi tutarlılığını koruyan gerçekçi, belirleyici maskeleme/karıştırma
  • En yaygın SAP tabloları ve modülleri için hassas verilerin önceden belirlenmesi
  • Yerel bulut yürütme
  • Şablon tabanlı dağıtım
  • Ölçeklenebilir
  • Pahalı bellek içi HANA HW'ye düşük maliyetli alternatif

Başlarken

  1. Azure'da Delphix CC Altyapısı'nı dağıtın.
  2. Azure Data Factory'de Delphix ile Veri Maskeleme ve Delphix ile Hassas Veri Bulma şablonlarını dağıtın. Not: Bu şablonlar hem Azure Synapse Analytics işlem hatlarında hem de Azure Data Factory işlem hatlarında çalışır.
  3. SAP HANA'dan veri ayıklamak için kılavuzda ayrıntılı olarak açıklandığı gibi Şirket İçinde Barındırılan Tümleştirme Çalışma Zamanı ayarlayın.
  4. Veri Kopyalama bileşenlerinde, Ayıklama adımında istenen kaynağı SAP HANA, Yükleme adımında da Synapse'i istenen hedef olarak yapılandırın. Web Etkinliği bileşenlerinde Delphix uygulaması IP adresini /konak adını ve Delphix CC API'leriyle kimlik doğrulaması için kimlik bilgilerini girin.
  5. İlk kurulum için Delphix Azure Data Factory ile Hassas Veri Bulma şablonunu çalıştırın ve hassas verileri önceden tanımlamak istediğiniz zaman (örneğin, bir şema değişikliği yapıldıysa). Bu şablon Delphix CC'ye hassas veriler içerebilecek sütunları taramak için gereken ilk yapılandırmayı sağlar. Bunu SAP için Delphix Uyumluluk Hızlandırıcısı, önceden tanımlanmış hassas alanlar ve temel SAP tablolarındaki verileri korumak için maskeleme algoritmalarıyla (örneğin Finans, İk ve Lojistik modülleri) birlikte de kullanabilirsiniz. Bu seçenekle ilgileniyorsanız Delphix ile iletişime geçin.
  6. Profil oluşturmak istediğiniz veri koleksiyonunu gösteren bir kural kümesi oluşturun. Delphix kullanıcı arabiriminde bir Profil Oluşturma İşi çalıştırarak bu kural kümesine yönelik hassas alanları tanımlayın ve sınıflandırın ve uygun maskeleme algoritmalarını atayın.
  7. Şablonu çalıştırın. Tamamlandıktan sonra Azure Synapse Analytics'te maskelenmiş verileriniz (SAP için Delphix Uyumluluk Hızlandırıcısı tarafından en iyi tablolar/modüller için önceden tanımlandığı gibi) olur.

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.

Delphix CC, veri değerlerini geri alınamaz şekilde tamamen işlevsel kalan gerçekçi verilerle maskeleyerek daha yüksek kaliteli kod geliştirme olanağı sağlar. Delphix CC, verileri kullanıcı belirtimlerine dönüştürmek için kullanılabilen zengin algoritmalar arasında, veri çakışmalarını kasıtlı olarak üreten patentli bir algoritmaya sahiptir ve aynı zamanda maskelenmiş veri kümesinde çalıştırılan olası doğrulama yordamları için gereken belirli değerlere sahip verilerin tuzlanmasına olanak tanır. Sıfır Güven perspektiften bakıldığında, işleçlerin bunları maskelemesi için gerçek verilere erişmesi gerekmez. Ayrıca, maskelenmiş verilerin A noktasından B noktasına tesliminin tamamı API'ler aracılığıyla otomatikleştirilebilir.

Maliyet iyileştirme

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.

Azure fiyatlandırma hesaplayıcısındaki değerleri ayarlayarak, belirli gereksinimlerinizin maliyeti nasıl etkilediğini görebilirsiniz.

Azure Synapse: İşlem ve depolama düzeylerini bağımsız olarak ölçeklendikleyebilirsiniz. İşlem kaynakları saatte bir ücretlendirilir ve bu kaynakları isteğe bağlı olarak ölçeklendirebilir veya duraklatabilirsiniz. Depolama kaynakları terabayt başına faturalandırılır, bu nedenle daha fazla veri aldıkça maliyetleriniz artar.

Data Factory: Maliyetler, bir iş yükünde gerçekleştirilen okuma/yazma işlemlerinin, izleme işlemlerinin ve düzenleme etkinliklerinin sayısını temel alır. Her ek veri akışı ve her biri tarafından işlenen veri miktarı ile veri fabrikası maliyetleriniz artar.

Delphix CC: Piyasadaki diğer veri uyumluluğu ürünlerinden farklı olarak maskeleme, maskelenen ortamın tam fiziksel kopyasını gerektirmez. Ortam yedekliliği, altyapıyı ayarlama ve koruma süresi, altyapının maliyeti ve fiziksel verilerin maskeleme ortamına tekrar tekrar yüklenmesi için harcanan zaman nedeniyle pahalı olabilir.

Performans verimliliği

Performans verimliliği, kullanıcılar tarafından anlamlı bir şekilde yerleştirilen talepleri karşılamak amacıyla iş yükünüzü ölçeklendirme becerisidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.

Delphix CC yatay ve dikey olarak ölçeklenebilir. Dönüştürmeler bellekte gerçekleşir ve paralelleştirilebilir. Ürün hem hizmet olarak hem de uygulamaya bağlı olarak tüm boyutlarda çözüm mimarilerine olanak sağlayan çok düğümlü bir alet olarak çalışır. Delphix, büyük maskelenmiş veri kümeleri sunma konusunda pazar lideridir.

Bir işte birden çok CPU çekirdeğiyle etkileşim kurmak için akış maskeleme artırılabilir. (Yapılandırma önerileri ve bellek ayırmanın nasıl değiştirileceği burada bulunabilir: https://maskingdocs.delphix.com/Securing_Sensitive_Data/Creating_Masking_Job/)

Boyutu 1 TB'tan büyük veri kümeleri için en iyi performans için Delphix Hiper Ölçek Maskeleme, büyük ve karmaşık veri kümelerini çok sayıda modüle böler ve birden çok Sürekli Uyumluluk Altyapısında maskeleme işlerini düzenler.

Katkıda Bulunanlar

Bu makale aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazarlar:

Diğer katkıda bulunanlar:

Sonraki adımlar