Azure Data Factory'deki tümleştirme çalışma zamanı

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Integration Runtime (IR), Farklı ağ ortamlarında aşağıdaki veri tümleştirme özelliklerini sağlamak için Azure Data Factory ve Azure Synapse işlem hatları tarafından kullanılan işlem altyapısıdır:

• Veri Akışı: Yönetilen azure işlem ortamında bir Veri Akışı yürütür.
• Veri taşıma: Genel veya özel ağlardaki (hem şirket içi hem de sanal özel ağlar için) veri depoları arasında veri kopyalama. Hizmet yerleşik bağlayıcılar, biçim dönüştürme, sütun eşleme ve yüksek performanslı ve ölçeklenebilir veri aktarımı için destek sağlar.
• Etkinlik dağıtımı: Azure Databricks, Azure HDInsight, ML Studio (klasik), Azure SQL Veritabanı, SQL Server ve daha fazlası gibi çeşitli işlem hizmetlerinde çalışan dönüştürme etkinliklerini dağıtma ve izleme.
• SSIS paketi yürütme: SQL Server Integration Services (SSIS) paketlerini yönetilen bir Azure işlem ortamında yerel olarak yürütün.

Data Factory ve Synapse işlem hatlarında bir etkinlik gerçekleştirilecek eylemi tanımlar. Bağlı hizmet, bir hedef veri deposunu veya işlem hizmetini tanımlar. Tümleştirme çalışma zamanı, etkinlikler ve bağlı hizmetler arasında köprü sağlar. Bağlı hizmet veya etkinlik tarafından başvurulur ve etkinliğin doğrudan çalıştırıldığı veya gönderildiği işlem ortamını sağlar. Bu, etkinliğin hedef veri deposuna veya işlem hizmetine mümkün olan en yakın bölgede gerçekleştirilerek performansı en üst düzeye çıkarırken güvenlik ve uyumluluk gereksinimlerini karşılama esnekliği de sağlar.

Tümleştirme çalışma zamanları doğrudan yönetim hub'ı aracılığıyla Azure Data Factory ve Azure Synapse kullanıcı arabiriminde ve bunlara başvuran tüm etkinliklerden, veri kümelerinden veya veri akışlarından oluşturulabilir.

Tümleştirme çalışma zamanı türleri

Data Factory üç tür Integration Runtime (IR) sunar ve veri tümleştirme özelliklerinize ve ağ ortamı gereksinimlerinize en uygun türü seçmeniz gerekir. Üç IR türü şunlardır:

• Azure
• Şirket içinde barındırılan
• Azure-SSIS

Aşağıdaki tabloda tümleştirme çalışma zamanı türlerinin her birinin sunduğu özellikler ve ağ desteği açıklanmaktadır:

Azure tümleştirme çalışma zamanı

Azure tümleştirme çalışma zamanı:

• Azure'da Veri Akışı çalıştırma
• Bulut veri depoları arasında kopyalama etkinliklerini çalıştırma
• Genel ağda aşağıdaki dönüştürme etkinliklerini dağıtın:
  • .NET özel etkinliği
  • Azure İşlevi etkinliği
  • Databricks Notebook/ Jar/ Python etkinliği
  • Data Lake Analytics U-SQL etkinliği
  • Meta veri alma etkinliği
  • HDInsight Hive etkinliği
  • HDInsight Pig etkinliği
  • HDInsight MapReduce etkinliği
  • HDInsight Spark etkinliği
  • HDInsight Akış etkinliği
  • Arama etkinliği
  • Machine Learning Studio (klasik) Toplu Yürütme etkinliği
  • Machine Learning Studio (klasik) Kaynak Güncelleştirme etkinliği
  • Saklı Yordam etkinliği
  • Doğrulama etkinliği
  • Web etkinliği

Azure IR ağ ortamı

Azure Integration Runtime, genel erişilebilir uç noktalarla veri depolarına ve işlem hizmetlerine bağlanmayı destekler. Yönetilen Sanal Ağ etkinleştiren Azure Integration Runtime, özel ağ ortamında özel bağlantı hizmeti kullanarak veri depolarına bağlanmayı destekler. Synapse'te, çalışma alanlarının IR tarafından yönetilen sanal ağdan giden trafiği sınırlama seçenekleri vardır. Data Factory'de tüm bağlantı noktaları giden iletişimler için açılır. Azure-SSIS IR, giden iletişim denetimleri sağlamak için sanal ağınızla tümleştirilebilir.

Azure IR işlem kaynağı ve ölçeklendirme

Azure tümleştirme çalışma zamanı Azure'da tamamen yönetilebilen ve sunucusuz bir işlem sunar. Altyapı sağlama, yazılım yükleme, düzeltme eki uygulama veya kapasite ölçeklendirme konusunda endişelenmeniz gerekmez. Ayrıca yalnızca gerçekten kullandığınız süre boyunca ödeme yaparsınız.

Azure tümleştirme çalışma zamanı verileri bulut veri depoları arasında güvenli, güvenilir ve yüksek performanslı bir şekilde taşınması için gerekli yerel işlemi sunar. Kopyalama etkinliğinde kullanılacak veri tümleştirme birimi sayısını ayarlayabilirsiniz ve Azure IR'nin işlem boyutu, Azure Integration Runtime'ın boyutunu açıkça ayarlamanıza gerek kalmadan esnek bir şekilde ölçeklendirilir.

Etkinlik gönderimi, etkinliği hedef işlem hizmetine yönlendirmeye yönelik basit bir işlemdir, bu nedenle bu senaryo için işlem boyutunu artırmaya gerek yoktur.

Azure IR oluşturma ve yapılandırma hakkında bilgi için bkz . Azure Integration Runtime oluşturma ve yapılandırma.

Şirket içinde barındırılan integration runtime

Kendinden konak IR şu özelliklere sahiptir:

• Bulut veri depoları ve özel ağdaki veri deposu arasında kopyalama etkinliği çalıştırma.
• Şirket içi veya Azure Sanal Ağ işlem kaynaklarına karşı aşağıdaki dönüştürme etkinliklerini dağıtma:
  • Azure İşlevi etkinliği
  • Özel etkinlik (Azure Batch üzerinde çalışır)
  • Data Lake Analytics U-SQL etkinliği
  • Meta veri alma etkinliği
  • HDInsight Hive etkinliği (BYOC-Kendi Kümenizi Getirin)
  • HDInsight Pig etkinliği (BYOC)
  • HDInsight MapReduce etkinliği (BYOC)
  • HDInsight Spark etkinliği (BYOC)
  • HDInsight Akış etkinliği (BYOC)
  • Arama etkinliği
  • Machine Learning Studio (klasik) Toplu Yürütme etkinliği
  • Machine Learning Studio (klasik) Kaynak Güncelleştirme etkinliği
  • Machine Learning İşlem Hattı Yürütme etkinliği
  • Saklı Yordam etkinliği
  • Doğrulama etkinliği
  • Web etkinliği

Kendinden konak IR ağ ortamı

Veri tümleştirmesini, genel bulut ortamından doğrudan görüş çizgisi olmayan özel bir ağ ortamında güvenli bir şekilde gerçekleştirmek istiyorsanız, şirket içi ortamınıza bir güvenlik duvarının arkasında veya sanal özel ağ içinde şirket içinde barındırılan bir IR yükleyebilirsiniz. Kendinden konak tümleştirme çalışma zamanı yalnızca internete giden HTTP tabanlı bağlantılar oluşturur.

Kendinden konak IR işlem kaynağı ve ölçeklendirme

Şirket içi makineye veya özel ağ içindeki bir sanal makineye şirket içinde barındırılan bir IR yükleyin. Şu anda şirket içinde barındırılan IR yalnızca bir Windows işletim sisteminde desteklenmektedir.
Yüksek kullanılabilirlik ve ölçeklenebilirlik için kendinden konak IR ölçeğini mantıksal örneği birden fazla şirket içi makineyle etkin-etkin modda ilişkilendirerek genişletebilirsiniz. Daha fazla bilgi için, ayrıntılar için şirket içinde barındırılan bir IR oluşturma ve yapılandırma makalesine bakın.

Azure-SSIS Integration Runtime

Var olan SSIS iş yükünü artırmak ve değiştirmek için Azure-SSIS IR oluşturarak SSIS paketlerini yerel ortamda yürütebilirsiniz.

Azure-SSIS IR ağ ortamı

Azure-SSIS IR genel ağda veya özel ağda sağlanabilir. Şirket içi veri erişimi, Azure-SSIS IR'yi şirket içi ağınıza bağlı bir sanal ağa birleştirerek desteklenir.

Azure-SSIS IR işlem kaynağı ve ölçeklendirme

Azure-SSIS IR, SSIS paketlerinizi çalıştırmaya ayrılmış, tam olarak yönetilen bir Azure VM kümesidir. SSIS projeleri/paketleri kataloğu (SSISDB) için kendi Azure SQL Veritabanı veya SQL Yönetilen Örneği getirebilirsiniz. Düğüm boyutunu belirttikten sonra kümedeki düğüm sayısını belirtik ölçeğini genişleterek işlem gücünü artırabilirsiniz. Azure-SSIS Integration Runtime çalıştırma maliyetini, gereksinimleriniz doğrultusunda durdurup başlatarak yönetebilirsiniz.

Daha fazla bilgi için bkz . Azure-SSIS IR'yi oluşturma ve yapılandırma. Oluşturulduktan sonra, aynı şirket içi SSIS kullanımı gibi SQL Server Veri Araçları (SSDT) ve SQL Server Management Studio (SSMS) gibi tanıdık araçları kullanarak mevcut SSIS paketlerinizi çok az veya hiç değişiklik olmadan dağıtabilir ve yönetebilirsiniz.

Azure-SSIS çalışma zamanı hakkında daha fazla bilgi için aşağıdaki makalelere bakın:

• Öğretici: SSIS paketlerini Azure’a dağıtma. Bu makale, Azure-SSIS IR oluşturmaya yönelik adım adım yönergeler sağlar ve SSIS kataloğunu barındırmak için bir Azure SQL Veritabanı kullanır.
• Nasıl yapılır: Azure-SSIS tümleştirme çalışma zamanı oluşturma. Bu makale öğreticiyi genişletir ve SQL Yönetilen Örneği kullanma ve IR'yi bir sanal ağa ekleme yönergeleri sağlar.
• Azure-SSIS IR’yi izleme. Bu makalede, Azure-SSIS IR hakkındaki bilgileri nasıl alabileceğiniz gösterilir ve döndürülen bilgilerde durumların açıklamaları sağlanır.
• Azure-SSIS IR’yi yönetme. Bu makale bir Azure-SSIS IR’yi durdurma, başlatma veya kaldırma işlemini gösterir. Ayrıca, IR’ye daha fazla düğüm ekleyerek Azure-SSIS IR’nizi ölçeklendirmeyi gösterir.
• Azure-SSIS IR’yi bir sanal ağa ekleyin. Bu makale Azure-SSIS IR’yi bir Azure sanal ağına ekleme hakkında kavramsal bilgiler sağlar. Ayrıca bir sanal ağ yapılandırmak ve bir Azure-SSIS IR'yi buna eklemek için Azure portalını kullanma adımları sağlar.

Tümleştirme çalışma zamanının konumu

Fabrika konumu ile IR konumu arasındaki ilişki

Data Factory veya Synapse Çalışma Alanı örneği oluşturduğunuzda, konumunu belirtmeniz gerekir. Örneğin meta verileri burada depolanır ve işlem hattının tetiklenmesi buradan başlatılır. Meta veriler yalnızca seçilen bölgede depolanır ve diğer bölgelerde depolanmaz.

Bu arada işlem hattı, veri depoları arasında veri taşımak veya işlem hizmetlerini kullanarak verileri işlemek için diğer Azure bölgelerindeki veri depolarına ve işlem hizmetlerine erişebilir. Bu davranış veri uyumluluğu, verimlilik ve düşük ağ kullanım maliyetleri için global ölçekte kullanılabilen IR aracılığıyla gerçekleştirilir.

IR Konumu, arka uç işleminin konumunu ve veri taşıma, etkinlik gönderme ve SSIS paketi yürütme işlemlerinin gerçekleştirildiği konumu tanımlar. IR konumu, ait olduğu Data Factory konumundan farklı olabilir.

Azure IR konumu

Azure IR'nin konum bölgesini ayarlayabilirsiniz; bu durumda etkinlik yürütme veya dağıtma işlemi seçili bölgede gerçekleşir.

Varsayılan ayar, genel ağdaki Azure IR'yi otomatik olarak çözümlemektir. Bu seçenekle:

• Kopyalama etkinliği için havuz veri deponuzun konumunu otomatik olarak algılamak, ardından varsa aynı bölgede veya aynı coğrafyadaki en yakın bölgede IR kullanmak için en iyi çaba gösterilir; aksi takdirde; havuz veri deposunun bölgesi algılanamazsa, örneğin bölgesindeki IR kullanılır.

  Örneğin, Doğu ABD'de bir Data Factory veya Synapse Çalışma Alanı oluşturulmuştur.

  • Verileri Batı ABD'deki bir Azure Blob'a kopyalarken blob batı ABD bölgesinde olduğu algılanırsa kopyalama etkinliği Batı ABD'deki IR üzerinde yürütülür; bölge algılama başarısız olursa kopyalama etkinliği Doğu ABD'deki IR'de yürütülür.
  • Bölgenin algılanamayan Salesforce'a veri kopyalarken kopyalama etkinliği Doğu ABD'deki IR üzerinde yürütülür.

  İpucu

  Katı veri uyumluluğu gereksinimleriniz varsa ve verilerin belirli bir coğrafyadan ayrılmadığından emin olmanız gerekiyorsa, ConnectVia özelliğini kullanarak belirli bir bölgede açıkça bir Azure IR oluşturabilir ve Bağlı Hizmeti bu IR'ye işaret edebilirsiniz. Örneğin, Güney Birleşik Krallık'taki bir blobdan Güney Birleşik Krallık'taki bir Azure Synapse çalışma alanına veri kopyalamak ve verilerin Birleşik Krallık'tan ayrılmadığından emin olmak istiyorsanız, Güney Birleşik Krallık'ta bir Azure IR oluşturun ve her iki Bağlı Hizmeti de bu IR'ye bağlayın.

• Arama/GetMetadata/Delete etkinlik yürütmesi (İşlem hattı etkinlikleri), dönüştürme etkinliği gönderme (Dış etkinlikler) ve yazma işlemleri (test bağlantısı, klasör listesine ve tablo listesine göz atma ve önizleme verileri) için Data Factory veya Synapse Çalışma Alanı ile aynı bölgedeki IR kullanılır.

• Veri Akışı için Data Factory veya Synapse Çalışma Alanı bölgesindeki IR kullanılır.

  İpucu

  En iyi yöntem, mümkün olduğunda veri akışlarının ilgili veri depolarınızla aynı bölgede çalıştığından emin olmaktır. Bunu Azure IR için otomatik çözümle (veri deposu konumu Data Factory veya Synapse Çalışma Alanı konumuyla aynıysa) veya veri depolarınızla aynı bölgede yeni bir Azure IR örneği oluşturup veri akışlarını yürüterek gerçekleştirebilirsiniz.

Azure IR için otomatik çözümle Yönetilen Sanal Ağ etkinleştirirseniz Data Factory veya Synapse Çalışma Alanı bölgesindeki IR kullanılır.

Data Factory Studio veya Synapse Studio'da işlem hattı etkinlik izleme görünümünde veya etkinlik izleme yükünde etkinlik yürütme sırasında hangi IR konumunun etkili olduğunu izleyebilirsiniz.

Kendinden konak IR konumu

Şirket içinde barındırılan IR, Data Factory veya Synapse Çalışma Alanı'na mantıksal olarak kaydedilir ve işlevlerini desteklemek için kullanılan işlem sizin tarafınızdan sağlanır. Bu nedenle kendinden konak IR için açık bir konum özelliği yoktur.

Kendinden konak IR veri taşıma işlemini gerçekleştirmek için kullanıldığında kaynaktan veri ayıklar ve hedefe yazar.

Azure SSIS IR konumu

Ayıklama, dönüştürme, yükleme (ETL) iş akışlarınızda yüksek performansa ulaşmak için doğru Azure-SSIS IR konumunu seçmek önemlidir.

• Azure-SSIS IR'nizin konumunun Data Factory'nizin konumuyla aynı olması gerekmez, ancak kendi Azure SQL Veritabanı veya SSISDB'nin bulunduğu SQL Yönetilen Örneği konumuyla aynı olmalıdır. Bu şekilde, Azure-SSIS Integration Runtime'ınız farklı konumlar arasında aşırı trafiğe neden olmadan SSISDB'ye kolayca erişebilir.
• Mevcut bir SQL Veritabanı veya SQL Yönetilen Örneği yoksa ancak şirket içi veri kaynaklarınız/hedefleriniz varsa, şirket içi ağınıza bağlı bir sanal ağın aynı konumunda yeni bir Azure SQL Veritabanı veya SQL Yönetilen Örneği oluşturmanız gerekir. Bu şekilde yeni Azure SQL Veritabanı veya SQL Yönetilen Örneği kullanarak Azure-SSIS IR'nizi oluşturabilir ve bu sanal ağa katılabilirsiniz. Her şey aynı konumda olacak, veri taşımayı ve ilişkili maliyetleri en aza indirirken performansı da en üst düzeye çıkarır.
• Mevcut Azure SQL Veritabanı veya SQL Yönetilen Örneği konumu, şirket içi ağınıza bağlı bir sanal ağın konumuyla aynı değilse, önce mevcut bir Azure SQL Veritabanı veya SQL Yönetilen Örneği kullanarak Azure-SSIS IR'nizi oluşturun ve aynı konumda başka bir sanal ağa katılın. Ardından, farklı konumlar arasındaki sanal ağ bağlantısına bir sanal ağ yapılandırın.

Aşağıdaki diyagramda Data Factory ve tümleştirme çalışma zamanları için konum ayarları gösterilmektedir:

Kullanılacak IR'yi belirleme

Bir etkinlik birden fazla tümleştirme çalışma zamanı türüyle ilişkilendirildiyse bunlardan birine çözümlenir. Şirket içinde barındırılan tümleştirme çalışma zamanı, yönetilen bir sanal ağ kullanarak Azure Data Factory veya Synapse Çalışma Alanı örneklerinde Azure tümleştirme çalışma zamanına göre önceliklidir. İkincisi ise genel Azure tümleştirme çalışma zamanına göre önceliklidir.

Örneğin, kaynaktan havuza veri kopyalamak için bir kopyalama etkinliği kullanılır. Genel Azure tümleştirme çalışma zamanı, kaynağa bağlı hizmetle ilişkilendirilir ve Azure Data Factory yönetilen bir sanal ağdaki Azure tümleştirme çalışma zamanı havuz için bağlı hizmetle ilişkilendirilir ve sonuç olarak hem kaynak hem de havuz bağlantılı hizmetleri Azure Data Factory tarafından yönetilen sanal ağda Azure tümleştirme çalışma zamanını kullanır. Ancak şirket içinde barındırılan tümleştirme çalışma zamanı kaynak için bağlı hizmeti ilişkilendirirse, hem kaynak hem de havuz bağlantılı hizmeti şirket içinde barındırılan tümleştirme çalışma zamanını kullanır.

Kopyalama etkinliği

Kopyalama etkinliği, veri akışının yönünü tanımlamak için hem kaynak hem de havuz bağlantılı hizmetler gerekir. Kopyalama işlemini gerçekleştirmek için kullanılacak olan tümleştirme çalışma zamanı örneğini belirlemek için aşağıdaki mantık kullanılır:

• İki bulut veri kaynağı arasında kopyalama: Hem kaynak hem de havuz bağlantılı hizmetler Azure IR kullanıyorsa, bölgesel Azure IR belirtilirse kullanılır veya Azure IR'nin konumu, Tümleştirme çalışma zamanı konumu bölümünde açıklandığı gibi IR'yi otomatik çözümle (varsayılan) seçeneğinin belirlenip belirlendiği otomatik olarak belirlenir.
• Bulut veri kaynağı ile özel ağdaki veri kaynağı arasında kopyalama: Kaynak veya havuz bağlantılı hizmet şirket içinde barındırılan bir IR'ye işaret ederse, kopyalama etkinliği şirket içinde barındırılan IR'de yürütülür.
• Özel ağdaki iki veri kaynağı arasında kopyalama: hem kaynak hem de havuz bağlantılı hizmeti tümleştirme çalışma zamanının aynı örneğine işaret etmelidir ve kopyalama etkinliğini yürütmek için IR kullanılır.

Lookup ve GetMetadata etkinliği

Lookup ve GetMetadata etkinliği, veri deposu bağlı hizmetiyle ilişkili tümleştirme çalışma zamanı üzerinde yürütülür.

Dış dönüştürme etkinliği

Dış işlem altyapısını kullanan her dış dönüştürme etkinliğinin bir tümleştirme çalışma zamanına işaret eden bir hedef işlem bağlı hizmeti vardır. Bu IR örneği, bu dış elle kodlanmış dönüştürme etkinliğinin gönderildiği konumu belirler.

Veri Akışı etkinliği

Veri Akışı etkinlikleri ilişkili Azure tümleştirme çalışma zamanında yürütülür. Veri Akışı tarafından kullanılan Spark işlem, Azure IR'nizdeki veri akışı özellikleri tarafından belirlenir ve tam olarak hizmet tarafından yönetilir.

CI/CD'de Integration Runtime

Tümleştirme çalışma zamanları sık değişmez ve CI/CD'nizdeki tüm aşamalarda benzerdir. Data Factory, CI/CD'nin tüm aşamalarında tümleştirme çalışma zamanı adının ve türünün aynı olmasını gerektirir. Tümleştirme çalışma zamanlarını tüm aşamalarda paylaşmak istiyorsanız, yalnızca paylaşılan tümleştirme çalışma zamanlarını içermek için ayrılmış bir fabrika kullanmayı göz önünde bulundurun. Daha sonra bu paylaşılan fabrikayı tüm ortamlarınızda bağlı tümleştirme çalışma zamanı türü olarak kullanabilirsiniz.

İlgili içerik

Aşağıdaki makalelere bakın:

• Azure tümleştirme çalışma zamanı oluşturma
• Kendinden konak tümleştirme çalışma zamanı oluşturma
• Azure-SSIS tümleştirme çalışma zamanı oluşturma. Bu makale öğreticiyi genişletir ve SQL Yönetilen Örneği kullanma ve IR'yi bir sanal ağa ekleme yönergeleri sağlar.