Azure Data Factory yönetilen sanal ağ

UYGULANANLAR: Azure Data Factory Azure Synapse Analytics

Bu makalede, Azure Data Factory'deki yönetilen sanal ağlar ve yönetilen özel uç noktalar açıklanmaktadır.

Yönetilen sanal ağ

Data Factory yönetilen sanal ağı içinde azure tümleştirme çalışma zamanı oluşturduğunuzda, tümleştirme çalışma zamanı yönetilen sanal ağ ile sağlanır. Desteklenen veri depolarına güvenli bir şekilde bağlanmak için özel uç noktaları kullanır.

Yönetilen bir sanal ağ içinde tümleştirme çalışma zamanı oluşturmak, veri tümleştirme işleminin yalıtılmış ve güvenli olmasını sağlar.

Yönetilen sanal ağ kullanmanın avantajları:

• Yönetilen bir sanal ağ ile, sanal ağı yönetme yükünü Data Factory'ye devredebilirsiniz. Sonunda sanal ağınızdaki birçok özel IP'yi kullanabilecek ve önceden ağ altyapısı planlaması gerektirecek bir tümleştirme çalışma zamanı için bir alt ağ oluşturmanız gerekmez.
• Veri tümleştirmelerini güvenli bir şekilde gerçekleştirmek için derin Azure ağ bilgisi gerekmez. Bunun yerine, güvenli ETL kullanmaya başlamak veri mühendisleri için çok daha kolaydır.
• Yönetilen özel uç noktaların yanı sıra yönetilen bir sanal ağ, veri sızdırmaya karşı koruma sağlar.

Şu anda yönetilen sanal ağ yalnızca Data Factory bölgesiyle aynı bölgede desteklenmektedir.

Veri fabrikanızda yönetilen sanal ağı etkinleştirmenin iki yolu vardır:

1. Veri fabrikası oluşturulurken yönetilen sanal ağı etkinleştirin.

2. Tümleştirme çalışma zamanında yönetilen sanal ağı etkinleştirin.

Yönetilen özel uç noktalar

Yönetilen özel uç noktalar, Azure kaynaklarına özel bağlantı oluşturan Data Factory yönetilen sanal ağında oluşturulan özel uç noktalardır. Data Factory bu özel uç noktaları sizin adınıza yönetir.

Data Factory özel bağlantıları destekler. Azure Depolama, Azure Cosmos DB ve Azure Synapse Analytics gibi hizmet olarak Azure platformu (PaaS) hizmetlerine erişmek için Azure özel bağlantısını kullanabilirsiniz.

Özel bağlantı kullandığınızda, veri depolarınız ile yönetilen sanal ağınız arasındaki trafik tamamen Microsoft omurga ağı üzerinden geçiştir. Özel bağlantı, veri sızdırma risklerine karşı koruma sağlar. Özel uç nokta oluşturarak bir kaynağa özel bağlantı oluşturursunuz.

Özel uç nokta, hizmeti etkin bir şekilde içine getirmek için yönetilen sanal ağda özel bir IP adresi kullanır. Özel uç noktalar, hizmetin tamamına değil Azure'daki belirli bir kaynağa eşlenir. Müşteriler, kuruluşlarının onayladığı belirli bir kaynakla bağlantıyı sınırlayabilir. Daha fazla bilgi için bkz . Özel bağlantılar ve özel uç noktalar.

1. Veri fabrikanızda yönetilen sanal ağı etkinleştirdiğinizden emin olun.
2. Yönetim Merkezi'nde yeni bir yönetilen özel uç nokta oluşturun.

3. Data Factory'de yönetilen özel uç nokta oluşturduğunuzda Beklemede durumunda özel uç nokta bağlantısı oluşturulur. Onay iş akışı başlatılır. Özel bağlantı kaynağı sahibi, bağlantıyı onaylamak veya reddetmekle sorumludur.

4. Sahibi bağlantıyı onaylarsa, özel bağlantı kurulur. Aksi takdirde özel bağlantı kurulamaz. Her iki durumda da, yönetilen özel uç nokta bağlantının durumuyla güncelleştirilir.

Yalnızca onaylanmış durumdaki yönetilen bir özel uç nokta belirli bir özel bağlantı kaynağına trafik gönderebilir.

Etkileşimli yazma

Etkileşimli yazma özellikleri, test bağlantısı, klasör listesine ve tablo listesine göz atma, şema alma ve verileri önizleme gibi işlevler için kullanılır. Azure Data Factory tarafından yönetilen sanal ağda yer alan bir Azure tümleştirme çalışma zamanı oluştururken veya düzenlerken etkileşimli yazma özelliğini etkinleştirebilirsiniz. Arka uç hizmeti, etkileşimli yazma işlevleri için işlem önceden ayırır. Aksi takdirde, işlem her etkileşimli işlem gerçekleştirildiğinde ayrılır ve bu işlem daha fazla zaman alır. Etkileşimli yazma için yaşam süresi (TTL) varsayılan olarak 60 dakikadır ve bu da son etkileşimli yazma işleminden 60 dakika sonra otomatik olarak devre dışı bırakılacağı anlamına gelir. TTL değerini gerçek gereksinimlerinize göre değiştirebilirsiniz.

Yaşam süresi

Kopyalama etkinliği

Varsayılan olarak, her kopyalama etkinliği, kopyalama etkinliğindeki yapılandırmaya göre yeni bir işlem oluşturur. Yönetilen sanal ağ etkinleştirildiğinde, soğuk işlem başlatma süresi birkaç dakika sürer ve veri taşıma işlemi tamamlanana kadar başlatılamaz. İşlem hatlarınız birden çok sıralı kopyalama etkinliği içeriyorsa veya foreach döngüsünde çok sayıda kopyalama etkinliğiniz varsa ve bunların tümünü paralel olarak çalıştıramıyorsanız, Azure tümleştirme çalışma zamanı yapılandırmasında yaşam süresi (TTL) değerini etkinleştirebilirsiniz. Kopyalama etkinliği için gereken yaşam süresi değeri ve DIU numaraları belirtilmesi, yürütme tamamlandıktan sonra ilgili işlemleri belirli bir süre boyunca canlı tutar. TTL süresi boyunca yeni bir kopyalama etkinliği başlatılırsa, mevcut işlemleri yeniden kullanacaktır ve başlangıç süresi büyük ölçüde azaltılacaktır. İkinci kopyalama etkinliği tamamlandıktan sonra, hesaplamalar TTL süresi boyunca tekrar canlı kalır. Küçükten orta ve büyük boyuta kadar önceden tanımlanmış işlem boyutlarından seçim esnekliğine sahipsiniz. Alternatif olarak, işlem boyutunu belirli gereksinimlerinize ve gerçek zamanlı gereksinimlerinize göre özelleştirme seçeneğiniz de vardır.

TTL'de seçtiğiniz DIU tüm kopyalama etkinliklerini çalıştırmak için kullanılır; DIU'nun boyutu gerçek gereksinimlere göre otomatik olarak ölçeklendirilmeyecektir. Bu nedenle yeterli DIU seçmeniz gerekir.

İşlem hattı ve dış etkinlik

Kopyaya benzer şekilde, işlem boyutunu ve TTL süresini özel gereksinimlerinize göre uyarlayabilirsiniz. Ancak, kopyanın aksine, işlem hattı ve dış TTL'nin devre dışı bırakılamayacağını lütfen unutmayın.

Hem İşlem Hatlarını hem de dış etkinlikleri yürütmek için en uygun düğüm sayısını belirlemek için aşağıdaki tabloyu başvuru olarak kullanabilirsiniz.

Farklı TTL karşılaştırması

Aşağıdaki tabloda farklı TTL türleri arasındaki farklar listelenmiştir:

Azure PowerShell aracılığıyla yönetilen sanal ağ oluşturma

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Giden bağlantı

Desteklenen veri kaynakları ve hizmetleri

Aşağıdaki hizmetler yerel özel uç nokta desteğine sahiptir. Data Factory tarafından yönetilen bir sanal ağdan özel bağlantı aracılığıyla bağlanabilirler:

• Azure Databricks
• Azure İşlevleri (Premium plan)
• Azure Key Vault
• Azure Machine Learning
• Azure Özel Bağlantı
• Microsoft Purview

Veri kaynaklarının desteği için bağlayıcıya genel bakış bölümüne bakabilirsiniz. Data Factory tarafından desteklenen tüm veri kaynaklarına genel ağ üzerinden erişebilirsiniz.

Şirket içi veri kaynakları

Özel uç nokta kullanarak yönetilen bir sanal ağdan şirket içi veri kaynaklarına erişmeyi öğrenmek için bkz. Özel uç nokta kullanarak Data Factory tarafından yönetilen sanal ağından şirket içi SQL Server’a erişme.

Data Factory tarafından yönetilen sanal ağdan genel uç nokta üzerinden giden iletişimler

Tüm bağlantı noktaları giden iletişimler için açılır.

Sınırlamalar ve bilinen sorunlar

Key Vault için bağlı hizmet oluşturma

Key Vault için bağlı bir hizmet oluşturduğunuzda tümleştirme çalışma zamanı başvurusu yoktur. Bu nedenle, Key Vault'un bağlı hizmet oluşturması sırasında özel uç noktalar oluşturamazsınız. Ancak Key Vault'a başvuran veri depoları için bağlı hizmet oluşturduğunuzda ve bu bağlı hizmet yönetilen sanal ağ etkinleştirilmiş bir tümleştirme çalışma zamanına başvurduğunda oluşturma sırasında Key Vault için özel bir uç nokta oluşturabilirsiniz.

• Bağlantıyı test etme: Key Vault'un bağlı hizmeti için bu işlem yalnızca URL biçimini doğrular ancak herhangi bir ağ işlemi yapmaz.
• Özel uç nokta kullanma: Key Vault için özel uç nokta oluştursanız bile bu sütun her zaman boş olarak gösterilir.

Azure HDInsight'ın bağlı hizmet oluşturması

Özel bağlantı hizmeti ve bağlantı noktası iletme ile yük dengeleyici kullanarak HDInsight için özel uç nokta oluştursanız bile Özel uç nokta kullanan sütunu her zaman boş olarak gösterilir.

Azure HDInsight'ın Tam Etki Alanı Adı (FQDN)

Özel bir özel bağlantı hizmeti oluşturduysanız, özel bir uç nokta oluşturduğunuzda FQDN'nin etki alanı adında özel bağlantı olmadan azurehdinsight.net ile bitmesi gerekir. Etki alanı adında privatelink kullanıyorsanız, geçerli olduğundan ve sorunu çözebildiğinden emin olun.

Özel uç noktalara sahip yönetilen sanal ağda erişim kısıtlamaları

Her iki taraf da Özel Bağlantı ve özel uç noktaya sunulduğunda her PaaS kaynağına erişemezsiniz. Bu sorun, Özel Bağlantı ve özel uç noktaların bilinen bir sınırlamasıdır.

Örneğin, A depolama hesabı için yönetilen bir özel uç noktanız vardır. B depolama hesabına aynı yönetilen sanal ağdaki genel ağ üzerinden de erişebilirsiniz. Ancak B depolama hesabının diğer yönetilen sanal ağdan veya müşteri sanal ağından özel uç nokta bağlantısı varsa, yönetilen sanal ağınızdaki B depolama hesabına genel ağ üzerinden erişemezsiniz.

İlgili içerik

Aşağıdaki öğreticilere bakın:

• Yönetilen sanal ağı ve özel uç noktaları kullanarak kopyalama işlem hattı oluşturma
• Yönetilen sanal ağı ve özel uç noktaları kullanarak eşleme veri akışı işlem hattı oluşturma