Azure’in içine ve Azure’dan dışarı veri aktarma

  • Makale

Gereksinimlerinize bağlı olarak Azure'a ve Azure'dan veri aktarmak için çeşitli seçenekler vardır.

Fiziksel aktarım

Azure'a veri aktarmak için fiziksel donanım kullanmak aşağıdaki durumlarda iyi bir seçenektir:

  • Ağınız yavaş veya güvenilir değil.
  • Daha fazla ağ bant genişliği almak maliyetlidir.
  • Güvenlik veya kuruluş ilkeleri, hassas verilerle ilgilenirken giden bağlantılara izin vermez.

Birincil endişeniz verilerinizin aktarımının ne kadar sürdüğüyse, ağ aktarımının fiziksel aktarımdan daha yavaş olup olmadığını doğrulamak için bir test çalıştırmak isteyebilirsiniz.

Verileri fiziksel olarak Azure'a taşımak için iki ana seçenek vardır:

Azure İçeri/Dışarı Aktarma hizmeti

Azure İçeri/Dışarı Aktarma hizmeti, iç SATA sabit disk sürücülerini (HDD'ler) veya SSD'leri bir Azure veri merkezine göndererek büyük miktarda veriyi Azure Blob Depolama veya Azure Dosyalar güvenli bir şekilde aktarmanıza olanak tanır. Bu hizmeti, Azure Depolama'dan sabit disk sürücülerine veri aktarmak ve sürücülerin şirket içi yükleme için size gönderilmesini sağlamak için de kullanabilirsiniz.

Azure Data Box

Azure Data Box , İçeri/Dışarı Aktarma hizmetine çok benzeyen, Microsoft tarafından sağlanan bir alettir. Data Box ile Microsoft size özel, güvenli ve kurcalamaya dayanıklı bir transfer aleti ile portaldan takip edilebilen uçtan uca lojistiri işler. Data Box hizmetinin avantajlarından biri kullanım kolaylığıdır. Birkaç sabit sürücü satın almanız, bunları hazırlamanız ve dosyaları her birine aktarmanız gerekmez. Data Box, ürünlerinden buluta çevrimdışı taşımayı sorunsuz bir şekilde kullanmayı kolaylaştırmak için sektör lideri birçok Azure iş ortağı tarafından desteklenir.

Komut satırı araçları ve API'leri

Betik ve programlı veri aktarımı istediğinizde şu seçenekleri göz önünde bulundurun:

  • Azure CLI, Azure hizmetlerini yönetmenize ve Depolama'ya veri yüklemenize olanak tanıyan platformlar arası bir araçtır.

  • AzCopy. En iyi performansla Blob Depolama, Azure Dosya Depolama ve Azure Tablo Depolama'ya kolayca veri kopyalamak için Windows veya Linux komut satırından AzCopy kullanın. AzCopy eşzamanlılık ve paralellik desteğine ek olarak kesintiye uğrayan kopyalama işlemlerini sürdürme olanağı sunar. Aws'den Azure'a veri kopyalamak için AzCopy'yi de kullanabilirsiniz. Programlı erişim için Microsoft Azure Depolama Veri Taşıma Kitaplığı, AzCopy'yi destekleyen temel çerçevedir. .NET Core kitaplığı olarak sağlanır.

  • PowerShell ile Start-AzureStorageBlobCopy PowerShell cmdlet'i, PowerShell'de kullanılan Windows yöneticileri için bir seçenektir.

  • AdlCopy , Blob Depolama'dan Azure Data Lake Storage'a veri kopyalamanızı sağlar. İki Data Lake Storage hesabı arasında veri kopyalamak için de kullanılabilir. Ancak, Data Lake Storage'dan Blob Depolama'ya veri kopyalamak için kullanılamaz.

  • Distcp , HDInsight küme depolamasına (WASB) veri kopyalamak ve data Lake Storage hesabına kopyalamak için kullanılır.

  • Sqoop bir Apache projesidir ve Hadoop ekosisteminin bir parçasıdır. Tüm HDInsight kümelerine önceden yüklenmiş olarak gelir. HDInsight kümesi ile SQL, Oracle, MySQL gibi ilişkisel veritabanları arasında veri aktarımına olanak tanır. Sqoop, içeri ve dışarı aktarma araçları da dahil olmak üzere ilgili araçlardan oluşan bir koleksiyondur. Sqoop, Blob Depolama veya Data Lake Storage ekli depolama kullanarak HDInsight kümeleriyle çalışır.

  • PolyBase , T-SQL dili aracılığıyla veritabanı dışındaki verilere erişen bir teknolojidir. SQL Server 2016'da Hadoop'taki dış veriler üzerinde sorgu çalıştırmanıza veya Blob Depolama'dan veri içeri veya dışarı aktarmanıza olanak tanır. Azure Synapse Analytics'te Blob Depolama ve Data Lake Storage'dan verileri içeri veya dışarı aktarabilirsiniz. Şu anda PolyBase, Azure Synapse Analytics'e veri aktarmanın en hızlı yöntemidir.

  • HDInsight kümesi baş düğümünde bulunan verileriniz varsa Hadoop komut satırını kullanın. Komutunu kullanarak hadoop -copyFromLocal bu verileri Blob Depolama veya Data Lake Storage gibi kümenizin ekli depolama alanına kopyalayabilirsiniz. Hadoop komutunu kullanmak için önce baş düğüme bağlanmanız gerekir. Bağlandıktan sonra bir dosyayı depolama alanına yükleyebilirsiniz.

Grafik arabirim

Yalnızca birkaç dosya veya veri nesnesi aktarıyorsanız ve işlemi otomatikleştirmeniz gerekmiyorsa aşağıdaki seçenekleri göz önünde bulundurun.

  • Azure Depolama Gezgini, Azure Depolama hesaplarınızın içeriğini yönetmenize olanak tanıyan platformlar arası bir araçtır. Blob, dosya, kuyruk, tablo ve Azure Cosmos DB varlığı gibi nesneleri karşıya yükleyebilir, indirebilir ve yönetebilirsiniz. Blobları ve klasörleri yönetmek ve blobları yerel dosya sisteminizle Blob Depolama arasında veya depolama hesapları arasında karşıya yüklemek ve indirmek için Blob Depolama ile birlikte kullanın.

  • Azure portalı. Hem Blob Depolama hem de Data Lake Storage, dosyaları keşfetmek ve yeni dosyaları karşıya yüklemek için web tabanlı bir arabirim sağlar. Bu seçenek, dosyalarınızı hızlı bir şekilde keşfetmek için araçlar yüklemek veya komutlar vermek istemiyorsanız veya birkaç yenisini karşıya yüklemek istiyorsanız iyi bir seçenektir.

Veri eşitleme ve işlem hatları

  • Azure Data Factory , birçok Azure hizmeti, şirket içi sistem veya ikisinin birleşimi arasında düzenli olarak dosya aktarımı için en uygun yönetilen hizmettir. Data Factory'yi kullanarak, farklı veri depolarından veri almak için işlem hatları olarak adlandırılan veri temelli iş akışları oluşturabilir ve zamanlayabilirsiniz. Data Factory, Azure HDInsight Hadoop, Spark, Azure Data Lake Analytics ve Azure Machine Learning gibi işlem hizmetlerini kullanarak verileri işleyebilir ve dönüştürebilir. Veri taşımayı ve veri dönüştürmeyi düzenlemeye ve otomatikleştirmeye yönelik veri odaklı iş akışları oluşturabilirsiniz.

  • Data Factory ve Azure Synapse Analytics'teki işlem hatları ve etkinlikler , veri taşıma ve veri işleme senaryolarınız için uçtan uca veri odaklı iş akışları oluşturmak için kullanılabilir. Ayrıca Azure Data Factory tümleştirme çalışma zamanı, farklı ağ ortamlarında veri tümleştirme özellikleri sağlamak için kullanılır.

  • Azure Data Box Gateway Verileri Azure'a ve Azure'dan aktarır, ancak bu bir sabit sürücü değil, sanal bir gereçtir. Şirket içi ağınızda bulunan sanal makineler, Ağ Dosya Sistemi (NFS) ve SMB protokollerini kullanarak Data Box Gateway'e veri yazar. Ardından cihaz verilerinizi Azure'a aktarır.

Anahtar seçim ölçütleri

Veri aktarımı senaryoları için şu soruları yanıtlayarak ihtiyaçlarınıza uygun sistemi seçin:

  • İnternet bağlantısı üzerinden bunu yapmanın çok uzun süreceği, güvenilir olmadığı veya çok pahalı olacağı büyük miktarda veriyi aktarmanız mı gerekiyor? Evet ise fiziksel aktarımı göz önünde bulundurun.

  • Yeniden kullanılabilir olmaları için veri aktarımı görevlerinizi betik olarak kullanmayı tercih ediyor musunuz? Öyleyse, komut satırı seçeneklerinden birini veya Data Factory'yi seçin.

  • Ağ bağlantısı üzerinden büyük miktarda veri aktarmanız mı gerekiyor? Bu durumda büyük veriler için iyileştirilmiş bir seçenek belirleyin.

  • İlişkisel bir veritabanına veya veritabanından veri aktarmanız mı gerekiyor? Evet ise, bir veya daha fazla ilişkisel veritabanını destekleyen bir seçenek belirleyin. Bu seçeneklerden bazıları hadoop kümesi de gerektirir.

  • Otomatik veri işlem hattına veya iş akışı düzenlemeye mi ihtiyacınız var? Evet ise Data Factory'yi göz önünde bulundurun.

Yetenek matrisi

Aşağıdaki tablolarda, özelliklerdeki temel farklar özetlemektedir.

Fiziksel aktarım

Özellik İçeri/Dışarı Aktarma hizmeti Data Box
Biçim katsayısı İç SATA HDD'ler veya SSD'ler Güvenli, kurcalamaya dayanıklı, tek donanım gereci
Microsoft, sevkiyat lojistirisini yönetir Hayır Evet
İş ortağı ürünleriyle tümleşir Hayır Evet
Özel alet Hayır Evet

Komut satırı araçları

Hadoop/HDInsight:

Özellik DistCp Sqoop Hadoop CLI
Büyük veriler için iyileştirilmiş Yes Evet Yes
İlişkisel veritabanına kopyalama Hayır Evet Hayır
İlişkisel veritabanından kopyalama Hayır Evet Hayır
Blob Depolamaya Kopyala Yes Evet Yes
Blob Depolama'dan kopyalama Yes Evet Hayır
Data Lake Storage'a kopyalama Yes Evet Yes
Data Lake Storage'dan kopyalama Yes Evet Hayır

Diğer:

Özellik Azure CLI AzCopy PowerShell AdlCopy PolyBase
Uyumlu platformlar Linux, OS X, Windows Linux, Windows Windows Linux, OS X, Windows SQL Server, Azure Synapse Analytics
Büyük veriler için iyileştirilmiş Hayır Evet Hayır Evet 1 Evet 2
İlişkisel veritabanına kopyalama Hayır Hayır Hayır Hayır Evet
İlişkisel veritabanından kopyalama Hayır Hayır Hayır Hayır Evet
Blob Depolamaya Kopyala Yes Evet Evet Hayı Evet
Blob Depolama'dan kopyalama Yes Evet Evet Evet Yes
Data Lake Storage'a kopyalama Hayır Evet Evet Evet Yes
Data Lake Storage'dan kopyalama Hayır Hayır Evet Evet Yes

[1] AdlCopy, Data Lake Analytics hesabıyla kullanıldığında büyük verileri aktarmak için iyileştirilmiştir.

[2] Hadoop'a hesaplama gönderilerek ve SQL Server örnekleri ile Hadoop düğümleri arasında paralel veri aktarımını etkinleştirmek için PolyBase ölçeği genişletme grupları kullanılarak PolyBase performansı artırılabilir.

Grafik arabirimler, veri eşitleme ve veri işlem hatları

Özellik Azure Depolama Gezgini Azure portalı * Data Factory Data Box Gateway
Büyük veriler için iyileştirilmiş Hayır Hayır Evet Yes
İlişkisel veritabanına kopyalama Hayır Hayır Evet Hayır
İlişkisel veritabanından kopyalama Hayır Hayır Evet Hayır
Blob Depolamaya Kopyala Yes Hayı Evet Yes
Blob Depolama'dan kopyalama Yes Hayı Evet Hayır
Data Lake Storage'a kopyalama Hayır Hayır Evet Hayır
Data Lake Storage'dan kopyalama Hayır Hayır Evet Hayır
Blob Depolama'ya yükleme Yes Evet Evet Yes
Data Lake Storage'a yükleme Yes Evet Evet Yes
Veri aktarımlarını düzenleme Hayır Hayır Evet Hayır
Özel veri dönüştürmeleri Hayır Hayır Evet Hayır
Fiyatlandırma modeli Ücretsiz Ücretsiz Kullanım başına ödeme Birim başına ödeme

Bu örnekte Azure portalı Blob Depolama ve Data Lake Storage için web tabanlı keşif araçlarını temsil eder.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Sonraki adımlar