Syncsort'a bağlanma

  • Makale

Önemli

Bu özellik Genel Önizlemededir.

Syncsort eski, ana bilgisayar ve IBM verilerini Azure Databricks ile tümleştirerek veri silolarını ayırmanıza yardımcı olur. Bu kaynaklardan Delta Lake'e kolayca veri çekebilirsiniz.

Syncsort'ı Azure Databricks ile kullanma adımları aşağıdadır.

1. Adım: Databricks kişisel erişim belirteci oluşturma

Syncsort, Azure Databricks kişisel erişim belirtecini kullanarak Azure Databricks ile kimlik doğrulaması yapar.

Not

En iyi güvenlik uygulaması olarak otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaptığınızda Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerini kullanmanızı önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz . Hizmet sorumlusu için belirteçleri yönetme.

2. Adım: Tümleştirme gereksinimlerini desteklemek için küme ayarlama

Syncsort bir Azure Data Lake Storage yoluna veri yazar ve Azure Databricks tümleştirme kümesi bu konumdaki verileri okur. Bu nedenle tümleştirme kümesi, Azure Data Lake Storage yoluna güvenli erişim gerektirir.

Azure Data Lake Storage yoluna güvenli erişim

Azure Data Lake Storage'daki (ADLS) verilere erişimin güvenliğini sağlamak için bir Azure depolama hesabı erişim anahtarı (önerilen) veya Microsoft Entra ID hizmet sorumlusu kullanabilirsiniz.

Azure depolama hesabı erişim anahtarı kullanma

Spark yapılandırmasının bir parçası olarak tümleştirme kümesinde bir depolama hesabı erişim anahtarı yapılandırabilirsiniz. Depolama hesabının hazırlama verileri için kullanılan ADLS kapsayıcısına ve dosya sistemine ve Delta Lake tablolarını yazmak istediğiniz ADLS kapsayıcısına ve dosya sistemine erişimi olduğundan emin olun. Tümleştirme kümesini anahtarı kullanacak şekilde yapılandırmak için Azure Data Lake Storage 2. Nesil ve Blob Depolama'ya bağlanma'daki adımları izleyin.

Microsoft Entra ID hizmet sorumlusu kullanma

Spark yapılandırmasının bir parçası olarak Azure Databricks tümleştirme kümesinde bir hizmet sorumlusu yapılandırabilirsiniz. Hizmet sorumlusunun hazırlama verileri için kullanılan ADLS kapsayıcısına ve Delta tablolarını yazmak istediğiniz ADLS kapsayıcısına erişimi olduğundan emin olun. Tümleştirme kümesini hizmet sorumlusunu kullanacak şekilde yapılandırmak için Hizmet sorumlusuyla ADLS 2. Nesil'e erişme adımlarını izleyin.

Küme yapılandırmasını belirtme

  1. Küme Modu'nu Standart olarak ayarlayın.

  2. Databricks Runtime Sürümünü Databricks çalışma zamanı sürümüne ayarlayın.

  3. Spark yapılandırmanıza aşağıdaki özellikleri ekleyerek en iyi duruma getirilmiş yazmaları ve otomatik sıkıştırmayı etkinleştirin:

    spark.databricks.delta.optimizeWrite.enabled true
spark.databricks.delta.autoCompact.enabled true

  4. Tümleştirme ve ölçeklendirme gereksinimlerinize bağlı olarak kümenizi yapılandırın.

Küme yapılandırma ayrıntıları için bkz . İşlem yapılandırma başvurusu.

JDBC URL'sini ve HTTP yolunu elde etme adımları için bkz . Azure Databricks işlem kaynağının bağlantı ayrıntılarını alma.

3. Adım: Bir kümeye bağlanmak için JDBC ve ODBC bağlantı ayrıntılarını alma

Bir Azure Databricks kümesini Syncsort'a bağlamak için aşağıdaki JDBC/ODBC bağlantı özelliklerine ihtiyacınız vardır:

  • JDBC URL'si
  • HTTP Path

4. Adım: Azure Databricks ile Eşitlemeleri Yapılandırma

Databricks ve Connect for Big Data oturum açma sayfasına gidin ve yönergeleri izleyin.

Ek kaynaklar

Destek