PostgreSQL için Azure Cosmos DB'de Azure Data Factory kullanarak veri alma

ŞUNLAR IÇIN GEÇERLIDIR: PostgreSQL için Azure Cosmos DB (PostgreSQL'e citus veritabanı uzantısıyla desteklenir)

Azure Data Factory , bulut tabanlı bir ETL ve veri tümleştirme hizmetidir. Verileri büyük ölçekte taşımak ve dönüştürmek için veri odaklı iş akışları oluşturmanıza olanak tanır.

Data Factory'yi kullanarak, farklı veri depolarından veri almak için veri temelli iş akışları (işlem hatları olarak adlandırılır) oluşturabilir ve zamanlayabilirsiniz. İşlem hatları analiz ve raporlama için şirket içinde, Azure'da veya diğer bulut sağlayıcılarında çalıştırılabilir.

Data Factory'de PostgreSQL için Azure Cosmos DB için bir veri havuzu vardır. Veri havuzu verilerinizi (ilişkisel, NoSQL, data lake dosyaları) depolama, işleme ve raporlama için PostgreSQL için Azure Cosmos DB tablolarına getirmenizi sağlar.

Gerçek zamanlı alım için Data Factory

PostgreSQL için Azure Cosmos DB'ye veri almak için Azure Data Factory'yi seçmenin önemli nedenleri şunlardır:

• Kullanımı kolay - Veri taşımayı düzenlemek ve otomatikleştirmek için kod içermeyen bir görsel ortam sunar.
• Güçlü - Temel alınan ağ bant genişliğinin 5 GiB/sn'ye kadar aktarım hızının tamamını kullanır.
• Yerleşik bağlayıcılar - 90'dan fazla yerleşik bağlayıcı ile tüm veri kaynaklarınızı tümleştirir.
• Uygun maliyetli: İsteğe bağlı olarak ölçeklendirilen, kullandıkça öde, tam olarak yönetilen sunucusuz bulut hizmetini destekler.

Data Factory'yi kullanma adımları

Bu makalede Data Factory kullanıcı arabirimini (UI) kullanarak bir veri işlem hattı oluşturacaksınız. Bu veri fabrikasındaki işlem hattı verileri Azure Blob depolama alanından veritabanına kopyalar. Kaynak ve havuz olarak desteklenen veri depolarının listesi için desteklenen veri depoları tablosuna bakın.

Data Factory'de, Şirket içinde ve bulutta bulunan veri depoları arasında Verileri PostgreSQL için Azure Cosmos DB'ye kopyalamak için Kopyalama etkinliğini kullanabilirsiniz. Data Factory'yi kullanmaya yeni başladıysanız, kullanmaya başlama hakkında hızlı bir kılavuz aşağıda verilmiştir:

1. Data Factory sağlandıktan sonra veri fabrikanıza gidin ve Azure Data Factory Studio'yu başlatın. Aşağıdaki görüntüde gösterildiği gibi Data Factory giriş sayfasını görürsünüz:

   

2. Azure Data Factory Studio giriş sayfasında Düzenle'yi seçin.

   

3. Özellikler'in altında işlem hattı için bir ad girin.

4. Etkinlikler araç kutusunda Taşı ve dönüştür kategorisini genişletin ve Veri kopyalama etkinliğini sürükleyip işlem hattı tasarımcısının yüzeyine bırakın. Tasarımcı bölmesinin alt kısmındaki Genel sekmesinde kopyalama etkinliği için bir ad girin.

   

5. Kaynağı Yapılandır'ı seçin.

   1. Etkinlikler sayfasında Kaynak sekmesini seçin. Kaynak veri kümesi oluşturmak için Yeni'yi seçin.

   2. Yeni Veri Kümesi iletişim kutusunda Azure Blob Depolama'yi ve ardından Devam'ı seçin.

   3. Verilerinizin biçim türünü seçin ve ardından Devam'ı seçin.

   4. Özellikleri ayarla sayfasındaki Bağlı hizmet'in altında Yeni'yi seçin.

   5. Yeni bağlı hizmet sayfasında, bağlı hizmet için bir ad girin ve Depolama hesabı adı listesinden depolama hesabınızı seçin.

      

   6. Bağlantıyı test et'in altında Dosya yoluna'yı seçin, bağlanacak kapsayıcıyı ve dizini girin ve bağlantıyı test et'i seçin.

   7. Yapılandırmayı kaydetmek için Oluştur'u seçin.

   8. Özellikleri ayarla ekranında Tamam'ı seçin.

6. Havuz'ı yapılandırın.

   1. Etkinlikler sayfasında Havuz sekmesini seçin. Havuz veri kümesi oluşturmak için Yeni'yi seçin.

   2. Yeni Veri Kümesi iletişim kutusunda PostgreSQL için Azure Veritabanı'ı ve ardından Devam'ı seçin.

   3. Özellikleri ayarla sayfasındaki Bağlı hizmet'in altında Yeni'yi seçin.

   4. Yeni bağlı hizmet sayfasında, bağlı hizmet için bir ad girin ve Hesap seçim yönteminde El ile gir'i seçin.

   5. Kümenizin koordinatör adını Tam etki alanı adı alanına girin. Düzenleyicinin adını PostgreSQL için Azure Cosmos DB kümenizin Genel Bakış sayfasından kopyalayabilirsiniz.

   6. Koordinatöre doğrudan bağlantı için bağlantı noktası alanında varsayılan bağlantı noktası 5432'yi bırakın veya yönetilen PgBouncer bağlantı noktasına bağlanmak için 6432 numaralı bağlantı noktasıyla değiştirin.

   7. Kümenize veritabanı adı girin ve kümeye bağlanmak için kimlik bilgilerini sağlayın.

   8. Şifreleme yöntemi açılan listesinde SSL'yi seçin.

      

   9. Havuz yapılandırmasını doğrulamak için panelin alt kısmındaki Bağlantıyı test et'i seçin.

   10. Yapılandırmayı kaydetmek için Oluştur'u seçin.

   11. Özellikleri ayarla ekranında Tamam'ı seçin.

   12. Etkinlikler sayfasındaki Havuz sekmesinde Havuz veri kümesi açılan listesinin yanındaki Aç'ı seçin ve verileri almak istediğiniz hedef kümede tablo adını seçin.

   13. Yazma yöntemi'nin altında Kopyala komutunu seçin.

   

7. İşlem hattı ayarlarını doğrulamak için tuvalin üstündeki araç çubuğunda Doğrula'yı seçin. Hataları düzeltin, yeniden doğrulayın ve işlem hattının başarıyla doğrulandığından emin olun.

8. İşlem hattını yürütmek için araç çubuğundan Hata Ayıkla'ya tıklayın.

   

9. İşlem hattı başarıyla çalıştırıldıktan sonra üst araç çubuğunda Tümünü yayımla'yı seçin. Bu eylem, oluşturduğunuz varlıkları (veri kümeleri ve işlem hatları) Data Factory'de yayımlar.

Data Factory'de saklı yordamı çağırma

Bazı belirli senaryolarda, toplama verilerini hazırlama tablosundan özet tablosuna göndermek için saklı yordam/işlev çağırmak isteyebilirsiniz. Data Factory, PostgreSQL için Azure Cosmos DB için saklı yordam etkinliği sunmaz, ancak geçici bir çözüm olarak aşağıda gösterildiği gibi bir saklı yordamı çağırmak için bir sorguyla Arama etkinliğini kullanabilirsiniz:

Sonraki adımlar

• PostgreSQL için Azure Cosmos DB ile gerçek zamanlı pano oluşturmayı öğrenin.
• İş yükünüzü PostgreSQL için Azure Cosmos DB'ye taşımayı öğrenin