Hızlı Başlangıç: Apache Airflow İşi Oluşturma

Not

Apache Airflow işi Apache Airflow tarafından desteklenir.
Apache Airflow, program aracılığıyla karmaşık işleri oluşturmak, zamanlamak ve izlemek için kullanılan açık kaynak bir platformdur. Veri işlem hatlarını temsil etmek için yönlendirilmiş döngüsel grafikler (DAG)'ler halinde birleştirilebilen işleçler olarak adlandırılan bir görev kümesi tanımlamanıza olanak tanır.

Apache Airflow İşi, Apache Airflow ortamları oluşturmak ve yönetmek için basit ve verimli bir yol sağlayarak düzenleme işlerinizi büyük ölçekte kolayca çalıştırmanızı sağlar. Bu hızlı başlangıçta, Apache Airflow İşi'nin ortamı ve işlevleri hakkında bilgi edinmek için basit bir Apache Airflow işi oluşturalım.

Önkoşullar

  • Kiracınızda Apache Airflow İşini etkinleştirin.

Not

Apache Airflow işi önizleme durumunda olduğundan, kiracı yöneticiniz aracılığıyla etkinleştirmeniz gerekir. Apache Airflow İşi'ni zaten görüyorsanız kiracı yöneticiniz bunu zaten etkinleştirmiş olabilir.

  1. Yönetici Portalı -> Kiracı Ayarları -> Microsoft Fabric altında -> 'Kullanıcılar Apache Airflow İşi (önizleme)' oluşturabilir ve kullanabilir' bölümünü genişletin.
  2. Uygula’yı seçin.

Kiracıda Apache Airflow'un etkinleştirilmesi için ekran görüntüsü.

Apache Airflow İşi Oluşturma

  1. Mevcut bir çalışma alanını veya Yeni çalışma alanı oluştur'u kullanabilirsiniz.

  2. Genişlet + New açılan menüsü -> Diğer Seçenekler'e tıklayın -> Bölümün altında Data Factory -> Apache Airflow İşi (önizleme) öğesini seçin

    Diğer seçeneklere tıklamayı gösteren ekran görüntüsü.

    Apache Airflow İşi'nin seçilmesi için ekran görüntüsü.

  3. Projenize uygun bir ad verin ve "Oluştur" düğmesine tıklayın.

DAG Dosyası Oluşturma

  1. "Yeni DAG dosyası" kartına tıklayın-> dosyanın adını verin ve "Oluştur" düğmesine tıklayın.

    DAG dosyasını adlandırmak için ekran görüntüsü.

  2. Size ortak bir DAG kodu sunulur. Dosyayı gereksinimlerinize göre düzenleyebilirsiniz.

    Microsoft Fabric'te ortak DAG dosyası sunan ekran görüntüsü.

  3. "Kaydet simgesine" tıklayın.

    DaG dosyasının Microsoft Fabric'e nasıl kaydedileceklerini gösteren ekran görüntüsü.

DAG çalıştırma

  1. "DAG'yi Çalıştır" düğmesine tıklayarak başlayın.

    Veri iş akışları kullanıcı arabiriminden DAG'yi çalıştırma ekran görüntüsü.

  2. Başlatıldıktan sonra, DAG'nin çalıştığını belirten bir bildirim görüntülenir.

  3. DAG çalıştırmasının ilerleme durumunu izlemek için bildirim merkezindeki "Ayrıntıları Görüntüle"ye tıklamanız yeterlidir. Bu eylem sizi Apache Airflow kullanıcı arabirimine yönlendirir ve burada DAG çalıştırmasının durumunu ve ayrıntılarını rahatça izleyebilirsiniz.

    Bildirim merkezinden Apache Airflow kullanıcı arabirimine gitmek için ekran görüntüsü.

Apache Airflow KULLANıCı arabiriminde Apache Airflow DAG'nizi izleme

Kaydedilen dağ dosyaları Apache Airflow kullanıcı arabirimine yüklenir. "Apache Airflow'da İzle" düğmesine tıklayarak bunları izleyebilirsiniz.

Airflow DAG'sini izlemek için ekran görüntüsü.

Yüklenen Airflow DAG'sini sunan ekran görüntüsü.