Azure Databricks mimarisine genel bakış

  • Makale

Bu makale, Azure ile birlikte kurumsal mimarisi de dahil olmak üzere Azure Databricks mimarisine üst düzey bir genel bakış sağlar.

Üst düzey mimari

Azure Databricks bir denetim düzlemi ve işlem düzlemi dışında çalışır.

  • Denetim düzlemi, Azure Databricks hesabınızda Azure Databricks'in yönettiği arka uç hizmetlerini içerir. Web uygulaması kontrol düzlemindedir.

  • İşlem düzlemi, verilerinizin işlendiği yerdir. Kullandığınız işlem türüne bağlı olarak iki tür işlem düzlemi vardır.

    • Sunucusuz işlem için sunucusuz işlem kaynakları Azure Databricks hesabınızdaki sunucusuz bir işlem düzleminde çalışır.
    • Klasik Azure Databricks işlemi için işlem kaynakları, klasik işlem düzlemi olarak adlandırılan Azure aboneliğinizde yer alır. Bu, Azure aboneliğinizdeki ağı ve kaynaklarını ifade eder.

    Klasik işlem ve sunucusuz işlem hakkında daha fazla bilgi edinmek için bkz . İşlem türleri.

Her Azure Databricks çalışma alanı, çalışma alanı depolama hesabı olarak bilinen ilişkili bir depolama hesabına sahiptir. Çalışma alanı depolama hesabı Azure aboneliğinizdedir.

Aşağıdaki diyagramda genel Azure Databricks mimarisi açıklanmaktadır.

Diyagram: Databricks mimarisi

Sunucusuz işlem düzlemi

Sunucusuz işlem düzleminde Azure Databricks işlem kaynakları, Azure Databricks hesabınızın içindeki bir işlem katmanında çalışır. Azure Databricks, çalışma alanınızın klasik işlem düzlemi ile aynı Azure bölgesinde sunucusuz bir işlem düzlemi oluşturur. Çalışma alanı oluştururken bu bölgeyi seçersiniz.

Sunucusuz işlem düzlemi içindeki müşteri verilerini korumak için sunucusuz işlem, farklı Azure Databricks müşteri çalışma alanlarını ve aynı müşterinin kümeleri arasındaki ek ağ denetimlerini yalıtmak için çeşitli güvenlik katmanlarıyla çalışma alanının ağ sınırı içinde çalışır.

Sunucusuz işlem düzleminde ağ hakkında daha fazla bilgi edinmek için Sunucusuz işlem düzlemi ağı.

Klasik işlem düzlemi

Klasik işlem düzleminde Azure Databricks işlem kaynakları Azure aboneliğinizde çalışır. Müşterinin Azure aboneliğinde her çalışma alanının sanal ağında yeni işlem kaynakları oluşturulur.

Klasik bir işlem düzlemi, her müşterinin kendi Azure aboneliğinde çalıştığından doğal yalıtıma sahiptir. Klasik işlem düzleminde ağ hakkında daha fazla bilgi edinmek için bkz . Klasik işlem düzlemi ağı.

Bölgesel destek için bkz . Azure Databricks bölgeleri.

Çalışma alanı depolama hesabı

Bir çalışma alanı oluşturduğunuzda Azure Databricks, Azure aboneliğinizde çalışma alanı depolama hesabı olarak kullanılacak bir hesap oluşturur.

Çalışma alanı depolama hesabı aşağıdakileri içerir:

  • Çalışma alanı sistem verileri: Çalışma alanı sistem verileri, not defterleri oluşturma gibi çeşitli Azure Databricks özelliklerini kullandığınızda oluşturulur. Bu demet not defteri düzeltmelerini, iş çalıştırma ayrıntılarını, komut sonuçlarını ve Spark günlüklerini içerir
  • DBFS: DBFS (Databricks Dosya Sistemi), Azure Databricks ortamlarında ad alanı altında dbfs:/ erişilebilen dağıtılmış bir dosya sistemidir. DBFS kök ve DBFS bağlamalarının her ikisi de ad alanındadır dbfs:/ . DBFS kök veya DBFS bağlamalarını kullanarak verileri depolama ve bunlara erişme, kullanım dışı bırakılmış bir düzendir ve Databricks tarafından önerilmez. Daha fazla bilgi için bkz . DBFS nedir?.
  • Unity Kataloğu çalışma alanı kataloğu: Çalışma alanınız Unity Kataloğu için otomatik olarak etkinleştirildiyse, çalışma alanı depolama hesabı varsayılan çalışma alanı kataloğunu içerir. Çalışma alanınızdaki tüm kullanıcılar bu katalogdaki varsayılan şemada varlıklar oluşturabilir. Bkz . Unity Kataloğu'nu ayarlama ve yönetme.

Çalışma alanı depolama hesabınıza erişimi yalnızca yetkili kaynaklardan ve ağlardan sınırlamak için bkz . Çalışma alanı depolama hesabınız için güvenlik duvarı desteğini etkinleştirme.