İş akışları için sunucusuz işlemle Azure Databricks işinizi çalıştırma

İş akışları için sunucusuz işlem, altyapıyı yapılandırmadan ve dağıtmadan Azure Databricks işinizi çalıştırmanıza olanak tanır. Sunucusuz işlem ile veri işleme ve analiz işlem hatlarınızı uygulamaya odaklanırsınız ve Azure Databricks, iş yükleriniz için işlem iyileştirme ve ölçeklendirme dahil olmak üzere işlem kaynaklarını verimli bir şekilde yönetir. otomatik ölçeklendirme ve Foton , işinizi çalıştıran işlem kaynakları için otomatik olarak etkinleştirilir.

İş akışları için sunucusuz işlem, iş yüklerinizin belirli işleme gereksinimlerine göre en iyi performansı sağlamak için örnek türleri, bellek ve işleme altyapıları gibi altyapıyı otomatik olarak ve sürekli olarak iyileştirir.

Databricks, Geliştirmeleri ve platform yükseltmelerini desteklemek için Databricks Runtime sürümünü otomatik olarak yükseltirken Azure Databricks işlerinizin kararlılığını sağlar. İş akışları için sunucusuz işlem tarafından kullanılan geçerli Databricks Runtime sürümünü görmek için bkz . Sunucusuz işlem sürüm notları.

Küme oluşturma izni gerekli olmadığından, tüm çalışma alanı kullanıcıları iş akışlarını çalıştırmak için sunucusuz işlem kullanabilir.

Bu makalede, sunucusuz işlem kullanan işler oluşturmak ve çalıştırmak için Azure Databricks İşleri kullanıcı arabiriminin kullanımı açıklanmaktadır. Ayrıca İşler API'si, Databricks Varlık Paketleri ve Python için Databricks SDK'sı ile sunucusuz işlem kullanan işleri oluşturmayı ve çalıştırmayı otomatikleştirebilirsiniz.

• Sunucusuz işlem kullanan işler oluşturmak ve çalıştırmak için İşler API'sini kullanma hakkında bilgi edinmek için bkz . REST API başvurusunda İşler .
• Sunucusuz işlem kullanan işler oluşturmak ve çalıştırmak için Databricks Varlık Paketlerini kullanma hakkında bilgi edinmek için bkz . Databricks Varlık Paketlerini kullanarak Azure Databricks'te iş geliştirme.
• Sunucusuz işlem kullanan işler oluşturmak ve çalıştırmak üzere Python için Databricks SDK'sını kullanma hakkında bilgi edinmek için bkz . Python için Databricks SDK'sı.

Gereksinimler

• Azure Databricks çalışma alanınızda Unity Kataloğu etkinleştirilmiş olmalıdır.

• İş akışları için sunucusuz işlem paylaşılan erişim modunu kullandığından, iş yüklerinizin bu erişim modunu desteklemesi gerekir.

• Azure Databricks çalışma alanınız desteklenen bir bölgede olmalıdır. Bkz. Sınırlı bölgesel kullanılabilirliğe sahip özellikler.

• Azure Databricks hesabınızda sunucusuz işlem etkinleştirilmelidir. Bkz . Sunucusuz işlem etkinleştirme.

Sunucusuz işlem kullanarak iş oluşturma

Sunucusuz işlem not defteri, Python betiği, dbt ve Python tekerleği görev türleriyle desteklenir. Varsayılan olarak, yeni bir iş oluşturduğunuzda ve bu desteklenen görev türlerinden birini eklediğinizde işlem türü olarak sunucusuz işlem seçilir.

Databricks, tüm iş görevleri için sunucusuz işlem kullanılmasını önerir. Bir işteki görevler için farklı işlem türleri de belirtebilirsiniz. Bu, iş akışları için sunucusuz işlem tarafından bir görev türü desteklenmiyorsa gerekli olabilir.

Var olan bir işi sunucusuz işlem kullanacak şekilde yapılandırma

mevcut bir işi, işi düzenlerken desteklenen görev türleri için sunucusuz işlem kullanacak şekilde değiştirebilirsiniz. Sunucusuz işlem moduna geçmek için:

• İş ayrıntıları yan panelinde İşlem'in altında Değiştir'e tıklayın, Yeni'ye tıklayın, herhangi bir ayar girin veya güncelleştirin ve Güncelleştir'e tıklayın.
• İşlem açılan menüsüne tıklayın ve Sunucusuz'a tıklayın.

Sunucusuz işlem kullanarak not defteri zamanlama

Sunucusuz işlem kullanarak iş oluşturmak ve zamanlamak için İşler kullanıcı arabirimini kullanmanın yanı sıra, doğrudan databricks not defterinden sunucusuz işlem kullanan bir iş oluşturabilir ve çalıştırabilirsiniz. Bkz. Zamanlanmış not defteri işlerini oluşturma ve yönetme.

Sunucusuz kullanımınız için bir bütçe ilkesi seçin

Bütçe ilkeleri, kuruluşunuzun ayrıntılı faturalama ilişkilendirmesi için sunucusuz kullanıma özel etiketler uygulamasına olanak sağlar.

Çalışma alanınız sunucusuz kullanımı ilişkilendirmek için bütçe ilkeleri kullanıyorsa, iş ayrıntıları kullanıcı arabirimindeki Bütçe ilkesi ayarını kullanarak işinizin bütçe ilkesini seçebilirsiniz. Yalnızca bir bütçe ilkesine atandıysanız, ilke yeni işleriniz için otomatik olarak seçilir.

Bütçe ilkeleri hakkında daha fazla bilgi için bkz . Bütçe ilkeleriyle sunucusuz kullanım özniteliği.

Spark yapılandırma parametrelerini ayarlama

Sunucusuz işlemde Spark yapılandırmasını otomatikleştirmek için Databricks yalnızca belirli Spark yapılandırma parametrelerinin ayarlanmasına izin verir. İzin verilebilen parametrelerin listesi için bkz . Desteklenen Spark yapılandırma parametreleri.

Spark yapılandırma parametrelerini yalnızca oturum düzeyinde ayarlayabilirsiniz. Bunu yapmak için, bunları bir not defterinde ayarlayın ve not defterini parametreleri kullanan aynı işe dahil edilen göreve ekleyin. Bkz. Not defterinde Apache Spark yapılandırma özelliklerini alma ve ayarlama.

Ortamları ve bağımlılıkları yapılandırma

Sunucusuz işlem kullanarak libaries ve bağımlılıkları yüklemeyi öğrenmek için bkz . Not defteri bağımlılıklarını yükleme.

Yeniden denemelere izin vermek için sunucusuz işlem otomatik iyileştirmesini yapılandırma

İş akışları için sunucusuz işlem otomatik iyileştirme, işlerinizi çalıştırmak için kullanılan işlemi otomatik olarak iyileştirir ve başarısız görevleri yeniden denenir. Otomatik iyileştirme varsayılan olarak etkindir ve Databricks kritik iş yüklerinin en az bir kez başarıyla çalıştığından emin olmak için bu özelliğin etkin kalmasını önerir. Ancak, en çok bir kez yürütülmesi gereken iş yükleriniz varsa (örneğin, bir kez etkili olmayan işler), görev eklerken veya düzenlerken otomatik iyileştirmeyi kapatabilirsiniz:

1. Yeniden denemeler'in yanındaki Ekle'ye tıklayın (veya yeniden deneme ilkesi zaten varsa).
2. İlkeyi Yeniden Dene iletişim kutusunda Sunucusuz otomatik iyileştirmeyi etkinleştir (ek yeniden denemeler içerebilir) seçeneğinin işaretini kaldırın.
3. Onayla'yı tıklatın.
4. Görev ekliyorsanız Görev oluştur'a tıklayın. Bir görevi düzenliyorsanız Görevi kaydet'e tıklayın.

İş akışları için sunucusuz işlem kullanan işlerin maliyetini izleme

Faturalanabilir kullanım sistemi tablosunu sorgulayarak iş akışları için sunucusuz işlem kullanan işlerin maliyetini izleyebilirsiniz. Bu tablo, sunucusuz maliyetlerle ilgili kullanıcı ve iş yükü özniteliklerini içerecek şekilde güncelleştirilir. Bkz. Faturalanabilir kullanım sistemi tablo başvurusu.

Geçerli fiyatlandırma ve promosyonlar hakkında bilgi için İş akışları fiyatlandırma sayfasına bakın.

Spark sorgularınızın ayrıntılarını görüntüleme

İş akışları için sunucusuz işlem, Spark deyimleriniz için ölçümler ve sorgu planları gibi ayrıntılı çalışma zamanı bilgilerini görüntülemek için yeni bir arabirime sahiptir. İşlerinize dahil edilen Spark deyimlerine yönelik sorgu içgörülerini görüntülemek için sunucusuz işlemde çalıştırın:

1. Kenar çubuğunda İş Akışları'na tıklayın.
2. Ad sütununda içgörüleri görüntülemek istediğiniz iş adına tıklayın.
3. İçgörüleri görüntülemek istediğiniz belirli bir çalıştırmaya tıklayın.
4. Görev çalıştırması yan panelinin İşlem bölümünde Sorgu geçmişi'ne tıklayın.
5. Sorgu Geçmişi'ne yönlendirilirsiniz ve içinde olduğunuz görevin görev çalıştırma kimliğine göre önceden filtrelenirsiniz.

Sorgu geçmişini kullanma hakkında bilgi için bkz . Sorgu geçmişi.

Sınırlamalar

İş akışı sınırlamaları için sunucusuz işlem listesi için bkz . Sunucusuz işlem sürüm notlarındaki Sunucusuz işlem sınırlamaları .