Herstellen einer Verbindung mit serverlosem Compute

  • Artikel

In diesem Artikel werden die auf Azure Databricks verfügbaren serverlosen Angebote erläutert. Serverless Compute ermöglicht es Ihnen, schnell eine Verbindung mit On-Demand-Computing-Ressourcen herzustellen.

Die Artikel in diesem Abschnitt behandeln das serverlose Computing für Notebooks, Aufträge und Delta Live Tables. Informationen zu serverlosen SQL-Lagerhäusern finden Sie unter Was sind Serverless SQL Warehouses?. Informationen zur Modellbereitstellung finden Sie unter Modellbereitstellung mit Azure Databricks.

Informationen zur Architektur der serverlosen Computing-Ebene finden Sie unter Ebene „Serverloses Computing“.

Was ist serverloses Computing?

Mit serverloser Berechnung können Sie Arbeitsauslastungen ausführen, ohne einen Cluster bereitzustellen. Stattdessen ordnet Databricks automatisch die erforderlichen Computeressourcen zu und verwaltet sie. Auf diese Weise können Sie sich auf das Schreiben von Code und die Analyse von Daten konzentrieren, ohne sich gedanken über die Clusterverwaltung oder ressourcenauslastung zu machen.

Serverless Compute bietet die folgenden Vorteile:

  • Cloudressourcen werden von Azure Databricks verwaltet, wodurch der Verwaltungsaufwand reduziert und sofort berechnet wird, um die Benutzerproduktivität zu verbessern.
  • Schnelle Start- und Skalierungszeiten für serverlose Computeressourcen minimieren die Leerlaufzeit und stellen sicher, dass Sie nur für die von Ihnen verwendete Berechnung bezahlen.
  • Da die Kapazitätsbehandlung, Sicherheit, Patching und Upgrades automatisch verwaltet werden, können Sie sich weniger gedanken über Zuverlässigkeit, Sicherheitsrichtlinien und Kapazitätsengpässe machen.

Welche Serverless-Computetypen stehen in Azure Databricks zur Verfügung?

Azure Databricks bietet derzeit die folgenden serverlosen Computetypen:

  • Serverlose Berechnung für Notebooks: On-demand, skalierbarer Compute, der zum Ausführen von SQL- und Python-Code in Notebooks verwendet wird.
  • Serverloses Computing für Aufträge: Skalierbares On-Demand-Computing zum Ausführen Ihrer Databricks-Aufträge, ohne Infrastruktur zu konfigurieren und bereitzustellen
  • Serverlose SQL-Warehouses: Elastische Rechenleistung auf Abruf zur Ausführung von SQL-Befehlen für Datenobjekte im SQL-Editor oder in interaktiven Notebooks. Sie können SQL-Warehouses mithilfe der Benutzeroberfläche, der CLI oder der REST-API erstellen.
  • Serverlose DLT-Pipelines: Optimierte und skalierbare Computes für Ihre Delta Live Tables-Pipelineupdates.
  • Mosaik KI-Modell Serving: Hoch verfügbarer und niedriger Latenzdienst für die Bereitstellung von KI-Modellen.

Aktivieren des serverlosen Computings

Um auf serverlose Compute für Notizbücher, Aufträge und Delta Live Tables zuzugreifen, muss ein Kontoadministrator das Feature auf Arbeitsbereichsebene aktivieren. Weitere Informationen finden Sie unter Aktivieren des serverlosen Computings.

Informationen zum Zugreifen auf serverlose SQL-Lagerhäuser finden Sie unter Aktivieren serverloser SQL-Lagerhäuser.

Serverlose Computebeschränkungen

Eine Liste der Einschränkungen finden Sie unter Serverlose Compute Limitations.

Häufig gestellte Fragen (FAQ)

Wie werden Releases eingeführt?

Serverloses Computing ist ein versionsloses Produkt. Das bedeutet, dass Databricks automatisch Upgrades für die Runtime des serverlosen Computings durchführt, um Verbesserungen und Upgrades für die Plattform zu unterstützen. Alle Benutzer erhalten innerhalb eines kurzen Zeitraums die gleichen Updates.

Wie kann ich feststellen, welche serverlose Version ausgeführt wird?

Serverlose Workloads werden immer auf der neuesten Laufzeitversion ausgeführt. Informationen zur neuesten Version finden Sie in den Versionshinweisen.

Wie kann ich die Kosten für serverlose Bereitstellung schätzen?

Databricks empfiehlt, einen repräsentativen oder spezifischen Workload auszuführen und zu vergleichen und dann die Abrechnungssystemtabelle zu analysieren. Weitere Informationen unter Referenz zur Systemtabelle für abrechnungsfähigen Verbrauch.

Wie kann ich die DBU-Nutzung für eine bestimmte Workload analysieren?

Um die Kosten für eine bestimmte Workload anzuzeigen, fragen Sie die system.billing.usage Systemtabelle ab. Siehe Kosten für serverloses Computing überwachen für Beispielabfragen an und laden Sie unser Kosten-Observability-Dashboard herunter.

Ich habe das serverlose Computing für Aufträge und Notebooks nicht aktiviert. Warum gibt es Abrechnungseinträge für serverlose Aufträge?

Lakehouse Monitoring und prädiktive Optimierung werden auch unter der serverlosen Auftrags-SKU abgerechnet.

Das serverlose Computing muss nicht aktiviert sein, damit diese beiden Features verwendet werden können.

Unterstützt serverloses Computing private Repositorys?

Repositorys können privat sein oder Authentifizierung erfordern. Aus Sicherheitsgründen ist beim Zugriff auf authentifizierte Repositorys eine vorsignierte URL erforderlich.

Wie installiere ich Bibliotheken für meine Auftragsaufgaben?

Databricks empfiehlt die Verwendung von Umgebungen zum Installieren und Verwalten von Bibliotheken für Ihre Aufträge. Siehe Konfigurieren von Umgebungen und Abhängigkeiten für Nicht-Notebookaufgaben.

Kann ich eine Verbindung mit benutzerdefinierten Datenquellen herstellen?

Nein, nur Quellen, die Lakehouse Federation verwenden, werden unterstützt. Siehe Unterstützte Datenquellen.

Wie funktioniert das serverlose Computeebenennetzwerk?

Serverlose Computeressourcen werden in der serverlosen Computeebene ausgeführt, die von Azure Databricks verwaltet wird. Weitere Informationen zum Netzwerk und zur Architektur finden Sie unter Serverloses Computing-Plane-Networking.

Kann ich serverloses Computing für Aufträge mit Databricks Asset Bundles konfigurieren?

Ja, Databricks Asset Bundles können verwendet werden, um Aufträge zu konfigurieren, die serverloses Computing verwenden. Siehe Konfigurieren eines Auftrags, der serverloses Computing verwendet.