Bereitstellen von Big Data-Cluster für SQL Server in Kubernetes

Gilt für: SQL Server 2019 (15.x)

Big Data-Cluster für SQL Server werden als Docker-Container auf einem Kubernetes-Cluster bereitgestellt. Im Folgenden finden Sie eine Übersicht über die Einrichtungs-und Konfigurationsschritte:

• Einrichten eines Kubernetes-Clusters auf einer einzelnen VM, auf einem VM-Cluster oder in Azure Kubernetes Service (AKS), Red Hat OpenShift oder Azure Red Hat OpenShift (ARO)
• Installieren des Clusterkonfigurationstools Azure Data CLI (azdata) auf dem Clientcomputer
• Bereitstellen eines Big-Data-Clusters für SQL Server auf einem Kubernetes-Cluster

Getestete Konfigurationen

Eine vollständige Liste der verschiedenen Kubernetes-Plattformen, auf denen die SQL Server-Plattform „Big Data-Cluster“ bereitgestellt werden kann, finden Sie unter Getestete Konfigurationen.

SQL Server-Editionen

Kubernetes

Einrichten des Kubernetes-Clusters

Wenn Sie bereits über einen Kubernetes-Cluster verfügen, der die oben genannten Anforderungen erfüllt, können Sie direkt mit dem Bereitstellungsschritt fortfahren. In diesem Abschnitt werden grundlegende Kubernetes-Kenntnisse vorausgesetzt. Ausführliche Informationen finden Sie in der Kubernetes-Dokumentation.

Sie können Kubernetes auf eine der folgenden Arten bereitstellen:

Überprüfen der Kubernetes-Konfiguration

Führen Sie den Befehl kubectl aus, um sich die Clusterkonfiguration anzeigen zu lassen. Stellen Sie sicher, dass kubectl auf den richtigen Clusterkontext verweist.

kubectl config view

Nachdem Sie den Kubernetes-Cluster konfiguriert haben, können Sie mit der Bereitstellung eines neuen Big-Data-Clusters für SQL Server fortfahren. Wenn Sie ein Upgrade von einem früheren Release durchführen, finden Sie weitere Informationen unter Durchführen eines Upgrades für Big Data-Cluster für SQL Server.

Sicherstellung von konfiguriertem Speicher

Für die meisten Big Data-Cluster-Bereitstellungen ist persistenter Speicher erforderlich. Derzeit müssen Sie sicherstellen, dass Sie vor der Bereitstellung über einen Plan für die Bereitstellung des persistenten Speichers im Kubernetes-Cluster verfügen.

• Bei einer Bereitstellung in AKS müssen Sie keinen Speicher einrichten. AKS bietet integrierte Speicherklassen mit dynamischer Bereitstellung. Sie können die Speicherklasse (default oder managed-premium) in der Bereitstellungskonfigurationsdatei anpassen. Für die integrierten Profile wird eine default-Speicherklasse verwendet.
• Wenn Sie eine Bereitstellung auf einem Kubernetes-Cluster durchführen, der mit kubeadm bereitgestellt wurde, müssen Sie sicherstellen, dass ausreichend Speicher für einen Cluster des gewünschten Umfangs verfügbar und konfiguriert ist. Wenn Sie die Nutzung Ihres Speichers konfigurieren möchten, sollten Sie das tun, bevor Sie fortfahren. Weitere Informationen finden Sie unter Datenpersistenz mit SQL Server-Big Data-Clustern in Kubernetes.

Installieren von Big Data-Tools für SQL Server 2019

Bevor Sie einen Big-Data-Cluster für SQL Server 2019 bereitstellen können, müssen Sie zuerst die folgenden Big-Data-Tools installieren:

• Azure Data CLI (azdata)
• kubectl
• Azure Data Studio
• Datenvirtualisierungserweiterung für Azure Data Studio
• Die Azure CLI, wenn die Bereitstellung in AKS durchgeführt wird

Übersicht über die Bereitstellung

Die meisten Einstellungen für Big-Data-Cluster werden in einer JSON-Konfigurationsdatei für Bereitstellungen definiert. Sie können ein Standardbereitstellungsprofil für AKS und Kubernetes-Cluster, die mit kubeadm erstellt wurden, verwenden. Alternativ können Sie auch eine eigene Konfigurationsdatei für Bereitstellungen während der Einrichtung anpassen. Aus Sicherheitsgründen werden Authentifizierungseinstellungen mithilfe von Umgebungsvariablen übermittelt.

In den folgenden Abschnitten finden Sie weitere Informationen darüber, wie Sie Bereitstellungen von Big-Data-Clustern konfigurieren. Außerdem lernen Sie Beispiele für übliche Anpassungen kennen. Sie können jederzeit die benutzerdefinierte Konfigurationsdatei für Bereitstellungen mit einem Editor wie beispielsweise VS Code bearbeiten.

Standardkonfigurationen

Die Bereitstellungsoptionen für Big-Data-Cluster werden in JSON-Konfigurationsdateien definiert. Sie können mit der Anpassung der Clusterbereitstellung über die integrierten Bereitstellungsprofile beginnen, die in Azure Data CLI (azdata)verfügbar sind.

Führen Sie diesen Befehl aus, um die verfügbaren Vorlagen zu finden:

azdata bdc config list -o table 

Die folgenden Vorlagen sind ab SQL Server 2019 CU5 verfügbar:

Sie können einen Big Data-Cluster bereitstellen, indem Sie azdata bdc create ausführen. Dadurch werden Sie aufgefordert, eine der Standardkonfigurationen auszuwählen. Anschließend werden Sie durch die Bereitstellungsschritte geführt.

Wenn Sie zum ersten Mal Azure Data CLI (azdata) ausführen, müssen Sie auch --accept-eula=yes angeben, um die Lizenzbedingungen zu akzeptieren.

azdata bdc create --accept-eula=yes

In diesem Szenario werden Sie aufgefordert, Informationen wie Kennwörter anzugeben, die nicht Teil der Standardkonfiguration sind.

Benutzerdefinierte Konfigurationen

Es ist auch möglich, die Bereitstellung an die Workloads anzupassen, die Sie ausführen möchten. Die Größe (Anzahl von Replikaten) und Speichereinstellungen für Big Data-Cluster-Dienste können nach der Bereitstellung nicht mehr geändert werden. Daher müssen Sie die Bereitstellungskonfiguration sorgfältig planen, um Kapazitätsprobleme zu vermeiden. Führen Sie die folgenden Schritte aus, um die Bereitstellung anzupassen:

1. Beginnen Sie mit einem Standardbereitstellungsprofil, das für Ihre Kubernetes-Umgebung geeignet ist. Sie können sich alle Profile mit dem Befehl azdata bdc config list anzeigen lassen:

   azdata bdc config list
   

2. Erstellen Sie eine Kopie des Bereitstellungsprofils mit dem Befehl azdata bdc config init, um die Bereitstellung anzupassen. Mit dem folgenden Befehl wird beispielsweise eine Kopie der aks-dev-test-Konfigurationsdateien für Bereitstellungen in einem Zielverzeichnis namens custom erstellt:

   azdata bdc config init --source aks-dev-test --target custom
   

   Tipp

   Mit --target wird ein Verzeichnis angegeben, das in Abhängigkeit des --source-Parameters die Konfigurationsdateien bdc.json und control.json enthält.

3. Sie können die Einstellungen in Ihrem Bereitstellungsprofil anpassen, indem Sie die Konfigurationsdatei für Bereitstellungen in einem Tool bearbeiten. Dieses muss sich zur Bearbeitung von JSON-Dateien eignen. Für diese Aufgabe können Sie beispielweise VS Code verwenden. Zur skriptbasierten Automatisierung können Sie auch das benutzerdefinierte Bereitstellungsprofil mit dem Befehl azdata bdc config bearbeiten. Mit dem folgenden Befehl wird z. B. ein benutzerdefiniertes Bereitstellungsprofil angepasst. Dabei wird der Standardname des bereitgestellten Clusters (mssql-cluster) in test-cluster geändert:

   azdata bdc config replace --config-file custom/bdc.json --json-values "metadata.name=test-cluster"
   

   Tipp

   Sie können den Clusternamen auch zum Zeitpunkt der Bereitstellung übergeben, indem Sie den Parameter --name für den Befehl azdata create bdc verwenden. Die Befehlsparameter haben Vorrang vor den Werten in den Konfigurationsdateien.

   Ein nützliches Tool zum Ermitteln von JSON-Pfaden ist JSONPath Online Evaluator.

   Sie können darin nicht nur Schlüssel-Wert-Paare, sondern auch Inline-JSON-Werte angeben und JSON-Patchdateien übergeben. Weitere Informationen finden Sie unter Konfigurieren von Bereitstellungseinstellungen für Big Data-Cluster-Ressourcen und -Dienste.

4. Übergeben Sie dem Befehl azdata bdc create die benutzerdefinierte Konfigurationsdatei. Beachten Sie, dass Sie die erforderlichen Umgebungsvariablen festlegen müssen. Andernfalls werden Sie vom Terminal aufgefordert, die entsprechenden Werte einzugeben:

   azdata bdc create --config-profile custom --accept-eula yes
   

Weitere Informationen zur Struktur einer Konfigurationsdatei für Bereitstellungen finden Sie in der zugehörigen Referenzdokumentation. Weitere Konfigurationsbeispiele finden Sie unter Konfigurieren von Bereitstellungseinstellungen für Big Data-Cluster.

Umgebungsvariablen

Die folgenden Umgebungsvariablen werden für Sicherheitseinstellungen verwendet, die nicht in einer Konfigurationsdatei für Bereitstellungen gespeichert werden. Beachten Sie, dass Docker-Einstellungen mit Ausnahme der Anmeldeinformationen in der Konfigurationsdatei festgelegt werden können.

Sie müssen diese Umgebungsvariablen festlegen, bevor Sie azdata bdc create aufrufen. Wenn eine Variable nicht festgelegt ist, werden Sie aufgefordert, diese anzugeben.

Im folgenden Beispiel wird gezeigt, wie Sie die Umgebungsvariablen für Linux (Bash) und Windows (PowerShell) festlegen:

export AZDATA_USERNAME=admin
export AZDATA_PASSWORD=<password>
export ACCEPT_EULA=yes

SET AZDATA_USERNAME=admin
SET AZDATA_PASSWORD=<password>

Nachdem Sie die Umgebungsvariablen festgelegt haben, müssen Sie azdata bdc create ausführen, um die Bereitstellung auszulösen. Im folgenden Beispiel wird das oben erstellte Clusterkonfigurationsprofil verwendet:

azdata bdc create --config-profile custom --accept-eula yes

Beachten Sie die folgenden Richtlinien:

• Setzen Sie das Kennwort immer in doppelte Anführungszeichen, wenn es Sonderzeichen enthält. Sie können für AZDATA_PASSWORD eine beliebige Zeichenfolge festlegen. Das Kennwort muss jedoch ausreichend komplex sein und darf nicht die Zeichen !, & oder ' enthalten. Doppelte Anführungszeichen können nur in Bash-Befehlen als Trennzeichen verwendet werden.
• Die AZDATA_USERNAME-Anmeldung ist ein Systemadministrator auf der SQL Server-Masterinstanz und wird bei der Einrichtung erstellt. Nach dem Erstellen Ihres SQL Server-Containers wird die von Ihnen festgelegte AZDATA_PASSWORD Umgebungsvariable sichtbar, wenn Sie sie in dem Container ausführenecho $AZDATA_PASSWORD. Es wird empfohlen, dass Sie das Kennwort aus Sicherheitsgründen ändern.

Unbeaufsichtigtes Installieren

Bei einer unbeaufsichtigten Bereitstellung müssen Sie alle erforderlichen Umgebungsvariablen festlegen, eine Konfigurationsdatei verwenden und den Befehl azdata bdc create mit dem --accept-eula yes-Parameter aufrufen. Die Beispiele im vorherigen Abschnitt veranschaulichen die Syntax für eine unbeaufsichtigte Installation.

Überwachen der Bereitstellung

Während des Clusterbootstraps wird der Bereitstellungsstatus im Befehlsfenster des Clients zurückgegeben. Im Verlauf des Bereitstellungsprozesses sollten mehrere Wartemeldungen für den Controllerpod angezeigt werden:

Waiting for cluster controller to start.

Nach 15 bis 30 Minuten sollten Sie benachrichtigt werden, dass der Controllerpod ausgeführt wird:

Cluster controller endpoint is available at 11.111.111.11:30080.
Cluster control plane is ready.

Nachdem die Bereitstellung erfolgreich abgeschlossen wurde, wird die folgende Meldung ausgegeben:

Cluster deployed successfully.

Abrufen von Endpunkten

Nachdem das Bereitstellungsskript erfolgreich ausgeführt wurde, können Sie die Adressen der externen Endpunkte für den Big Data-Cluster mithilfe der folgenden Schritte abrufen.

1. Suchen Sie nach der Bereitstellung die IP-Adresse des Controllerendpunkts in der Standardausgabe. Alternativ können Sie sich auch die Ausgabe des folgenden kubectl-Befehls ansehen und die IP-Adresse unter „EXTERNAL-IP“ ablesen:

   kubectl get svc controller-svc-external -n <your-big-data-cluster-name>
   

   Tipp

   Wenn Sie den Standardnamen während der Bereitstellung nicht geändert haben, verwenden Sie im vorherigen Befehl -n mssql-cluster. mssql-cluster ist der Standardname für den Big Data-Cluster.

2. Melden Sie sich beim Big-Data-Cluster mit azdata login an. Legen Sie den Parameter --endpoint auf die externe IP-Adresse des Controllerendpunkts fest.

   azdata login --endpoint https://<ip-address-of-controller-svc-external>:30080 --username <user-name>
   

   Geben Sie den Benutzernamen und das Kennwort an (AZDATA_USERNAME und AZDATA_PASSWORD), die Sie während der Bereitstellung für den Big Data-Clusteradministrator konfiguriert haben.

   Tipp

   Wenn Sie der Kubernetes-Clusteradministrator sind und Zugriff auf die Clusterkonfigurationsdatei (Kube-Konfigurationsdatei) haben, können Sie den aktuellen Kontext so konfigurieren, dass er auf den Kubernetes-Zielcluster verweist. In diesem Fall können Sie sich mit azdata login -n <namespaceName> anmelden, wobei namespace der Big Data-Clustername ist. Sie werden zur Eingabe von Anmeldeinformationen aufgefordert, wenn diese im Anmeldebefehl nicht angegeben sind.

3. Führen Sie azdata bdc endpoint list aus, um eine Liste mit Beschreibungen jedes Endpunkts sowie deren entsprechende IP-Adressen und Portwerte abzurufen.

   azdata bdc endpoint list -o table
   

   Die folgende Liste zeigt eine Beispielausgabe dieses Befehls an:

   Description                                             Endpoint                                                   Ip              Name               Port    Protocol
   ------------------------------------------------------  ---------------------------------------------------------  --------------  -----------------  ------  ----------
   Gateway to access HDFS files, Spark                     https://11.111.111.111:30443                               11.111.111.111  gateway            30443   https
   Spark Jobs Management and Monitoring Dashboard          https://11.111.111.111:30443/gateway/default/sparkhistory  11.111.111.111  spark-history      30443   https
   Spark Diagnostics and Monitoring Dashboard              https://11.111.111.111:30443/gateway/default/yarn          11.111.111.111  yarn-ui            30443   https
   Application Proxy                                       https://11.111.111.111:30778                               11.111.111.111  app-proxy          30778   https
   Management Proxy                                        https://11.111.111.111:30777                               11.111.111.111  mgmtproxy          30777   https
   Log Search Dashboard                                    https://11.111.111.111:30777/kibana                        11.111.111.111  logsui             30777   https
   Metrics Dashboard                                       https://11.111.111.111:30777/grafana                       11.111.111.111  metricsui          30777   https
   Cluster Management Service                              https://11.111.111.111:30080                               11.111.111.111  controller         30080   https
   SQL Server Master Instance Front-End                    11.111.111.111,31433                                       11.111.111.111  sql-server-master  31433   tcp
   HDFS File System Proxy                                  https://11.111.111.111:30443/gateway/default/webhdfs/v1    11.111.111.111  webhdfs            30443   https
   Proxy for running Spark statements, jobs, applications  https://11.111.111.111:30443/gateway/default/livy/v1       11.111.111.111  livy               30443   https
   

Sie können auch alle Dienstendpunkte, die für den Cluster bereitgestellt wurden, durch die Ausführung des folgenden kubectl-Befehls abrufen:

kubectl get svc -n <your-big-data-cluster-name>

Überprüfen des Clusterstatus

Nach der Bereitstellung können Sie den Status des Clusters mit dem Befehl azdata bdc status show überprüfen.

azdata bdc status show

Im Folgenden wird eine Beispielausgabe dieses Befehls angezeigt:

Bdc: ready                                                                                                                                                                                                          Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Services: ready                                                                                                                                                                                                     Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Servicename    State    Healthstatus    Details

 sql            ready    healthy         -
 hdfs           ready    healthy         -
 spark          ready    healthy         -
 control        ready    healthy         -
 gateway        ready    healthy         -
 app            ready    healthy         -


 Sql Services: ready                                                                                                                                                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Hdfs Services: ready                                                                                                                                                                                                Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 nmnode-0        ready    healthy         StatefulSet nmnode-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy
 sparkhead       ready    healthy         StatefulSet sparkhead is healthy


 Spark Services: ready                                                                                                                                                                                               Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 sparkhead       ready    healthy         StatefulSet sparkhead is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Control Services: ready                                                                                                                                                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         -
 control         ready    healthy         -
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy


 Gateway Services: ready                                                                                                                                                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 gateway         ready    healthy         StatefulSet gateway is healthy


 App Services: ready                                                                                                                                                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 appproxy        ready    healthy         ReplicaSet appproxy is healthy

Mit den folgenden Befehlen können Sie sich zusätzliche Statusinformationen anzeigen lassen:

• azdata bdc control status show gibt den Integritätsstatus für alle Komponenten zurück, die dem Steuerungsverwaltungsdienst zugeordnet sind.

azdata bdc control status show

Beispielausgabe:

Control: ready                                                                                                                                                                                                      Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Resources: ready                                                                                                                                                                                                    Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         -
 control         ready    healthy         -
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy

• azdata bdc sql status show gibt den Integritätsstatus für alle Ressourcen mit einem SQL Server-Dienst zurück.

azdata bdc sql status show

Beispielausgabe:

Sql: ready                                                                                                                                                                                                          Health Status:  healthy
 ===========================================================================================================================================================================================================================================
 Resources: ready                                                                                                                                                                                                    Health Status:  healthy
 -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy

Zusätzlich zu Azure Data CLI (azdata) können Sie auch Azure Data Studio verwenden, um Endpunkt- und Statusinformationen zu ermitteln. Weitere Informationen darüber, wie Sie mit Azure Data CLI (azdata) und Azure Data Studio den Clusterstatus abrufen können, finden Sie unter Anzeigen des Status eines Big Data-Clusters.

Herstellen einer Verbindung mit dem Cluster

Weitere Informationen darüber, wie Sie eine Verbindung mit dem Big-Data-Cluster herstellen, finden Sie unter Herstellen einer Verbindung mit einem Big-Data-Cluster für SQL Server über Azure Data Studio.

Nächste Schritte

In den folgenden Artikeln finden Sie weitere Informationen zur Bereitstellung von Big Data-Clustern für SQL Server:

• Konfigurieren von Bereitstellungseinstellungen für Big-Data-Cluster
• Durchführen einer Offlinebereitstellung von Big-Data-Clustern für SQL Server
• Workshop: Microsoft Big Data-Cluster für SQL Server-Architektur
• FAQ zu Big Data-Clustern