Erstellen von Speicheranmeldeinformation zum Herstellen einer Verbindung mit Cloudflare R2

In diesem Artikel wird beschrieben, wie Sie Speicheranmeldeinformationen in Unity Catalog erstellen, um eine Verbindung mit Cloudflare R2 herzustellen. Cloudflare R2-Objektspeicher verursacht keine Gebühren für ausgehende Daten. Durch das Replizieren oder Migrieren von Daten, die Sie für R2 freigeben, können Sie Daten cloud- und regionsübergreifend freigeben, ohne dass Gebühren anfallen.

Um einen R2-Bucket als Speicherort für Daten zu verwenden, die von Unity Catalog verwaltet werden, müssen Sie Speicheranmeldeinformationen erstellen, die den Zugriff auf den R2-Bucket autorisieren, und einen externen Speicherort erstellen, der auf die Speicheranmeldeinformationen und den Bucketpfad verweist:

• Speicheranmeldeinformationen kapseln langfristige Cloudanmeldeinformationen, die Zugriff auf Cloudspeicher ermöglichen.
• Externe Speicherorte enthalten einen Verweis auf Speicheranmeldeinformationen und einen Cloudspeicherpfad.

Dieser Artikel konzentriert sich auf das Erstellen von Speicheranmeldeinformationen.

Weitere Informationen finden Sie unter Verwalten des Zugriffs auf Cloudspeicher mithilfe des Unity-Katalogs.

Anforderungen

• Databricks-Arbeitsbereich, der für Unity Catalog aktiviert ist

• Databricks Runtime 14.3 oder höher oder SQL Warehouse 2024.15 oder höher.

  Wenn die Fehlermeldung No FileSystem for scheme "r2” auftritt, befindet sich die Computeinstanz wahrscheinlich in einer nicht unterstützten Version.

• Ein Cloudflare-Konto Siehe https://dash.cloudflare.com/sign-up.

• Cloudflare R2-Administratorrolle. Weitere Informationen finden Sie in der Dokumentation zu Cloudflare-Rollen.

• CREATE STORAGE CREDENTIAL-Berechtigungen für den Unity Catalog-Metastore, der an den Arbeitsbereich angefügt ist. Kontoadministratoren und Metastore-Administratoren verfügen standardmäßig über diese Berechtigungen.

Konfigurieren eines R2-Buckets

1. Erstellen Sie einen Cloudflare R2-Bucket.

   Sie können das Cloudflare-Dashboard oder das Cloudflare-Wrangler-Tool verwenden.

   Sehen Sie sich die Cloudflare R2-Dokumentation zu den ersten Schritten oder die Wrangler-Dokumentation an.

2. Erstellen Sie ein R2-API-Token, und wenden Sie es auf den Bucket an.

   Weitere Informationen finden Sie in der Dokumentation zur Cloudflare R2 API-Authentifizierung.

   Legen Sie die folgenden Tokeneigenschaften fest:

   • Berechtigungen: Objektlesezugriff und -schreibzugriff.

     Diese Berechtigung gewährt Lese- und Schreibzugriff, was erforderlich ist, wenn Sie R2-Speicher als Replikationsziel verwenden, wie in Verwenden von Cloudflare R2-Replikaten oder Migrieren von Speicher zu R2 beschrieben.

     Wenn Sie schreibgeschützten Zugriff von Azure Databricks auf den R2-Bucket erzwingen möchten, können Sie stattdessen ein Token erstellen, das schreibgeschützten Zugriff gewährt. Dies kann jedoch unnötig sein, da Sie die Speicheranmeldeinformationen als schreibgeschützt markieren können, und alle Schreibzugriffe, die von dieser Berechtigung gewährt werden, werden ignoriert.

   • (Optional) TTL: Dies ist die Zeitspanne, in der Sie die Bucketdaten für die Datenempfänger freigeben möchten.

   • (Optional) Client-IP-Adressfilterung: Wählen Sie aus, ob Sie den Netzwerkzugriff auf angegebene Empfänger-IP-Adressen einschränken möchten. Wenn diese Option aktiviert ist, müssen Sie Ihre Empfänger-IP-Adressen angeben und die NAT-Adresse der Databricks-Steuerungsebene für die Arbeitsbereichsregion zulassen.

   Siehe Adressen der Azure Databricks Steuerungsebene.

3. Kopieren Sie die R2-API-Tokenwerte:

   • Zugriffsschlüssel-ID
   • Geheimer Zugriffsschlüssel

   Wichtig

   Tokenwerte werden nur einmal angezeigt.

4. Wechseln Sie auf der R2-Homepage zu Kontodetails, und kopieren Sie die R2-Konto-ID.

Erstellen der Speicheranmeldeinformationen

1. Melden Sie sich in Azure Databricks bei Ihrem Arbeitsbereich an.

2. Klicken Sie auf Katalog.

3. Klicken Sie auf der Seite "Schnellzugriff" auf die Schaltfläche "Externe Daten>", wechseln Sie zur Registerkarte "Anmeldeinformationen", und wählen Sie "Anmeldeinformationen erstellen" aus.

4. Wählen Sie Speicheranmeldeinformationen aus.

5. Wählen Sie als Anmeldeinformationstyp Cloudflare-API-Token aus.

6. Geben Sie einen Namen für die Anmeldeinformationen und die folgenden Werte ein, die Sie beim Konfigurieren des R2-Buckets kopiert haben:

   • Konto-ID
   • Zugriffsschlüssel-ID
   • Geheimer Zugriffsschlüssel

7. (Optional) Wenn Sie möchten, dass Benutzer schreibgeschützten Zugriff auf die externen Speicherorte haben, die diese Speicheranmeldeinformationen verwenden, wählen Sie unter Erweiterte Optionen die Option Schreibgeschützt aus.

   Wählen Sie diese Option nicht aus, wenn Sie die Speicheranmeldeinformationen verwenden möchten, um auf den R2-Speicher zuzugreifen, den Sie als Replikationsziel verwenden, wie in Verwenden von Cloudflare R2-Replikaten oder Migrieren von Speicher R2 beschrieben.

   Weitere Informationen finden Sie unter Markieren von Speicheranmeldeinformationen als schreibgeschützt.

8. Klicken Sie auf Erstellen.

9. Kopieren Sie im Dialogfeld Erstellte Speicheranmeldeinformationen die Externe ID.

10. (Optional) Binden Sie die Speicheranmeldeinformationen an bestimmte Arbeitsbereiche.

    Standardmäßig können Speicheranmeldeinformationen von allen privilegierten Benutzer*innen in jedem Arbeitsbereich verwendet werden, der dem Metastore zugeordnet ist. Wenn Sie den Zugriff nur aus bestimmten Arbeitsbereichen zulassen möchten, wechseln Sie zur Registerkarte Arbeitsbereiche, und weisen Sie Arbeitsbereiche zu. Siehe (Optional) Zuweisen von Speicheranmeldeinformationen zu bestimmten Arbeitsbereichen.

Nächster Schritt: Erstellen des externen Speicherorts

Weitere Informationen finden Sie unter Erstellen eines externen Speicherorts zum Verbinden des Cloudspeichers mit Azure Databricks.