Skapa en lagringsautentiseringsuppgift för anslutning till Cloudflare R2

  • Artikel

Den här artikeln beskriver hur du skapar en lagringsautentiseringsuppgift i Unity Catalog för att ansluta till Cloudflare R2. Cloudflare R2-objektlagring medför inga utgående avgifter. Genom att replikera eller migrera data som du delar till R2 kan du dela data mellan moln och regioner utan att debiteras utgående avgifter.

Kommentar

Unity Catalog stöder två molnlagringsalternativ för Azure Databricks: Azure Data Lake Storage Gen2-containrar och Cloudflare R2-bucketar. Cloudflare R2 är främst avsett för användningsfall för deltadelning där du vill undvika avgifter för utgående molnleverantörers data. Azure Data Lake Storage Gen2 är lämpligt för de flesta andra användningsfall. Se Övervaka och hantera utgående kostnader för deltadelning (för leverantörer) och Skapa en lagringsautentiseringsuppgift för anslutning till Azure Data Lake Storage Gen2.

Om du vill använda en R2-bucket som lagringsplats för data som hanteras av Unity Catalog måste du skapa en lagringsautentiseringsuppgift som ger åtkomst till R2-bucketen och skapar en extern plats som refererar till lagringsautentiseringsuppgifterna och bucketsökvägen:

  • Autentiseringsuppgifter för lagring kapslar in en långsiktig molnautentiseringsuppgift som ger åtkomst till molnlagring.
  • Externa platser innehåller en referens till en lagringsautentiseringsuppgift och en molnlagringssökväg.

Den här artikeln fokuserar på att skapa en lagringsautentiseringsuppgift.

Mer information finns i Ansluta till molnobjektlagring med Unity Catalog.

Krav

  • Databricks-arbetsytan är aktiverad för Unity Catalog.

  • Databricks Runtime 14.3 eller senare eller SQL Warehouse 2024.15 eller senare.

    Om du får felmeddelandet No FileSystem for scheme "r2”har din beräkning förmodligen en version som inte stöds.

  • Cloudflare-konto. Se https://dash.cloudflare.com/sign-up.

  • Cloudflare R2-administratörsroll. Se dokumentationen om Cloudflare-roller.

  • CREATE STORAGE CREDENTIAL behörighet på Unity Catalog-metaarkivet som är kopplat till arbetsytan. Kontoadministratörer och metaarkivadministratörer har den här behörigheten som standard.

Konfigurera en R2-bucket

  1. Skapa en Cloudflare R2-bucket.

    Du kan använda Cloudflare-instrumentpanelen eller Cloudflare Wrangler-verktyget.

    Se dokumentationen om Cloudflare R2 "Kom igång" eller Wrangler-dokumentationen.

  2. Skapa en R2 API-token och tillämpa den på bucketen.

    Se dokumentationen för Cloudflare R2 API-autentisering.

    Ange följande tokenegenskaper:

    • Behörigheter: Objektläsning och skrivning.

      Den här behörigheten ger läs- och skrivåtkomst, vilket krävs när du använder R2-lagring som replikeringsmål, enligt beskrivningen i Använda Cloudflare R2-repliker eller migrera lagring till R2.

      Om du vill framtvinga skrivskyddad åtkomst från Azure Databricks till R2-bucketen kan du i stället skapa en token som endast ger läsåtkomst. Detta kan dock vara onödigt eftersom du kan markera lagringsautentiseringsuppgifterna som skrivskyddade och all skrivåtkomst som beviljas av den här behörigheten ignoreras.

    • (Valfritt) TTL: Hur lång tid du vill dela bucketdata med datamottagarna.

    • (Valfritt) Ip-adressfiltrering för klienten: Välj om du vill begränsa nätverksåtkomsten till angivna mottagar-IP-adresser. Om det här alternativet är aktiverat måste du ange mottagarnas IP-adresser och du måste tillåta att databricks-kontrollplanets NAT-IP-adress anges för arbetsytans region.

    Se Azure Databricks-kontrollplansadresser.

  3. Kopiera R2 API-tokenvärdena:

    • Åtkomstnyckel-ID
    • Hemlig åtkomstnyckel

    Viktigt!

    Tokenvärden visas bara en gång.

  4. På R2-startsidan går du till Kontoinformation och kopierar R2-konto-ID:t.

Skapa lagringsautentiseringsuppgifterna

  1. Logga in på din arbetsyta i Azure Databricks.

  2. Klicka på Katalogikon Katalog.

  3. Längst upp i fönstret Katalog klickar du på Lägg till eller plusikon ikonen Lägg till och väljer Lägg till en lagringsautentiseringsuppgift på menyn.

    Det här alternativet visas inte om du inte har behörigheten CREATE STORAGE CREDENTIAL .

    Du kan också klicka på knappen Externa data >på sidan Snabbåtkomst, gå till fliken Autentiseringsuppgifter för lagring och välja Skapa autentiseringsuppgifter.

  4. Välj en autentiseringstyp för Cloudflare API-token.

  5. Ange ett namn på autentiseringsuppgifterna och följande värden som du kopierade när du konfigurerade R2-bucketen:

    • Konto-ID
    • Åtkomstnyckel-ID
    • Hemlig åtkomstnyckel

  6. (Valfritt) Om du vill att användarna ska ha skrivskyddad åtkomst till de externa platser som använder den här lagringsautentiseringsuppgiften väljer du Skrivskyddade alternativ i Avancerade alternativ.

    Välj inte det här alternativet om du vill använda lagringsautentiseringsuppgifterna för att få åtkomst till R2-lagring som du använder som replikeringsmål, enligt beskrivningen i Använd Cloudflare R2-repliker eller migrera lagring till R2.

    Mer information finns i Markera en lagringsautentiseringsuppgift som skrivskyddad.

  7. Klicka på Skapa.

  8. I dialogrutan Lagringsautentiseringsuppgifter som skapats kopierar du det externa ID: t.

  9. (Valfritt) Binda lagringsautentiseringsuppgifterna till specifika arbetsytor.

    Som standard kan en lagringsautentiseringsuppgift användas av alla privilegierade användare på alla arbetsytor som är anslutna till metaarkivet. Om du bara vill tillåta åtkomst från specifika arbetsytor går du till fliken Arbetsytor och tilldelar arbetsytor. Se (Valfritt) Tilldela en lagringsautentiseringsuppgift till specifika arbetsytor.

Nästa steg: skapa den externa platsen

Se Skapa en extern plats för att ansluta molnlagring till Azure Databricks.