OneLake-genvägar

Med genvägar i Microsoft OneLake kan du förena dina data mellan domäner, moln och konton genom att skapa en enda virtuell datasjö för hela företaget. Alla infrastrukturresurser och analysmotorer kan ansluta direkt till dina befintliga datakällor, till exempel Azure, Amazon Web Services (AWS) och OneLake via ett enhetligt namnområde. OneLake hanterar alla behörigheter och autentiseringsuppgifter, så du behöver inte konfigurera varje Infrastruktur-arbetsbelastning separat för att ansluta till varje datakälla. Dessutom kan du använda genvägar för att eliminera kantkopior av data och minska processfördröjningen som är associerad med datakopior och mellanlagring.

Vad är genvägar?

Genvägar är objekt i OneLake som pekar på andra lagringsplatser. Platsen kan vara intern eller extern till OneLake. Platsen som en genväg pekar på kallas för genvägens målsökväg. Platsen där genvägen visas kallas för genvägssökvägen. Genvägar visas som mappar i OneLake och alla arbetsbelastningar eller tjänster som har åtkomst till OneLake kan använda dem. Genvägar fungerar som symboliska länkar. De är ett oberoende objekt från målet. Om du tar bort en genväg påverkas inte målet. Om du flyttar, byter namn på eller tar bort en målsökväg kan genvägen brytas.

Var kan jag skapa genvägar?

Du kan skapa genvägar i lakehouses- och Kusto-frågespråk-databaser (KQL). Dessutom kan genvägarna du skapar inom dessa objekt peka på andra OneLake-platser, Azure Data Lake Storage (ADLS) Gen2, Amazon S3-lagringskonton eller Dataverse. Du kan till och med skapa genvägar till lokala eller nätverksbegränsade platser med hjälp av den lokala infrastrukturresursdatagatewayen (OPDG).

Du kan använda användargränssnittet för infrastrukturresurser för att skapa genvägar interaktivt, och du kan använda REST-API:et för att skapa genvägar programmatiskt.

Sjöhus

När du skapar genvägar i ett sjöhus måste du förstå objektets mappstruktur. Lakehouses består av två mappar på den översta nivån: mappen Tabeller och mappen Filer . Mappen Tabeller representerar den hanterade delen av lakehouse, medan mappen Files är den ohanterade delen av lakehouse. I mappen Tabeller kan du bara skapa genvägar på den översta nivån. Genvägar stöds inte i andra underkataloger i mappen Tabeller . Om målet för genvägen innehåller data i Delta\Parquet-formatet synkroniserar lakehouse automatiskt metadata och identifierar mappen som en tabell. I mappen Filer finns det inga begränsningar för var du kan skapa genvägar. Du kan skapa dem på valfri nivå i mapphierarkin. Tabellidentifiering sker inte i mappen Filer .

KQL-databas

När du skapar en genväg i en KQL-databas visas den i mappen Genvägar i databasen. KQL-databasen behandlar genvägar som externa tabeller. Om du vill köra frågor mot genvägen använder du external_table funktionen för Kusto-frågespråk.

Var kan jag komma åt genvägar?

Alla infrastrukturresurser eller tjänster som inte är infrastrukturresurser som kan komma åt data i OneLake kan använda genvägar. Genvägar är transparenta för alla tjänster som har åtkomst till data via OneLake-API:et. Genvägar visas bara som en annan mapp i sjön. Apache Spark, SQL, Realtidsinformation och Analysis Services kan alla använda genvägar när du frågar efter data.

Apache Spark

Apache Spark-notebook-filer och Apache Spark-jobb kan använda genvägar som du skapar i OneLake. Relativa filsökvägar kan användas för att direkt läsa data från genvägar. Om du skapar en genväg i avsnittet Tabeller i lakehouse och den är i Delta-format kan du läsa den som en hanterad tabell med apache Spark SQL-syntax.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Du kan också läsa genvägar i avsnittet Tabeller i ett lakehouse via SQL Analytics-slutpunkten för lakehouse. Du kan komma åt SQL-analysslutpunkten via lägesväljaren för lakehouse eller via SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Realtidsinformation

Genvägar i KQL-databaser identifieras som externa tabeller. Om du vill köra frågor mot genvägen använder du external_table funktionen för Kusto-frågespråk.

external_table('MyShortcut')
| take 100

Analysis Services

Du kan skapa semantiska modeller för sjöhus som innehåller genvägar i avsnittet Tabeller i lakehouse. När den semantiska modellen körs i Direct Lake-läge kan Analysis Services läsa data direkt från genvägen.

Icke-infrastrukturresurser

Program och tjänster utanför Fabric kan också komma åt genvägar via OneLake-API:et. OneLake stöder en delmängd av API:erna ADLS Gen2 och Blob Storage. Mer information om OneLake-API :et finns i OneLake-åtkomst med API:er.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Typer av genvägar

OneLake-genvägar stöder flera filsystemdatakällor. Dessa inkluderar interna OneLake-platser, Azure Data Lake Storage (ADLS) Gen2, Amazon S3, S3 Compatible, Google Cloud Storage (GCS) och Dataverse.

Interna OneLake-genvägar

Med interna OneLake-genvägar kan du referera till data i befintliga infrastrukturobjekt. Dessa objekt omfattar sjöhus, KQL-databaser och informationslager. Genvägen kan peka på en mappplats i samma objekt, mellan objekt på samma arbetsyta eller till och med mellan objekt i olika arbetsytor. När du skapar en genväg mellan objekt behöver objekttyperna inte matcha. Du kan till exempel skapa en genväg i ett sjöhus som pekar på data i ett informationslager.

När en användare kommer åt data via en genväg till en annan OneLake-plats används identiteten för den anropande användaren för att auktorisera åtkomst till data i målsökvägen för genvägen*. Den här användaren måste ha behörigheter på målplatsen för att kunna läsa data.

ADLS-genvägar

Genvägar kan också skapas till ADLS Gen2-lagringskonton. När du skapar genvägar till ADLS kan målsökvägen peka på valfri mapp i det hierarkiska namnområdet. Målsökvägen måste minst innehålla ett containernamn.

Access

ADLS-genvägar måste peka på DFS-slutpunkten för lagringskontot. Exempel: https://accountname.dfs.core.windows.net/

Om ditt lagringskonto skyddas av en lagringsbrandvägg kan du konfigurera åtkomst till betrodda tjänster. Se Åtkomst till betrodd arbetsyta

Auktorisering

ADLS-genvägar använder en delegerad auktoriseringsmodell. I den här modellen anger genvägsskapare en autentiseringsuppgift för ADLS-genvägen och all åtkomst till genvägen auktoriseras med hjälp av den autentiseringsuppgiften. De delegerade typer som stöds är organisationskonto, kontonyckel, signatur för delad åtkomst (SAS) och tjänstens huvudnamn.

• Organisationskonto – måste ha rollen Storage Blob Data Reader, Storage Blob Data Contributor eller Storage Blob Data Owner för lagringskontot
• Signatur för delad åtkomst (SAS) – måste innehålla minst följande behörigheter: Läsa, Lista och Kör
• Tjänstens huvudnamn – måste ha rollen Storage Blob Data Reader, Storage Blob Data Contributor eller Storage Blob Data Owner för lagringskontot
• Arbetsyteidentitet – måste ha rollen Storage Blob Data Reader, Storage Blob Data Contributor eller Storage Blob Data Owner för lagringskontot

S3-genvägar

Du kan också skapa genvägar till Amazon S3-konton. När du skapar genvägar till Amazon S3 måste målsökvägen innehålla ett bucketnamn som minst. S3 har inte inbyggt stöd för hierarkiska namnområden, men du kan använda prefix för att efterlikna en katalogstruktur. Du kan inkludera prefix i genvägssökvägen för att ytterligare begränsa omfattningen av data som är tillgängliga via genvägen. När du kommer åt data via en S3-genväg representeras prefix som mappar.

Access

S3-genvägar måste peka på https-slutpunkten för S3-bucketen.

Exempel: https://bucketname.s3.region.amazonaws.com/

Auktorisering

S3-genvägar använder en delegerad auktoriseringsmodell. I den här modellen anger genvägsskapare en autentiseringsuppgift för S3-genvägen och all åtkomst till genvägen auktoriseras med hjälp av den autentiseringsuppgiften. Delegerade autentiseringsuppgifter som stöds är en nyckel och hemlighet för en IAM-användare.

IAM-användaren måste ha följande behörigheter i bucketen som genvägen pekar på.

• S3:GetObject
• S3:GetBucketLocation
• S3:ListBucket

Google Cloud Storage-genvägar

Genvägar kan skapas till Google Cloud Storage (GCS) med hjälp av XML-API:et för GCS. När du skapar genvägar till Google Cloud Storage måste målsökvägen innehålla ett bucketnamn som minst. Du kan också begränsa omfånget för genvägen genom att ytterligare ange prefixet/mappen som du vill peka på i lagringshierarkin.

Access

När du konfigurerar anslutningen för en GCS-genväg kan du antingen ange den globala slutpunkten för lagringstjänsten eller använda en bucketspecifik slutpunkt.

• Exempel på global slutpunkt: https://storage.googleapis.com
• Exempel på bucketspecifik slutpunkt: https://<BucketName>.storage.googleapis.com

Auktorisering

GCS-genvägar använder en delegerad auktoriseringsmodell. I den här modellen anger genvägsskapare en autentiseringsuppgift för GCS-genvägen och all åtkomst till genvägen auktoriseras med hjälp av den autentiseringsuppgiften. Delegerade autentiseringsuppgifter som stöds är en HMAC-nyckel och hemlighet för ett tjänstkonto eller användarkonto.

Kontot måste ha behörighet att komma åt data i GCS-bucketen. Om den bucketspecifika slutpunkten användes i anslutningen för genvägen måste kontot ha följande behörigheter:

• storage.objects.get
• stoage.objects.list

Om den globala slutpunkten användes i anslutningen för genvägen måste kontot också ha följande behörighet:

• storage.buckets.list

Genvägar för dataversum

Dataverse-direktintegrering med Microsoft Fabric gör det möjligt för organisationer att utöka sina Dynamics 365 företagsprogram och affärsprocesser till Fabric. Den här integreringen sker via genvägar, som kan skapas på två sätt: via PowerApps Maker-portalen eller via Infrastrukturresurser direkt.

Skapa genvägar via PowerApps Maker-portalen

Auktoriserade PowerApps-användare kan komma åt PowerApps Maker-portalen och använda funktionen Länka till Microsoft Fabric . Från den här enskilda åtgärden skapas ett Lakehouse i Infrastrukturresurser och genvägar genereras automatiskt för varje tabell i Dataverse-miljön. Mer information finns i Direktintegrering av Dataverse med Microsoft Fabric.

Skapa genvägar via infrastrukturresurser

Infrastrukturanvändare kan också skapa genvägar till Dataverse. Från UX för att skapa genvägar kan användarna välja Dataverse, ange sin miljö-URL och bläddra i de tillgängliga tabellerna. Med den här upplevelsen kan användarna selektivt välja vilka tabeller som ska tas med i Infrastruktur i stället för att ta in alla tabeller.

Auktorisering

Dataverse-genvägar använder en delegerad auktoriseringsmodell. I den här modellen anger genvägsskapare en autentiseringsuppgift för genvägen Dataverse och all åtkomst till genvägen är auktoriserad med hjälp av autentiseringsuppgifterna. Den delegerade autentiseringstypen som stöds är Organisationskonto (OAuth2). Organisationskontot måste ha systemadministratörsbehörighet för att få åtkomst till data i Dataverse Managed Lake.

Cachelagring

Cachelagring av genvägar kan användas för att minska utgående kostnader som är associerade med dataåtkomst mellan moln. När filer läss via en extern genväg lagras filerna i en cache för arbetsytan Infrastruktur. Efterföljande läsbegäranden hanteras från cachen i stället för fjärrlagringsprovidern. Cachelagrade filer har en kvarhållningsperiod på 24 timmar. Varje gång filen används återställs kvarhållningsperioden. Om filen i fjärrlagringsprovidern är nyare än filen i cacheminnet hanteras begäran från fjärrlagringsprovidern och den uppdaterade filen lagras i cacheminnet. Om en fil inte har använts på mer än 24 timmar rensas den från cachen. Enskilda filer som är större än 1 GB cachelagras inte.

Om du vill aktivera cachelagring för genvägar öppnar du panelen Inställningar för arbetsyta. Välj fliken OneLake. Växla cacheinställningen till På och välj Spara.

Så här använder genvägar molnanslutningar

ADLS- och S3-genvägsauktorisering delegeras med hjälp av molnanslutningar. När du skapar en ny ADLS- eller S3-genväg skapar du antingen en ny anslutning eller väljer en befintlig anslutning för datakällan. Att ange en anslutning för en genväg är en bindningsåtgärd. Endast användare med behörighet för anslutningen kan utföra bindningsåtgärden. Om du inte har behörighet för anslutningen kan du inte skapa nya genvägar med den anslutningen.

Genvägssäkerhet

Genvägar kräver vissa behörigheter för att hantera och använda. OneLake-genvägssäkerhet tittar på de behörigheter som krävs för att skapa genvägar och komma åt data med hjälp av dem.

Hur hanterar genvägar borttagningar?

Genvägar utför inte sammanhängande borttagningar. När du utför en borttagningsåtgärd på en genväg tar du bara bort genvägsobjektet. Data i genvägsmålet förblir oförändrade. Men om du utför en borttagningsåtgärd på en fil eller mapp inom en genväg och du har behörigheter i genvägsmålet för att utföra borttagningsåtgärden tas filerna och/eller mapparna bort i målet. Följande exempel visar detta.

Ta bort exempel

Användare A har ett lakehouse med följande sökväg:

MyLakehouse\Files\MyShortcut\Foo\Bar

MyShortcut är en genväg som pekar på ett ADLS Gen2-konto som innehåller Foo\Bar-katalogerna .

Ta bort ett genvägsobjekt

Användare A utför en borttagningsåtgärd på följande sökväg:

MyLakehouse\Files\MyShortcut

I det här fallet tas MyShortcut bort från lakehouse. Genvägar utför inte sammanhängande borttagningar, därför påverkas inte filerna och katalogerna i ADLS Gen2-kontot Foo\Bar .

Ta bort innehåll som refereras till av en genväg

Användare A utför en borttagningsåtgärd på följande sökväg:

MyLakehouse\Files\MyShortcut\Foo\Bar

I det här fallet, om användare A har skrivbehörigheter i ADLS Gen2-kontot, tas katalogen Bar bort från ADLS Gen2-kontot.

Ursprungsvy för arbetsyta

När du skapar genvägar mellan flera infrastrukturobjekt i en arbetsyta kan du visualisera genvägsrelationerna via ursprungsvyn för arbetsytan. Välj knappen Ursprungsvy ( ) i det övre högra hörnet i Arbetsyteutforskaren.

Begränsningar och överväganden

• Det maximala antalet genvägar per fabric-objekt är 100 000. I det här sammanhanget refererar termen objekt till: appar, lakehouses, lager, rapporter med mera.
• Det maximala antalet genvägar i en enda OneLake-sökväg är 10.
• Det maximala antalet direkta genvägar till genvägslänkar är 5.
• Målsökvägar för ADLS- och S3-genvägar får inte innehålla några reserverade tecken från RFC 3986 avsnitt 2.2. Tillåtna tecken finns i RFC 3968 avsnitt 2.3.
• OneLake-genvägsnamn, överordnade sökvägar och målsökvägar får inte innehålla tecknen %eller +.
• Genvägar stöder inte icke-latinska tecken.
• Kopiera blob-API:et stöds inte för ADLS- eller S3-genvägar.
• Kopieringsfunktionen fungerar inte på genvägar som pekar direkt på ADLS-containrar. Vi rekommenderar att du skapar ADLS-genvägar till en katalog som är minst en nivå under en container.
• Det går inte att skapa ytterligare genvägar i ADLS- eller S3-genvägar.
• Ursprung för genvägar till informationslager och semantiska modeller är inte tillgängligt för närvarande.
• Det kan ta upp till en minut för tabell-API:et att identifiera nya genvägar.

Relaterat innehåll

• Skapa en OneLake-genväg
• Använda REST-API:er för OneLake-genvägar