Microsoft Fabric OneLake için veri akışı uç noktalarını yapılandırma

Makale
11/04/2024

Önemli

Azure Arc tarafından etkinleştirilen Azure IoT İşlemleri Önizlemesi şu anda önizleme aşamasındadır. Bu önizleme yazılımını üretim ortamlarında kullanmamalısınız.

Genel kullanıma sunulan bir sürüm kullanıma sunulduğunda yeni bir Azure IoT İşlemleri yüklemesi dağıtmanız gerekir. Önizleme yüklemesini yükseltemezsiniz.

Beta veya önizleme aşamasında olan ya da başka bir şekilde henüz genel kullanıma sunulmamış olan Azure özelliklerinde geçerli olan yasal koşullar için bkz. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları.

Azure IoT İşlemleri Önizlemesi'nde Microsoft Fabric OneLake'e veri göndermek için bir veri akışı uç noktası yapılandırabilirsiniz. Bu yapılandırma, hedef uç noktayı, kimlik doğrulama yöntemini, tabloyu ve diğer ayarları belirtmenize olanak tanır.

Önkoşullar

Azure IoT İşlemleri Önizleme örneği
Yapılandırılmış veri akışı profili
Microsoft Fabric OneLake. Çalışma alanı ve lakehouse oluşturmak için aşağıdaki adımlara bakın.
- Çalışma alanı oluşturun. Varsayılan çalışma alanım desteklenmez.
- Bir göl evi oluşturun.
- Gösteriliyorsa Lakehouse şemalarının (Genel Önizleme) işaretinin kaldırıldığından emin olun.
- Çalışma alanı ve göl evi adlarını not edin.

Microsoft Fabric OneLake veri akışı uç noktası oluşturma

Microsoft Fabric OneLake için bir veri akışı uç noktası yapılandırmak için Azure Arc özellikli Kubernetes kümesinin yönetilen kimliğini kullanmanızı öneririz. Bu yaklaşım güvenlidir ve gizli dizi yönetimi gereksinimini ortadan kaldırır.

Azure portalında Azure IoT İşlemleri örneğinize gidin ve Genel Bakış'ı seçin.
Azure IoT Operations Arc uzantısından sonra listelenen uzantının adını kopyalayın. Örneğin, azure-iot-operations-xxxx7.
Oluşturduğunuz Microsoft Fabric çalışma alanında Erişimi> yönet+ Kişi veya grup ekle'yi seçin. Azure IoT Operations Arc uzantısını adına göre arayın ve seçin. Rol olarak Katkıda Bulunan'ı ve ardından Ekle'yi seçin.
DataflowEndpoint kaynağını oluşturun ve yönetilen kimlik kimlik doğrulama yöntemini belirtin.

İşlem deneyiminde Veri akışı uç noktaları sekmesini seçin.
Yeni veri akışı uç noktası oluştur'un altında Microsoft Fabric OneLake>Yeni'yi seçin.

Uç nokta için aşağıdaki ayarları girin:

Ayar	Açıklama
Host	Microsoft Fabric OneLake uç noktasının biçimindeki `onelake.dfs.fabric.microsoft.com`konak adı.
Lakehouse adı	Verilerin depolanması gereken göl evi adı.
Çalışma alanı adı	Göl eviyle ilişkili çalışma alanının adı.
OneLake yol türü	OneLake'de kullanılan yol türü. Dosyalar veya Tablolar'ı seçin.
Kimlik doğrulama yöntemi	Kimlik doğrulaması için kullanılan yöntem. Sistem tarafından atanan yönetilen kimlik veya Kullanıcı tarafından atanan yönetilen kimlik'i seçin
Client ID	Kullanıcı tarafından atanan yönetilen kimliğin istemci kimliği. Kullanıcı tarafından atanan yönetilen kimlik kullanılıyorsa gereklidir.
Kiracı kimliği	Kullanıcı tarafından atanan yönetilen kimliğin kiracı kimliği. Kullanıcı tarafından atanan yönetilen kimlik kullanılıyorsa gereklidir.

Uç noktayı sağlamak için Uygula'yı seçin.

Aşağıdaki içeriğe sahip bir Bicep .bicep dosyası oluşturun.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        method: 'SystemAssignedManagedIdentity'
        systemAssignedManagedIdentitySettings: {}
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Ardından Azure CLI aracılığıyla dağıtın.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Aşağıdaki içeriğe sahip bir Kubernetes bildirim .yaml dosyası oluşturun.

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iotoperations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      method: SystemAssignedManagedIdentity
      systemAssignedManagedIdentitySettings: {}
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Ardından bildirim dosyasını Kubernetes kümesine uygulayın.

kubectl apply -f <FILE>.yaml

OneLake yol türü

Ayarı, oneLakePathType OneLake yolunda kullanılacak yol türünü belirler. Varsayılan değer, Tablesen yaygın kullanım örnekleri için önerilen yol türüdür. Yol Tables türü, OneLake lakehouse'ta verileri depolamak için kullanılan bir tablodur. Ayrıca, OneLake lakehouse'ta verileri depolamak için kullanılan bir dosya olan olarak Filesda ayarlanabilir. Yol Files türü, verileri yol türü tarafından desteklenmeyen bir dosya biçiminde depolamak Tables istediğinizde kullanışlıdır.

OneLake yol türü, veri akışı uç noktasının Temel sekmesinde ayarlanır.

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Kullanılabilir kimlik doğrulama yöntemleri

Microsoft Fabric OneLake veri akışı uç noktaları için aşağıdaki kimlik doğrulama yöntemleri kullanılabilir. Azure Key Vault yapılandırarak ve iş yükü kimliklerini etkinleştirerek güvenli ayarları etkinleştirme hakkında daha fazla bilgi için bkz . Azure IoT İşlemleri Önizleme dağıtımında güvenli ayarları etkinleştirme.

Veri akışı uç noktasını oluşturmadan önce, Fabric lakehouse'a yazma izni veren IoT İşlemleri uzantısına çalışma alanı Katkıda Bulunanı rolü atayın.

Çalışma alanı erişimi vermek için IoT İşlemleri uzantısı adının ekran görüntüsü.

Daha fazla bilgi edinmek için bkz . Çalışma alanına erişim verme.

Sistem tarafından atanan yönetilen kimlik

Sistem tarafından atanan yönetilen kimliği kullanmak, Azure IoT İşlemleri için önerilen kimlik doğrulama yöntemidir. Azure IoT İşlemleri yönetilen kimliği otomatik olarak oluşturur ve Azure Arc özellikli Kubernetes kümesine atar. Gizli dizi yönetimi gereksinimini ortadan kaldırır ve sorunsuz kimlik doğrulamasına olanak tanır.

DataflowEndpoint kaynağında yönetilen kimlik kimlik doğrulama yöntemini belirtin. Çoğu durumda, diğer ayarları belirtmeniz gerekmez. Bu yapılandırma, varsayılan hedef kitleye sahip bir yönetilen kimlik oluşturur.

İşlem deneyimi veri akışı uç noktası ayarları sayfasında Temel sekmesini ve ardından Sistem tarafından atanan yönetilen kimlik kimlik kimlik doğrulaması yöntemini>seçin.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Sistem tarafından atanan yönetilen kimlik hedef kitlesini geçersiz kılmanız gerekiyorsa, ayarı belirtebilirsiniz audience .

Çoğu durumda hizmet hedef kitlesi belirtmeniz gerekmez. Hedef kitle belirtilmemesi, varsayılan hedef kitlenin depolama hesabınız kapsamında olduğu bir yönetilen kimlik oluşturur.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Kullanıcı tarafından atanan yönetilen kimlik

Kimlik doğrulaması için kullanıcı tarafından yönetilen kimlik kullanmak için önce güvenli ayarların etkinleştirildiği Azure IoT İşlemleri'ni dağıtmanız gerekir. Daha fazla bilgi edinmek için bkz . Azure IoT İşlemleri Önizleme dağıtımında güvenli ayarları etkinleştirme.

Ardından, kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulama yöntemini istemci kimliği, kiracı kimliği ve yönetilen kimliğin kapsamıyla birlikte belirtin.

İşlem deneyimi veri akışı uç noktası ayarları sayfasında Temel sekmesini ve ardından Kullanıcı tarafından atanan yönetilen kimlik kimlik kimlik doğrulama yöntemini>seçin.

Uygun alanlara kullanıcı tarafından atanan yönetilen kimlik istemci kimliğini ve kiracı kimliğini girin.

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Kullanıcı tarafından atanan yönetilen kimliği kullanmak için kimlik doğrulama yöntemini belirtin UserAssignedManagedIdentity ve yönetilen kimliğin clientId ve tenantId değerini sağlayın.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Burada kapsam isteğe bağlıdır ve varsayılan olarak olur https://storage.azure.com/.default. Varsayılan kapsamı geçersiz kılmanız gerekiyorsa, Bicep veya Kubernetes kullanarak ayarı belirtin scope .

Gelişmiş ayarlar

Doku OneLake uç noktası için toplu işlem gecikme süresi ve ileti sayısı gibi gelişmiş ayarlar ayarlayabilirsiniz. Bu ayarları veri akışı uç noktası Gelişmiş portal sekmesinde veya veri akışı uç noktası özel kaynağı içinde ayarlayabilirsiniz.

İşlem grubu oluşturma

İletilerin batching hedefe gönderilmeden önce en fazla ileti sayısını ve en yüksek gecikme süresini yapılandırmak için ayarları kullanın. Bu ayar, ağ bant genişliği için iyileştirme yapmak ve hedefe yönelik istek sayısını azaltmak istediğinizde kullanışlıdır.

Alan	Açıklama	Gerekli
`latencySeconds`	İletileri hedefe göndermeden önce bekilecek saniye sayısı üst sınırı. Varsayılan değer 60 saniyedir.	Hayır
`maxMessages`	Hedefe gönderilecek en fazla ileti sayısı. Varsayılan değer 100000 iletidir.	Hayır

Örneğin, en fazla ileti sayısını 1000 ve en fazla gecikme süresini 100 saniye olarak yapılandırmak için aşağıdaki ayarları kullanın:

İşlem deneyiminde veri akışı uç noktası için Gelişmiş sekmesini seçin.

Microsoft Fabric gelişmiş ayarlarını yapmak için işlem deneyimini kullanan ekran görüntüsü.

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Sonraki adımlar

Veri akışları hakkında daha fazla bilgi edinmek için bkz . Veri akışı oluşturma.

Aracılığıyla paylaş