Azure Data Lake Storage 2. Nesil için veri akışı uç noktalarını yapılandırma

Makale
11/02/2024

Önemli

Azure Arc tarafından etkinleştirilen Azure IoT İşlemleri Önizlemesi şu anda önizleme aşamasındadır. Bu önizleme yazılımını üretim ortamlarında kullanmamalısınız.

Genel kullanıma sunulan bir sürüm kullanıma sunulduğunda yeni bir Azure IoT İşlemleri yüklemesi dağıtmanız gerekir. Önizleme yüklemesini yükseltemezsiniz.

Beta veya önizleme aşamasında olan ya da başka bir şekilde henüz genel kullanıma sunulmamış olan Azure özelliklerinde geçerli olan yasal koşullar için bkz. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları.

Azure IoT İşlemleri Önizlemesi'nde Azure Data Lake Storage 2. Nesil veri göndermek için bir veri akışı uç noktası yapılandırabilirsiniz. Bu yapılandırma, hedef uç noktayı, kimlik doğrulama yöntemini, tabloyu ve diğer ayarları belirtmenize olanak tanır.

Önkoşullar

Azure IoT İşlemleri Önizleme örneği
Yapılandırılmış veri akışı profili
Azure Data Lake Storage 2. Nesil hesabı
Depolama hesabında önceden oluşturulmuş bir depolama kapsayıcısı

Azure Data Lake Storage 2. Nesil veri akışı uç noktası oluşturma

Azure Data Lake Storage 2. Nesil için bir veri akışı uç noktası yapılandırmak için Azure Arc özellikli Kubernetes kümesinin yönetilen kimliğini kullanmanızı öneririz. Bu yaklaşım güvenlidir ve gizli dizi yönetimi gereksinimini ortadan kaldırır. Alternatif olarak, erişim belirteci kullanarak depolama hesabıyla kimlik doğrulaması yapabilirsiniz. Erişim belirteci kullanırken SAS belirtecini içeren bir Kubernetes gizli dizisi oluşturmanız gerekir.

IoT İşlemleri portalında Veri akışı uç noktaları sekmesini seçin.
Yeni veri akışı uç noktası oluştur'un altında Azure Data Lake Storage (2. nesil)Yeni'yi> seçin.

Uç nokta için aşağıdaki ayarları girin:

Ayar	Tanım
Ad	Veri akışı uç noktasının adı.
Ana Bilgisayar	biçiminde `<account>.blob.core.windows.net`Azure Data Lake Storage 2. Nesil uç noktasının konak adı. Hesap yer tutucusunun yerine uç nokta hesabı adını yazın.
Kimlik doğrulama yöntemi	Kimlik doğrulaması için kullanılan yöntem. Sistem tarafından atanan yönetilen kimlik, Kullanıcı tarafından atanan yönetilen kimlik veya Erişim belirteci'ni seçin.
Client ID	Kullanıcı tarafından atanan yönetilen kimliğin istemci kimliği. Kullanıcı tarafından atanan yönetilen kimlik kullanılıyorsa gereklidir.
Kiracı kimliği	Kullanıcı tarafından atanan yönetilen kimliğin kiracı kimliği. Kullanıcı tarafından atanan yönetilen kimlik kullanılıyorsa gereklidir.
Erişim belirteci gizli anahtarı adı	SAS belirtecini içeren Kubernetes gizli dizisinin adı. Erişim belirteci kullanılıyorsa gereklidir.

Uç noktayı sağlamak için Uygula'yı seçin.

Aşağıdaki içeriğe sahip bir Bicep .bicep dosyası oluşturun.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'SystemAssignedManagedIdentity'
        systemAssignedManagedIdentitySettings: {}
      }
    }
  }
}

Ardından Azure CLI aracılığıyla dağıtın.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Aşağıdaki içeriğe sahip bir Kubernetes bildirim .yaml dosyası oluşturun.

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: SystemAssignedManagedIdentity
      systemAssignedManagedIdentitySettings: {}

Ardından bildirim dosyasını Kubernetes kümesine uygulayın.

kubectl apply -f <FILE>.yaml

Sistem tarafından atanan yönetilen kimlik hedef kitlesini geçersiz kılmanız gerekiyorsa Sistem tarafından atanan yönetilen kimlik bölümüne bakın.

Erişim belirteci kimlik doğrulamayı kullanma

Depolama hesabı için SAS belirteci almak ve bunu kubernetes gizli dizisinde depolamak için erişim belirteci bölümündeki adımları izleyin.

Ardından DataflowEndpoint kaynağını oluşturun ve erişim belirteci kimlik doğrulama yöntemini belirtin. Burada değerini SAS belirtecini ve diğer yer tutucu değerlerini içeren gizli dizinin adıyla değiştirin <SAS_SECRET_NAME> .

IoT İşlemleri portalında Veri akışı uç noktaları sekmesini seçin.
Yeni veri akışı uç noktası oluştur'un altında Azure Data Lake Storage (2. nesil)Yeni'yi> seçin.

Uç nokta için aşağıdaki ayarları girin:

Ayar	Tanım
Ad	Veri akışı uç noktasının adı.
Ana Bilgisayar	biçiminde `<account>.blob.core.windows.net`Azure Data Lake Storage 2. Nesil uç noktasının konak adı. Hesap yer tutucusunun yerine uç nokta hesabı adını yazın.
Kimlik doğrulama yöntemi	Kimlik doğrulaması için kullanılan yöntem. Erişim belirteci'ni seçin.
Eşitlenen gizli dizi adı	ADLSv2 uç noktasıyla eşitlenen Kubernetes gizli dizisinin adı.
Erişim belirteci gizli anahtarı adı	SAS belirtecini içeren Kubernetes gizli dizisinin adı.

Uç noktayı sağlamak için Uygula'yı seçin.

Aşağıdaki içeriğe sahip bir Bicep .bicep dosyası oluşturun.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Ardından Azure CLI aracılığıyla dağıtın.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Aşağıdaki içeriğe sahip bir Kubernetes bildirim .yaml dosyası oluşturun.

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Ardından bildirim dosyasını Kubernetes kümesine uygulayın.

kubectl apply -f <FILE>.yaml

Kullanılabilir kimlik doğrulama yöntemleri

Azure Data Lake Storage 2. Nesil uç noktaları için aşağıdaki kimlik doğrulama yöntemleri kullanılabilir.

Azure Key Vault yapılandırarak ve iş yükü kimliklerini etkinleştirerek güvenli ayarları etkinleştirme hakkında daha fazla bilgi için bkz . Azure IoT İşlemleri Önizleme dağıtımında güvenli ayarları etkinleştirme.

Sistem tarafından atanan yönetilen kimlik

Sistem tarafından atanan yönetilen kimliği kullanmak, Azure IoT İşlemleri için önerilen kimlik doğrulama yöntemidir. Azure IoT İşlemleri yönetilen kimliği otomatik olarak oluşturur ve Azure Arc özellikli Kubernetes kümesine atar. Gizli dizi yönetimi gereksinimini ortadan kaldırır ve sorunsuz kimlik doğrulamasına olanak tanır.

Veri akışı uç noktasını oluşturmadan önce, depolama hesabına yazma izni olan yönetilen kimliğe bir rol atayın. Örneğin, Depolama Blob Verileri Katkıda Bulunanı rolünü atayabilirsiniz. Bloblara rol atama hakkında daha fazla bilgi edinmek için bkz . Microsoft Entra Id kullanarak bloblara erişimi yetkilendirme.

Azure portalında Azure IoT İşlemleri örneğinize gidin ve Genel Bakış'ı seçin.
Azure IoT Operations Arc uzantısından sonra listelenen uzantının adını kopyalayın. Örneğin, azure-iot-operations-xxxx7.
Uzantının adını kullanarak Azure portalında yönetilen kimliği arayın. Örneğin, azure-iot-operations-xxxx7 için arama.
Depolama Blobu Veri Katkıda Bulunanı gibi depolama hesabına yazma izni veren Azure IoT İşlemleri Arc uzantısı yönetilen kimliğine bir rol atayın. Daha fazla bilgi edinmek için bkz . Microsoft Entra Id kullanarak bloblara erişimi yetkilendirme.
DataflowEndpoint kaynağını oluşturun ve yönetilen kimlik kimlik doğrulama yöntemini belirtin.

İşlem deneyimi veri akışı uç noktası ayarları sayfasında Temel sekmesini ve ardından Sistem tarafından atanan yönetilen kimlik kimlik kimlik doğrulaması yöntemini>seçin.

Çoğu durumda hizmet hedef kitlesi belirtmeniz gerekmez. Hedef kitle belirtilmemesi, varsayılan hedef kitlenin depolama hesabınız kapsamında olduğu bir yönetilen kimlik oluşturur.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Sistem tarafından atanan yönetilen kimlik hedef kitlesini geçersiz kılmanız gerekiyorsa, ayarı belirtebilirsiniz audience .

Çoğu durumda hizmet hedef kitlesi belirtmeniz gerekmez. Hedef kitle belirtilmemesi, varsayılan hedef kitlenin depolama hesabınız kapsamında olduğu bir yönetilen kimlik oluşturur.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Erişim belirteci

Erişim belirteci kullanmak alternatif bir kimlik doğrulama yöntemidir. Bu yöntem, SAS belirteci ile bir Kubernetes gizli dizisi oluşturmanızı ve DataflowEndpoint kaynağındaki gizli diziye başvurmanızı gerektirir.

Azure Data Lake Storage 2. Nesil (ADLSv2) hesabı için SAS belirteci alma. Örneğin, depolama hesabınıza göz atmak için Azure portalını kullanın. Sol menüde Güvenlik + ağ Paylaşılan erişim imzası'nı> seçin. Gerekli izinleri ayarlamak için aşağıdaki tabloyu kullanın.

Parametre	Etkin ayar
İzin verilen hizmetler	Blob
İzin verilen kaynak türleri	Nesne, Kapsayıcı
İzin verilen izinler	Okuma, Yazma, Silme, Listeleme, Oluşturma

Güvenliği geliştirmek ve en düşük ayrıcalık ilkesini izlemek için, belirli bir kapsayıcı için sas belirteci oluşturabilirsiniz. Kimlik doğrulama hatalarını önlemek için SAS belirtecinde belirtilen kapsayıcının yapılandırmadaki veri akışı hedef ayarıyla eşleştiğinden emin olun.

İşlem deneyimi veri akışı uç noktası ayarları sayfasında Temel sekmesini ve ardından Kimlik doğrulama yöntemi Erişim belirteci'ni> seçin.

Access belirteci gizli anahtarı adına oluşturduğunuz erişim belirteci gizli dizi adını girin.

Gizli diziler hakkında daha fazla bilgi edinmek için bkz . Azure IoT İşlemleri Önizlemesi'nde gizli dizi oluşturma ve yönetme.

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

SAS belirteci ile bir Kubernetes gizli dizisi oluşturun.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Kullanıcı tarafından atanan yönetilen kimlik

Kimlik doğrulaması için kullanıcı tarafından yönetilen kimlik kullanmak için önce güvenli ayarların etkinleştirildiği Azure IoT İşlemleri'ni dağıtmanız gerekir. Daha fazla bilgi edinmek için bkz . Azure IoT İşlemleri Önizleme dağıtımında güvenli ayarları etkinleştirme.

Ardından, kullanıcı tarafından atanan yönetilen kimlik kimlik doğrulama yöntemini istemci kimliği, kiracı kimliği ve yönetilen kimliğin kapsamıyla birlikte belirtin.

İşlem deneyimi veri akışı uç noktası ayarları sayfasında Temel sekmesini ve ardından Kullanıcı tarafından atanan yönetilen kimlik kimlik kimlik doğrulama yöntemini>seçin.

Uygun alanlara kullanıcı tarafından atanan yönetilen kimlik istemci kimliğini ve kiracı kimliğini girin.

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      cliendId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Burada kapsam isteğe bağlıdır ve varsayılan olarak olur https://storage.azure.com/.default. Varsayılan kapsamı geçersiz kılmanız gerekiyorsa, Ayarı Bicep veya Kubernetes bildirimi aracılığıyla belirtin scope .

Gelişmiş ayarlar

Azure Data Lake Storage 2. Nesil uç noktası için toplu işlem gecikme süresi ve ileti sayısı gibi gelişmiş ayarlar ayarlayabilirsiniz.

İletilerin batching hedefe gönderilmeden önce en fazla ileti sayısını ve en yüksek gecikme süresini yapılandırmak için ayarları kullanın. Bu ayar, ağ bant genişliği için iyileştirme yapmak ve hedefe yönelik istek sayısını azaltmak istediğinizde kullanışlıdır.

Alan	Açıklama	Gerekli
`latencySeconds`	İletileri hedefe göndermeden önce bekilecek saniye sayısı üst sınırı. Varsayılan değer 60 saniyedir.	Hayır
`maxMessages`	Hedefe gönderilecek en fazla ileti sayısı. Varsayılan değer 100000 iletidir.	Hayır

Örneğin, en fazla ileti sayısını 1000 ve en fazla gecikme süresini 100 saniye olarak yapılandırmak için aşağıdaki ayarları kullanın:

İşlem deneyiminde veri akışı uç noktası için Gelişmiş sekmesini seçin.

ADLS V2 gelişmiş ayarlarını ayarlamak için işlem deneyiminin kullanıldığı ekran görüntüsü.

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Sonraki adımlar

Veri akışları hakkında daha fazla bilgi edinmek için bkz . Veri akışı oluşturma.

Aracılığıyla paylaş