Microsoft.MachineLearningServices workspaces/onlineEndpoints/deployments 2023-08-01-preview
Bicep リソース定義
workspaces/onlineEndpoints/deployments リソースの種類は、次を対象とする操作でデプロイできます。
- リソース グループの - リソース グループのデプロイ コマンド 参照
各 API バージョンで変更されたプロパティの一覧については、変更ログの
リソースの形式
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments リソースを作成するには、次の Bicep をテンプレートに追加します。
resource symbolicname 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-08-01-preview' = {
name: 'string'
location: 'string'
tags: {
tagName1: 'tagValue1'
tagName2: 'tagValue2'
}
sku: {
capacity: int
family: 'string'
name: 'string'
size: 'string'
tier: 'string'
}
kind: 'string'
parent: resourceSymbolicName
identity: {
type: 'string'
userAssignedIdentities: {
{customized property}: {}
}
}
properties: {
appInsightsEnabled: bool
codeConfiguration: {
codeId: 'string'
scoringScript: 'string'
}
dataCollector: {
collections: {
{customized property}: {
clientId: 'string'
dataCollectionMode: 'string'
dataId: 'string'
samplingRate: int
}
}
requestLogging: {
captureHeaders: [
'string'
]
}
rollingRate: 'string'
}
description: 'string'
egressPublicNetworkAccess: 'string'
environmentId: 'string'
environmentVariables: {
{customized property}: 'string'
}
instanceType: 'string'
livenessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
model: 'string'
modelMountPath: 'string'
properties: {
{customized property}: 'string'
}
readinessProbe: {
failureThreshold: int
initialDelay: 'string'
period: 'string'
successThreshold: int
timeout: 'string'
}
requestSettings: {
maxConcurrentRequestsPerInstance: int
maxQueueWait: 'string'
requestTimeout: 'string'
}
scaleSettings: {
scaleType: 'string'
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType: 'string'
// For remaining properties, see OnlineDeploymentProperties objects
}
}
OnlineDeploymentProperties オブジェクト
endpointComputeType プロパティを設定して、オブジェクトの種類を指定します。
Kubernetesを
endpointComputeType: 'Kubernetes'
containerResourceRequirements: {
containerResourceLimits: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
containerResourceRequests: {
cpu: 'string'
gpu: 'string'
memory: 'string'
}
}
マネージドの場合は、次を使用します。
endpointComputeType: 'Managed'
OnlineScaleSettings オブジェクト
scaleType プロパティを設定して、オブジェクトの種類を指定します。
既定 の場合は、次の値を使用します。
scaleType: 'Default'
TargetUtilizationを
scaleType: 'TargetUtilization'
maxInstances: int
minInstances: int
pollingInterval: 'string'
targetUtilizationPercentage: int
プロパティ値
workspaces/onlineEndpoints/deployments
名前 | 形容 | 価値 |
---|---|---|
名前 | リソース名 Bicepで子リソースの名前と種類 |
string (必須) |
場所 | リソースが存在する地理的な場所 | string (必須) |
タグ | リソース タグ。 | タグ名と値のディクショナリ。 テンプレート の |
sku | 自動スケールの ARM コントラクトに必要な SKU の詳細。 | SKU |
種類 | 同じ種類のリソースに対して異なる UX エクスペリエンスをレンダリングするためにポータルやツールなどで使用されるメタデータ。 | 糸 |
親 | Bicep では、子リソースの親リソースを指定できます。 このプロパティを追加する必要があるのは、子リソースが親リソースの外部で宣言されている場合のみです。 詳細については、「親リソースの外部 |
種類のリソースのシンボリック名: onlineEndpoints |
同一性 | マネージド サービス ID (システム割り当て ID またはユーザー割り当て ID) | ManagedServiceIdentity の |
プロパティ | [必須]エンティティの追加の属性。 | OnlineDeploymentProperties (必須) |
ManagedServiceIdentity
名前 | 形容 | 価値 |
---|---|---|
種類 | マネージド サービス ID の種類 (SystemAssigned 型と UserAssigned 型の両方が許可されます)。 | 'None' 'SystemAssigned' 'SystemAssigned,UserAssigned' 'UserAssigned' (必須) |
userAssignedIdentities | リソースに関連付けられているユーザー割り当て ID のセット。 userAssignedIdentities ディクショナリ キーは、'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName} という形式の ARM リソース ID になります。 ディクショナリ値は、要求内の空のオブジェクト ({}) にすることができます。 | UserAssignedIdentities の |
UserAssignedIdentities
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | UserAssignedIdentity の |
UserAssignedIdentity
このオブジェクトには、配置時に設定するプロパティは含まれません。 すべてのプロパティは ReadOnly です。
OnlineDeploymentProperties
名前 | 形容 | 価値 |
---|---|---|
appInsightsEnabled | true の場合は、Application Insights のログ記録を有効にします。 | bool |
codeConfiguration | エンドポイントデプロイのコード構成。 | CodeConfiguration |
dataCollector | mdc 構成では、mdc が null の場合は無効になります。 | DataCollector の |
形容 | エンドポイントのデプロイの説明。 | 糸 |
egressPublicNetworkAccess | [有効] の場合は、エグレス パブリック ネットワーク アクセスを許可します。 無効にすると、セキュリティで保護されたエグレスが作成されます。 既定値: 有効。 | 'Disabled' 'Enabled' |
environmentId | エンドポイントデプロイの環境仕様の ARM リソース ID。 | 糸 |
environmentVariables | デプロイの環境変数の構成。 | EndpointDeploymentPropertiesBaseEnvironmentVariables |
instanceType | コンピューティング インスタンスの種類。 | 糸 |
livenessProbe | Liveness プローブは、コンテナーの正常性を定期的に監視します。 | ProbeSettings の |
モデル | モデルへの URI パス。 | 糸 |
modelMountPath | カスタム コンテナーにモデルをマウントするパス。 | 糸 |
プロパティ | プロパティ ディクショナリ。 プロパティは追加できますが、削除または変更することはできません。 | EndpointDeploymentPropertiesBaseProperties の |
readinessProbe | 準備プローブは、コンテナーがトラフィックを処理する準備ができているかどうかを検証します。 プロパティと既定値は、liveness プローブと同じです。 | ProbeSettings の |
requestSettings | デプロイの要求設定。 | OnlineRequestSettings |
scaleSettings | デプロイのスケール設定。 null または指定されていない場合は、次の手順を行います。 既定では、KubernetesOnlineDeployment の TargetUtilizationScaleSettings に設定されます ManagedOnlineDeployment の DefaultScaleSettings にアクセスします。 |
OnlineScaleSettings |
endpointComputeType | オブジェクトの種類を設定する |
Kubernetes マネージド (必須) |
CodeConfiguration
名前 | 形容 | 価値 |
---|---|---|
codeId | コード資産の ARM リソース ID。 | 糸 |
scoringScript | [必須]起動時に実行するスクリプト。 例えば。 "score.py" | string (必須) 制約: 最小長 = 1 パターン = [a-zA-Z0-9_] |
DataCollector
名前 | 形容 | 価値 |
---|---|---|
コレクション | [必須]コレクションの構成。 各コレクションには、モデル データを収集するための独自の構成があり、コレクションの名前は任意の文字列にすることができます。 モデル データ コレクターは、ペイロード ログ記録またはカスタム ログ記録、またはその両方に使用できます。 コレクションの要求と応答はペイロード ログ用に予約され、他の要求はカスタム ログ用です。 |
DataCollectorCollections (必須) |
requestLogging | mdc の要求ログ構成には、すべてのコレクションの詳細なログ設定が含まれています。 これは省略可能です。 | 要求ログ の |
rollingRate | モデル データが BLOB ストレージに収集される場合は、データをすべて 1 つの BLOB ファイルに記録しないように、データを別のパスにロールする必要があります。 ローリング レートが時間の場合、すべてのデータが BLOB パス /yyyy/MM/dd/HH/ に収集されます。 1 日の場合、すべてのデータが BLOB パス /yyyy/MM/dd/ に収集されます。 ローリング パスのもう 1 つの利点は、モデル監視 UI でデータの時間範囲を非常に迅速に選択できることです。 |
'Day' 'Hour' 'Minute' 'Month' 'Year' |
DataCollectorCollections
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | コレクションの |
徴収
名前 | 形容 | 価値 |
---|---|---|
clientId | BLOB ストレージへのログ記録の収集に使用される msi クライアント ID。 null の場合、バックエンドは認証する登録済みのエンドポイント ID を選択します。 | 糸 |
dataCollectionMode | データ収集を有効または無効にします。 | 'Disabled' 'Enabled' |
dataId | データ資産の arm リソース ID。クライアント側では、データ資産が BLOB ストレージを指していることを確認し、バックエンドは BLOB ストレージにデータを収集します。 | 糸 |
samplingRate | コレクションのサンプリング レート。 サンプリング レート 1.0 は、既定で 100% のデータを収集します。 | int |
要求ログ
名前 | 形容 | 価値 |
---|---|---|
captureHeaders | ペイロード ログの場合、既定ではペイロードのみが収集されます。 指定したヘッダーも収集する必要がある場合は、バックエンドがペイロードと共にこれらのヘッダーを収集するように captureHeaders で設定できます。 | string[] |
EndpointDeploymentPropertiesBaseEnvironmentVariables
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | 糸 |
ProbeSettings
名前 | 形容 | 価値 |
---|---|---|
failureThreshold | 異常な状態を返す前に許可するエラーの数。 | int |
initialDelay | ISO 8601 形式の最初のプローブの前の遅延。 | 糸 |
時代 | ISO 8601 形式のプローブ間の時間の長さ。 | 糸 |
successThreshold | 正常な状態を返す前の成功したプローブの数。 | int |
タイムアウト | ISO 8601 形式のプローブ タイムアウト。 | 糸 |
EndpointDeploymentPropertiesBaseProperties
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | 糸 |
OnlineRequestSettings
名前 | 形容 | 価値 |
---|---|---|
maxConcurrentRequestsPerInstance | デプロイごとに許可されるノードあたりの最大同時要求数。 既定値は 1 です。 | int |
maxQueueWait | 要求が ISO 8601 形式のキューに保持される最大時間。 既定値は 500 ミリ秒です。 |
糸 |
requestTimeout | ISO 8601 形式のスコアリング タイムアウト。 既定値は 5,000 ミリ秒です。 |
糸 |
OnlineScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | オブジェクトの種類を設定する | 既定の を TargetUtilization (必須) |
DefaultScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | [必須]デプロイ スケーリング アルゴリズムの種類 | 'Default' (必須) |
TargetUtilizationScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | [必須]デプロイ スケーリング アルゴリズムの種類 | 'TargetUtilization' (必須) |
maxInstances | デプロイがスケーリングできるインスタンスの最大数。 クォータはmax_instances用に予約されます。 | int |
minInstances | 常に存在するインスタンスの最小数。 | int |
pollingInterval | ISO 8691 形式のポーリング間隔。 秒という低い精度の期間のみをサポートします。 | 糸 |
targetUtilizationPercentage | 自動スケーラーのターゲット CPU 使用率。 | int |
KubernetesOnlineDeployment
名前 | 形容 | 価値 |
---|---|---|
endpointComputeType | [必須]エンドポイントのコンピューティングの種類。 | 'Kubernetes' (必須) |
containerResourceRequirements | コンテナーのリソース要件 (cpu とメモリ)。 | ContainerResourceRequirements |
ContainerResourceRequirements
名前 | 形容 | 価値 |
---|---|---|
containerResourceLimits | コンテナー リソースの制限情報: | ContainerResourceSettings |
containerResourceRequests | コンテナー リソース要求情報: | ContainerResourceSettings |
ContainerResourceSettings
名前 | 形容 | 価値 |
---|---|---|
cpu | コンテナーの vCPU 要求/制限の数。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
gpu | コンテナーの Nvidia GPU カード要求/制限の数。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
記憶 | コンテナーのメモリ サイズ要求/制限。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
ManagedOnlineDeployment
名前 | 形容 | 価値 |
---|---|---|
endpointComputeType | [必須]エンドポイントのコンピューティングの種類。 | 'Managed' (必須) |
SKU
名前 | 形容 | 価値 |
---|---|---|
能力 | SKU でスケールアウト/インがサポートされている場合は、容量の整数を含める必要があります。 リソースに対してスケールアウト/インができない場合は、これを省略できます。 | int |
家族 | 同じ SKU に対して、サービスの世代が異なるハードウェアがある場合は、ここでキャプチャできます。 | 糸 |
名前 | SKU の名前。 例 - P3。 通常は文字 + 数字のコードです | string (必須) |
大きさ | SKU サイズ。 名前フィールドが層と他の値の組み合わせである場合、これはスタンドアロン コードになります。 | 糸 |
層 | このフィールドは、サービスに複数のレベルがあるが PUT では必要ない場合に、リソース プロバイダーによって実装される必要があります。 | 'Basic' 'Free' 'Premium' 'Standard' |
ARM テンプレート リソース定義
workspaces/onlineEndpoints/deployments リソースの種類は、次を対象とする操作でデプロイできます。
- リソース グループの - リソース グループのデプロイ コマンド 参照
各 API バージョンで変更されたプロパティの一覧については、変更ログの
リソースの形式
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments リソースを作成するには、次の JSON をテンプレートに追加します。
{
"type": "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments",
"apiVersion": "2023-08-01-preview",
"name": "string",
"location": "string",
"tags": {
"tagName1": "tagValue1",
"tagName2": "tagValue2"
},
"sku": {
"capacity": "int",
"family": "string",
"name": "string",
"size": "string",
"tier": "string"
},
"kind": "string",
"identity": {
"type": "string",
"userAssignedIdentities": {
"{customized property}": {}
}
},
"properties": {
"appInsightsEnabled": "bool",
"codeConfiguration": {
"codeId": "string",
"scoringScript": "string"
},
"dataCollector": {
"collections": {
"{customized property}": {
"clientId": "string",
"dataCollectionMode": "string",
"dataId": "string",
"samplingRate": "int"
}
},
"requestLogging": {
"captureHeaders": [ "string" ]
},
"rollingRate": "string"
},
"description": "string",
"egressPublicNetworkAccess": "string",
"environmentId": "string",
"environmentVariables": {
"{customized property}": "string"
},
"instanceType": "string",
"livenessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"model": "string",
"modelMountPath": "string",
"properties": {
"{customized property}": "string"
},
"readinessProbe": {
"failureThreshold": "int",
"initialDelay": "string",
"period": "string",
"successThreshold": "int",
"timeout": "string"
},
"requestSettings": {
"maxConcurrentRequestsPerInstance": "int",
"maxQueueWait": "string",
"requestTimeout": "string"
},
"scaleSettings": {
"scaleType": "string"
// For remaining properties, see OnlineScaleSettings objects
},
"endpointComputeType": "string"
// For remaining properties, see OnlineDeploymentProperties objects
}
}
OnlineDeploymentProperties オブジェクト
endpointComputeType プロパティを設定して、オブジェクトの種類を指定します。
Kubernetesを
"endpointComputeType": "Kubernetes",
"containerResourceRequirements": {
"containerResourceLimits": {
"cpu": "string",
"gpu": "string",
"memory": "string"
},
"containerResourceRequests": {
"cpu": "string",
"gpu": "string",
"memory": "string"
}
}
マネージドの場合は、次を使用します。
"endpointComputeType": "Managed"
OnlineScaleSettings オブジェクト
scaleType プロパティを設定して、オブジェクトの種類を指定します。
既定 の場合は、次の値を使用します。
"scaleType": "Default"
TargetUtilizationを
"scaleType": "TargetUtilization",
"maxInstances": "int",
"minInstances": "int",
"pollingInterval": "string",
"targetUtilizationPercentage": "int"
プロパティ値
workspaces/onlineEndpoints/deployments
名前 | 形容 | 価値 |
---|---|---|
種類 | リソースの種類 | 'Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments' |
apiVersion | リソース API のバージョン | '2023-08-01-preview' |
名前 | リソース名 JSON ARM テンプレートで子リソースの名前と型 |
string (必須) |
場所 | リソースが存在する地理的な場所 | string (必須) |
タグ | リソース タグ。 | タグ名と値のディクショナリ。 テンプレート の |
sku | 自動スケールの ARM コントラクトに必要な SKU の詳細。 | SKU |
種類 | 同じ種類のリソースに対して異なる UX エクスペリエンスをレンダリングするためにポータルやツールなどで使用されるメタデータ。 | 糸 |
同一性 | マネージド サービス ID (システム割り当て ID またはユーザー割り当て ID) | ManagedServiceIdentity の |
プロパティ | [必須]エンティティの追加の属性。 | OnlineDeploymentProperties (必須) |
ManagedServiceIdentity
名前 | 形容 | 価値 |
---|---|---|
種類 | マネージド サービス ID の種類 (SystemAssigned 型と UserAssigned 型の両方が許可されます)。 | 'None' 'SystemAssigned' 'SystemAssigned,UserAssigned' 'UserAssigned' (必須) |
userAssignedIdentities | リソースに関連付けられているユーザー割り当て ID のセット。 userAssignedIdentities ディクショナリ キーは、'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName} という形式の ARM リソース ID になります。 ディクショナリ値は、要求内の空のオブジェクト ({}) にすることができます。 | UserAssignedIdentities の |
UserAssignedIdentities
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | UserAssignedIdentity の |
UserAssignedIdentity
このオブジェクトには、配置時に設定するプロパティは含まれません。 すべてのプロパティは ReadOnly です。
OnlineDeploymentProperties
名前 | 形容 | 価値 |
---|---|---|
appInsightsEnabled | true の場合は、Application Insights のログ記録を有効にします。 | bool |
codeConfiguration | エンドポイントデプロイのコード構成。 | CodeConfiguration |
dataCollector | mdc 構成では、mdc が null の場合は無効になります。 | DataCollector の |
形容 | エンドポイントのデプロイの説明。 | 糸 |
egressPublicNetworkAccess | [有効] の場合は、エグレス パブリック ネットワーク アクセスを許可します。 無効にすると、セキュリティで保護されたエグレスが作成されます。 既定値: 有効。 | 'Disabled' 'Enabled' |
environmentId | エンドポイントデプロイの環境仕様の ARM リソース ID。 | 糸 |
environmentVariables | デプロイの環境変数の構成。 | EndpointDeploymentPropertiesBaseEnvironmentVariables |
instanceType | コンピューティング インスタンスの種類。 | 糸 |
livenessProbe | Liveness プローブは、コンテナーの正常性を定期的に監視します。 | ProbeSettings の |
モデル | モデルへの URI パス。 | 糸 |
modelMountPath | カスタム コンテナーにモデルをマウントするパス。 | 糸 |
プロパティ | プロパティ ディクショナリ。 プロパティは追加できますが、削除または変更することはできません。 | EndpointDeploymentPropertiesBaseProperties の |
readinessProbe | 準備プローブは、コンテナーがトラフィックを処理する準備ができているかどうかを検証します。 プロパティと既定値は、liveness プローブと同じです。 | ProbeSettings の |
requestSettings | デプロイの要求設定。 | OnlineRequestSettings |
scaleSettings | デプロイのスケール設定。 null または指定されていない場合は、次の手順を行います。 既定では、KubernetesOnlineDeployment の TargetUtilizationScaleSettings に設定されます ManagedOnlineDeployment の DefaultScaleSettings にアクセスします。 |
OnlineScaleSettings |
endpointComputeType | オブジェクトの種類を設定する |
Kubernetes マネージド (必須) |
CodeConfiguration
名前 | 形容 | 価値 |
---|---|---|
codeId | コード資産の ARM リソース ID。 | 糸 |
scoringScript | [必須]起動時に実行するスクリプト。 例えば。 "score.py" | string (必須) 制約: 最小長 = 1 パターン = [a-zA-Z0-9_] |
DataCollector
名前 | 形容 | 価値 |
---|---|---|
コレクション | [必須]コレクションの構成。 各コレクションには、モデル データを収集するための独自の構成があり、コレクションの名前は任意の文字列にすることができます。 モデル データ コレクターは、ペイロード ログ記録またはカスタム ログ記録、またはその両方に使用できます。 コレクションの要求と応答はペイロード ログ用に予約され、他の要求はカスタム ログ用です。 |
DataCollectorCollections (必須) |
requestLogging | mdc の要求ログ構成には、すべてのコレクションの詳細なログ設定が含まれています。 これは省略可能です。 | 要求ログ の |
rollingRate | モデル データが BLOB ストレージに収集される場合は、データをすべて 1 つの BLOB ファイルに記録しないように、データを別のパスにロールする必要があります。 ローリング レートが時間の場合、すべてのデータが BLOB パス /yyyy/MM/dd/HH/ に収集されます。 1 日の場合、すべてのデータが BLOB パス /yyyy/MM/dd/ に収集されます。 ローリング パスのもう 1 つの利点は、モデル監視 UI でデータの時間範囲を非常に迅速に選択できることです。 |
'Day' 'Hour' 'Minute' 'Month' 'Year' |
DataCollectorCollections
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | コレクションの |
徴収
名前 | 形容 | 価値 |
---|---|---|
clientId | BLOB ストレージへのログ記録の収集に使用される msi クライアント ID。 null の場合、バックエンドは認証する登録済みのエンドポイント ID を選択します。 | 糸 |
dataCollectionMode | データ収集を有効または無効にします。 | 'Disabled' 'Enabled' |
dataId | データ資産の arm リソース ID。クライアント側では、データ資産が BLOB ストレージを指していることを確認し、バックエンドは BLOB ストレージにデータを収集します。 | 糸 |
samplingRate | コレクションのサンプリング レート。 サンプリング レート 1.0 は、既定で 100% のデータを収集します。 | int |
要求ログ
名前 | 形容 | 価値 |
---|---|---|
captureHeaders | ペイロード ログの場合、既定ではペイロードのみが収集されます。 指定したヘッダーも収集する必要がある場合は、バックエンドがペイロードと共にこれらのヘッダーを収集するように captureHeaders で設定できます。 | string[] |
EndpointDeploymentPropertiesBaseEnvironmentVariables
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | 糸 |
ProbeSettings
名前 | 形容 | 価値 |
---|---|---|
failureThreshold | 異常な状態を返す前に許可するエラーの数。 | int |
initialDelay | ISO 8601 形式の最初のプローブの前の遅延。 | 糸 |
時代 | ISO 8601 形式のプローブ間の時間の長さ。 | 糸 |
successThreshold | 正常な状態を返す前の成功したプローブの数。 | int |
タイムアウト | ISO 8601 形式のプローブ タイムアウト。 | 糸 |
EndpointDeploymentPropertiesBaseProperties
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | 糸 |
OnlineRequestSettings
名前 | 形容 | 価値 |
---|---|---|
maxConcurrentRequestsPerInstance | デプロイごとに許可されるノードあたりの最大同時要求数。 既定値は 1 です。 | int |
maxQueueWait | 要求が ISO 8601 形式のキューに保持される最大時間。 既定値は 500 ミリ秒です。 |
糸 |
requestTimeout | ISO 8601 形式のスコアリング タイムアウト。 既定値は 5,000 ミリ秒です。 |
糸 |
OnlineScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | オブジェクトの種類を設定する | 既定の を TargetUtilization (必須) |
DefaultScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | [必須]デプロイ スケーリング アルゴリズムの種類 | 'Default' (必須) |
TargetUtilizationScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | [必須]デプロイ スケーリング アルゴリズムの種類 | 'TargetUtilization' (必須) |
maxInstances | デプロイがスケーリングできるインスタンスの最大数。 クォータはmax_instances用に予約されます。 | int |
minInstances | 常に存在するインスタンスの最小数。 | int |
pollingInterval | ISO 8691 形式のポーリング間隔。 秒という低い精度の期間のみをサポートします。 | 糸 |
targetUtilizationPercentage | 自動スケーラーのターゲット CPU 使用率。 | int |
KubernetesOnlineDeployment
名前 | 形容 | 価値 |
---|---|---|
endpointComputeType | [必須]エンドポイントのコンピューティングの種類。 | 'Kubernetes' (必須) |
containerResourceRequirements | コンテナーのリソース要件 (cpu とメモリ)。 | ContainerResourceRequirements |
ContainerResourceRequirements
名前 | 形容 | 価値 |
---|---|---|
containerResourceLimits | コンテナー リソースの制限情報: | ContainerResourceSettings |
containerResourceRequests | コンテナー リソース要求情報: | ContainerResourceSettings |
ContainerResourceSettings
名前 | 形容 | 価値 |
---|---|---|
cpu | コンテナーの vCPU 要求/制限の数。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
gpu | コンテナーの Nvidia GPU カード要求/制限の数。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
記憶 | コンテナーのメモリ サイズ要求/制限。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
ManagedOnlineDeployment
名前 | 形容 | 価値 |
---|---|---|
endpointComputeType | [必須]エンドポイントのコンピューティングの種類。 | 'Managed' (必須) |
SKU
名前 | 形容 | 価値 |
---|---|---|
能力 | SKU でスケールアウト/インがサポートされている場合は、容量の整数を含める必要があります。 リソースに対してスケールアウト/インができない場合は、これを省略できます。 | int |
家族 | 同じ SKU に対して、サービスの世代が異なるハードウェアがある場合は、ここでキャプチャできます。 | 糸 |
名前 | SKU の名前。 例 - P3。 通常は文字 + 数字のコードです | string (必須) |
大きさ | SKU サイズ。 名前フィールドが層と他の値の組み合わせである場合、これはスタンドアロン コードになります。 | 糸 |
層 | このフィールドは、サービスに複数のレベルがあるが PUT では必要ない場合に、リソース プロバイダーによって実装される必要があります。 | 'Basic' 'Free' 'Premium' 'Standard' |
Terraform (AzAPI プロバイダー) リソース定義
workspaces/onlineEndpoints/deployments リソースの種類は、次を対象とする操作でデプロイできます。
- リソース グループの
各 API バージョンで変更されたプロパティの一覧については、変更ログの
リソースの形式
Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments リソースを作成するには、次の Terraform をテンプレートに追加します。
resource "azapi_resource" "symbolicname" {
type = "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-08-01-preview"
name = "string"
location = "string"
parent_id = "string"
tags = {
tagName1 = "tagValue1"
tagName2 = "tagValue2"
}
identity {
type = "string"
identity_ids = []
}
body = jsonencode({
properties = {
appInsightsEnabled = bool
codeConfiguration = {
codeId = "string"
scoringScript = "string"
}
dataCollector = {
collections = {
{customized property} = {
clientId = "string"
dataCollectionMode = "string"
dataId = "string"
samplingRate = int
}
}
requestLogging = {
captureHeaders = [
"string"
]
}
rollingRate = "string"
}
description = "string"
egressPublicNetworkAccess = "string"
environmentId = "string"
environmentVariables = {
{customized property} = "string"
}
instanceType = "string"
livenessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
model = "string"
modelMountPath = "string"
properties = {
{customized property} = "string"
}
readinessProbe = {
failureThreshold = int
initialDelay = "string"
period = "string"
successThreshold = int
timeout = "string"
}
requestSettings = {
maxConcurrentRequestsPerInstance = int
maxQueueWait = "string"
requestTimeout = "string"
}
scaleSettings = {
scaleType = "string"
// For remaining properties, see OnlineScaleSettings objects
}
endpointComputeType = "string"
// For remaining properties, see OnlineDeploymentProperties objects
}
sku = {
capacity = int
family = "string"
name = "string"
size = "string"
tier = "string"
}
kind = "string"
})
}
OnlineDeploymentProperties オブジェクト
endpointComputeType プロパティを設定して、オブジェクトの種類を指定します。
Kubernetesを
endpointComputeType = "Kubernetes"
containerResourceRequirements = {
containerResourceLimits = {
cpu = "string"
gpu = "string"
memory = "string"
}
containerResourceRequests = {
cpu = "string"
gpu = "string"
memory = "string"
}
}
マネージドの場合は、次を使用します。
endpointComputeType = "Managed"
OnlineScaleSettings オブジェクト
scaleType プロパティを設定して、オブジェクトの種類を指定します。
既定 の場合は、次の値を使用します。
scaleType = "Default"
TargetUtilizationを
scaleType = "TargetUtilization"
maxInstances = int
minInstances = int
pollingInterval = "string"
targetUtilizationPercentage = int
プロパティ値
workspaces/onlineEndpoints/deployments
名前 | 形容 | 価値 |
---|---|---|
種類 | リソースの種類 | "Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments@2023-08-01-preview" |
名前 | リソース名 | string (必須) |
場所 | リソースが存在する地理的な場所 | string (必須) |
parent_id | このリソースの親であるリソースの ID。 | 種類のリソースの ID: onlineEndpoints |
タグ | リソース タグ。 | タグ名と値のディクショナリ。 |
sku | 自動スケールの ARM コントラクトに必要な SKU の詳細。 | SKU |
種類 | 同じ種類のリソースに対して異なる UX エクスペリエンスをレンダリングするためにポータルやツールなどで使用されるメタデータ。 | 糸 |
同一性 | マネージド サービス ID (システム割り当て ID またはユーザー割り当て ID) | ManagedServiceIdentity の |
プロパティ | [必須]エンティティの追加の属性。 | OnlineDeploymentProperties (必須) |
ManagedServiceIdentity
名前 | 形容 | 価値 |
---|---|---|
種類 | マネージド サービス ID の種類 (SystemAssigned 型と UserAssigned 型の両方が許可されます)。 | "SystemAssigned" "SystemAssigned,UserAssigned" "UserAssigned" (必須) |
identity_ids | リソースに関連付けられているユーザー割り当て ID のセット。 userAssignedIdentities ディクショナリ キーは、'/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{identityName} という形式の ARM リソース ID になります。 ディクショナリ値は、要求内の空のオブジェクト ({}) にすることができます。 | ユーザー ID ID の配列。 |
UserAssignedIdentities
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | UserAssignedIdentity の |
UserAssignedIdentity
このオブジェクトには、配置時に設定するプロパティは含まれません。 すべてのプロパティは ReadOnly です。
OnlineDeploymentProperties
名前 | 形容 | 価値 |
---|---|---|
appInsightsEnabled | true の場合は、Application Insights のログ記録を有効にします。 | bool |
codeConfiguration | エンドポイントデプロイのコード構成。 | CodeConfiguration |
dataCollector | mdc 構成では、mdc が null の場合は無効になります。 | DataCollector の |
形容 | エンドポイントのデプロイの説明。 | 糸 |
egressPublicNetworkAccess | [有効] の場合は、エグレス パブリック ネットワーク アクセスを許可します。 無効にすると、セキュリティで保護されたエグレスが作成されます。 既定値: 有効。 | "無効" "有効" |
environmentId | エンドポイントデプロイの環境仕様の ARM リソース ID。 | 糸 |
environmentVariables | デプロイの環境変数の構成。 | EndpointDeploymentPropertiesBaseEnvironmentVariables |
instanceType | コンピューティング インスタンスの種類。 | 糸 |
livenessProbe | Liveness プローブは、コンテナーの正常性を定期的に監視します。 | ProbeSettings の |
モデル | モデルへの URI パス。 | 糸 |
modelMountPath | カスタム コンテナーにモデルをマウントするパス。 | 糸 |
プロパティ | プロパティ ディクショナリ。 プロパティは追加できますが、削除または変更することはできません。 | EndpointDeploymentPropertiesBaseProperties の |
readinessProbe | 準備プローブは、コンテナーがトラフィックを処理する準備ができているかどうかを検証します。 プロパティと既定値は、liveness プローブと同じです。 | ProbeSettings の |
requestSettings | デプロイの要求設定。 | OnlineRequestSettings |
scaleSettings | デプロイのスケール設定。 null または指定されていない場合は、次の手順を行います。 既定では、KubernetesOnlineDeployment の TargetUtilizationScaleSettings に設定されます ManagedOnlineDeployment の DefaultScaleSettings にアクセスします。 |
OnlineScaleSettings |
endpointComputeType | オブジェクトの種類を設定する |
Kubernetes マネージド (必須) |
CodeConfiguration
名前 | 形容 | 価値 |
---|---|---|
codeId | コード資産の ARM リソース ID。 | 糸 |
scoringScript | [必須]起動時に実行するスクリプト。 例えば。 "score.py" | string (必須) 制約: 最小長 = 1 パターン = [a-zA-Z0-9_] |
DataCollector
名前 | 形容 | 価値 |
---|---|---|
コレクション | [必須]コレクションの構成。 各コレクションには、モデル データを収集するための独自の構成があり、コレクションの名前は任意の文字列にすることができます。 モデル データ コレクターは、ペイロード ログ記録またはカスタム ログ記録、またはその両方に使用できます。 コレクションの要求と応答はペイロード ログ用に予約され、他の要求はカスタム ログ用です。 |
DataCollectorCollections (必須) |
requestLogging | mdc の要求ログ構成には、すべてのコレクションの詳細なログ設定が含まれています。 これは省略可能です。 | 要求ログ の |
rollingRate | モデル データが BLOB ストレージに収集される場合は、データをすべて 1 つの BLOB ファイルに記録しないように、データを別のパスにロールする必要があります。 ローリング レートが時間の場合、すべてのデータが BLOB パス /yyyy/MM/dd/HH/ に収集されます。 1 日の場合、すべてのデータが BLOB パス /yyyy/MM/dd/ に収集されます。 ローリング パスのもう 1 つの利点は、モデル監視 UI でデータの時間範囲を非常に迅速に選択できることです。 |
"Day" "Hour" "Minute" "Month" "Year" |
DataCollectorCollections
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | コレクションの |
徴収
名前 | 形容 | 価値 |
---|---|---|
clientId | BLOB ストレージへのログ記録の収集に使用される msi クライアント ID。 null の場合、バックエンドは認証する登録済みのエンドポイント ID を選択します。 | 糸 |
dataCollectionMode | データ収集を有効または無効にします。 | "無効" "有効" |
dataId | データ資産の arm リソース ID。クライアント側では、データ資産が BLOB ストレージを指していることを確認し、バックエンドは BLOB ストレージにデータを収集します。 | 糸 |
samplingRate | コレクションのサンプリング レート。 サンプリング レート 1.0 は、既定で 100% のデータを収集します。 | int |
要求ログ
名前 | 形容 | 価値 |
---|---|---|
captureHeaders | ペイロード ログの場合、既定ではペイロードのみが収集されます。 指定したヘッダーも収集する必要がある場合は、バックエンドがペイロードと共にこれらのヘッダーを収集するように captureHeaders で設定できます。 | string[] |
EndpointDeploymentPropertiesBaseEnvironmentVariables
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | 糸 |
ProbeSettings
名前 | 形容 | 価値 |
---|---|---|
failureThreshold | 異常な状態を返す前に許可するエラーの数。 | int |
initialDelay | ISO 8601 形式の最初のプローブの前の遅延。 | 糸 |
時代 | ISO 8601 形式のプローブ間の時間の長さ。 | 糸 |
successThreshold | 正常な状態を返す前の成功したプローブの数。 | int |
タイムアウト | ISO 8601 形式のプローブ タイムアウト。 | 糸 |
EndpointDeploymentPropertiesBaseProperties
名前 | 形容 | 価値 |
---|---|---|
{カスタマイズされたプロパティ} | 糸 |
OnlineRequestSettings
名前 | 形容 | 価値 |
---|---|---|
maxConcurrentRequestsPerInstance | デプロイごとに許可されるノードあたりの最大同時要求数。 既定値は 1 です。 | int |
maxQueueWait | 要求が ISO 8601 形式のキューに保持される最大時間。 既定値は 500 ミリ秒です。 |
糸 |
requestTimeout | ISO 8601 形式のスコアリング タイムアウト。 既定値は 5,000 ミリ秒です。 |
糸 |
OnlineScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | オブジェクトの種類を設定する | 既定の を TargetUtilization (必須) |
DefaultScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | [必須]デプロイ スケーリング アルゴリズムの種類 | "Default" (必須) |
TargetUtilizationScaleSettings
名前 | 形容 | 価値 |
---|---|---|
scaleType | [必須]デプロイ スケーリング アルゴリズムの種類 | "TargetUtilization" (必須) |
maxInstances | デプロイがスケーリングできるインスタンスの最大数。 クォータはmax_instances用に予約されます。 | int |
minInstances | 常に存在するインスタンスの最小数。 | int |
pollingInterval | ISO 8691 形式のポーリング間隔。 秒という低い精度の期間のみをサポートします。 | 糸 |
targetUtilizationPercentage | 自動スケーラーのターゲット CPU 使用率。 | int |
KubernetesOnlineDeployment
名前 | 形容 | 価値 |
---|---|---|
endpointComputeType | [必須]エンドポイントのコンピューティングの種類。 | "Kubernetes" (必須) |
containerResourceRequirements | コンテナーのリソース要件 (cpu とメモリ)。 | ContainerResourceRequirements |
ContainerResourceRequirements
名前 | 形容 | 価値 |
---|---|---|
containerResourceLimits | コンテナー リソースの制限情報: | ContainerResourceSettings |
containerResourceRequests | コンテナー リソース要求情報: | ContainerResourceSettings |
ContainerResourceSettings
名前 | 形容 | 価値 |
---|---|---|
cpu | コンテナーの vCPU 要求/制限の数。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
gpu | コンテナーの Nvidia GPU カード要求/制限の数。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
記憶 | コンテナーのメモリ サイズ要求/制限。 詳細情報: https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/ |
糸 |
ManagedOnlineDeployment
名前 | 形容 | 価値 |
---|---|---|
endpointComputeType | [必須]エンドポイントのコンピューティングの種類。 | "マネージド" (必須) |
SKU
名前 | 形容 | 価値 |
---|---|---|
能力 | SKU でスケールアウト/インがサポートされている場合は、容量の整数を含める必要があります。 リソースに対してスケールアウト/インができない場合は、これを省略できます。 | int |
家族 | 同じ SKU に対して、サービスの世代が異なるハードウェアがある場合は、ここでキャプチャできます。 | 糸 |
名前 | SKU の名前。 例 - P3。 通常は文字 + 数字のコードです | string (必須) |
大きさ | SKU サイズ。 名前フィールドが層と他の値の組み合わせである場合、これはスタンドアロン コードになります。 | 糸 |
層 | このフィールドは、サービスに複数のレベルがあるが PUT では必要ない場合に、リソース プロバイダーによって実装される必要があります。 | "Basic" "Free" "Premium" "Standard" |