InferenceConfig 클래스

  • 참조

배포에 사용되는 사용자 지정 환경에 대한 구성 설정을 나타냅니다.

유추 구성은 Model 배포 관련 작업에 대한 입력 매개 변수입니다.

구성 개체를 초기화합니다.

상속
builtins.object
InferenceConfig

생성자

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

매개 변수

Name Description
entry_script
필수
str

이미지에 대해 실행할 코드를 포함하는 로컬 파일의 경로입니다.
runtime
str

이미지에 사용할 런타임입니다. 현재 지원되는 런타임은 'spark-py' 및 'python'입니다.

Default value: None
conda_file
str

이미지에 사용할 conda 환경 정의가 포함된 로컬 파일의 경로입니다.

Default value: None
extra_docker_file_steps
str

이미지를 설정할 때 실행할 추가 Docker 단계가 포함된 로컬 파일의 경로입니다.

Default value: None
source_directory
str

이미지를 만들기 위한 모든 파일이 포함된 폴더의 경로입니다.

Default value: None
enable_gpu
bool

이미지에서 GPU 지원을 사용하도록 설정할지 여부를 나타냅니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 기본값은 False입니다.

Default value: None
description
str

이 이미지에 대한 설명입니다.

Default value: None
base_image
str

기본 이미지로 사용할 사용자 지정 이미지입니다. 기본 이미지가 지정되지 않으면 지정된 런타임 매개 변수를 기반으로 기본 이미지가 사용됩니다.

Default value: None
base_image_registry
ContainerRegistry

기본 이미지가 포함된 이미지 레지스트리입니다.

Default value: None
cuda_version
str

GPU 지원이 필요한 이미지에 설치할 CUDA 버전입니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 지원되는 버전은 9.0, 9.1 및 10.0입니다. enable_gpu가 설정된 경우 기본값은 '9.1'입니다.

Default value: None
environment
Environment

배포에 사용할 환경 개체입니다. 환경은 등록할 필요가 없습니다.

이 매개 변수 또는 다른 매개 변수를 제공하되 둘 다 제공하지 않습니다. 개별 매개 변수는 환경 개체에 대한 재정의 역할을 하지 않습니다. 예외는 entry_script, source_directory 및 description입니다.

Default value: None
entry_script
필수
str

이미지에 대해 실행할 코드를 포함하는 로컬 파일의 경로입니다.
runtime
필수
str

이미지에 사용할 런타임입니다. 현재 지원되는 런타임은 'spark-py' 및 'python'입니다.
conda_file
필수
str

이미지에 사용할 conda 환경 정의가 포함된 로컬 파일의 경로입니다.
extra_docker_file_steps
필수
str

이미지를 설정할 때 실행할 추가 Docker 단계가 포함된 로컬 파일의 경로입니다.
source_directory
필수
str

이미지를 만들기 위한 모든 파일이 포함된 폴더의 경로입니다.
enable_gpu
필수
bool

이미지에서 GPU 지원을 사용하도록 설정할지 여부를 나타냅니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 기본값은 False입니다.
description
필수
str

이 이미지에 대한 설명입니다.
base_image
필수
str

기본 이미지로 사용할 사용자 지정 이미지입니다. 기본 이미지가 지정되지 않으면 지정된 런타임 매개 변수를 기반으로 기본 이미지가 사용됩니다.
base_image_registry
필수
ContainerRegistry

기본 이미지가 포함된 이미지 레지스트리입니다.
cuda_version
필수
str

GPU 지원이 필요한 이미지에 설치할 CUDA 버전입니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 지원되는 버전은 9.0, 9.1 및 10.0입니다. enable_gpu가 설정된 경우 기본값은 '9.1'입니다.
environment
필수
Environment

배포에 사용할 환경 개체입니다. 환경은 등록할 필요가 없습니다.

이 매개 변수 또는 다른 매개 변수를 제공하되 둘 다 제공하지 않습니다. 개별 매개 변수는 환경 개체에 대한 재정의 역할을 하지 않습니다. 예외는 entry_script, source_directory 및 description입니다.

설명

다음 샘플은 InferenceConfig 개체를 만들고 이를 사용하여 모델을 배포하는 방법을 보여 줍니다.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

변수

Name Description
entry_script
str

이미지에 대해 실행할 코드를 포함하는 로컬 파일의 경로입니다.
runtime
str

이미지에 사용할 런타임입니다. 현재 지원되는 런타임은 'spark-py' 및 'python'입니다.
conda_file
str

이미지에 사용할 conda 환경 정의가 포함된 로컬 파일의 경로입니다.
extra_docker_file_steps
str

이미지를 설정할 때 실행할 추가 Docker 단계가 포함된 로컬 파일의 경로입니다.
source_directory
str

이미지를 만들기 위한 모든 파일이 포함된 폴더의 경로입니다.
enable_gpu
bool

이미지에서 GPU 지원을 사용하도록 설정할지 여부를 나타냅니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다.
azureml.core.model.InferenceConfig.description

이 이미지에 대한 설명입니다.
base_image
str

기본 이미지로 사용할 사용자 지정 이미지입니다. 기본 이미지가 지정되지 않으면 지정된 런타임 매개 변수를 기반으로 기본 이미지가 사용됩니다.
base_image_registry
ContainerRegistry

기본 이미지가 포함된 이미지 레지스트리입니다.
cuda_version
str

GPU 지원이 필요한 이미지에 설치할 CUDA 버전입니다. GPU 이미지는 Azure Container Instances, Azure Machine Learning 컴퓨팅, Azure Virtual Machines 및 Azure Kubernetes Service와 같은 Microsoft Azure Services에서 사용해야 합니다. 지원되는 버전은 9.0, 9.1 및 10.0입니다. enable_gpu가 설정된 경우 기본값은 '9.1'입니다.
azureml.core.model.InferenceConfig.environment

배포에 사용할 환경 개체입니다. 환경은 등록할 필요가 없습니다.

이 매개 변수 또는 다른 매개 변수를 제공하되 둘 다 제공하지 않습니다. 개별 매개 변수는 환경 개체에 대한 재정의 역할을 하지 않습니다. 예외는 entry_script, source_directory 및 description입니다.

메서드

build_create_payload

컨테이너 이미지에 대한 만들기 페이로드를 빌드합니다.
build_profile_payload

모델 패키지에 대한 프로파일링 페이로드를 빌드합니다.
validate_configuration

지정된 구성 값이 유효한지 확인합니다.

유효성 검사에 실패하면 WebserviceException이 발생합니다.
validation_script_content

ast.parse를 사용하여 스코어 스크립트의 구문이 유효한지 확인합니다.

유효성 검사에 실패하면 UserErrorException이 발생합니다.

build_create_payload

컨테이너 이미지에 대한 만들기 페이로드를 빌드합니다.

build_create_payload(workspace, name, model_ids)

매개 변수

Name Description
workspace
필수
Workspace

이미지를 만들 작업 영역 개체입니다.
name
필수
str

이미지의 이름입니다.
model_ids
필수
list[str]

이미지에 패키지할 모델 ID 목록입니다.

반환

형식 Description
dict

컨테이너 이미지 만들기 페이로드입니다.

예외

형식 Description
WebserviceException

build_profile_payload

모델 패키지에 대한 프로파일링 페이로드를 빌드합니다.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

매개 변수

Name Description
profile_name
필수
str

프로파일링 실행의 이름입니다.
input_data
str

프로파일링을 위한 입력 데이터입니다.

Default value: None
workspace
Workspace

모델을 프로파일링할 작업 영역 개체입니다.

Default value: None
models
list[Model]

모델 개체 목록입니다. 빈 목록일 수 있습니다.

Default value: None
dataset_id
str

프로파일링 실행에 대한 입력 데이터가 포함된 데이터 세트와 연결된 ID입니다.

Default value: None
container_resource_requirements
ContainerResourceRequirements

모델이 배포될 가장 큰 인스턴스에 대한 컨테이너 리소스 요구 사항

Default value: None
description
str

프로파일링 실행과 연결할 설명입니다.

Default value: None

반환

형식 Description
dict

모델 프로필 페이로드

예외

형식 Description
WebserviceException

validate_configuration

지정된 구성 값이 유효한지 확인합니다.

유효성 검사에 실패하면 WebserviceException이 발생합니다.

validate_configuration()

예외

형식 Description
WebserviceException

validation_script_content

ast.parse를 사용하여 스코어 스크립트의 구문이 유효한지 확인합니다.

유효성 검사에 실패하면 UserErrorException이 발생합니다.

validation_script_content()

예외

형식 Description
UserErrorException