Instalar o SDK do Azure Machine Learning para Python

Este artigo é um guia para diferentes opções de instalação para o SDK.

Pré-requisitos


Instalação padrão

azureml-coreUtilize.

pip install azureml-core

Em seguida, instale quaisquer outros pacotes necessários para o seu trabalho específico.

Instalação de atualização

Gorjeta

Recomendamos que você sempre mantenha o azureml-core atualizado para a versão mais recente.

Atualize uma versão anterior:

pip install --upgrade azureml-core

Verificar versão

Verifique a versão do SDK:

pip show azureml-core

Para ver todos os pacotes em seu ambiente:

pip list

Você também pode mostrar a versão do SDK em Python, mas esta versão não inclui a versão secundária.

import azureml.core
print(azureml.core.VERSION)

Para saber mais sobre como configurar seu ambiente de desenvolvimento para o serviço Azure Machine Learning, consulte Configurar seu ambiente de desenvolvimento.

Outros pacotes azureml

O SDK contém muitos outros pacotes opcionais que você pode instalar. Isso inclui dependências que não são necessárias para todos os casos de uso, portanto, não são incluídas na instalação padrão para evitar o inchaço do ambiente. A tabela a seguir descreve os pacotes, seus casos de uso e comando para instalar, atualizar e verificar a versão.

Pacote adicional Caso de utilização Instalar/Atualizar/Mostrar versão
azureml-automl-core Contém as principais classes de aprendizado de máquina automatizadas para o Azure Machine Learning.
Este pacote é usado por azureml-train-automl-client e azureml-train-automl-runtime.
pip install azureml-automl-core
pip install --upgrade azureml-automl-core
pip show azureml-automl-core
azureml-accel-models Acelera redes neurais profundas em FPGAs com o Serviço de Modelos Acelerados por Hardware do Azure ML. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-train-automl Fornece classes para criar e executar experimentos automatizados de aprendizado de máquina. Também instala pacotes comuns de ciência de dados, incluindo pandas, numpye scikit-learn.

Se você deseja enviar ML automatizado executado em uma computação remota e não precisa fazer nenhum ML localmente, recomendamos usar o pacote thin client, azureml-train-automl-client, que faz parte do azureml-sdk.

Consulte as diretrizes adicionais de casos de uso para obter mais informações sobre como instalar e trabalhar com o SDK completo automl ou seu thin client, azureml-train-automl-client.

Semelhante ao padrão Python, uma versão para trás e uma versão para frente compatibilidade é suportada, mas apenas para o pacote completo azureml-train-automl . Por exemplo, se um modelo for treinado com o SDK versão 1.29.0, você poderá inferir com versões do SDK entre 1.28.0 e 1.30.0.
Para o ambiente de conda local:
pip install azureml-train-automl
pip install --upgrade azureml-train-automl pip install show azureml-train-automl

Thin client para computação remota:
pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip install show azureml-train-automl-client
azureml-contrib Instala pacotes azureml-contrib-*, que incluem funcionalidade experimental ou recursos de visualização. pip install azureml-contrib
pip install --upgrade azureml-contrib
pip show azureml-contrib
azureml-datadrift Contém funcionalidade para detetar quando os dados de treinamento do modelo se desviaram de seus dados de pontuação. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-interpret Usado para interpretabilidade de modelos, incluindo importância de recursos e classes para modelos de caixa preta e caixa branca. pip azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-widgets Contém pacotes principais, módulos e classes para o Azure Machine Learning. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-contrib-services Fornece funcionalidade para pontuar scripts para solicitar acesso HTTP bruto. pip install azureml-contrib-services
pip install --upgrade azureml-contrib-services
pip show azureml-contrib-services
azureml-tensorboard Fornece classes e métodos para exportar o histórico de execução do experimento e iniciar o TensorBoard para visualizar o desempenho e a estrutura do experimento. pip install azureml-tensorboard
pip install --upgrade azureml-tensorboard
pip show azureml-tensorboard
azureml-mlflow Contém funcionalidade que integra o Azure Machine Learning com MLFlow. pip install azureml-mlflow
pip install --upgrade azureml-mlflow
pip show azureml-mlflow
azureml-automl-runtime Contém classes de aprendizado de máquina automatizadas para executar execuções no Azure Machine Learning. pip install azureml-automl-runtime
pip install --upgrade azureml-automl-runtime
pip show azureml-automl-runtime
azureml-widgets Contém funcionalidade para visualizar o progresso das execuções de treinamento de aprendizado de máquina no Jupyter Notebooks. pip install azureml-widgets
pip install --upgrade azureml-widgets
pip show azureml-widgets
azureml-train-restclients-hyperdrive Contém classes necessárias para criar HyperDriveRuns com azureml-train-core. pip install azureml-train-restclients-hyperdrive
pip install --upgrade azureml-train-restclients-hyperdrive
pip show azureml-train-restclients-hyperdrive
azureml-train-core Contém classes de estimador base e a classe de estimador genérico, estimadores usados no treinamento de Rede Neural Profunda (DNN), estimadores usados no treinamento Scikit-Learn, módulos e classes que suportam o ajuste de hiperparâmetros. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-train-automl-runtime Contém a funcionalidade que representa os principais componentes automatizados de ML e tempo de execução no Azure Machine Learning. pip install azureml-train-automl-runtime
pip install --upgrade azureml-train-automl-runtime
pip show azureml-train-automl-runtime
azureml-train-automl-client Contém pacotes principais, módulos e classes para o Azure Machine Learning. pip install azureml-train-automl-client
pip install --upgrade azureml-train-automl-client
pip show azureml-train-automl-client
azureml-telemetry Este pacote é usado para coletar dados de telemetria, como mensagens de log, métricas, eventos e mensagens de atividade. pip install azureml-telemetry
pip install --upgrade azureml-telemetry
pip show azureml-telemetry
azureml-synapse Contém o comando Magic para gerenciar a sessão Synapse e enviar código e o widget SparkMonitor para monitorar o progresso do trabalho de faísca, tanto para Jupyter quanto para JupyterLab pip install azureml-synapse
pip install --upgrade azureml-synapse
pip show azureml-synapse
azureml-sdk O pacote Thos é usado para criar e executar fluxos de trabalho de aprendizado de máquina no serviço Azure Machine Learning pip install azureml-sdk
pip install --upgrade azureml-sdk
pip show azureml-sdk
azureml-pipeline-steps Contém etapas pré-criadas que podem ser executadas em um Pipeline do Azure Machine Learning. pip install azureml-pipeline-steps
pip install --upgrade azureml-pipeline-steps
pip show azureml-pipeline-steps
azureml-pipeline-core Contém a funcionalidade principal para pipelines do Azure Machine Learning, que são fluxos de trabalho configuráveis de aprendizado de máquina. pip install azureml-pipeline-core
pip install --upgrade azureml-pipeline-core
pip show azureml-pipeline-core
azureml-pipeline Este pacote é usado para criar, otimizar e gerenciar fluxos de trabalho de aprendizado de máquina pip install azureml-pipeline
pip install --upgrade azureml-pipeline
pip show azureml-pipeline
azureml-opendatasets Contém a funcionalidade principal para pipelines do Azure Machine Learning, que são fluxos de trabalho configuráveis de aprendizado de máquina. pip install azureml-opendatasets
pip install --upgrade azureml-opendatasets
pip show azureml-opendatasets
azureml-interpret Contém funcionalidade para trabalhar com a interpretabilidade do modelo no Azure Machine Learning. pip install azureml-interpret
pip install --upgrade azureml-interpret
pip show azureml-interpret
azureml-defaults Este pacote é um metapacote usado internamente pelo Azure Machine Learning. pip install azureml-defaults
pip install --upgrade azureml-defaults
pip show azureml-defaults
azureml-dataset-runtime O objetivo deste pacote é coordenar dependências dentro de pacotes AzureML. Este pacote é interno e não se destina a ser usado diretamente. pip install azureml-dataset-runtime
pip install --upgrade azureml-dataset-runtime
pip show azureml-dataset-runtime
azureml-datadrift Contém funcionalidade para detetar quando os dados de treinamento do modelo se desviaram de seus dados de pontuação. pip install azureml-datadrift
pip install --upgrade azureml-datadrift
pip show azureml-datadrift
azureml-contrib-server Este pacote é um serviço HTTP local usado para expor um subconjunto da funcionalidade fornecida pelo SDK do AzureML para extensões do VS Tools for AI (VSCode e Visual Studio) pip install azureml-contrib-server
pip install --upgrade azureml-contrib-server
pip show azureml-contrib-server
azureml-contrib-run Este pacote é usado para conter o código de integração do AzureML com o Mlflow. pip install azureml-core
pip install --upgrade azureml-core
pip show azureml-core
azureml-contrib-reinforcementlearning Contém funcionalidade para criar um destino de computação do Windows no Azure Machine Learning. pip install azureml-contrib-reinforcementlearning
pip install --upgrade azureml-contrib-reinforcementlearning
pip show azureml-contrib-reinforcementlearning
azureml-contrib-pipeline-steps Contém módulos e classes para etapas especializadas do Pipeline do Azure Machine Learning e configuração associada. pip install azureml-contrib-pipeline-steps
pip install --upgrade azureml-contrib-pipeline-steps
pip show azureml-contrib-pipeline-steps
azureml-contrib-notebook Contém extensões para trabalhar com blocos de anotações Jupyter no Azure Machine Learning. pip install azureml-contrib-notebook
pip install --upgrade azureml-contrib-notebook
pip show azureml-contrib-notebook
azureml-contrib-gbdt Este pacote contém o estimador LightGBM. pip install azureml-contrib-gbdt
pip install --upgrade azureml-contrib-gbdt
pip show azureml-contrib-gbdt
azureml-contrib-functions Contém funcionalidade para empacotar modelos do Azure Machine Learning para implantação no Azure Functions. pip install azureml-contrib-functions
pip install --upgrade azureml-contrib-functions
pip show azureml-contrib-functions
azureml-contrib-fairness Este pacote dá suporte ao uso de painéis de avaliação de equidade no Azure Machine Learning Studio pip install azureml-contrib-fairness
pip install --upgrade azureml-contrib-fairness
pip show azureml-contrib-fairness
azureml-contrib-dataset Contém funcionalidade especializada para trabalhar com objetos Dataset no Azure Machine Learning. pip install azureml-contrib-dataset
pip install --upgrade azureml-contrib-dataset
pip show azureml-contrib-dataset
azureml-contrib-automl-pipeline-steps Contém etapas pré-criadas que podem ser executadas em um Pipeline do Azure Machine Learning. pip install azureml-contrib-automl-pipeline-steps
pip install --upgrade azureml-contrib-automl-pipeline-steps
pip show azureml-contrib-automl-pipeline-steps
azureml-contrib-automl-dnn-vision Este pacote destina-se apenas a ser usado por scripts gerados pelo sistema AutoML. Para instalar no Windows, os pacotes "torch" e "torchvision" devem ser instalados separadamente antes deste pacote. pip install azureml-contrib-automl-dnn-vision
pip install --upgrade azureml-contrib-automl-dnn-vision
pip show azureml-contrib-automl-dnn-vision
azureml-contrib-automl-dnn-forecasting Pacote comum da extensão CLI do Azure ML. Comum em azure-cli-ml e azure-cli-ml-preview. pip install azureml-contrib-automl-dnn-forecasting
pip install --upgrade azureml-contrib-automl-dnn-forecasting
pip show azureml-contrib-automl-dnn-forecasting
azureml-contrib-aisc AzureML Contrib for AzureML AI Super Computer compute target. AISCCompute é uma infraestrutura de computação de IA gerenciada, que pode ser anexada a um espaço de trabalho pelo administrador do cluster. pip install azureml-contrib-aisc
pip install --upgrade azureml-contrib-aisc
pip show azureml-contrib-aisc
azureml-cli-common Pacote comum da extensão CLI do Azure ML. Comum em azure-cli-ml e azure-cli-ml-preview. pip install azureml-cli-common
pip install --upgrade azureml-cli-common
pip show azureml-cli-common
azureml-automl-dnn-nlp Este pacote destina-se apenas a ser usado por scripts gerados pelo sistema AutoML. pip install azureml-automl-dnn-nlp
pip install --upgrade azureml-automl-dnn-nlp
pip show azureml-automl-dnn-nlp
azureml-accel-models Acelere redes neurais profundas em FPGAs com o Serviço de Modelos Acelerados por Hardware do Azure ML. pip install azureml-accel-models
pip install --upgrade azureml-accel-models
pip show azureml-accel-models
azureml-inference-server-http Este pacote permite Desenvolvimento Local, Integração CI/CD, Rotas de Servidor. pip install azureml-inference-server-http
pip install --upgrade azureml-inference-server-http
pip show azureml-inference-server-http
azure-ml-component Este pacote contém funcionalidade para criar e gerenciar componentes do Azure Machine Learning, criar e enviar pipelines usando componentes pip install azure-ml-component
pip install --upgrade azure-ml-component
pip show azure-ml-component
azureml-pipeline-wrapper Este pacote contém funcionalidade para criar e gerenciar módulos do Azure Machine Learning, criar e enviar pipelines usando módulos pip install azureml-pipeline-wrapper
pip install --upgrade azureml-pipeline-wrapper
pip show azureml-pipeline-wrapper
azureml-designer-cv-modules Módulos para pré-processar e transformar imagens, como cortar, preencher ou redimensionar. pip install azureml-designer-cv-modules
pip install --upgrade azureml-designer-cv-modules
pip show azureml-designer-cv-modules
azureml-designer-pytorch-modules Módulos para treinar e inferir modelos de classificação de imagens com base no framework pytorch. pip install azureml-designer-pytorch-modules
pip install --upgrade azureml-designer-pytorch-modules
pip show azureml-designer-pytorch-modules
azureml-designer-vowpal-wabbit-modules Módulos para treinar e inferir modelos baseados no framework Vowpal Wabbit. pip install azureml-designer-vowpal-wabbit-modules
pip install --upgrade azureml-designer-vowpal-wabbit-modules
pip show azureml-designer-vowpal-wabbit-modules
azureml-designer-classic-modules Uma variedade de módulos para processamento de dados, treinamento de modelos, inferência e avaliação. pip install azureml-designer-classic-modules
pip install --upgrade azureml-designer-classic-modules
pip show azureml-designer-classic-modules
azureml-designer-recommender-modules Módulos para treinar e inferir modelos de recomendação baseados em redes neurais profundas. pip install azureml-designer-recommender-modules
pip install --upgrade azureml-designer-recommender-modules
pip show azureml-designer-recommender-modules
azureml-designer-internal Funcionalidades internas fornecidas para módulos integrados. pip install azureml-designer-internal
pip install --upgrade azureml-designer-internal
pip show azureml-designer-internal
azureml-designer-core Principais funcionalidades para definição de tipo de dados, data io e funções usadas com frequência. pip install azureml-designer-core
pip install --upgrade azureml-designer-core
pip show azureml-designer-core
azureml-designer-datatransform-modules Módulos para transformar o conjunto de dados, como aplicando operações matemáticas, consultas sql, recorte de outliers ou geração de um relatório de estatísticas. pip install azureml-designer-datatransform-modules
pip install --upgrade azureml-designer-datatransform-modules
pip show azureml-designer-datatransform-modules
azureml-designer-dataio-modules Módulos para carregar dados no Azure Machine Learning Designer e gravar dados no armazenamento baseado em nuvem. pip install azureml-designer-dataio-modules
pip install --upgrade azureml-designer-dataio-modules
pip show azureml-designer-dataio-modules
azureml-designer-serving Fornecer funcionalidades para invocar módulos internos no serviço de implantação. pip install azureml-designer-serving
pip install --upgrade azureml-designer-serving
pip show azureml-designer-serving
azureml-contrib-datadrift Contém funcionalidade para deteção de desvio de dados para vários conjuntos de dados usados no aprendizado de máquina, incluindo conjuntos de dados de treinamento e conjunto de dados de pontuação. pip install azureml-contrib-datadrift
pip install --upgrade azureml-contrib-datadrift
pip show azureml-contrib-datadrift
azureml-contrib-explain-model Contém funcionalidade experimental para o pacote azureml-explain-model, que oferece uma variedade de serviços para a interpretabilidade do modelo de aprendizado de máquina. pip install azureml-contrib-explain-model
pip install --upgrade azureml-contrib-explain-model
pip show azureml-contrib-explain-model
azureml-contrib-opendatasets Este pacote fornece um conjunto de APIs para consumir os Conjuntos de Dados Abertos do Azure. pip install azureml-contrib-opendatasets
pip install --upgrade azureml-contrib-opendatasets
pip show azureml-contrib-opendatasets
azureml-train-widgets Contém widgets para Jupyter Notebooks para acompanhar visualmente suas corridas. pip install azureml-train-widgets
pip install --upgrade azureml-train-widgets
pip show azureml-train-widgets

Para obter mais detalhes sobre os pacotes acima, consulte AzureML no pypi.

Orientação adicional para casos de uso

Se o seu caso de uso for descrito abaixo, observe as orientações e as ações recomendadas.

Caso de utilização Orientação
Ao utilizar automl  Instale o SDK completoazureml-train-automl em um novo ambiente Python de 64 bits. Um novo ambiente de 64 bits é necessário devido a uma dependência da estrutura LightGBM . Este pacote instala e fixa versões específicas de pacotes de ciência de dados para compatibilidade, o que requer um ambiente limpo.

O pacote thin client, azureml-train-automl-client, não instala pacotes adicionais de ciência de dados nem requer um ambiente Python limpo. Recomendamos azureml-train-automl-client se você só precisa enviar execuções automatizadas de ML para uma computação remota e não precisa enviar execuções locais ou baixar seu modelo localmente.

Uma versão retroativa e uma versão avançada só são suportadas para modelos treinados com o pacote completo azureml-train-automl . Por exemplo, se um modelo for treinado com o SDK versão 1.29.0, você poderá inferir com versões do SDK entre 1.28.0 e 1.30.0.
Usando o Azure Databricks No ambiente do Azure Databricks, use as fontes de biblioteca detalhadas neste guia para instalar o SDK. Além disso, consulte estas dicas para obter mais informações sobre como trabalhar com o SDK do Azure Machine Learning para Python no Azure Databricks.
Usando a Máquina Virtual de Ciência de Dados do Azure As Máquinas Virtuais de Ciência de Dados do Azure criadas após 27 de setembro de 2018 vêm com o SDK do Python pré-instalado.
Executando tutoriais ou blocos de anotações do Azure Machine Learning Se você estiver usando uma versão mais antiga do SDK do que a mencionada no tutorial ou bloco de anotações, você deve atualizar seu SDK. Algumas funcionalidades nos tutoriais e blocos de anotações podem exigir pacotes Python adicionais, como matplotlib, scikit-learnou pandas. As instruções em cada tutorial e bloco de anotações mostrarão quais pacotes são necessários.

Resolução de Problemas

  • Instalação Pip: Não é garantido que as dependências sejam consistentes com a instalação de linha única:

    Esta é uma limitação conhecida do pip, pois ele não tem um resolvedor de dependência funcional quando você instala como uma única linha. A primeira dependência única é a única que analisa.

    No código azureml-datadrift a seguir e azureml-train-automl ambos são instalados usando uma instalação pip de linha única.

      pip install azureml-datadrift, azureml-train-automl
    

    Para este exemplo, digamos que azureml-datadrift requer a versão > 1.0 e azureml-train-automl requer a versão < 1.2. Se a versão mais recente do azureml-datadrift for 1.3, ambos os pacotes serão atualizados para 1.3, independentemente do requisito do azureml-train-automl pacote para uma versão mais antiga.

    Para garantir que as versões apropriadas sejam instaladas para seus pacotes, instale usando várias linhas, como no código a seguir. A ordem não é um problema aqui, já que pip explicitamente faz downgrades como parte da próxima chamada de linha. E assim, as dependências de versão apropriadas são aplicadas.

       pip install azureml-datadrift
       pip install azureml-train-automl 
    
  • Pacote de explicação não garantido para ser instalado ao instalar o azureml-train-automl-client:

    Ao executar uma execução remota do AutoML com a explicação do modelo habilitada, você verá uma mensagem de erro "Instale o pacote azureml-explain-model para obter explicações do modelo". Este é um problema conhecido. Como solução alternativa, siga uma das etapas abaixo:

    1. Instale azureml-explain-model localmente.
        pip install azureml-explain-model
    
    1. Desative totalmente o recurso de explicabilidade passando model_explainability=False na configuração do AutoML.
        automl_config = AutoMLConfig(task = 'classification',
                               path = '.',
                               debug_log = 'automated_ml_errors.log',
                               compute_target = compute_target,
                               run_configuration = aml_run_config,
                               featurization = 'auto',
                               model_explainability=False,
                               training_data = prepped_data,
                               label_column_name = 'Survived',
                               **automl_settings)
    
  • Erros do Panda: normalmente vistos durante o AutoML Experiment:

    Ao configurar manualmente seu ambiente usando pip, você pode notar erros (especialmente de pandas) devido a versões de pacote não suportadas sendo instaladas.

    Por exemplo, ModuleNotFoundError: No module named 'pandas.core.internals.managers'; 'pandas.core.internals' is not a package

    Para evitar tais erros, instale o SDK do AutoML usando o automl_setup.cmd:

    1. Abra um prompt do Anaconda e clone o repositório GitHub para um conjunto de blocos de anotações de exemplo.
    git clone https://github.com/Azure/MachineLearningNotebooks.git
    
    1. cd para a pasta how-to-use-azureml/automated-machine-learning onde os blocos de anotações de exemplo foram extraídos e executados:
    automl_setup
    
  • KeyError: 'marca' ao executar o AutoML na computação local ou no cluster do Azure Databricks

    Se um novo ambiente foi criado após 10 de junho de 2020, usando o SDK 1.7.0 ou anterior, o treinamento pode falhar com esse erro devido a uma atualização no pacote py-cpuinfo. (Os ambientes criados em ou antes de 10 de junho de 2020 não são afetados, assim como os experimentos executados em computação remota porque as imagens de treinamento em cache são usadas.) Para contornar esse problema, execute uma das duas etapas a seguir:

    • Atualize a versão do SDK para 1.8.0 ou posterior (isso também faz o downgrade do py-cpuinfo para 5.0.0):

      pip install --upgrade azureml-sdk[automl]
      
    • Faça o downgrade da versão instalada do py-cpuinfo para 5.0.0:

      pip install py-cpuinfo==5.0.0
      
  • Mensagem de erro: Não é possível desinstalar 'PyYAML'

    SDK do Azure Machine Learning para Python: o PyYAML é um distutils projeto instalado. Portanto, não podemos determinar com precisão quais arquivos pertencem a ele se houver uma desinstalação parcial. Para continuar a instalar o SDK ignorando esse erro, use:

    pip install --upgrade azureml-sdk[notebooks,automl] --ignore-installed PyYAML
    
  • Falha na instalação do SDK do Azure Machine Learning com uma exceção: ModuleNotFoundError: Nenhum módulo chamado 'ruamel' ou 'ImportError: Nenhum módulo chamado ruamel.yaml'

    Esse problema está sendo encontrado com a instalação do SDK do Azure Machine Learning para Python no pip mais recente (>20.1.1) no ambiente base conda para todas as versões lançadas do SDK do Azure Machine Learning para Python. Consulte as seguintes soluções alternativas:

    • Evite instalar o Python SDK no ambiente base conda, em vez disso, crie seu ambiente conda e instale o SDK nesse ambiente de usuário recém-criado. O pip mais recente deve funcionar nesse novo ambiente de conda.

    • Para criar imagens no docker, onde você não pode se afastar do ambiente base conda, fixe pip<=20.1.1 no arquivo docker.

    conda install -c r -y conda python=3.8 pip=20.1.1
    

Próximos passos

Experimente estas próximas etapas para saber como usar o SDK do serviço Azure Machine Learning para Python:

  1. Leia a visão geral do SDK do Azure Machine Learnin Python para saber mais sobre as principais classes e padrões de design com exemplos de código.
  2. Siga o tutorial Introdução ao Python do Azure Machine Learning para começar a criar experimentos e modelos.