Compartilhar modelos entre workspaces

O Azure Databricks é compatível com o compartilhamento de modelos em vários workspaces. Por exemplo, você pode desenvolver e registrar um modelo em um workspace de desenvolvimento e, em seguida, acessá-lo e compará-lo com modelos em um workspace de produção separado. Isso é útil quando várias equipes compartilham o acesso a modelos ou quando sua organização tem vários workspaces para lidar com diferentes fases de desenvolvimento. Para o desenvolvimento e a implantação de modelo entre workspaces, o Databricks recomenda a abordagem de código de implantação, em que o código de treinamento do modelo é implantado em vários ambientes.

Em situações de vários espaços de trabalho, você pode acessar modelos nos espaços de trabalho do Azure Databricks usando um registro de modelo remoto. Por exemplo, os cientistas de dados poderiam acessar o registro do modelo de produção com acesso somente leitura para comparar os modelos em desenvolvimento com os modelos de produção atuais. Um exemplo de configuração de vários workspaces é mostrado abaixo.

O acesso ao registro remoto é controlado por tokens. Cada usuário ou script que precisa ter acesso cria um token de acesso pessoal no registro remoto e copia esse token para o gerenciador de segredos do respectivo workspace local. Cada solicitação de API enviada ao workspace remoto do registro deve incluir o token de acesso. O MLflow fornece um mecanismo simples para especificar os segredos a serem usados ao executar operações de registro de modelo.

Todos os métodos de API fluente e de cliente para registro de modelo têm suporte para workspaces remotos.

Requisitos

Usar um registro de modelo entre workspaces requer o cliente Python do MLflow, versão 1.11.0 ou superior.

Configurar o token de API de um registro remoto

1. No workspace do registro de modelo, crie um token de acesso.
2. No workspace local, crie segredos para armazenar o token de acesso e as informações do workspace remoto:
   1. Crie um escopo do segredo: databricks secrets create-scope <scope>.
   2. Escolha um nome exclusivo para o workspace de destino, mostrado aqui como <prefix>. Em seguida, crie três segredos:
      • databricks secrets put-secret <scope> <prefix>-host : insira o nome do host do workspace de registro do modelo. Por exemplo, https://westus.azuredatabricks.net/ ou https://adb-5555555555555555.19.azuredatabricks.net/.
      • databricks secrets put-secret <scope> <prefix>-token : insira o token de acesso do workspace de registro do modelo.
      • databricks secrets put-secret <scope> <prefix>-workspace-id: insira a ID do workspace do workspace de registro do modelo, que pode ser encontrada na URL de qualquer página.

Especificar um registro remoto

Com base no escopo do segredo e no prefixo do nome que você criou para o workspace de registro remoto, você pode construir um URI do registro no formato:

registry_uri = f'databricks://<scope>:<prefix>'

Você pode usar o URI para especificar um registro remoto para métodos de API fluente chamando primeiro:

mlflow.set_registry_uri(registry_uri)

Ou você pode especificá-lo explicitamente quando criar uma instância de um MlflowClient:

client = MlflowClient(registry_uri=registry_uri)

Os fluxos de trabalho a seguir mostram exemplos de ambas as abordagens.

Registrar um modelo no registro remoto

Uma maneira de registrar um modelo é usar a API mlflow.register_model:

mlflow.set_registry_uri(registry_uri)
mlflow.register_model(model_uri=f'runs:/<run-id>/<artifact-path>', name=model_name)

Exemplos para outros métodos de registro de modelo podem ser encontrados no notebook no final desta página.

Você também pode especificar um tracking_uri para apontar para um serviço de acompanhamento do MLflow em outro workspace de maneira semelhante a registry_uri. Isso significa que você pode executar em um workspace remoto e registrar seu modelo no workspace atual ou em outro workspace remoto.

Usar um modelo do registro remoto

Você pode carregar e usar uma versão de modelo em um registro remoto com métodos mlflow.<flavor>.load_model definindo primeiro o URI do registro:

mlflow.set_registry_uri(registry_uri)
model = mlflow.pyfunc.load_model(f'models:/<model-name>/Staging')
model.predict(...)

Ou você pode especificar explicitamente o registro remoto no URI models:/:

model = mlflow.pyfunc.load_model(f'models://<scope>:<prefix>@databricks/<model-name>/Staging')
model.predict(...)

Também há suporte para outros métodos auxiliares para acessar os arquivos de modelo, como:

client.get_latest_versions(model_name)
client.get_model_version_download_uri(model_name, version)

Gerenciar um modelo no registro remoto

Você pode executar qualquer ação nos modelos no registro remoto, desde que tenha as permissões necessárias. Por exemplo, se tiver permissões CAN MANAGE em um modelo, você poderá fazer a transição de uma fase da versão do modelo ou excluir o modelo usando os métodos do MlflowClient:

client = MlflowClient(tracking_uri=None, registry_uri=registry_uri)
client.transition_model_version_stage(model_name, version, 'Archived')
client.delete_registered_model(model_name)

Notebook de exemplo: registro de modelo remoto

O notebook a seguir é aplicável a workspaces que não estão habilitados para o Catálogo do Unity. Ele mostra como registrar modelos no servidor de acompanhamento do MLflow do workspace atual e registrar os modelos no Registro de Modelo em um workspace diferente. A Databricks recomenda o uso de Modelos no Catálogo do Unity para compartilhar modelos entre espaços de trabalho.

Notebook de exemplo do Registro de Modelo Remoto

Obter notebook