Implementación de modelos como puntos de conexión de API sin servidor

En este artículo, aprenderá a implementar un modelo desde el catálogo de modelos como una API sin servidor con facturación basada en tokens de pago por uso.

Algunos modelos del catálogo de modelo se pueden implementar como una API sin servidor con la facturación de pago por uso. Este tipo de implementación proporciona una manera de consumir modelos como una API sin hospedarlos en la suscripción, a la vez que mantiene la seguridad empresarial y el cumplimiento que necesitan las organizaciones. Esta opción de implementación no requiere cuota de la suscripción.

En este artículo se usa una implementación de modelos de Meta Llama para ilustrarlo. Sin embargo, puede usar los mismos pasos para implementar cualquiera de los modelos en el catálogo de modelos que están disponibles para la implementación de API sin servidor.

Requisitos previos

• Una suscripción de Azure con un método de pago válido. Las suscripciones gratuitas o de evaluación de Azure no funcionarán. Si no tiene una suscripción de Azure, cree una cuenta de Azure de pago para comenzar.

• Un área de trabajo de Azure Machine Learning.

• Los controles de acceso basado en rol de Azure (RBAC de Azure) se usan para conceder acceso a las operaciones en Azure Machine Learning. Para realizar los pasos descritos en este artículo, la cuenta de usuario debe tener asignado el rol Desarrollador de Azure AI en el grupo de recursos. Para más información sobre los permisos, consulte Control de acceso basado en rol en Azure Machine Learning.

• Es necesario instalar el siguiente software para trabajar con Azure Machine Learning:

  • Estudio
  • CLI de Azure
  • SDK de Python
  • ARM

  Puede usar cualquier explorador web compatible para navegar por Azure Machine Learning.

Busque el modelo y el identificador del modelo en el catálogo de modelos

1. Inicie sesión en Azure Machine Learning Studio.

2. En el caso de los modelos ofrecidos a través de Azure Marketplace, asegúrese de que la cuenta tenga permisos de rol de Desarrollador de Azure AI en el grupo de recursos o que cumpla con los permisos necesarios para suscribirse a las ofertas de modelos.

   Los modelos que ofrecen los proveedores que no son de Microsoft (por ejemplo: los modelos Llama y Mistral) se facturan a través de Azure Marketplace. Para estos modelos, es necesario suscribir su área de trabajo a la oferta de modelo concreta. Los modelos que ofrece Microsoft (por ejemplo: los modelos Phi-3) no tienen este requisito, ya que la facturación se realiza de forma diferente. Para obtener más información sobre la facturación de la implementación sin servidor de modelos en el catálogo de modelos, consulte Facturación de LAS APIsin servidor.

3. Vaya a su área de trabajo. Para usar la oferta de implementación del modelo de API sin servidor, el área de trabajo debe pertenecer a una de las regiones que se admiten para la implementación sin servidor para el modelo determinado que desea implementar.

4. Seleccione Catálogo de modelos en la barra lateral izquierda y busque la tarjeta de modelo del modelo que desea implementar. En este artículo, seleccionará un modelo Meta-Llama-3-8B-Instruct.

   1. Si va a implementar el modelo mediante la CLI de Azure, el SDK de Python o ARM, copie el identificador de modelo.

   Importante

   No incluya la versión al copiar el Identificador del modelo. Los puntos de conexión de API sin servidor siempre implementan la versión más reciente del modelo disponible. Por ejemplo, para el identificador de modelo azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, copie azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

   

En la sección siguiente se describen los pasos para suscribir su área de trabajo a una oferta de modelo. Omita esta sección y vaya a Implementar el modelo en un punto de conexión de API sin servidor si va a implementar un modelo de Microsoft.

Suscripción del área de trabajo a la oferta del modelo

Los puntos de conexión de API sin servidor pueden implementar modelos ofrecidos por Microsoft y que no son de Microsoft. En el caso de los modelos de Microsoft (como los modelos Phi-3), no es necesario crear una suscripción de Azure Marketplace y puede implementarlos en puntos de conexión de API sin servidor directamente para consumir sus predicciones. Para los modelos que no son de Microsoft, primero debe crear la suscripción. Si es la primera vez que implementa el modelo en el área de trabajo, tendrá que suscribirse al área de trabajo para la oferta de modelo concreta de Azure Marketplace. Cada área de trabajo tiene su propia suscripción a la oferta concreta de Azure Marketplace del modelo, lo que le permite controlar y supervisar los gastos.

1. Cree la suscripción de Marketplace del modelo. Al crear una suscripción, acepta los términos y condiciones asociados a la oferta del modelo. Recuerde que no es necesario realizar este paso para los modelos que ofrece Microsoft (como Phi-3).

   • Estudio
   • CLI de Azure
   • SDK de Python
   • ARM

   1. En la página Detalles del modelo, seleccione Implementar. Se abre una ventana de Opciones de implementación, que le permite elegir entre la implementación de API sin servidor y la implementación usando un equipo administrado.

      Nota:

      En el caso de los modelos que solo se pueden implementar a través de la implementación de API sin servidor, el Asistente para la implementación de API sin servidor se abre justo después de seleccionar Implementar en la página de detalles del modelo.

   2. Seleccione API sin servidor con Seguridad del contenido de Azure AI (versión preliminar) para abrir el Asistente para la implementación de API sin servidor.

   3. Active la casilla para confirmar la directiva de compra de Microsoft.

      

   4. Si ve la nota Ya tiene una suscripción de Azure Marketplace para esta área de trabajo, no es necesario crear la suscripción, ya que ya tiene una. Puede proceder a Implementar el modelo en un punto de conexión de API sin servidor.

   5. En el Asistente para la implementación, selecciona el vínculo a Términos de Azure Marketplace para obtener más información sobre los términos de uso. También puede seleccionar la pestaña Precios y términos para obtener información sobre los precios del modelo seleccionado.

   6. En el Asistente para la implementación, seleccione el vínculo a Términos de Azure Marketplace para obtener más información sobre los términos de uso. También puede seleccionar la pestaña Detalles de la oferta de Marketplace para obtener información sobre los precios del modelo seleccionado.

   7. Seleccione Suscribir e implementar.

2. Una vez que suscribas el área de trabajo para la oferta concreta de Azure Marketplace, las implementaciones posteriores de la misma oferta en la misma área de trabajo no requieren la suscripción de nuevo.

3. En cualquier momento, puede ver las ofertas del modelo a las que está suscrito actualmente el área de trabajo:

   • Estudio
   • CLI de Azure
   • SDK de Python
   • ARM

   1. Vaya a Azure Portal.

   2. Vaya al grupo de recursos al que pertenece el área de trabajo.

   3. En el filtroTipo, seleccione SaaS.

   4. Verá todas las ofertas a las que está suscrito actualmente.

   5. Seleccione cualquier recurso para ver los detalles.

Implementación del modelo en un punto de conexión de API sin servidor

Una vez que se cree la suscripción para un modelo que no sea de Microsoft, implemente el modelo asociado en un punto de conexión de API sin servidor. Para los modelos de Microsoft (como los modelos Phi-3) no es necesario crear una suscripción.

El punto de conexión de API sin servidor proporciona una manera de consumir modelos como UNA API sin hospedarlos en su suscripción, a la vez que mantiene las necesidades de las organizaciones de seguridad y cumplimiento empresariales. Esta opción de implementación no requiere cuota de la suscripción.

En esta sección, creará un punto de conexión con el nombre meta-llama3-8b-qwerty.

1. Creación del punto de conexión sin servidor

   • Estudio
   • CLI de Azure
   • SDK de Python
   • ARM

   1. Para implementar un modelo de Microsoft que no requiera suscribirse a una oferta de modelo, seleccione Implementar y luego seleccione API sin servidor con Seguridad de contenido de Azure AI (versión preliminar) para abrir el Asistente para la implementación.

   2. Como alternativa, para un modelo que no sea de Microsoft que requiera una suscripción de modelo, si acaba de suscribir el área de trabajo a la oferta del modelo en la sección anterior, continúe seleccionando Implementar. Como alternativa, seleccione Continuar para implementar (si el asistente de implementación tenía la nota Ya tiene una suscripción de Azure Marketplace para esta área de trabajo).

      

   3. Asigne un nombre a la implementación. Este nombre forma parte de la dirección URL de la API de implementación. Esta dirección URL debe ser única en cada región de Azure.

      

      Sugerencia

      La opción Filtro de contenido (versión preliminar) está habilitada de manera predeterminada. Deje la configuración predeterminada para que el servicio detecte contenido dañino, como odio, autolesión, contenido sexual y violento. Para obtener más información sobre el filtrado de contenido (versión preliminar), consulte Seguridad del contenido para los modelos implementados a través de API sin servidor.

   4. Seleccione Implementar. Espere hasta que la implementación esté lista y se le redirigirá a la página Implementaciones.

2. En cualquier momento, puede ver los puntos de conexión implementados en el área de trabajo:

   • Estudio
   • CLI de Azure
   • SDK de Python
   • ARM

   1. Vaya a su área de trabajo.

   2. Seleccione Puntos de conexión.

   3. Seleccione la pestaña Puntos de conexión sin servidor para mostrar los puntos de conexión de API sin servidor.

3. El punto de conexión creado usa la autenticación de clave para la autorización. Siga estos pasos para obtener las claves asociadas a un punto de conexión determinado.

   • Estudio
   • CLI de Azure
   • SDK de Python
   • ARM

   1. Para volver a la página de la implementación, seleccione el nombre del punto de conexión en la lista de puntos de conexión sin servidor.
   2. Tenga en cuenta la Dirección URI de destino y la clave del punto de conexión. Úselos para llamar a la implementación y generar predicciones.

   Nota:

   Al usar Azure Portal, los puntos de conexión de API sin servidor no se muestran de manera predeterminada en el grupo de recursos. Use la opciónMostrar tipos ocultos para mostrarlos en el grupo de recursos.

4. En este momento, el punto de conexión está listo para usarse.

5. Si necesita consumir esta implementación desde un área de trabajo diferente o planea usar el flujo de mensajes para compilar aplicaciones inteligentes, debe crear una conexión a la implementación de API sin servidor. Para obtener información sobre cómo configurar un punto de conexión de API sin servidor existente en un área de trabajo o un centro de conectividad nuevos, consulte Consumo de puntos de conexión de API sin servidor implementados desde un área de trabajo diferente o desde el flujo de avisos.

   Sugerencia

   Si usa el flujo de solicitud en la misma área de trabajo en la que se implementó la implementación, deberá crear la conexión.

Use el punto de conexión de API sin servidor

Los modelos implementados en Azure Machine Learning y Azure AI Studio en puntos de conexión de API sin servidor admiten la API de inferencia de modelos de Azure AI que expone un conjunto común de funcionalidades para modelos fundamentales y que los desarrolladores pueden usar para consumir predicciones de un conjunto diverso de modelos de forma uniforme y coherente.

Obtenga más información sobre las Funcionalidades de esta API y cómo usarla al compilar aplicaciones.

Eliminación de puntos de conexión y suscripciones

Puede eliminar suscripciones y puntos de conexión del modelo. La eliminación de una suscripción modelo hace que cualquier punto de conexión asociado se convierta en Incorrecto e inutilizable.

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

client.serverless_endpoints.begin_delete(endpoint_name).wait()

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

az resource delete --name <resource-name>

Consideraciones de costo y cuota para los modelos implementados como puntos de conexión de API sin servidor

La cuota se administra por implementación. Cada implementación tiene un límite de velocidad de 200 000 tokens por minuto y 1000 solicitudes de API por minuto. Sin embargo, actualmente limitamos una implementación por modelo por área de trabajo. Póngase en contacto con el Soporte técnico de Microsoft Azure si los límites de velocidad actuales no son suficientes para sus escenarios.

Coste de los modelos de Microsoft

Encontrará información sobre los precios en la pestaña Precios y términos del Asistente para la implementación al implementar modelos de Microsoft (como modelos Phi-3) como puntos de conexión de API sin servidor.

Coste de los modelos que no son de Microsoft

Los modelos que no sean de Microsoft implementados como puntos de conexión de API sin servidor se ofrecen a través de Azure Marketplace e integrados con Inteligencia artificial de Azure Studio para su uso. Encontrará los precios de Azure Marketplace al implementar o ajustar estos modelos.

Cada vez que un área de trabajo se suscribe a una oferta determinada de Azure Marketplace, se crea un nuevo recurso para realizar un seguimiento de los costos asociados a su consumo. El mismo recurso se usa para hacer un seguimiento de los costos asociados con la inferencia y la optimización. Sin embargo, hay varios medidores disponibles para hacer un seguimiento de cada escenario de forma independiente.

Para más información sobre cómo realizar un seguimiento de los costos, consulte Supervisión de los costos de los modelos ofrecidos en Azure Marketplace.

Permisos necesarios para suscribirse a ofertas de modelo

Los controles de acceso basado en rol de Azure (RBAC de Azure) se usan para conceder acceso a las operaciones en Azure Machine Learning. Para realizar los pasos descritos en este artículo, se debe asignar a la cuenta de usuario el rol de Propietario, Colaborador o Rol de desarrollador de Inteligencia artificial de Azure para la suscripción de Azure. Como alternativa, a la cuenta se le puede asignar un rol personalizado que tenga los permisos siguientes:

• En la suscripción de Azure: para suscribir el área de trabajo a la oferta de Azure Marketplace, una vez para cada área de trabajo, por oferta:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft.SaaS/register/action

• En el grupo de recursos, para crear y usar el recurso de SaaS:

  • Microsoft.SaaS/resources/read
  • Microsoft.SaaS/resources/write

• En el área de trabajo, para implementar puntos de conexión (el rol científico de datos de Azure Machine Learning ya contiene estos permisos):

  • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Para obtener más información sobre los permisos, consulte Administración del acceso a un área de trabajo de Azure Machine Learning.

Contenido relacionado

• Catálogo de modelos y colecciones
• Consumir puntos de conexión de API sin servidor implementados desde un área de trabajo diferente