Perspectiva del marco de trabajo bien diseñado de Azure en azure OpenAI Service

Resistencia: elija la opción de implementación adecuada de rendimiento de pago por uso o rendimiento aprovisionado en función del caso de uso. Dado que la capacidad reservada aumenta la resistencia, elija rendimiento aprovisionado para las soluciones de producción. El enfoque de pago por uso es ideal para entornos de desarrollo y pruebas.

Redundancia: agregue las puertas de enlace adecuadas delante de las implementaciones de Azure OpenAI. La puerta de enlace debe tener la capacidad de resistir errores transitorios, como la limitación y también enrutar a varias instancias de Azure OpenAI. Considere la posibilidad de enrutar a instancias de diferentes regiones para crear redundancia regional.

Resistencia: si usa el rendimiento aprovisionado, considere la posibilidad de implementar también una instancia de pago por uso para controlar el desbordamiento. Puede enrutar las llamadas a la instancia de pago por uso a través de la puerta de enlace cuando se limita el modelo de rendimiento aprovisionado.

Resistencia: supervise el uso de la capacidad para asegurarse de que no supera los límites de rendimiento. Revise periódicamente el uso de la capacidad para lograr una previsión más precisa y ayudar a evitar interrupciones del servicio debido a restricciones de capacidad.

Resistencia: siga las instrucciones para ajustar con archivos de datos de gran tamaño e importar los datos desde un almacén de blobs de Azure. Los archivos grandes, 100 MB o más, pueden ser inestables cuando se cargan a través de formularios de varias partes porque las solicitudes son atómicas y no se pueden reintentar ni reanudar.

Recuperación: defina una estrategia de recuperación que incluya un plan de recuperación para los modelos que están ajustados y para los datos de entrenamiento cargados en Azure OpenAI. Dado que Azure OpenAI no tiene conmutación automática por error, debe diseñar una estrategia que abarque todo el servicio y todas las dependencias, como el almacenamiento que contiene datos de entrenamiento.

Protección de la confidencialidad: Si carga datos de entrenamiento en Azure OpenAI, use claves administradas por el cliente para el cifrado de datos, implemente una estrategia de rotación de claves y elimine los datos de entrenamiento, validación y resultados de entrenamiento. Si usa un almacén de datos externo para los datos de entrenamiento, siga los procedimientos recomendados de seguridad para ese almacén. Por ejemplo, para Azure Blob Storage, use claves administradas por el cliente para el cifrado e implemente una estrategia de rotación de claves. Use el acceso basado en identidad administrada, implemente un perímetro de red mediante puntos de conexión privados y habilite los registros de acceso.

Protección de la confidencialidad: Proteja contra la filtración de datos limitando las direcciones URL de salida a las que pueden acceder los recursos de Azure OpenAI.

Proteger la integridad: Implemente controles de acceso para autenticar y autorizar el acceso de usuario al sistema mediante el principio de privilegios mínimos y mediante identidades individuales en lugar de claves.

Proteger la integridad: Implemente la detección de riesgo de jailbreak para proteger las implementaciones de modelo de lenguaje frente a ataques de inyección de indicaciones.

Protección de la disponibilidad: Use controles de seguridad para evitar ataques que podrían agotar las cuotas de uso del modelo. Puede configurar controles para aislar el servicio en una red. Si el servicio debe ser accesible desde Internet, puede usar una puerta de enlace para bloquear un abuso sospechoso mediante el enrutamiento o la limitación.

Administración de costos: desarrolle el modelo de costos, teniendo en cuenta los tamaños de los mensajes. Comprender los tamaños de entrada y respuesta de la solicitud y cómo el texto se traduce en tokens le ayuda a crear un modelo de costo viable.

Optimización de uso: comience con los precios de pago por uso para Azure OpenAI hasta que el uso del token sea predecible.

Optimización de velocidad: cuando el uso del token es lo suficientemente alto y predecible durante un período de tiempo, use el modelo de precios de rendimiento aprovisionado para mejorar la optimización de costos.

Optimización del uso: considere los precios y las funcionalidades del modelo al elegir modelos. Comience con modelos menos costosos para tareas menos complejas, como la generación de texto o las tareas de finalización. Para tareas más complejas, como la traducción de idioma o la comprensión del contenido, considere la posibilidad de usar modelos más avanzados. Considere las distintas funcionalidades del modelo y los límites máximos de uso de tokens al elegir un modelo adecuado para casos de uso como la inserción de texto, la generación de imágenes o los escenarios de transcripción. Al seleccionar cuidadosamente el modelo que mejor se adapte a sus necesidades, puede optimizar los costos mientras sigue logrando el rendimiento deseado de la aplicación.

Optimización de uso: use las restricciones de limitación de tokens que ofrecen las llamadas API, como max_tokens y n, que indican el número de finalizaciones que se van a generar.

Optimización de uso: maximice los puntos de interrupción de precios de Azure OpenAI, por ejemplo, ajuste preciso y puntos de interrupción del modelo, como la generación de imágenes. Dado que el ajuste preciso se cobra por hora, use tanto tiempo como tenga disponible por hora para mejorar los resultados de ajuste, a la vez que evita que se produzca un deslizamiento en el siguiente período de facturación. Del mismo modo, el costo de generar 100 imágenes es el mismo que el costo de 1 imagen. Maximice los puntos de interrupción del precio a su ventaja.

Optimización de uso: quite los modelos optimizados sin usar cuando ya no se consuman para evitar incurrir en una tarifa de hospedaje en curso.

Ajustar el uso: optimice la longitud de la respuesta y la entrada del mensaje. Los mensajes más largos generan costos al consumir más tokens. Sin embargo, las indicaciones que faltan en el contexto suficiente no ayudan a los modelos a producir buenos resultados. Cree avisos concisos que proporcionen suficiente contexto para que el modelo genere una respuesta útil. Asegúrese también de optimizar el límite de la longitud de la respuesta.

Rentabilidad: solicitudes por lotes siempre que sea posible para minimizar la sobrecarga por llamada, lo que puede reducir los costos generales. Asegúrese de optimizar el tamaño del lote.

Rentabilidad: dado que los modelos tienen diferentes costos de ajuste, tenga en cuenta estos costos si la solución requiere un ajuste preciso.

Supervisión y optimización: configure un sistema de seguimiento de costos que supervise el uso del modelo. Use esa información para ayudar a informar sobre las opciones del modelo y los tamaños de solicitud.

Referencia cultural de Azure DevOps: asegúrese de implementar instancias de Azure OpenAI en los distintos entornos, como el desarrollo, la prueba y la producción. Asegúrese de que tiene entornos para admitir el aprendizaje continuo y la experimentación a lo largo del ciclo de desarrollo.

Observabilidad: supervise, agregue y visualice las métricas adecuadas.

Observabilidad: si los diagnósticos de Azure OpenAI no son suficientes para sus necesidades, considere la posibilidad de usar una puerta de enlace como Azure API Management delante de Azure OpenAI para registrar las solicitudes entrantes y las respuestas salientes donde se permiten. Esta información puede ayudarle a comprender la eficacia del modelo para las solicitudes entrantes.

Implementación con confianza: use la infraestructura como código (IaC) para implementar Azure OpenAI, implementaciones de modelos y otra infraestructura necesaria para ajustar los modelos.

Implementación con confianza: siga las prácticas de operaciones de modelos de lenguaje grande (LLMOps) para poner en funcionamiento la administración de las LLM de Azure OpenAI, incluida la implementación, el ajuste y la ingeniería de mensajes.

Automatización de la eficacia: si usa la autenticación basada en claves, implemente una estrategia automatizada de rotación de claves.

Capacidad: calcule las demandas de elasticidad de los consumidores. Identifique el tráfico de alta prioridad que requiere respuestas sincrónicas y tráfico de prioridad baja que puede ser asincrónico y por lotes.

Capacidad: requisitos de consumo de tokens de pruebas comparativas en función de las demandas estimadas de los consumidores. Considere la posibilidad de usar la herramienta de pruebas comparativas de Azure OpenAI para ayudarle a validar el rendimiento si usa implementaciones de unidades de rendimiento aprovisionadas (PTU).

Capacidad: use el rendimiento aprovisionado para cargas de trabajo de producción. El rendimiento aprovisionado ofrece memoria y proceso dedicados, capacidad reservada y latencia máxima coherente para la versión del modelo especificada. La oferta de pago por uso puede sufrir problemas ruidosos de vecinos , como una mayor latencia y limitación en regiones con un uso intensivo. Además, el enfoque de pago por uso no ofrece capacidad garantizada.

Capacidad: agregue las puertas de enlace adecuadas delante de las implementaciones de Azure OpenAI. Asegúrese de que la puerta de enlace puede enrutar a varias instancias de las mismas regiones o diferentes.

Capacidad: asigne PTU para cubrir el uso previsto y complemente estas PTU con una implementación de TPM para controlar la elasticidad por encima de ese límite. Este enfoque combina el rendimiento base con rendimiento elástico para mejorar la eficacia. Al igual que otras consideraciones, este enfoque requiere una implementación de puerta de enlace personalizada para enrutar las solicitudes a la implementación de TPM cuando se alcanzan los límites de PTU.

Capacidad: envíe solicitudes de alta prioridad de forma sincrónica. Poner en cola las solicitudes de prioridad baja y enviarlos por lotes cuando la demanda es baja.

Capacidad: seleccione un modelo que se alinee con los requisitos de rendimiento, teniendo en cuenta el equilibrio entre la velocidad y la complejidad de la salida. El rendimiento del modelo puede variar significativamente en función del tipo de modelo elegido. Los modelos diseñados para la velocidad ofrecen tiempos de respuesta más rápidos, lo que puede ser beneficioso para las aplicaciones que requieren interacciones rápidas. Por el contrario, los modelos más sofisticados podrían ofrecer salidas de mayor calidad a costa del aumento del tiempo de respuesta.

Lograr el rendimiento: en el caso de aplicaciones como bots de chat o interfaces conversacionales, considere la posibilidad de implementar el streaming. El streaming puede mejorar el rendimiento percibido de las aplicaciones de Azure OpenAI mediante la entrega de respuestas a los usuarios de forma incremental, lo que mejora la experiencia del usuario.

Lograr el rendimiento: determine cuándo usar el ajuste preciso antes de confirmar la optimización. Aunque hay buenos casos de uso para el ajuste fino, como cuando la información necesaria para dirigir el modelo es demasiado larga o compleja para ajustarse al mensaje, asegúrese de que los enfoques de ingeniería y generación aumentada de recuperación (RAG) no funcionan o son más costosos.

Lograr el rendimiento: considere la posibilidad de usar implementaciones de modelos dedicadas por grupo de consumidores para proporcionar aislamiento de uso por modelo que pueda ayudar a evitar vecinos ruidosos entre los grupos de consumidores.