Cuándo usar el ajuste preciso de Azure OpenAI

Al decidir si el ajuste preciso es la solución adecuada o no para explorar un caso de uso determinado, hay algunos términos clave con los que resulta útil familiarizarse:

• Ingeniería de solicitudes: se trata de una técnica que implica diseñar solicitudes para modelos de procesamiento de lenguaje natural. Este proceso mejora la precisión y la relevancia en las respuestas, optimizando el rendimiento del modelo.
• Generación aumentada de recuperación (RAG): mejora el rendimiento del modelo de lenguaje grande (LLM) mediante la recuperación de datos de orígenes externos y la incorporación de dichos datos a una solicitud. RAG permite a las empresas desarrollar soluciones personalizadas al tiempo que mantienen la relevancia de los datos y optimizan los costos.
• El ajuste preciso vuelve a entrenar un modelo de lenguaje grande existente mediante datos de ejemplo, lo que da lugar a un nuevo modelo de lenguaje grande "personalizado" que se ha optimizado con los ejemplos proporcionados.

¿Qué es el ajuste preciso con Azure OpenAI?

Cuando hablamos de ajuste preciso, realmente queremos decir ajuste preciso supervisado no el entrenamiento previo continuo ni el aprendizaje de refuerzo a través de comentarios humanos (RLHF). El ajuste preciso supervisado hace referencia al proceso de reentrenamiento de modelos previamente entrenados en conjuntos de datos específicos, normalmente para mejorar el rendimiento del modelo en tareas concretas o introducir información que no estaba bien representada cuando el modelo base se entrenó originalmente.

El ajuste preciso es una técnica avanzada que requiere experiencia para usarse correctamente. Las preguntas siguientes le ayudarán a evaluar si está listo para llevar a cabo el ajuste preciso y lo bien que ha pensado en el proceso. Puede utilizarlas para guiar sus próximos pasos o identificar otros enfoques que podrían ser más apropiados.

¿Por qué desea ajustar de forma precisa un modelo?

• Debe poder articular claramente un caso de uso específico para ajustar de forma precisa e identificar el modelo que espera ajustar de ese modo.
• Algunos casos de uso de ajuste preciso incluyen dirigir el modelo para generar contenido en un estilo, tono o formato específicos y personalizados, o escenarios en los que la información necesaria para dirigir el modelo es demasiado larga o compleja para que quepa en la ventana de la solicitud.

Señales comunes de que podría no estar preparado para realizar el ajuste preciso:

• No hay un caso de uso claro para el ajuste preciso o una incapacidad para articular mucho más que “Quiero mejorar un modelo”.
• Si identifica el costo como motivador principal, continúe con precaución. El ajuste preciso podría reducir los costos de determinados casos de uso acortando las solicitudes o permitiendo usar un modelo más pequeño, pero hay un costo inicial más alto para el entrenamiento y tendrá que pagar por hospedar su propio modelo personalizado. Consulte la página de precios para obtener más información sobre los costos de ajuste de la precisión de Azure OpenAI.
• Si desea agregar conocimientos de dominio al modelo, debe empezar con la generación aumentada de recuperación (RAG) con características como en los datos o inserciones de Azure OpenAI. A menudo, se trata de una opción más barata, más adaptable y potencialmente más eficaz en función del caso de uso y los datos.

¿Qué ha intentado hasta ahora?

El ajuste preciso es una funcionalidad avanzada, no el punto inicial del recorrido de IA generativa. Ya debería estar familiarizado con los conceptos básicos del uso de modelos de lenguaje grandes (LLM). Para empezar, debe evaluar el rendimiento de un modelo base con ingeniería de solicitudes o generación aumentada de recuperación (RAG) para obtener una base de referencia para el rendimiento.

Tener una base de referencia para el rendimiento sin ajuste preciso es esencial para saber si el ajuste preciso ha mejorado o no el rendimiento del modelo. El ajuste preciso con datos incorrectos empeora el modelo base, pero sin una línea de base, es difícil detectar regresiones.

Si está listo para el ajuste preciso:

• Debe ser capaz de demostrar evidencia y conocimiento de los enfoques basados en la ingeniería de solicitudes y RAG.
• Puede compartir experiencias y desafíos específicos con técnicas distintas del ajuste preciso que ya se han probado para su caso de uso.
• Debe tener evaluaciones cuantitativas del rendimiento de línea base siempre que sea posible.

Señales comunes de que podría no estar preparado para realizar el ajuste preciso:

• Empezar con el ajuste preciso sin haber probado ninguna otra técnica.
• Conocimientos o comprensión insuficientes sobre cómo se aplica el ajuste preciso específicamente a los modelos de lenguaje grandes (LLM).
• No hay medidas de punto de referencia para evaluar el ajuste preciso.

¿Qué no funciona con enfoques alternativos?

Comprender en qué puntos se queda corta la ingeniería de solicitudes debe servir de guía para llevar a cabo el ajuste preciso. ¿Se produce un error del modelo base en casos limítrofes o excepciones? ¿No proporciona el modelo base de forma coherente la salida en el formato correcto y no se pueden ajustar suficientes ejemplos en la ventana de contexto para corregirlo?

Algunos ejemplos de errores con el modelo base y la ingeniería de solicitudes le ayudarán a identificar los datos que necesitan recopilar para el ajuste preciso y cómo debe evaluar el modelo ajustado.

A continuación se menciona un ejemplo: un cliente quería usar GPT-3.5-Turbo para convertir preguntas de lenguaje natural en consultas en un lenguaje de consulta específico no estándar. Proporcionó instrucciones en la solicitud (“Devolver siempre GQL”) y usó RAG para recuperar el esquema de la base de datos. Sin embargo, la sintaxis no siempre era correcta y a menudo se producían errores en los casos limítrofes. Recopiló miles de ejemplos de preguntas de lenguaje natural y las consultas equivalentes para su base de datos, incluidos los casos en los que el modelo había dado error antes (y usó esos datos para ajustar el modelo). La combinación de su nuevo modelo ajustado de forma precisa con su solicitud y recuperación diseñadas aportó la precisión de las salidas del modelo hasta estándares aceptables para su uso.

Si está listo para el ajuste preciso:

• Tenga ejemplos claros sobre cómo ha abordado los desafíos con enfoques alternativos y qué se ha probado como posibles resoluciones para mejorar el rendimiento.
• Ha detectado deficiencias al utilizar un modelo base, como un rendimiento incoherente en casos limítrofes, la incapacidad de encajar suficientes solicitudes de pocos pasos en la ventana contextual para dirigir el modelo, una latencia elevada, etc.

Señales comunes de que podría no estar preparado para realizar el ajuste preciso:

• Conocimiento insuficiente del modelo o del origen de datos.
• Incapacidad de encontrar los datos adecuados para atender el modelo.

¿Qué datos va a usar para el ajuste preciso?

Incluso con un buen caso de uso, el ajuste fino solo es tan bueno como la calidad de los datos que puede proporcionar. Debe estar dispuesto a invertir el tiempo y el esfuerzo para realizar un trabajo de ajuste preciso. Los distintos modelos requerirán volúmenes de datos diferentes, pero a menudo es necesario poder proporcionar cantidades bastante grandes de datos mantenidos de alta calidad.

Otro punto importante es incluso con datos de alta calidad si los datos no están en el formato necesario para ajustarlos, deberá confirmar los recursos de ingeniería para dar formato a los datos correctamente.

Si está listo para el ajuste preciso:

• Ha identificado un conjunto de datos para el ajuste preciso.
• El conjunto de datos tiene el formato adecuado para el entrenamiento.
• Se ha empleado algún nivel de protección para garantizar la calidad del conjunto de datos.

Señales comunes de que podría no estar preparado para realizar el ajuste preciso:

• Todavía no se ha identificado el conjunto de datos.
• El formato del conjunto de datos no coincide con el modelo que desea ajustar de forma precisa.

¿Cómo medirá la calidad del modelo, el cual se ha ajustado de forma precisa?

No hay una única respuesta correcta a esta pregunta, pero debe tener unos objetivos claramente definidos sobre cómo es el éxito del ajuste. Lo ideal es que esto no solo sea cualitativo, sino que debe incluir medidas cuantitativas de éxito, como el uso de un conjunto de datos de exclusión para la validación, así como pruebas de aceptación de usuario o pruebas A/B del modelo ajustado de forma precisa frente a un modelo base.

Pasos siguientes

• Ver el episodio de Azure AI Show: "To fine-tune or not to fine-tune, that is the question"
• Más información sobre el ajuste preciso en Azure OpenAI
• Explorar nuestro tutorial de ajuste preciso