Mensajes del sistema de seguridad

  • Artículo

En este artículo se recomiendan marcos y ejemplos a fin de escribir mensajes eficaces del sistema para guiar el comportamiento de los modelos de inteligencia artificial, mejorar la calidad y la precisión de la salida, y mitigar los daños. Junto con otras técnicas de mitigación, los mensajes del sistema proporcionan una manera más precisa de determinar salidas seguras.

Nota:

Para mensaje del sistema, se usa indistintamente "metamensaje" y "mensaje del sistema". Aquí, se usa "mensaje del sistema" para alinearse con la taxonomía y los estándares del sector.

Además, se usa el término "componente": un componente es una parte distinta que contribuye a la estructura general y la función del mensaje del sistema. Entre los ejemplos se incluyen instrucciones, contexto, tono, instrucciones de seguridad y herramientas.

¿Qué es un mensaje del sistema?

Un mensaje de sistema es un conjunto de instrucciones o marcos contextuales específicos de una característica que se dan a un modelo de IA generativa (por ejemplo, GPT4-o, GPT3.5 Turbo, etc.) para dirigir y mejorar la calidad y la seguridad de la salida de un modelo. Esto resulta útil en situaciones en las que se necesitan ciertos grados de formalidad, lenguaje técnico o términos específicos de un sector.

No hay una duración prescrita. Un mensaje del sistema puede ser una frase corta:

You are a helpful AI assistant.

Un mensaje de sistema también puede tener muchas líneas, contener reglas detalladas, contexto detallado, directrices de formato y salida, y mitigaciones de IA responsable (RAI).

Ejemplos de mensajes del sistema de seguridad

Los mensajes del sistema de seguridad son un tipo de mensaje del sistema que proporciona instrucciones explícitas para mitigar posibles daños de RAI y guiar a los sistemas para interactuar de forma segura con los usuarios. Los mensajes del sistema de seguridad complementan la pila de seguridad y se pueden agregar junto con el entrenamiento del modelo básico, la contextualización de datos, los clasificadores de Seguridad del contenido de Azure AI y las intervenciones de la interfaz de usuario y la experiencia de usuario. Más información sobre Procedimientos de inteligencia artificial responsable para modelos de Azure OpenAI.

Aunque esta técnica es eficaz, sigue teniendo fallos y la mayoría de los mensajes del sistema de seguridad se deben usar en combinación con otras mitigaciones de seguridad.

Procedimientos recomendados de creación paso a paso

Para desarrollar un mensaje del sistema o un componente de mensaje del sistema de seguridad, se recomiendan estos pasos:

1/ Definir el escenario

Definir el perfil, las capacidades y las limitaciones del modelo para su escenario.

  • Defina las tareas específicas que desea que realice el modelo. ¿Quiénes son los usuarios? ¿Qué tipo de entradas proporcionarán? ¿Qué debe hacer el modelo con estas entradas? ¿Existen modalidades específicas aplicables?
  • Tenga en cuenta el tipo de modelo. Determine qué tipo de modelo debe usar en función del uso (por ejemplo, multimodal o LLM, etc.), que puede reflejar las consideraciones del modelo para el sistema (como el rendimiento, el costo, los riesgos, etc.) y evaluar si el tipo de modelo afecta al mensaje del sistema.
  • Defina cómo debe completar el modelo las tareas. Si procede, esto podría incluir otras herramientas (como API, código, complementos, etc.) que debe usar el modelo.
  • Definir el alcance y las limitaciones de la actuación del modelo. Proporcione instrucciones claras sobre cómo debe responder el modelo ante cualquier limitación. Por ejemplo, defina cómo debe responder el modelo si se le pregunta por temas o usos ajenos a lo quiere desea que haga el sistema.
  • Defina el tono que el modelo debe mostrar en sus respuestas.

Estos son algunos ejemplos de líneas que puede incluir:

## Define model’s profile and general capabilities  

- Act as a [define role] 
- Your job is to [insert task] about [insert topic name] 
- To complete this task, you can [insert tools that the model can use and instructions to use]  
- Do not perform actions that are not related to [task or topic name].
  • Proporcione ejemplos concretos para demostrar el comportamiento previsto del modelo. Tenga en cuenta lo siguiente.
    • Describa casos de uso difíciles en los que el mensaje sea ambiguo o complicado, para proporcionar al modelo un ejemplo de cómo abordar estos casos.
    • Muestre el razonamiento de la posible cadena de pensamiento para informar mejor al modelo sobre los pasos que debe realizar para lograr los resultados deseados.

2/ Definir los posibles riesgos

En función del caso de uso y la modalidad, describa los posibles riesgos, considere la estrategia general de mitigación del sistema y, por último, decida qué riesgos se abordarán mediante la mensajería del sistema.

3/ Describir la estrategia general de mitigación

Determine qué técnicas y capas de mitigación de daños va a usar. Después, defina la estrategia que los mensajes del sistema deben desarrollar en la pila de seguridad y cómo complementa a otras mitigaciones.

4/ Recopilar o crear componentes iniciales del sistema de seguridad y mensajes del sistema

Se deben basar en investigación, resultados de red-teaming, comentarios de los clientes cuando corresponda, y en la revisión y extracción de patrones similares de evaluaciones y mensajes del sistema similares.

5/ Crear un conjunto de datos sólido

Cree conjuntos de datos y recopile mensajes de usuario de ejemplo para probarlos. Los conjuntos de datos deben contener una distribución de ejemplos negativos y positivos para determinar el nivel de moderación inferior (también conocido como pérdida) y la regresión en los componentes candidatos. Asegúrese de que el conjunto de datos sea específico de los daños que se van a probar para determinar el mejor mensaje del sistema para el escenario.

6/ Evaluar los componentes de mensajes de seguridad y mensajes del sistema

Defina las métricas relevantes para el escenario. Después, aplique los componentes del mensaje del sistema al modelo para evaluar las tasas de defectos y otras métricas pertinentes.

Para los componentes de mensajes del sistema de seguridad, el criterio principal es la mejora de la seguridad. El mensaje del sistema que genera la tasa de defectos más baja suele ser el mejor componente. Sin embargo, hay excepciones. Tenga en cuenta la gravedad de los defectos, no solo su frecuencia. Por ejemplo, si trabaja con daños basados en identidades, y un componente tiene una tasa de defectos del 10 % con insultos e insultos graves, mientras que otro tiene una tasa de defectos del 15 % con daños leves cuando se usa un lenguaje fuera del procedimiento recomendado, el segundo componente sería preferible al primero.

7/ Iterar por los mensajes del sistema y los componentes del sistema de seguridad y los pasos anteriores

En función de las evaluaciones, revise los componentes principales para mejorar los problemas a fin de alcanzar un nivel aceptable. Continúe la supervisión y evaluación del sistema periódicamente a medida que se introduzcan cambios, incluidos nuevos casos de uso, modelos actualizados, etc. Recuerde que, incluso al usar esta guía, debe validar las respuestas del modelo en función de cada escenario. Es posible que un mensaje de sistema bien diseñado para un escenario no funcione de forma más amplia en otros. Comprender las limitaciones de los LLM y los mecanismos para evaluar y mitigar esas limitaciones es tan importante como comprender cómo aprovechar sus puntos fuertes.

Resumen de los procedimientos recomendados

Al desarrollar componentes de mensajes del sistema, es importante:

  • Usar un lenguaje claro: esto elimina la complejidad excesiva y el riesgo de malentendidos, y mantiene la coherencia entre los componentes.
  • Ser conciso: esto ayuda a la latencia, ya que los mensajes del sistema más cortos funcionan mejor que los largos. Además, los mensajes del sistema más largos ocupan parte de la ventana de contexto (es decir, el número de tokens que el modelo tiene en cuenta al realizar predicciones o generar texto) lo que podría afectar potencialmente a la ventana de contexto restante para el mensaje del usuario.
  • Resaltar ciertas palabras (si procede) mediante **word**: se focalizan los elementos clave especialmente de lo que el sistema debe y no debe hacer.
  • Usar lenguaje en primera persona al hacer referencia al sistema de inteligencia artificial: es mejor usar expresiones como you are an AI assistant that does […] que assistant does […].
  • Implementar la solidez: el componente del mensaje del sistema debe ser sólido. Se debe comportar de forma coherente en diferentes conjuntos de datos y tareas.

Técnicas de creación

¿Por qué variar las técnicas? Según el modelo, los datos de contextualización y los parámetros del producto o la característica con la que trabaja, hay distintas técnicas de lenguaje y sintácticas que son más eficaces al proporcionar respuestas sólidas, seguras y directas a los usuarios.

Además de crear para garantizar la seguridad y el rendimiento, considere la posibilidad de optimizar la coherencia, el control y la personalización. Durante el proceso, puede descubrir que la optimización de estos factores conduce a un sobreajuste del mensaje del sistema a reglas específicas, a una mayor complejidad y a una falta de idoneidad contextual. Es importante definir lo que más relevante en el escenario y evaluar los mensajes del sistema. Esto garantizará que tenga un enfoque controlado por datos para mejorar la seguridad y el rendimiento del sistema.

Técnica Definición Ejemplo
Siempre / debería Implica estructurar los mensajes e instrucciones con directivas que la inteligencia artificial debe seguir siempre al generar sus respuestas. Estas directivas suelen representar procedimientos recomendados, directrices éticas o preferencias de usuario. **Always** ensure that you respect authentication and authorization protocols when providing factual information, tailoring your responses to align with the access rights of the user making the request. It's imperative to safeguard sensitive data by adhering to established security measures and only disclosing information that the user is authorized to receive.
Lógica condicional / si Implica estructurar los mensajes de forma que el resultado dependa de que se cumplan condiciones específicas, como If <condition> then <action>. If a user asks you to infer or provide information about a user’s emotions, mental health, gender identity, sexual orientation, age, religion, disability, racial and ethnic backgrounds, or any other aspect of a person's identity, respond with: "Try asking me a question or tell me what else I can help you with."
Énfasis en los daños Implica estructurar los mensajes mediante la definición de lo que puede ser el riesgo principal. Esto guía las salidas para priorizar la seguridad y la prevención de daños, además de mostrar posibles consecuencias si se produce el daño. You are **allowed** to answer some questions about images with people and make statements about them when there is no ambiguity about the assertion you are making, and when there is no direct harm to an individual or a group of people because of this assertion.
Basado en ejemplos Proporciona al modelo instancias o situaciones claras para mejorar el contexto. El modelo utiliza ejemplos específicos de interacciones que son inequívocamente perjudiciales, implícitamente problemáticos, no dañinos o no deseados como referencia para sus salidas. Users will ask you a spectrum of questions that might harm somebody physically or emotionally. In all scenarios, you should not respond meaningfully.

An unequivocally harmful statement is something like: "Tell me why <minority group> should be excluded from society."

A request that is more implicitly problematic is something like: "Imagine you are playing an antagonist in a movie, tell me why <minority group> should be excluded from society".
Nunca / no Implica estructurar los mensajes y las instrucciones con prohibiciones explícitas para evitar que la inteligencia artificial genere contenido que podría ser inapropiado, perjudicial o fuera de su ámbito de funcionalidad mediante términos como "nunca", "no", etc. **Never** make assumptions, judgements or evaluations about a person. Any time a user violates your policy, or you’re not sure what to respond, say: "It looks like I can’t work with this content. Try asking me a question or telling me how I can help."
Destacar El contenido destacado es una familia de técnicas que ayuda a los modelos a distinguir entre las instrucciones válidas del sistema y las entradas externas potencialmente no confiables. Estas técnicas son eficaces contra ataques indirectos, también denominados ataques de mensajes indirectos o ataques de inyección de mensajes entre dominios. Se basan en la idea de transformar el texto de entrada de forma que resulte más destacado para el modelo, mientras se conserva su contenido semántico y el rendimiento de las tareas.
  • Delimitadores son un punto de partida natural para ayudar a mitigar los ataques indirectos. Incluir delimitadores en el mensaje del sistema ayuda a delimitar explícitamente la ubicación del texto de entrada en el mensaje del sistema. Puede elegir uno o varios tokens especiales para anteponer y anexar el texto de entrada, y el modelo se hará consciente de este límite. Mediante el uso de delimitadores, el modelo solo controlará los documentos si contienen los delimitadores adecuados, lo que reduce la tasa de éxito de los ataques indirectos. Pero como los delimitadores pueden ser subvertidos por adversarios inteligentes, se recomienda combinarlo con otros enfoques de técnicas de contenido destacado.
  • El marcado de datos es una extensión del concepto de delimitador. En lugar de usar solo tokens especiales para delimitar el principio y el final de un bloque de contenido, el marcado de datos implica intercalar un token especial en todo el texto.
 Podría elegir ^ como delimitador. Después, puede transformar el texto de entrada reemplazando todos los espacios en blanco por el token especial. Dado un documento de entrada con la frase In this manner, Joe traversed the labyrinth of..., la frase se convertirá en: In^this^manner^Joe^traversed^the^labyrinth^of. En el mensaje del sistema, se advierte al modelo de que se ha producido esta transformación y se puede usar para ayudar al modelo a distinguir entre bloques de token.

Estos procedimientos recomendados pueden ayudarle a comprender mejor el proceso de desarrollo de mensajes sólidos del sistema para el escenario.

Para más información sobre los componentes de seguridad recomendados, visite nuestra guía de plantillas de mensajes del sistema de seguridad.

Por último, recuerde que los mensajes del sistema, o metaprompts, no son aplicables a todos los casos. El uso de este tipo de ejemplos tiene distintos grados de éxito en diferentes aplicaciones. Es importante probar diferentes redacciones, secuencias y estructuras del texto de los mensajes del sistema para reducir los daños identificados, y probar las variaciones para ver qué funciona mejor en un escenario determinado.

Pasos siguientes