Inicio rápido: Usar imágenes en los chats de IA

Artículo
11/04/2024

Introducción a GPT-4 Turbo con imágenes con Azure OpenAI Service.

Nota:

Elección del modelo

Los modelos más recientes compatibles con la visión son gpt-4o y gpt-4o mini. Estos modelos están en versión preliminar pública. El modelo de disponibilidad general disponible más reciente es gpt-4, versión turbo-2024-04-09.

Comience a explorar GPT-4 Turbo con funcionalidades de Visión con un enfoque sin código a través de Azure OpenAI Studio.

Requisitos previos

Suscripción a Azure. cree una de forma gratuita.
Un recurso de Azure OpenAI Service con un modelo de GPT-4 Turbo con Visión implementado. Consulte la Disponibilidad del modelo GPT-4 y la versión preliminar de GPT-4 Turbo para las regiones disponibles. Para obtener más información sobre la creación de recursos, consulte la guía de implementación de recursos.

Nota:

Actualmente no se admite desactivar el filtrado de contenido para el modelo GPT-4 Turbo con Vision.

Ir a Azure OpenAI Studio

Vaya a Azure OpenAI Studio e inicie sesión con las credenciales asociadas al recurso de Azure OpenAI. Durante o después del flujo de trabajo de inicio de sesión, seleccione el directorio, la suscripción de Azure y el recurso de Azure OpenAI adecuados.

En Administración seleccione Implementaciones y Crear una implementación GPT-4 Turbo con Visión seleccionando el nombre del modelo: "gpt-4" y la versión del modelo "vision-preview". Para obtener más información sobre la implementación de modelos, consulte la guía de implementación de recursos.

En la sección Área de juegos, seleccione Chat.

Área de juegos

Desde esta página puede iterar y experimentar rápidamente con las funcionalidades del modelo.

Para obtener ayuda general con la configuración del asistente, las sesiones de chat, la configuración y los paneles, consulte el inicio rápido de chat.

Iniciar una sesión de chat para analizar imágenes o vídeos

Solicitudes de imagen

En esta sesión de chat, le indica al asistente que le ayude a comprender las imágenes que introduce.

Para empezar, seleccione la implementación GPT-4 Turbo con Visión en la lista desplegable.
En el panel Configuración del Asistente, proporcione un mensaje del sistema para guiar al asistente. El mensaje del sistema predeterminado es: "Eres un asistente de inteligencia artificial que ayuda a las personas a encontrar información". Puede adaptar el mensaje del sistema a la imagen o el escenario que está cargando.

Nota:

Se recomienda actualizar el mensaje del sistema para que sea específico de la tarea y evitar respuestas no útiles del modelo.
Guarde los cambios y, cuando se le pida que confirme la actualización del mensaje del sistema, seleccione Continuar.
En el panel Sesión de chat, escriba un mensaje de texto como "Describir esta imagen" y cargue una imagen con el botón Datos adjuntos. Puede usar otra solicitud de texto para su caso de uso. Seleccione Enviar.
Observar la salida proporcionada. Considere la posibilidad de formular preguntas de seguimiento relacionadas con el análisis de la imagen para obtener más información.

Limpieza de recursos

Si quiere limpiar y quitar un recurso de Azure OpenAI, puede eliminar el recurso o el grupo de recursos. Al eliminar el grupo de recursos, también se elimina cualquier otro recurso que esté asociado a él.

Use este artículo para empezar a usar las API de REST de Azure OpenAI para implementar y usar el modelo GPT-4 Turbo con Visión.

Requisitos previos

Suscripción a Azure. cree una de forma gratuita.
Python 3.8 o una versión posterior.
Las siguientes bibliotecas de Python: requests, json.
Un recurso de Azure OpenAI Service con un modelo de GPT-4 Turbo con Visión implementado. Consulte la Disponibilidad del modelo GPT-4 y la versión preliminar de GPT-4 Turbo para las regiones disponibles. Para obtener más información sobre la creación de recursos, consulte la guía de implementación de recursos.

Nota:

Actualmente no se admite desactivar el filtrado de contenido para el modelo GPT-4 Turbo con Vision.

Recuperación de la clave y el punto de conexión

Para llamar correctamente a las API de Azure OpenAI, necesita la siguiente información sobre el recurso de Azure OpenAI:

Variable	NOMBRE	Value
Punto de conexión	`api_base`	El valor del punto de conexión se encuentra en Claves y punto de conexión del recurso en Azure Portal. También puede encontrar el punto de implementación a través de la página Implementaciones de Estudio de IA de Azure. Punto de conexión de ejemplo: `https://docs-test-001.openai.azure.com/`.
Clave	`api_key`	El valor de clave también se encuentra en Claves y punto de conexión del recurso en Azure Portal. Azure genera dos claves para el recurso. Puede usar cualquiera de los valores.

Vaya al recurso en Azure Portal. En el panel de navegación, seleccione Claves y punto de conexión en Administración de recursos. Copie el valor de Punto de conexión y un valor de clave de acceso. Puede usar el valor KEY 1 o KEY 2. Tener dos claves permite rotar y regenerar las claves de forma segura sin provocar una interrupción del servicio.

Creación de una nueva aplicación de Python

Cree un nuevo archivo de Python denominado quickstart.py. Abra el nuevo archivo en el editor o IDE que prefiera.

Reemplace el contenido de quickstart.py por el siguiente código.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Haga los siguientes cambios:
1. Escriba la dirección URL del punto de conexión y la clave en los campos adecuados.
2. Introduzca el nombre de implementación de su GPT-4 Turbo con Visión en el campo correspondiente.
3. Cambie el valor del campo "image" a la dirección URL de la imagen.
  
  Sugerencia
  
  También puede usar datos de imagen codificados en base 64 en lugar de una dirección URL. Para más información, consulte la Guía paso a paso de GPT-4 Turbo con Visión.
Ejecute la aplicación con el comando python:
```
python quickstart.py
```

Limpieza de recursos

Use este artículo para empezar a usar el SDK de Python de Azure OpenAI para implementar y usar el modelo GPT-4 Turbo con Visión.

Código fuente de la biblioteca | Paquete (PyPi) |

Requisitos previos

Suscripción a Azure. cree una de forma gratuita.
Python 3.8 o una versión posterior.
Las siguientes bibliotecas de Python: os
Un recurso de Azure OpenAI Service con un modelo de GPT-4 Turbo con Visión implementado. Consulte la Disponibilidad del modelo GPT-4 y la versión preliminar de GPT-4 Turbo para las regiones disponibles. Para obtener más información sobre la creación de recursos, consulte la guía de implementación de recursos.

Configuración

Instalar la biblioteca cliente de OpenAI Python con:

pip install openai

Nota:

OpenAI mantiene esta biblioteca. Consulte el historial de versiones para realizar el seguimiento de las actualizaciones más recientes de la biblioteca.

Recuperación de la clave y el punto de conexión

Para realizar correctamente una llamada en Azure OpenAI, necesita un punto de conexión y una clave.

Nombre de la variable	Valor
`ENDPOINT`	El punto de conexión de servicio se puede encontrar en la sección Claves y punto de conexión al examinar su recurso en Azure Portal. También puede encontrar el punto de implementación a través de la página Implementaciones de Estudio de IA de Azure. Punto de conexión de ejemplo: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Este valor se puede encontrar en la sección Claves y punto de conexión al examinar el recurso en Azure Portal. Puede usar `KEY1` o `KEY2`.

Vaya al recurso en Azure Portal. La sección Claves y puntos de conexión se puede encontrar en la sección Administración de recursos. Copie el punto de conexión y la clave de acceso, ya que los necesitará para autenticar las llamadas API. Puede usar KEY1 o KEY2. Tener siempre dos claves permite rotar y regenerar las claves de forma segura sin provocar una interrupción del servicio.

Variables de entorno

Cree y asigne variables de entorno persistentes para la clave y el punto de conexión.

Importante

Si usa una clave de API, almacénela de forma segura en otro lugar, como en Azure Key Vault. No incluya la clave de API directamente en el código ni la exponga nunca públicamente.

Para más información sobre la seguridad de los servicios de AI, consulte Autenticación de solicitudes a los servicios de Azure AI.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Creación de una nueva aplicación de Python

Cree un nuevo archivo de Python denominado quickstart.py. Abra el nuevo archivo en el editor o IDE que prefiera.

Reemplace el contenido de quickstart.py por el siguiente código.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

Haga los siguientes cambios:
1. Escriba el nombre de su implementación de GPT-4 Turbo con Visión en el campo correspondiente.
2. Cambie el valor del campo "url" a la dirección URL de la imagen.
  
  Sugerencia
  
  También puede usar datos de imagen codificados en base 64 en lugar de una dirección URL. Para más información, consulte la Guía paso a paso de GPT-4 Turbo con Visión.
Ejecute la aplicación con el comando python:
```
python quickstart.py
```

Limpieza de recursos

Use este artículo para empezar a usar el SDK de JavaScript de OpenAI para implementar y usar el modelo GPT-4 Turbo con Visión.

OpenAI proporciona este SDK con tipos específicos de Azure proporcionados por Azure.

Documentación de referencia | Código fuente de la biblioteca | Paquete (npm) | Ejemplos

Requisitos previos

Una suscripción a Azure: cree una cuenta gratuita.
Versiones de LTS de Node.js
La CLI de Azure se ha usado para la autenticación sin contraseña en un entorno de desarrollo local, cree el contexto necesario iniciando sesión con la CLI de Azure.
Un recurso de Azure OpenAI creado en una región admitida (consulte Disponibilidad de la región). Para obtener más información, consulte Creación de un recurso e implementación de un modelo con Azure OpenAI.

Nota:

OpenAI mantiene esta biblioteca. Consulte el historial de versiones para realizar el seguimiento de las actualizaciones más recientes de la biblioteca.

Recuperación de la clave y el punto de conexión

Para realizar correctamente una llamada en Azure OpenAI, necesita un punto de conexión y una clave.

Nombre de la variable	Valor
`ENDPOINT`	El punto de conexión de servicio se puede encontrar en la sección Claves y punto de conexión al examinar su recurso en Azure Portal. También puede encontrar el punto de implementación a través de la página Implementaciones de Estudio de IA de Azure. Punto de conexión de ejemplo: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Este valor se puede encontrar en la sección Claves y punto de conexión al examinar el recurso en Azure Portal. Puede usar `KEY1` o `KEY2`.

Variables de entorno

Cree y asigne variables de entorno persistentes para la clave y el punto de conexión.

Importante

Si usa una clave de API, almacénela de forma segura en otro lugar, como en Azure Key Vault. No incluya la clave de API directamente en el código ni la exponga nunca públicamente.

Para más información sobre la seguridad de los servicios de AI, consulte Autenticación de solicitudes a los servicios de Azure AI.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Creación de una aplicación Node

En una ventana de la consola (como cmd, PowerShell o Bash), cree un directorio para la aplicación y vaya a él. Ejecute el comando npm init para crear una aplicación de nodo con un archivo package.json.

npm init

Instalación de la biblioteca cliente

Instale las bibliotecas cliente con lo siguiente:

npm install openai @azure/identity

El archivo package.json de la aplicación se actualizará con las dependencias.

Cree una nueva aplicación JavaScript para indicaciones de imágenes

Seleccione una imagen de azure-samples/cognitive-services-sample-data-files y establezca la dirección URL de una imagen en las variables de entorno.

Microsoft Entra ID
Clave de API

Reemplace el contenido de quickstart.js por el siguiente código.

const AzureOpenAI = require('openai').AzureOpenAI;
const { 
    DefaultAzureCredential, 
    getBearerTokenProvider 
} = require('@azure/identity');

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

// keyless authentication    
const credential = new DefaultAzureCredential();
const scope = "https://cognitiveservices.azure.com/.default";
const azureADTokenProvider = getBearerTokenProvider(credential, scope);

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    azureADTokenProvider,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages() {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion) {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

Haga los siguientes cambios:
1. Escriba el nombre de su implementación de GPT-4 Turbo con Visión en el campo correspondiente.
2. Cambie el valor del campo "url" a la dirección URL de la imagen.
  
  Sugerencia
  
  También puede usar datos de imagen codificados en base 64 en lugar de una dirección URL. Para más información, consulte la Guía paso a paso de GPT-4 Turbo con Visión.
Ejecute la aplicación con el comando siguiente:
```
node quickstart.js
```

Reemplace el contenido de quickstart.js por el siguiente código.

const { AzureOpenAI } = require("openai");

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const apiKey = process.env["AZURE_OPENAI_API_KEY"] || "<api key>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

function getClient() {
  return new AzureOpenAI({
    endpoint,
    apiKey,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages() {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion) {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

Haga los siguientes cambios:
1. Escriba el nombre de su implementación de GPT-4 Turbo con Visión en el campo correspondiente.
2. Cambie el valor del campo "url" a la dirección URL de la imagen.
  
  Sugerencia
  
  También puede usar datos de imagen codificados en base 64 en lugar de una dirección URL. Para más información, consulte la Guía paso a paso de GPT-4 Turbo con Visión.
Ejecute la aplicación con el comando siguiente:
```
node quickstart.js
```

Limpieza de recursos

Use este artículo para empezar a usar el SDK de JavaScript de OpenAI para implementar y usar el modelo GPT-4 Turbo con Visión.

OpenAI proporciona este SDK con tipos específicos de Azure proporcionados por Azure.

Documentación de referencia | Código fuente de la biblioteca | Paquete (npm) | Ejemplos

Requisitos previos

Una suscripción a Azure: cree una cuenta gratuita.
Versiones de LTS de Node.js
TypeScript
La CLI de Azure se ha usado para la autenticación sin contraseña en un entorno de desarrollo local, cree el contexto necesario iniciando sesión con la CLI de Azure.
Un recurso de Azure OpenAI creado en una región admitida (consulte Disponibilidad de la región). Para obtener más información, consulte Creación de un recurso e implementación de un modelo con Azure OpenAI.

Nota:

OpenAI mantiene esta biblioteca. Consulte el historial de versiones para realizar el seguimiento de las actualizaciones más recientes de la biblioteca.

Recuperación de la clave y el punto de conexión

Para realizar correctamente una llamada en Azure OpenAI, necesita un punto de conexión y una clave.

Nombre de la variable	Valor
`ENDPOINT`	El punto de conexión de servicio se puede encontrar en la sección Claves y punto de conexión al examinar su recurso en Azure Portal. También puede encontrar el punto de implementación a través de la página Implementaciones de Estudio de IA de Azure. Punto de conexión de ejemplo: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Este valor se puede encontrar en la sección Claves y punto de conexión al examinar el recurso en Azure Portal. Puede usar `KEY1` o `KEY2`.

Variables de entorno

Cree y asigne variables de entorno persistentes para la clave y el punto de conexión.

Importante

Si usa una clave de API, almacénela de forma segura en otro lugar, como en Azure Key Vault. No incluya la clave de API directamente en el código ni la exponga nunca públicamente.

Para más información sobre la seguridad de los servicios de AI, consulte Autenticación de solicitudes a los servicios de Azure AI.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Creación de una aplicación Node

npm init

Instalación de la biblioteca cliente

Instale las bibliotecas cliente con lo siguiente:

npm install openai @azure/identity

El archivo package.json de la aplicación se actualizará con las dependencias.

Cree una nueva aplicación JavaScript para indicaciones de imágenes

Seleccione una imagen de azure-samples/cognitive-services-sample-data-files y establezca la dirección URL de una imagen en las variables de entorno.

Microsoft Entra ID
Clave de API

Cree un archivo quickstart.ts y pegue el código siguiente.

import { AzureOpenAI } from "openai";
import { 
    DefaultAzureCredential, 
    getBearerTokenProvider 
} from "@azure/identity";
import type {
  ChatCompletion,
  ChatCompletionCreateParamsNonStreaming,
} from "openai/resources/index";

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

// keyless authentication    
const credential = new DefaultAzureCredential();
const scope = "https://cognitiveservices.azure.com/.default";
const azureADTokenProvider = getBearerTokenProvider(credential, scope);

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    azureADTokenProvider,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages(): ChatCompletionCreateParamsNonStreaming {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion: ChatCompletion): Promise<void> {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

Haga los siguientes cambios:
1. Escriba el nombre de su implementación de GPT-4 Turbo con Visión en el campo correspondiente.
2. Cambie el valor del campo "url" a la dirección URL de la imagen.
  
  Sugerencia
  
  También puede usar datos de imagen codificados en base 64 en lugar de una dirección URL. Para más información, consulte la Guía paso a paso de GPT-4 Turbo con Visión.
Compile la aplicación con el siguiente comando:
```
tsc
```
Ejecute la aplicación con el comando siguiente:
```
node quickstart.js
```

Cree un archivo quickstart.ts y pegue el código siguiente.

import { AzureOpenAI } from "openai";
import type {
  ChatCompletion,
  ChatCompletionCreateParamsNonStreaming,
} from "openai/resources/index";

// You will need to set these environment variables or edit the following values
const endpoint = process.env["AZURE_OPENAI_ENDPOINT"] || "<endpoint>";
const apiKey = process.env["AZURE_OPENAI_API_KEY"] || "<api key>";
const imageUrl = process.env["IMAGE_URL"] || "<image url>";

// Required Azure OpenAI deployment name and API version
const apiVersion = "2024-07-01-preview";
const deploymentName = "gpt-4-with-turbo";

function getClient(): AzureOpenAI {
  return new AzureOpenAI({
    endpoint,
    apiKey,
    apiVersion,
    deployment: deploymentName,
  });
}
function createMessages(): ChatCompletionCreateParamsNonStreaming {
  return {
    messages: [
      { role: "system", content: "You are a helpful assistant." },
      {
        role: "user",
        content: [
          {
            type: "text",
            text: "Describe this picture:",
          },
          {
            type: "image_url",
            image_url: {
              url: imageUrl,
            },
          },
        ],
      },
    ],
    model: "",
    max_tokens: 2000,
  };
}
async function printChoices(completion: ChatCompletion): Promise<void> {
  for (const choice of completion.choices) {
    console.log(choice.message);
  }
}
export async function main() {
  console.log("== Get GPT-4 Turbo with vision Sample ==");

  const client = getClient();
  const messages = createMessages();
  const completion = await client.chat.completions.create(messages);
  await printChoices(completion);
}

main().catch((err) => {
  console.error("Error occurred:", err);
});

Haga los siguientes cambios:
1. Escriba el nombre de su implementación de GPT-4 Turbo con Visión en el campo correspondiente.
2. Cambie el valor del campo "url" a la dirección URL de la imagen.
  
  Sugerencia
  
  También puede usar datos de imagen codificados en base 64 en lugar de una dirección URL. Para más información, consulte la Guía paso a paso de GPT-4 Turbo con Visión.
Compile la aplicación con el siguiente comando:
```
tsc
```
Ejecute la aplicación con el comando siguiente:
```
node quickstart.js
```

Limpieza de recursos

Use este artículo para empezar a usar el SDK de .NET de Azure OpenAI para implementar y usar el modelo GPT-4 Turbo con Visión.

Requisitos previos

Suscripción a Azure. Puede crear una de forma gratuita.
SDK de .NET 8.0
Un recurso de Azure OpenAI Service con un modelo de GPT-4 Turbo con Visión implementado. Consulte la Disponibilidad del modelo GPT-4 y la versión preliminar de GPT-4 Turbo para las regiones disponibles. Para obtener más información sobre la creación de recursos, consulte la guía de implementación de recursos.

Configuración

Recuperación de la clave y el punto de conexión

Para realizar correctamente una llamada en Azure OpenAI, necesita un punto de conexión y una clave.

Nombre de la variable	Valor
`AZURE_OPENAI_ENDPOINT`	El punto de conexión de servicio se puede encontrar en la sección Claves y punto de conexión al examinar su recurso en Azure Portal. También puede encontrar el punto de implementación a través de la página Implementaciones de Estudio de IA de Azure. Punto de conexión de ejemplo: `https://docs-test-001.openai.azure.com/`.
`AZURE_OPENAI_API_KEY`	Este valor se puede encontrar en la sección Claves y punto de conexión al examinar el recurso en Azure Portal. Puede usar `KEY1` o `KEY2`.

Vaya al recurso en Azure Portal. El punto de conexión y las claves se pueden encontrar en la sección Administración de recursos. Copie el punto de conexión y la clave de acceso, ya que los necesita para autenticar las llamadas API. Puede usar KEY1 o KEY2. Tener siempre dos claves permite rotar y regenerar las claves de forma segura sin provocar una interrupción del servicio.

Crear la aplicación .NET

Cree una aplicación de .NET con el comando dotnet new:
```
dotnet new console -n OpenAISpeech
```
Cambie al directorio de la nueva aplicación:
```
cd OpenAISpeech
```

Instalación de la biblioteca cliente

Instale la biblioteca cliente Azure.OpenAI:

dotnet add package Azure.AI.OpenAI

Se recomienda la autenticación sin contraseña

La autenticación sin contraseña es más segura que las alternativas basadas en claves y es el enfoque recomendado para conectarse a los servicios de Azure. Si decide usar la autenticación sin contraseña, deberá completar lo siguiente:

Agregue el paquete Azure.Identity.
```
dotnet add package Azure.Identity
```
Asignar el rol Cognitive Services User a su cuenta de usuario. Esto se puede hacer en Azure Portal o en el recurso de OpenAI en Control de acceso (IAM)>Agregar asignación de roles.
Inicie sesión en Azure mediante Visual Studio o la CLI de Azure a través de az login.

Actualización del código de la aplicación

Reemplace el contenido de program.cs por el código siguiente y actualice los valores de marcador de posición por los suyos propios.

using Azure;
using Azure.AI.OpenAI;
using Azure.Identity;
using OpenAI.Chat; // Required for Passwordless auth

var endpoint = new Uri("YOUR_AZURE_OPENAI_ENDPOINT");
var credentials = new AzureKeyCredential("YOUR_AZURE_OPENAI_KEY");
// var credentials = new DefaultAzureCredential(); // Use this line for Passwordless auth
var deploymentName = "gpt-4"; // Default name, update with your own if needed

var openAIClient = new AzureOpenAIClient(endpoint, credentials);
var chatClient = openAIClient.GetChatClient(deploymentName);

var imageUri = "YOUR_IMAGE_URL";

List<ChatMessage> messages = [
    new UserChatMessage(
        ChatMessageContentPart.CreateTextMessageContentPart("Please describe the following image:"),
        ChatMessageContentPart.CreateImageMessageContentPart(new Uri(imageUri), "image/png"))
];

ChatCompletion chatCompletion = await chatClient.CompleteChatAsync(messages);

Console.WriteLine($"[ASSISTANT]:");
Console.WriteLine($"{chatCompletion.Content[0].Text}");

Importante

Para producción, use un método seguro de almacenar las credenciales y acceder a ellas, como Azure Key Vault. Para más información sobre la seguridad de las credenciales, vea Seguridad de los servicios de Azure AI.

Ejecute la aplicación mediante el comando dotnet run o el botón Ejecutar situado en la parte superior de Visual Studio:
```
dotnet run
```

La aplicación genera un archivo de audio en la ubicación especificada para la variable speechFilePath. Reproducir el archivo en el dispositivo para escuchar el audio generado.

Limpieza de recursos

Pasos siguientes

Más información sobre estas API en la Guía de procedimientos de GPT-4 Turbo con Visión
Preguntas frecuentes de GPT-4 Turbo con Vision
Referencia de GPT-4 Turbo con la API de Visión

Compartir a través de

Inicio rápido: Usar imágenes en los chats de IA

Requisitos previos

Ir a Azure OpenAI Studio

Área de juegos

Iniciar una sesión de chat para analizar imágenes o vídeos

Limpieza de recursos

Requisitos previos

Recuperación de la clave y el punto de conexión

Creación de una nueva aplicación de Python

Limpieza de recursos

Requisitos previos

Configuración

Recuperación de la clave y el punto de conexión

Variables de entorno

Creación de una nueva aplicación de Python

Limpieza de recursos

Requisitos previos

Recuperación de la clave y el punto de conexión

Variables de entorno

Creación de una aplicación Node

Instalación de la biblioteca cliente

Cree una nueva aplicación JavaScript para indicaciones de imágenes

Limpieza de recursos

Requisitos previos

Recuperación de la clave y el punto de conexión

Variables de entorno

Creación de una aplicación Node

Instalación de la biblioteca cliente

Cree una nueva aplicación JavaScript para indicaciones de imágenes

Limpieza de recursos

Requisitos previos

Configuración

Recuperación de la clave y el punto de conexión

Crear la aplicación .NET

Instalación de la biblioteca cliente

Se recomienda la autenticación sin contraseña

Actualización del código de la aplicación

Limpieza de recursos

Pasos siguientes

Comentarios

Recursos adicionales