Modelos do Serviço OpenAI do Azure

O Serviço OpenAI do Azure é alimentado por um conjunto diversificado de modelos com diferentes funcionalidades e pontos de preço. A disponibilidade do modelo varia de acordo com a região e a nuvem. Para obter a disponibilidade do modelo do Azure Governamental, confira o Serviço OpenAI do Azure Governamental.

acesso limitado aos modelos o1-preview e o1-mini

Os modelos o1-preview e o1-mini do OpenAI do Azure foram especificamente desenvolvidos para lidar com tarefas de raciocínio e resolução de problemas com foco e capacidade aumentados. Esses modelos gastam mais tempo processando e entendendo a solicitação do usuário, o que os torna excepcionalmente competentes em áreas como ciência, programação e matemática, em comparação com as iterações anteriores.

Disponibilidade

Os modelos o1-preview e o1-mini agora estão disponíveis para acesso à API e implantação de modelos. O registro é obrigatório e o acesso será concedido com base nos critérios de elegibilidade da Microsoft.

Solicitar acesso: aplicativo de modelo de acesso limitado

Depois que o acesso for concedido, você precisará criar uma implantação para cada modelo.

Suporte a API

Suporte para os modelos da série o1 foi adicionado na versão da API 2024-09-01-preview.

O parâmetro max_tokens foi descontinuado e substituído pelo novo parâmetro max_completion_tokens. Os modelos da série o1 só funcionarão com o parâmetro max_completion_tokens.

Uso

Atualmente, esses modelos não oferecem suporte ao mesmo conjunto de parâmetros que outros modelos que usam a API de conclusões de chat. Atualmente, apenas um subconjunto muito limitado é suportado, portanto parâmetros comuns como temperature, top_p, não estão disponíveis e incluí-los fará com que sua solicitação falhe. o1-preview e o1-mini os modelos também não aceitarão a função de mensagem do sistema como parte da matriz de mensagens.

pip install openai --upgrade

from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

pip install openai --upgrade

from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

{
  "id": "chatcmpl-AEj7pKFoiTqDPHuxOcirA9KIvf3yz",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "Writing your first Python API is an exciting step in developing software that can communicate with other applications. An API (Application Programming Interface) allows different software systems to interact with each other, enabling data exchange and functionality sharing. Here are the steps you should consider when creating your first Python API:\n\n1. **Define the Purpose and Requirements**\n\n   - **Identify the Functionality**: Clearly outline what your API is supposed to do. What data or services will it provide to the users?\n   - **Determine the Endpoints**: Plan the different URLs (endpoints) through which users can access the API functionalities.\n   - **Specify Request and Response Formats**: Decide on the data formats (usually JSON) for incoming requests and outgoing responses.\n\n2. **Choose the Right Framework**\n\n   Python offers several frameworks for building APIs. Two of the most popular are:\n\n   - **Flask**: A lightweight and flexible web framework, great for small to medium-sized APIs.\n   - **FastAPI**: A modern, high-performance framework for building APIs with Python 3.6+ types, offering automatic interactive documentation.\n\n   **Example**:\n   ```bash\n   pip install flask\n   ```\n   or\n   ```bash\n   pip install fastapi uvicorn\n   ```\n\n3. **Set Up the Development Environment**\n\n   - **Create a Virtual Environment**: Isolate your project dependencies using `venv` or `conda`.\n   - **Install Required Packages**: Ensure all necessary libraries and packages are installed.\n\n   **Example**:\n   ```bash\n   python -m venv env\n   source env/bin/activate  # On Windows use `env\\Scripts\\activate`\n   ```\n\n4. **Implement the API Endpoints**\n\n   - **Write the Code for Each Endpoint**: Implement the logic that handles requests and returns responses.\n   - **Use Decorators to Define Routes**: In frameworks like Flask, you use decorators to specify the URL endpoints.\n\n   **Example with Flask**:\n   ```python\n   from flask import Flask, request, jsonify\n\n   app = Flask(__name__)\n\n   @app.route('/hello', methods=['GET'])\n   def hello_world():\n       return jsonify({'message': 'Hello, World!'})\n\n   if __name__ == '__main__':\n       app.run(debug=True)\n   ```\n\n5. **Handle Data Serialization and Deserialization**\n\n   - **Parsing Incoming Data**: Use libraries to parse JSON or other data formats from requests.\n   - **Formatting Output Data**: Ensure that responses are properly formatted in JSON or XML.\n\n6. **Implement Error Handling**\n\n   - **Handle Exceptions Gracefully**: Provide meaningful error messages and HTTP status codes.\n   - **Validate Input Data**: Check for required fields and appropriate data types to prevent errors.\n\n   **Example**:\n   ```python\n   @app.errorhandler(404)\n   def resource_not_found(e):\n       return jsonify(error=str(e)), 404\n   ```\n\n7. **Add Authentication and Authorization (If Necessary)**\n\n   - **Secure Endpoints**: If your API requires, implement security measures such as API keys, tokens (JWT), or OAuth.\n   - **Manage User Sessions**: Handle user login states and permissions appropriately.\n\n8. **Document Your API**\n\n   - **Use Tools Like Swagger/OpenAPI**: Automatically generate interactive API documentation.\n   - **Provide Usage Examples**: Help users understand how to interact with your API.\n\n   **Example with FastAPI**:\n   FastAPI automatically generates docs at `/docs` using Swagger UI.\n\n9. **Test Your API**\n\n   - **Write Unit and Integration Tests**: Ensure each endpoint works as expected.\n   - **Use Testing Tools**: Utilize tools like `unittest`, `pytest`, or API testing platforms like Postman.\n\n   **Example**:\n   ```python\n   import unittest\n   class TestAPI(unittest.TestCase):\n       def test_hello_world(self):\n           response = app.test_client().get('/hello')\n           self.assertEqual(response.status_code, 200)\n   ```\n\n10. **Optimize Performance**\n\n    - **Improve Response Times**: Optimize your code and consider using asynchronous programming if necessary.\n    - **Manage Resource Utilization**: Ensure your API can handle the expected load.\n\n11. **Deploy Your API**\n\n    - **Choose a Hosting Platform**: Options include AWS, Heroku, DigitalOcean, etc.\n    - **Configure the Server**: Set up the environment to run your API in a production setting.\n    - **Use a Production Server**: Instead of the development server, use WSGI servers like Gunicorn or Uvicorn.\n\n    **Example**:\n    ```bash\n    uvicorn main:app --host 0.0.0.0 --port 80\n    ```\n\n12. **Monitor and Maintain**\n\n    - **Logging**: Implement logging to track events and errors.\n    - **Monitoring**: Use monitoring tools to track performance and uptime.\n    - **Update and Patch**: Keep dependencies up to date and patch any security vulnerabilities.\n\n13. **Consider Versioning**\n\n    - **Plan for Updates**: Use versioning in your API endpoints to manage changes without breaking existing clients.\n    - **Example**:\n      ```python\n      @app.route('/v1/hello', methods=['GET'])\n      ```\n\n14. **Gather Feedback and Iterate**\n\n    - **User Feedback**: Encourage users to provide feedback on your API.\n    - **Continuous Improvement**: Use the feedback to make improvements and add features.\n\n**Additional Tips**:\n\n- **Keep It Simple**: Start with a minimal viable API and expand functionality over time.\n- **Follow RESTful Principles**: Design your API according to REST standards to make it intuitive and standard-compliant.\n- **Security Best Practices**: Always sanitize inputs and protect against common vulnerabilities like SQL injection and cross-site scripting (XSS).\nBy following these steps, you'll be well on your way to creating a functional and robust Python API. Good luck with your development!",
        "refusal": null,
        "role": "assistant",
        "function_call": null,
        "tool_calls": null
      },
      "content_filter_results": {
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "protected_material_code": {
          "filtered": false,
          "detected": false
        },
        "protected_material_text": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ],
  "created": 1728073417,
  "model": "o1-preview-2024-09-12",
  "object": "chat.completion",
  "service_tier": null,
  "system_fingerprint": "fp_503a95a7d8",
  "usage": {
    "completion_tokens": 1843,
    "prompt_tokens": 20,
    "total_tokens": 1863,
    "completion_tokens_details": {
      "audio_tokens": null,
      "reasoning_tokens": 448
    },
    "prompt_tokens_details": {
      "audio_tokens": null,
      "cached_tokens": 0
    }
  },
  "prompt_filter_results": [
    {
      "prompt_index": 0,
      "content_filter_results": {
        "custom_blocklists": {
          "filtered": false
        },
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "jailbreak": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ]
}

Disponibilidade de região

Disponível para implantação padrão e padrão global no Leste dos EUA, Leste dos EUA2, Centro-Norte dos EUA, Centro-Sul dos EUA, Suécia Central, Oeste dos EUA e Oeste dos EUA3 para clientes aprovados.

Áudio GPT-4o

O modelo gpt-4o-realtime-preview faz parte da família de modelos GPT-4o e dá suporte a interações conversacionais de baixa latência, "fala dentro, fala fora". O áudio GPT-4o foi projetado para lidar com interações de conversa em tempo real e de baixa latência, tornando-o um ótimo ajuste para agentes de suporte, assistentes, tradutores e outros casos de uso que precisam de idas e vindas altamente responsivas com um usuário.

O áudio GPT-4o está disponível nas regiões Leste dos EUA 2 (eastus2) e Central da Suécia (swedencentral). Para usar o áudio GPT-4o, você precisa criar ou usar um recurso existente em uma das regiões com suporte.

Quando o recurso é criado, você pode implantar o modelo de áudio GPT-4o. Se você estiver executando uma implantação programática, o nome do modelo será gpt-4o-realtime-preview. Para obter mais informações sobre como usar o áudio GPT-4o, consulte a documentação de áudio GPT-4o.

Detalhes sobre o máximo de tokens de solicitação e dados de treinamento estão disponíveis na tabela a seguir.

GPT-4o e GPT-4 Turbo

O GPT-4o integra texto e imagens em um único modelo, permitindo que ele manipule vários tipos de dados simultaneamente. Essa abordagem multimodal melhora a precisão e a capacidade de resposta nas interações entre humanos e computadores. O GPT-4o tem as mesmas tarefas de codificação e texto em inglês que o GPT-4 Turbo, enquanto oferece um desempenho superior em idiomas além do inglês e em tarefas de visão, definindo novos parâmetros de comparação para os recursos de IA.

Como fazer para acessar os modelos do GPT-4o e GPT-4o mini?

O GPT-4o e GPT-4o mini estão disponíveis para implantação de modelo padrão e padrão global.

Você deve criar ou usar um recurso já existente em uma região que seja padrão com suporte ou padrão global, onde o modelo está disponível.

Após a criação do recurso, será possível implantar os modelos do GPT-4o. Se você estiver executando uma implantação programática, os nomes dos modelos serão:

• gpt-4o Versão 2024-08-06
• gpt-4o, Versão 2024-05-13
• gpt-4o-mini Versão 2024-07-18

GPT-4 Turbo

O GPT-4 Turbo é um modelo multimodal grande (aceitando entradas de texto ou imagem e gerando texto) que pode resolver problemas difíceis com maior precisão do que qualquer um dos modelos anteriores do OpenAI. Assim como o GPT-3.5 Turbo e os modelos GPT-4 Turbo mais antigos, o GPT-4 Turbo é otimizado para chat e funciona bem para tarefas de conclusão tradicionais.

A última versão GA do GPT-4 Turbo é:

• gpt-4 Versão: turbo-2024-04-09

Essa é a substituição dos seguintes modelos de versão prévia:

• gpt-4 Versão: 1106-Preview
• gpt-4 Versão: 0125-Preview
• gpt-4 Versão: vision-preview

Diferenças entre os modelos OpenAI e Azure OpenAI GPT-4 Turbo GA

• A versão mais recente do modelo turbo 0409 do OpenAI suporta o modo JSON e chamadas de função para todas as solicitações de inferência.
• A versão do OpenAI do Azure do turbo-2024-04-09 mais recente no momento não dá suporte ao uso do modo JSON e chamadas de função ao fazer solicitações de inferência com entrada de imagem (visão). As solicitações de entrada baseadas em texto (solicitações sem image_url e imagens embutidas) dão suporte ao modo JSON e à chamada de função.

Diferenças do gpt-4 vision-preview

• A integração de aprimoramentos específicos do IA do Azure Vision com GPT-4 Turbo com Vision não é suportada para gpt-4 Versão: turbo-2024-04-09. Isso inclui Reconhecimento Óptico de Caracteres (OCR), ancoragem de objetos, solicitações de vídeo e melhor manuseio dos seus dados com imagens.

Disponibilidade gerenciada provisionada do GPT-4 Turbo

• gpt-4 Versão: turbo-2024-04-09 está disponível para implantações padrão e provisionadas. Atualmente, a versão provisionada deste modelo não dá suporte a solicitações de inferência de imagem/visão. As implantações provisionadas deste modelo aceitam apenas a entrada de texto. As implantações de modelo Standard aceitam solicitações de inferência de texto e imagem/visão.

Implantar o GPT-4 Turbo com Visão GA

Para implantar o modelo GA na interface do usuário do Estúdio, selecione GPT-4 e escolha a versão turbo-2024-04-09 no menu suspenso. A cota padrão para o modelo gpt-4-turbo-2024-04-09 será a mesma da cota atual para o GPT-4-Turbo. Consulte os limites de cota regional.

GPT-4

O GPT-4 é o antecessor do GPT-4 Turbo. Tanto os modelos GPT-4 quanto os modelos GPT-4 Turbo têm um nome de modelo base de gpt-4. Você pode distinguir entre os modelos GPT-4 e Turbo examinando a versão do modelo.

• gpt-4 Versão 0314
• gpt-4 Versão 0613
• gpt-4-32k Versão 0613

Você pode ver o comprimento do contexto do token compatível com cada modelo na tabela de resumo do modelo.

Modelos de GPT-4 e GPT-4 Turbo

• Esses modelos só podem ser usados com a API de Conclusão de Chat.

Consulte as versões de modelo para saber mais sobre como o Serviço OpenAI do Azure lida com atualizações de versão de modelo e trabalhando com modelos, para saber como exibir e definir as configurações de versão do modelo de suas implantações GPT-4.

• GPT-4 versão 0125-preview é uma versão atualizada da versão prévia do GPT-4 Turbo lançada anteriormente como versão 1106-preview.
• O GPT-4 versão 0125-preview conclui tarefas como a geração de código mais completamente em comparação com o gpt-4-1106-preview. Por isso, dependendo da tarefa, os clientes podem descobrir que o GPT-4-0125-preview gera mais saída em comparação com o gpt-4-1106-preview. Recomendamos que os clientes comparem as saídas do novo modelo. O GPT-4-0125-preview também aborda bugs no gpt-4-1106-preview com manipulação UTF-8 para idiomas diferentes do inglês.
• A versão GPT-4 turbo-2024-04-09 é a versão GA mais recente e substitui 0125-Preview, 1106-preview e vision-preview.

GPT-3.5

Os modelos GPT-3.5 conseguem entender e gerar linguagem natural ou código. O modelo mais capaz e mais econômico da família GPT-3.5 é o GPT-3.5 Turbo, que foi otimizado para chat e também funciona bem para tarefas de preenchimento tradicionais. O GPT-3.5 Turbo está disponível para uso com a API de Conclusão de Chat. O GPT-3.5 Turbo Instruct tem recursos semelhantes ao text-davinci-003 usando a API de Conclusão em vez da API de Conclusão de Chat. Recomendamos o uso do GPT-3.5 Turbo e do GPT-3.5 Turbo Instruct em vez dos modelos herdados GPT-3.5 e GPT-3.

Para saber mais sobre como interagir com o GPT-3.5 Turbo e a API de Preenchimentos de Chat, confira nossas instruções passo a passo aprofundadas.

¹ Esse modelo aceitará solicitações > 4.096 tokens. Não é recomendável exceder o limite de 4.096 tokens de entrada, pois a versão mais recente do modelo é limitada a 4.096 tokens. Se você encontrar problemas ao exceder 4.096 tokens de entrada com esse modelo, essa configuração não terá suporte oficial.

Incorporações

text-embedding-3-large é o modelo de inserção mais recente e mais capaz. A atualização entre modelos de inserções não é possível. Para passar do uso de text-embedding-ada-002 para text-embedding-3-large, você precisaria gerar novas inserções.

• text-embedding-3-large
• text-embedding-3-small
• text-embedding-ada-002

Em testes, o OpenAI relata que os modelos de inserções de terceira geração grandes e pequenos oferecem melhor desempenho médio de recuperação de vários idiomas com o parâmetro de comparação MIRACL, mantendo ainda o desempenho para tarefas em inglês com o parâmetro de comparação MTEB.

Os modelos de inserções de terceira geração dão suporte à redução do tamanho da inserção por meio de um novo parâmetro dimensions. Normalmente, inserções maiores são mais caras de uma perspectiva de computação, memória e armazenamento. Ser capaz de ajustar o número de dimensões permite mais controle sobre o custo e o desempenho gerais. Não há suporte para o parâmetro dimensions em todas as versões da biblioteca OpenAI 1.x Python. Para aproveitar esse parâmetro, recomendamos atualizar para a versão mais recente: pip install openai --upgrade.

O teste de parâmetro de comparação MTEB da OpenAI constatou que, mesmo quando as dimensões do modelo de terceira geração são reduzidas para menos de 1.536 dimensões de text-embeddings-ada-002, o desempenho permanece ligeiramente melhor.

DALL-E

Os modelos DALL-E geram imagens a partir de prompts de texto fornecidos pelo usuário. DALL-E 3 está geralmente disponível para uso com APIs REST. DALL-E 2 e DALL-E 3 com SDKs de cliente estão em versão prévia.

Whisper

Os modelos do Whisper podem ser usados para conversão de fala em texto.

Use também o modelo Whisper por meio da API de transcrição em lote da Fala de IA do Azure. ConsulteO que é o modelo Whisper? para saber mais sobre quando usar a Fala de IA do Azure versus o Serviço OpenAI do Azure.

Conversão de texto em fala (versão prévia)

Os modelos de conversão de texto em fala do OpenAI, atualmente em versão prévia, podem ser usado para sintetizar a conversão de texto em fala.

Você também pode usar as vozes da conversão de texto em fala do OpenAI por meio da Fala de IA do Azure. Para saber mais, consulte o guia Vozes da conversão de texto em fala do OpenAI por meio do Serviço OpenAI do Azure ou Fala de IA do Azure.

Tabela de resumo de modelos e disponibilidade por região

Modelos por tipo de implantação

O OpenAI do Azure fornece aos clientes opções sobre a estrutura de hospedagem que se ajusta aos seus padrões de negócios e de uso. O serviço oferece dois tipos principais de implantação:

• O tipo Standard é oferecido com uma opção de implantação global, roteando o tráfego globalmente para fornecer uma taxa de transferência mais alta.
• O tipo Provisionado também é oferecido com uma opção de implantação global, permitindo que os clientes comprem e implantem unidades de produtividade provisionadas em toda a infraestrutura global do Azure.

Todas as implantações podem executar exatamente as mesmas operações de inferência; no entanto, a cobrança, a escala e o desempenho são substancialmente diferentes. Para saber mais sobre os tipos de implantação do OpenAI do Azure, confira nosso guia de tipos de implantação.

Essa tabela não inclui informações de ajuste fino de disponibilidade regional. Consulte a seção de ajuste fino para obter essas informações.

Disponibilidade padrão do modelo de zona de dados

Selecione o acesso do cliente

Além das regiões acima que estão disponíveis para todos os clientes do Azure OpenAI, alguns clientes pré-existentes selecionados receberam acesso a versões do GPT-4 in regiões adicionais:

Modelos Standard por ponto de extremidade

Modelos de ajuste fino

No momento, ¹ GPT-4 está em visualização pública.

Assistentes (versão prévia)

Para Assistentes, você precisa de uma combinação de um modelo com suporte e uma região com suporte. Determinadas ferramentas e funcionalidades exigem os modelos mais recentes. Os modelos a seguir estão disponíveis na API dos Assistentes, no SDK e no Estúdio de IA do Azure. A tabela a seguir é para pagamento conforme o uso. Para obter informações sobre a disponibilidade da unidade de produtividade provisionado (PTU), veja rendimento provisionado. Os modelos e regiões listados podem ser usados com os Assistentes v1 e v2. Você pode usar modelos padrão globais se eles forem compatíveis com as regiões listadas abaixo.

Aposentadoria do modelo

Para obter as informações mais recentes sobre descontinuações modelo, consulte o guia de descontinuação modelo.

Próximas etapas

• Retirada e depreciação do modelo
• Saiba mais sobre como trabalhar com modelos do OpenAI do Azure
• Saiba mais sobre o Azure OpenAI
• Saiba mais sobre o ajuste fino de modelos do OpenAI do Azure