Azure OpenAI Service-modeller

Azure OpenAI Service drivs av flera olika modeller med olika funktioner och priser. Modelltillgängligheten varierar beroende på region och moln. För azure government-modelltillgänglighet kan du läsa Azure Government OpenAI Service.

o1-preview och o1-mini modeller begränsad åtkomst

Azure OpenAI o1-preview och o1-mini modeller är särskilt utformade för att hantera resonemang och problemlösningsuppgifter med ökat fokus och ökad kapacitet. Dessa modeller ägnar mer tid åt att bearbeta och förstå användarens begäran, vilket gör dem exceptionellt starka inom områden som vetenskap, kodning och matematik jämfört med tidigare iterationer.

Tillgänglighet

Modellerna o1-preview och o1-mini är nu tillgängliga för API-åtkomst och modelldistribution. Registrering krävs och åtkomst beviljas baserat på Microsofts berättigandekriterier.

Begär åtkomst: program för modell för begränsad åtkomst

När åtkomsten har beviljats måste du skapa en distribution för varje modell.

API-stöd

Stöd för modellerna i o1-serien har lagts till i API-versionen 2024-09-01-preview.

Parametern max_tokens har föråldrats och ersatts med den nya max_completion_tokens parametern. o1-seriemodeller fungerar bara med parametern max_completion_tokens .

Förbrukning

Dessa modeller stöder för närvarande inte samma uppsättning parametrar som andra modeller som använder API:et för chattavslut. Endast en mycket begränsad delmängd stöds för närvarande, så vanliga parametrar som temperature, top_p, är inte tillgängliga och om du inkluderar dem misslyckas din begäran. o1-preview och o1-mini modeller accepterar inte heller systemmeddelanderollen som en del av meddelandematrisen.

pip install openai --upgrade

from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

pip install openai --upgrade

from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

{
  "id": "chatcmpl-AEj7pKFoiTqDPHuxOcirA9KIvf3yz",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "Writing your first Python API is an exciting step in developing software that can communicate with other applications. An API (Application Programming Interface) allows different software systems to interact with each other, enabling data exchange and functionality sharing. Here are the steps you should consider when creating your first Python API:\n\n1. **Define the Purpose and Requirements**\n\n   - **Identify the Functionality**: Clearly outline what your API is supposed to do. What data or services will it provide to the users?\n   - **Determine the Endpoints**: Plan the different URLs (endpoints) through which users can access the API functionalities.\n   - **Specify Request and Response Formats**: Decide on the data formats (usually JSON) for incoming requests and outgoing responses.\n\n2. **Choose the Right Framework**\n\n   Python offers several frameworks for building APIs. Two of the most popular are:\n\n   - **Flask**: A lightweight and flexible web framework, great for small to medium-sized APIs.\n   - **FastAPI**: A modern, high-performance framework for building APIs with Python 3.6+ types, offering automatic interactive documentation.\n\n   **Example**:\n   ```bash\n   pip install flask\n   ```\n   or\n   ```bash\n   pip install fastapi uvicorn\n   ```\n\n3. **Set Up the Development Environment**\n\n   - **Create a Virtual Environment**: Isolate your project dependencies using `venv` or `conda`.\n   - **Install Required Packages**: Ensure all necessary libraries and packages are installed.\n\n   **Example**:\n   ```bash\n   python -m venv env\n   source env/bin/activate  # On Windows use `env\\Scripts\\activate`\n   ```\n\n4. **Implement the API Endpoints**\n\n   - **Write the Code for Each Endpoint**: Implement the logic that handles requests and returns responses.\n   - **Use Decorators to Define Routes**: In frameworks like Flask, you use decorators to specify the URL endpoints.\n\n   **Example with Flask**:\n   ```python\n   from flask import Flask, request, jsonify\n\n   app = Flask(__name__)\n\n   @app.route('/hello', methods=['GET'])\n   def hello_world():\n       return jsonify({'message': 'Hello, World!'})\n\n   if __name__ == '__main__':\n       app.run(debug=True)\n   ```\n\n5. **Handle Data Serialization and Deserialization**\n\n   - **Parsing Incoming Data**: Use libraries to parse JSON or other data formats from requests.\n   - **Formatting Output Data**: Ensure that responses are properly formatted in JSON or XML.\n\n6. **Implement Error Handling**\n\n   - **Handle Exceptions Gracefully**: Provide meaningful error messages and HTTP status codes.\n   - **Validate Input Data**: Check for required fields and appropriate data types to prevent errors.\n\n   **Example**:\n   ```python\n   @app.errorhandler(404)\n   def resource_not_found(e):\n       return jsonify(error=str(e)), 404\n   ```\n\n7. **Add Authentication and Authorization (If Necessary)**\n\n   - **Secure Endpoints**: If your API requires, implement security measures such as API keys, tokens (JWT), or OAuth.\n   - **Manage User Sessions**: Handle user login states and permissions appropriately.\n\n8. **Document Your API**\n\n   - **Use Tools Like Swagger/OpenAPI**: Automatically generate interactive API documentation.\n   - **Provide Usage Examples**: Help users understand how to interact with your API.\n\n   **Example with FastAPI**:\n   FastAPI automatically generates docs at `/docs` using Swagger UI.\n\n9. **Test Your API**\n\n   - **Write Unit and Integration Tests**: Ensure each endpoint works as expected.\n   - **Use Testing Tools**: Utilize tools like `unittest`, `pytest`, or API testing platforms like Postman.\n\n   **Example**:\n   ```python\n   import unittest\n   class TestAPI(unittest.TestCase):\n       def test_hello_world(self):\n           response = app.test_client().get('/hello')\n           self.assertEqual(response.status_code, 200)\n   ```\n\n10. **Optimize Performance**\n\n    - **Improve Response Times**: Optimize your code and consider using asynchronous programming if necessary.\n    - **Manage Resource Utilization**: Ensure your API can handle the expected load.\n\n11. **Deploy Your API**\n\n    - **Choose a Hosting Platform**: Options include AWS, Heroku, DigitalOcean, etc.\n    - **Configure the Server**: Set up the environment to run your API in a production setting.\n    - **Use a Production Server**: Instead of the development server, use WSGI servers like Gunicorn or Uvicorn.\n\n    **Example**:\n    ```bash\n    uvicorn main:app --host 0.0.0.0 --port 80\n    ```\n\n12. **Monitor and Maintain**\n\n    - **Logging**: Implement logging to track events and errors.\n    - **Monitoring**: Use monitoring tools to track performance and uptime.\n    - **Update and Patch**: Keep dependencies up to date and patch any security vulnerabilities.\n\n13. **Consider Versioning**\n\n    - **Plan for Updates**: Use versioning in your API endpoints to manage changes without breaking existing clients.\n    - **Example**:\n      ```python\n      @app.route('/v1/hello', methods=['GET'])\n      ```\n\n14. **Gather Feedback and Iterate**\n\n    - **User Feedback**: Encourage users to provide feedback on your API.\n    - **Continuous Improvement**: Use the feedback to make improvements and add features.\n\n**Additional Tips**:\n\n- **Keep It Simple**: Start with a minimal viable API and expand functionality over time.\n- **Follow RESTful Principles**: Design your API according to REST standards to make it intuitive and standard-compliant.\n- **Security Best Practices**: Always sanitize inputs and protect against common vulnerabilities like SQL injection and cross-site scripting (XSS).\nBy following these steps, you'll be well on your way to creating a functional and robust Python API. Good luck with your development!",
        "refusal": null,
        "role": "assistant",
        "function_call": null,
        "tool_calls": null
      },
      "content_filter_results": {
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "protected_material_code": {
          "filtered": false,
          "detected": false
        },
        "protected_material_text": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ],
  "created": 1728073417,
  "model": "o1-preview-2024-09-12",
  "object": "chat.completion",
  "service_tier": null,
  "system_fingerprint": "fp_503a95a7d8",
  "usage": {
    "completion_tokens": 1843,
    "prompt_tokens": 20,
    "total_tokens": 1863,
    "completion_tokens_details": {
      "audio_tokens": null,
      "reasoning_tokens": 448
    },
    "prompt_tokens_details": {
      "audio_tokens": null,
      "cached_tokens": 0
    }
  },
  "prompt_filter_results": [
    {
      "prompt_index": 0,
      "content_filter_results": {
        "custom_blocklists": {
          "filtered": false
        },
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "jailbreak": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ]
}

Region tillgänglighet

Tillgänglig för standard- och global standarddistribution i USA, östra, USA, östra 2, USA, norra centrala, USA, södra centrala, Sverige, centrala, USA, västra och USA, västra3 för godkända kunder.

GPT-4o-ljud

Modellen gpt-4o-realtime-preview är en del av GPT-4o-modellfamiljen och stöder konversationsinteraktioner med låg latens, "tal in, tal ut". GPT-4o-ljud är utformat för att hantera konversationsinteraktioner med låg latens i realtid, vilket gör det till en bra plats för supportagenter, assistenter, översättare och andra användningsfall som behöver mycket dynamiska fram och tillbaka med en användare.

GPT-4o-ljud finns i regionerna USA, östra 2 (eastus2) och Sverige, centrala (swedencentral). Om du vill använda GPT-4o-ljud måste du skapa eller använda en befintlig resurs i någon av de regioner som stöds.

När resursen har skapats kan du distribuera GPT-4o-ljudmodellen. Om du utför en programmatisk distribution är gpt-4o-realtime-previewmodellnamnet . Mer information om hur du använder GPT-4o-ljud finns i GPT-4o-ljuddokumentationen.

Information om maximala begärandetoken och träningsdata finns i följande tabell.

GPT-4o och GPT-4 Turbo

GPT-4o integrerar text och bilder i en enda modell, vilket gör att den kan hantera flera datatyper samtidigt. Den här multimodala metoden förbättrar noggrannheten och svarstiden i interaktioner mellan människa och dator. GPT-4o matchar GPT-4 Turbo i engelska text- och kodningsuppgifter samtidigt som det ger överlägsen prestanda i icke-engelska språk och visionsuppgifter, vilket sätter nya riktmärken för AI-funktioner.

Hur gör jag för att komma åt minimodellerna GPT-4o och GPT-4o?

GPT-4o och GPT-4o mini är tillgängliga för standard- och global standardmodelldistribution.

Du måste skapa eller använda en befintlig resurs i en standard - eller global standardregion som stöds där modellen är tillgänglig.

När resursen har skapats kan du distribuera GPT-4o-modellerna. Om du utför en programmatisk distribution är modellnamnen:

• gpt-4oVersion 2024-08-06
• gpt-4o, Version 2024-05-13
• gpt-4o-miniVersion 2024-07-18

GPT-4 Turbo

GPT-4 Turbo är en stor multimodal modell (som accepterar text- eller bildindata och genererar text) som kan lösa svåra problem med större noggrannhet än någon av OpenAI:s tidigare modeller. Liksom GPT-3.5 Turbo, och äldre GPT-4 modeller GPT-4 Turbo är optimerad för chatt och fungerar bra för traditionella slutförande uppgifter.

Den senaste GA-versionen av GPT-4 Turbo är:

• gpt-4Version: turbo-2024-04-09

Detta är ersättningen för följande förhandsversionsmodeller:

• gpt-4Version: 1106-Preview
• gpt-4Version: 0125-Preview
• gpt-4Version: vision-preview

Skillnader mellan OpenAI- och Azure OpenAI GPT-4 Turbo GA-modeller

• OpenAI:s version av den senaste 0409 turbomodellen stöder JSON-läge och funktionsanrop för alla slutsatsdragningsbegäranden.
• Azure OpenAI:s version av den senaste turbo-2024-04-09 stöder för närvarande inte användning av JSON-läge och funktionsanrop när du gör slutsatsdragningsbegäranden med bildindata (vision). Textbaserade indatabegäranden (begäranden utan image_url och infogade bilder) stöder JSON-läge och funktionsanrop.

Skillnader från gpt-4 vision-preview

• Integrering av Azure AI-specifika visionsförbättringar med GPT-4 Turbo med Vision stöds inte för gpt-4 version: turbo-2024-04-09. Detta inkluderar optisk teckenigenkänning (OCR), objekt grounding, video prompts och förbättrad hantering av dina data med bilder.

GPT-4 Turbo-etablerad hanterad tillgänglighet

• gpt-4Version: turbo-2024-04-09 är tillgängligt för både standarddistributioner och etablerade distributioner. Den etablerade versionen av den här modellen stöder för närvarande inte begäranden om bild-/syninferens. Etablerade distributioner av den här modellen accepterar endast textinmatning. Standardmodelldistributioner accepterar både begäranden om text- och bild-/visionsinferens.

Distribuera GPT-4 Turbo med Vision GA

Om du vill distribuera GA-modellen från Studio-användargränssnittet väljer du GPT-4 och väljer turbo-2024-04-09 sedan versionen på den nedrullningsbara menyn. Standardkvoten för gpt-4-turbo-2024-04-09 modellen är samma som den aktuella kvoten för GPT-4-Turbo. Se de regionala kvotgränserna.

GPT-4

GPT-4 är föregångaren till GPT-4 Turbo. Både GPT-4- och GPT-4 Turbo-modellerna har basmodellnamnet gpt-4. Du kan skilja mellan MODELLERNA GPT-4 och Turbo genom att undersöka modellversionen.

• gpt-4Version 0314
• gpt-4Version 0613
• gpt-4-32kVersion 0613

Du kan se den tokenkontextlängd som stöds av varje modell i tabellen för modellsammanfattning.

GPT-4- och GPT-4 Turbo-modeller

• Dessa modeller kan endast användas med API:et för chattslutsättning.

Se modellversioner för att lära dig hur Azure OpenAI Service hanterar modellversionsuppgraderingar och arbeta med modeller för att lära dig hur du visar och konfigurerar modellversionsinställningarna för dina GPT-4-distributioner.

• GPT-4 version 0125-preview är en uppdaterad version av GPT-4 Turbo-förhandsversionen som tidigare släpptes som version 1106-preview.
• GPT-4 version 0125-preview slutför uppgifter som kodgenerering mer fullständigt jämfört med gpt-4-1106-preview. Beroende på uppgiften kan kunderna se att GPT-4-0125-preview genererar mer utdata jämfört med gpt-4-1106-preview. Vi rekommenderar att kunderna jämför utdata från den nya modellen. GPT-4-0125-preview hanterar även buggar i gpt-4-1106-preview med UTF-8-hantering för icke-engelska språk.
• GPT-4-versionen turbo-2024-04-09 är den senaste ga-versionen och ersätter 0125-Preview, 1106-previewoch vision-preview.

GPT-3.5

GPT-3.5-modeller kan förstå och generera naturligt språk eller kod. Den mest kompatibla och kostnadseffektiva modellen i GPT-3.5-familjen är GPT-3.5 Turbo, som har optimerats för chatt och fungerar bra för traditionella slutförandeuppgifter också. GPT-3.5 Turbo är tillgängligt för användning med API:et för chattavslut. GPT-3.5 Turbo Instruct har liknande funktioner som att text-davinci-003 använda API:et Completions i stället för API:et för chattavslut. Vi rekommenderar att du använder GPT-3.5 Turbo- och GPT-3.5 Turbo Instruct över äldre GPT-3.5- och GPT-3-modeller.

Om du vill veta mer om hur du interagerar med GPT-3.5 Turbo och API:et för chattslutsättningar kan du läsa vår detaljerade instruktioner.

¹ Den här modellen accepterar begäranden > om 4 096 token. Vi rekommenderar inte att överskrida gränsen på 4 096 indatatoken eftersom den nyare versionen av modellen är begränsad till 4 096 token. Om du får problem när du överskrider 4 096 indatatoken med den här modellen stöds inte den här konfigurationen officiellt.

Inbäddningar

text-embedding-3-large är den senaste och mest kompatibla inbäddningsmodellen. Det går inte att uppgradera mellan inbäddningsmodeller. Om du vill gå från att använda text-embedding-ada-002 till text-embedding-3-large måste du generera nya inbäddningar.

• text-embedding-3-large
• text-embedding-3-small
• text-embedding-ada-002

Vid testning rapporterar OpenAI att både den stora och den lilla tredje generationens inbäddningsmodeller ger bättre genomsnittlig prestanda för flerspråkshämtning med MIRACL-riktmärket samtidigt som prestandan för engelska uppgifter bibehålls med MTEB-riktmärket .

Den tredje generationens inbäddningsmodeller har stöd för att minska storleken på inbäddningen via en ny dimensions parameter. Vanligtvis är större inbäddningar dyrare ur ett beräknings-, minnes- och lagringsperspektiv. Att kunna justera antalet dimensioner ger mer kontroll över den totala kostnaden och prestandan. Parametern dimensions stöds inte i alla versioner av OpenAI 1.x Python-biblioteket, för att dra nytta av den här parametern rekommenderar vi att du uppgraderar till den senaste versionen: pip install openai --upgrade.

OpenAI:s MTEB-benchmarktestning visade att även när den tredje generationens modells dimensioner reduceras till mindre än text-embeddings-ada-002 1 536 dimensioner är prestandan fortfarande något bättre.

DALL-E

DALL-E-modellerna genererar bilder från textanvisningarna som användaren tillhandahåller. DALL-E 3 är allmänt tillgängligt för användning med REST-API:er. DALL-E 2 och DALL-E 3 med klient-SDK:er finns i förhandsversion.

Viska

Whisper-modellerna kan användas för tal till text.

Du kan också använda Whisper-modellen via Azure AI Speech batch transcription API. Ta en titt på Vad är Whisper-modellen? för att lära dig mer om när du ska använda Azure AI Speech jämfört med Azure OpenAI Service.

Text till tal (förhandsversion)

OpenAI-text till tal-modeller, som för närvarande är i förhandsversion, kan användas för att syntetisera text till tal.

Du kan också använda OpenAI-texten till talröster via Azure AI Speech. Mer information finns i OpenAI-text till talröster via Azure OpenAI Service eller via Azure AI Speech-guide .

Modellsammanfattningstabell och regionstillgänglighet

Modeller efter distributionstyp

Azure OpenAI ger kunderna val av värdstruktur som passar deras affärs- och användningsmönster. Tjänsten erbjuder två huvudsakliga typer av distribution:

• Standard erbjuds med ett globalt distributionsalternativ som dirigerar trafik globalt för att ge högre dataflöde.
• Etablerad erbjuds också med ett globalt distributionsalternativ som gör det möjligt för kunder att köpa och distribuera etablerade dataflödesenheter i azures globala infrastruktur.

Alla distributioner kan utföra exakt samma slutsatsdragningsåtgärder, men fakturering, skala och prestanda skiljer sig avsevärt. Mer information om Distributionstyper för Azure OpenAI finns i guiden för distributionstyper.

Den här tabellen innehåller inte detaljerad information om regional tillgänglighet. Mer information finns i avsnittet om finjustering.

Standardmodeller efter slutpunkt

Finjusteringsmodeller

¹ GPT-4 är för närvarande i offentlig förhandsversion.

Assistenter (förhandsversion)

För assistenter behöver du en kombination av en modell som stöds och en region som stöds. Vissa verktyg och funktioner kräver de senaste modellerna. Följande modeller är tillgängliga i Assistants API, SDK och Azure AI Studio. Följande tabell är för betala per användning. Information om PTU-tillgänglighet (Provisioned Throughput Unit) finns i etablerat dataflöde. De listade modellerna och regionerna kan användas med både Assistenter v1 och v2. Du kan använda globala standardmodeller om de stöds i de regioner som anges nedan.

Modellavgång

Den senaste informationen om modellavgångar finns i modellens pensionsguide.

Nästa steg

• Modellavdragning och utfasning
• Läs mer om att arbeta med Azure OpenAI-modeller
• Läs mer om Azure OpenAI
• Läs mer om finjustering av Azure OpenAI-modeller