Modely Azure OpenAI Service

Služba Azure OpenAI Service využívá různorodou sadu modelů s různými možnostmi a cenovými body. Dostupnost modelu se liší podle oblastí a cloudu. Dostupnost modelu Azure Government najdete ve službě Azure Government OpenAI.

omezený přístup k modelům o1-preview a o1-mini

Azure OpenAI o1-preview a o1-mini modely jsou speciálně navržené tak, aby řešily důvody a úlohy řešení problémů se zvýšeným zaměřením a schopností. Tyto modely tráví více času zpracováním a porozuměním požadavku uživatele, což je mimořádně silné v oblastech, jako jsou věda, kódování a matematika v porovnání s předchozími iteracemi.

Dostupnost

o1-mini K dispozici jsou teď modely o1-preview pro přístup k rozhraní API a nasazení modelu. Registrace je povinná a přístup se udělí na základě kritérií způsobilosti microsoftu.

Vyžádání přístupu: aplikace modelu omezeného přístupu

Po udělení přístupu budete muset vytvořit nasazení pro každý model.

Podpora rozhraní API

Podpora modelů řady o1 byla přidána ve verzi 2024-09-01-previewrozhraní API .

Parametr max_tokens je zastaralý a nahrazen novým max_completion_tokens parametrem. Modely řad o1 budou fungovat pouze s parametrem max_completion_tokens .

Využití

Tyto modely v současné době nepodporují stejnou sadu parametrů jako jiné modely, které používají rozhraní API pro dokončování chatu. V současné době se podporuje pouze velmi omezená podmnožina, takže běžné parametry jako temperature, top_pnejsou k dispozici a jejich zahrnutí způsobí selhání vaší žádosti. o1-preview a o1-mini modely také nepřijímají roli systémových zpráv jako součást pole zpráv.

pip install openai --upgrade

from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  azure_ad_token_provider=token_provider,
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

pip install openai --upgrade

from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-09-01-preview"
)

response = client.chat.completions.create(
    model="o1-preview-new", # replace with the model deployment name of your o1-preview, or o1-mini model
    messages=[
        {"role": "user", "content": "What steps should I think about when writing my first Python API?"},
    ],
    max_completion_tokens = 5000

)

print(response.model_dump_json(indent=2))

{
  "id": "chatcmpl-AEj7pKFoiTqDPHuxOcirA9KIvf3yz",
  "choices": [
    {
      "finish_reason": "stop",
      "index": 0,
      "logprobs": null,
      "message": {
        "content": "Writing your first Python API is an exciting step in developing software that can communicate with other applications. An API (Application Programming Interface) allows different software systems to interact with each other, enabling data exchange and functionality sharing. Here are the steps you should consider when creating your first Python API:\n\n1. **Define the Purpose and Requirements**\n\n   - **Identify the Functionality**: Clearly outline what your API is supposed to do. What data or services will it provide to the users?\n   - **Determine the Endpoints**: Plan the different URLs (endpoints) through which users can access the API functionalities.\n   - **Specify Request and Response Formats**: Decide on the data formats (usually JSON) for incoming requests and outgoing responses.\n\n2. **Choose the Right Framework**\n\n   Python offers several frameworks for building APIs. Two of the most popular are:\n\n   - **Flask**: A lightweight and flexible web framework, great for small to medium-sized APIs.\n   - **FastAPI**: A modern, high-performance framework for building APIs with Python 3.6+ types, offering automatic interactive documentation.\n\n   **Example**:\n   ```bash\n   pip install flask\n   ```\n   or\n   ```bash\n   pip install fastapi uvicorn\n   ```\n\n3. **Set Up the Development Environment**\n\n   - **Create a Virtual Environment**: Isolate your project dependencies using `venv` or `conda`.\n   - **Install Required Packages**: Ensure all necessary libraries and packages are installed.\n\n   **Example**:\n   ```bash\n   python -m venv env\n   source env/bin/activate  # On Windows use `env\\Scripts\\activate`\n   ```\n\n4. **Implement the API Endpoints**\n\n   - **Write the Code for Each Endpoint**: Implement the logic that handles requests and returns responses.\n   - **Use Decorators to Define Routes**: In frameworks like Flask, you use decorators to specify the URL endpoints.\n\n   **Example with Flask**:\n   ```python\n   from flask import Flask, request, jsonify\n\n   app = Flask(__name__)\n\n   @app.route('/hello', methods=['GET'])\n   def hello_world():\n       return jsonify({'message': 'Hello, World!'})\n\n   if __name__ == '__main__':\n       app.run(debug=True)\n   ```\n\n5. **Handle Data Serialization and Deserialization**\n\n   - **Parsing Incoming Data**: Use libraries to parse JSON or other data formats from requests.\n   - **Formatting Output Data**: Ensure that responses are properly formatted in JSON or XML.\n\n6. **Implement Error Handling**\n\n   - **Handle Exceptions Gracefully**: Provide meaningful error messages and HTTP status codes.\n   - **Validate Input Data**: Check for required fields and appropriate data types to prevent errors.\n\n   **Example**:\n   ```python\n   @app.errorhandler(404)\n   def resource_not_found(e):\n       return jsonify(error=str(e)), 404\n   ```\n\n7. **Add Authentication and Authorization (If Necessary)**\n\n   - **Secure Endpoints**: If your API requires, implement security measures such as API keys, tokens (JWT), or OAuth.\n   - **Manage User Sessions**: Handle user login states and permissions appropriately.\n\n8. **Document Your API**\n\n   - **Use Tools Like Swagger/OpenAPI**: Automatically generate interactive API documentation.\n   - **Provide Usage Examples**: Help users understand how to interact with your API.\n\n   **Example with FastAPI**:\n   FastAPI automatically generates docs at `/docs` using Swagger UI.\n\n9. **Test Your API**\n\n   - **Write Unit and Integration Tests**: Ensure each endpoint works as expected.\n   - **Use Testing Tools**: Utilize tools like `unittest`, `pytest`, or API testing platforms like Postman.\n\n   **Example**:\n   ```python\n   import unittest\n   class TestAPI(unittest.TestCase):\n       def test_hello_world(self):\n           response = app.test_client().get('/hello')\n           self.assertEqual(response.status_code, 200)\n   ```\n\n10. **Optimize Performance**\n\n    - **Improve Response Times**: Optimize your code and consider using asynchronous programming if necessary.\n    - **Manage Resource Utilization**: Ensure your API can handle the expected load.\n\n11. **Deploy Your API**\n\n    - **Choose a Hosting Platform**: Options include AWS, Heroku, DigitalOcean, etc.\n    - **Configure the Server**: Set up the environment to run your API in a production setting.\n    - **Use a Production Server**: Instead of the development server, use WSGI servers like Gunicorn or Uvicorn.\n\n    **Example**:\n    ```bash\n    uvicorn main:app --host 0.0.0.0 --port 80\n    ```\n\n12. **Monitor and Maintain**\n\n    - **Logging**: Implement logging to track events and errors.\n    - **Monitoring**: Use monitoring tools to track performance and uptime.\n    - **Update and Patch**: Keep dependencies up to date and patch any security vulnerabilities.\n\n13. **Consider Versioning**\n\n    - **Plan for Updates**: Use versioning in your API endpoints to manage changes without breaking existing clients.\n    - **Example**:\n      ```python\n      @app.route('/v1/hello', methods=['GET'])\n      ```\n\n14. **Gather Feedback and Iterate**\n\n    - **User Feedback**: Encourage users to provide feedback on your API.\n    - **Continuous Improvement**: Use the feedback to make improvements and add features.\n\n**Additional Tips**:\n\n- **Keep It Simple**: Start with a minimal viable API and expand functionality over time.\n- **Follow RESTful Principles**: Design your API according to REST standards to make it intuitive and standard-compliant.\n- **Security Best Practices**: Always sanitize inputs and protect against common vulnerabilities like SQL injection and cross-site scripting (XSS).\nBy following these steps, you'll be well on your way to creating a functional and robust Python API. Good luck with your development!",
        "refusal": null,
        "role": "assistant",
        "function_call": null,
        "tool_calls": null
      },
      "content_filter_results": {
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "protected_material_code": {
          "filtered": false,
          "detected": false
        },
        "protected_material_text": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ],
  "created": 1728073417,
  "model": "o1-preview-2024-09-12",
  "object": "chat.completion",
  "service_tier": null,
  "system_fingerprint": "fp_503a95a7d8",
  "usage": {
    "completion_tokens": 1843,
    "prompt_tokens": 20,
    "total_tokens": 1863,
    "completion_tokens_details": {
      "audio_tokens": null,
      "reasoning_tokens": 448
    },
    "prompt_tokens_details": {
      "audio_tokens": null,
      "cached_tokens": 0
    }
  },
  "prompt_filter_results": [
    {
      "prompt_index": 0,
      "content_filter_results": {
        "custom_blocklists": {
          "filtered": false
        },
        "hate": {
          "filtered": false,
          "severity": "safe"
        },
        "jailbreak": {
          "filtered": false,
          "detected": false
        },
        "self_harm": {
          "filtered": false,
          "severity": "safe"
        },
        "sexual": {
          "filtered": false,
          "severity": "safe"
        },
        "violence": {
          "filtered": false,
          "severity": "safe"
        }
      }
    }
  ]
}

Regionální dostupnost

K dispozici pro standardní a globální standardní nasazení v oblasti USA – východ, USA – východ 2, USA – středosever, USA – středojiž, Švédsko – střed, USA – západ a USA – západ3 pro schválené zákazníky.

GPT-4o audio

Model gpt-4o-realtime-preview je součástí řady modelů GPT-4o a podporuje nízko latenci a konverzační interakce "řeč v řeči". GPT-4o zvuk je navržený tak, aby zpracovával konverzační interakce v reálném čase, s nízkou latencí a skvěle se hodí pro agenty podpory, asistenty, překladatele a další případy použití, které potřebují vysoce responzivní back-and-forth s uživatelem.

Zvuk GPT-4o je k dispozici v oblastech USA – východ 2 (eastus2) a Švédsko – střed (swedencentral). Pokud chcete použít zvuk GPT-4o, musíte vytvořit nebo použít existující prostředek v jedné z podporovaných oblastí.

Po vytvoření prostředku můžete nasadit zvukový model GPT-4o. Pokud provádíte programové nasazení, název modelu je gpt-4o-realtime-preview. Další informace o tom, jak používat zvuk GPT-4o, najdete v dokumentaci k zvuku GPT-4o.

Podrobnosti o maximálních tokenech žádostí a trénovacích datech jsou k dispozici v následující tabulce.

GPT-4o a GPT-4 Turbo

GPT-4o integruje text a obrázky v jednom modelu a umožňuje zpracovávat více datových typů současně. Tento multimodální přístup zlepšuje přesnost a rychlost odezvy v interakcích lidského počítače. GPT-4o odpovídá GPT-4 Turbo v anglickém textu a programovacím úlohám a nabízí vynikající výkon v neanglických jazycích a vizuálních úkolech, nastavení nových srovnávacích testů pro funkce AI.

Návody přistupovat k minimodelům GPT-4o a GPT-4o?

GPT-4o a GPT-4o mini jsou k dispozici pro standardní a globální nasazení modelu.

Potřebujete vytvořit nebo použít existující prostředek v podporované standardní nebo globální standardní oblasti, ve které je model dostupný.

Po vytvoření prostředku můžete nasadit modely GPT-4o. Pokud provádíte programové nasazení, názvy modelů jsou:

• gpt-4oVerze 2024-08-06
• gpt-4o, Verze 2024-05-13
• gpt-4o-miniVerze 2024-07-18

GPT-4 Turbo

GPT-4 Turbo je velký multimodální model (přijímá textové nebo obrazové vstupy a generuje text), který dokáže řešit obtížné problémy s větší přesností než kterýkoli z předchozích modelů OpenAI. Stejně jako GPT-3.5 Turbo a starší modely GPT-4 GPT-4 Turbo jsou optimalizované pro chat a fungují dobře pro tradiční úkoly dokončení.

Nejnovější verze GA GPT-4 Turbo je:

• gpt-4Verze: turbo-2024-04-09

Toto je náhrada následujících modelů Preview:

• gpt-4Verze: 1106-Preview
• gpt-4Verze: 0125-Preview
• gpt-4Verze: vision-preview

Rozdíly mezi modely OpenAI a Azure OpenAI GPT-4 Turbo GA

• Verze nejnovějšího 0409 modelu Turbo OpenAI podporuje režim JSON a volání funkcí pro všechny žádosti o odvozování.
• Verze nejnovější turbo-2024-04-09 verze Azure OpenAI v současné době nepodporuje použití režimu JSON a volání funkcí při odvozování požadavků na odvozování pomocí vstupu obrázku (vision). Textové vstupní požadavky (požadavky bez image_url a vložené obrázky) podporují režim JSON a volání funkcí.

Rozdíly od gpt-4 vision-preview

• Integrace vylepšení zpracování obrazu specifické pro Azure AI s GPT-4 Turbo s vision není pro gpt-4 verzi podporovaná: turbo-2024-04-09 Patří sem optické rozpoznávání znaků (OCR), uzemnění objektů, výzvy k videu a vylepšené zpracování dat pomocí obrázků.

Spravovaná dostupnost zřízená pomocí GPT-4 Turbo

• gpt-4Verze: turbo-2024-04-09 je k dispozici pro standardní i zřízená nasazení. V současné době zřízená verze tohoto modelu nepodporuje požadavky na odvozování obrázků a obrazu. Zřízená nasazení tohoto modelu přijímají pouze textové zadání. Nasazení standardního modelu přijímají požadavky na odvozování textu i obrazu a obrazu.

Nasazení GPT-4 Turbo s ga vision

Pokud chcete nasadit model GA z uživatelského rozhraní sady Studio, vyberte GPT-4 a pak v rozevírací nabídce zvolte turbo-2024-04-09 verzi. Výchozí kvóta modelu gpt-4-turbo-2024-04-09 bude stejná jako aktuální kvóta pro GPT-4-Turbo. Podívejte se na limity kvót v jednotlivých oblastech.

GPT-4

GPT-4 je předchůdcem GPT-4 Turbo. Modely GPT-4 a GPT-4 Turbo mají základní název gpt-4modelu . Modely GPT-4 a Turbo můžete rozlišit prozkoumáním verze modelu.

• gpt-4Verze 0314
• gpt-4Verze 0613
• gpt-4-32kVerze 0613

V souhrnné tabulce modelu můžete zobrazit délku kontextu tokenu podporovanou každým modelem.

Modely GPT-4 a GPT-4 Turbo

• Tyto modely lze použít pouze s rozhraním API pro dokončování chatu.

Podívejte se na verze modelu, kde se dozvíte, jak služba Azure OpenAI zpracovává upgrady verzí modelu a jak pracovat s modely , abyste zjistili, jak zobrazit a nakonfigurovat nastavení verzí modelu nasazení GPT-4.

• GPT-4 verze 0125-preview je aktualizovaná verze GPT-4 Turbo Preview, která byla dříve vydána jako verze 1106-preview.
• GPT-4 verze 0125-preview dokončí úlohy, jako je generování kódu, v porovnání s gpt-4-1106-preview. Z tohoto důvodu můžou zákazníci v závislosti na úloze zjistit, že GPT-4-0125-preview generuje ve srovnání s gpt-4-1106-preview další výstup. Doporučujeme zákazníkům porovnat výstupy nového modelu. GPT-4-0125-preview také řeší chyby v gpt-4-1106-preview se zpracováním UTF-8 pro neanglické jazyky.
• GPT-4 verze turbo-2024-04-09 je nejnovější verze GA a nahrazuje 0125-Preview, 1106-previewa vision-preview.

GPT-3.5

Modely GPT-3.5 můžou pochopit a generovat přirozený jazyk nebo kód. Nejschopnější a nákladově efektivní model v rodině GPT-3.5 je GPT-3.5 Turbo, který je optimalizovaný pro chat a funguje dobře i pro tradiční úkoly dokončení. GPT-3.5 Turbo je k dispozici pro použití s rozhraním API pro dokončování chatu. GPT-3.5 Turbo Instruct má podobné možnosti jako text-davinci-003 použití rozhraní API pro dokončování místo rozhraní API pro dokončování chatu. Doporučujeme používat GPT-3.5 Turbo a GPT-3.5 Turbo Pokyny pro starší modely GPT-3.5 a GPT-3.

Další informace o interakci s rozhraním GPT-3.5 Turbo a rozhraním API pro dokončování chatu najdete v našich podrobných návodech.

¹ Tento model přijme požadavky > 4 096 tokenů. Nedoporučuje se překročit limit vstupního tokenu 4 096, protože novější verze modelu je omezena na 4 096 tokenů. Pokud při překročení 4 096 vstupních tokenů s tímto modelem narazíte na problémy, tato konfigurace se oficiálně nepodporuje.

Vkládání

text-embedding-3-large je nejnovější a nejschopnější model vkládání. Upgrade mezi modely vkládání není možný. Aby bylo možné přejít z použití text-embedding-ada-002 na text-embedding-3-large , budete muset vygenerovat nové vkládání.

• text-embedding-3-large
• text-embedding-3-small
• text-embedding-ada-002

Při testování nabízí OpenAI sestavy velkých i malých modelů vkládání třetí generace lepší průměrný výkon načítání ve více jazycích pomocí srovnávacího testu MIRACL a přitom stále zachovává výkon pro anglické úlohy s srovnávacím testem MTEB .

Modely vkládání třetí generace podporují zmenšení velikosti vkládání pomocí nového dimensions parametru. Větší vkládání jsou obvykle dražší z hlediska výpočetních prostředků, paměti a úložiště. Možnost upravit počet dimenzí umožňuje větší kontrolu nad celkovými náklady a výkonem. Parametr dimensions není podporován ve všech verzích knihovny OpenAI 1.x Python, abyste mohli využít výhod tohoto parametru, doporučujeme upgradovat na nejnovější verzi: pip install openai --upgrade

Srovnávací testy MTEB OpenAI zjistily, že i když jsou dimenze modelu třetí generace sníženy na méně než text-embeddings-ada-002 1 536 dimenzí, zůstává mírně lepší.

DALL-E

Modely DALL-E generují obrázky z textových výzev, které uživatel poskytuje. DALL-E 3 je obecně k dispozici pro použití s rozhraními REST API. DALL-E 2 a DALL-E 3 s klientskými sadami SDK jsou ve verzi Preview.

Šeptat

Modely Šeptání lze použít pro převod řeči na text.

Model Whisper můžete použít také prostřednictvím rozhraní API pro dávkové přepisy služby Azure AI Speech. Podívejte se na model Šeptaní? Dozvíte se více o tom, kdy používat Službu Azure AI Speech vs. Azure OpenAI.

Převod textu na řeč (Preview)

Text OpenAI na řečové modely, které jsou aktuálně ve verzi Preview, je možné použít k syntetizaci textu na řeč.

Text OpenAI můžete také použít k hlasovým hlasovým hovorům přes Azure AI Speech. Další informace najdete v tématu OpenAI text na hlasové hlasy prostřednictvím služby Azure OpenAI nebo průvodce službou Azure AI Speech .

Souhrnná tabulka modelů a dostupnost oblastí

Modely podle typu nasazení

Azure OpenAI poskytuje zákazníkům volby ve struktuře hostování, která odpovídá jejich obchodním vzorům a vzorům využití. Služba nabízí dva hlavní typy nasazení:

• Standard se nabízí s možností globálního nasazení a směrováním provozu globálně za účelem zajištění vyšší propustnosti.
• Zřizování se také nabízí s možností globálního nasazení, která zákazníkům umožňuje nakupovat a nasazovat zřízené jednotky propustnosti napříč globální infrastrukturou Azure.

Všechna nasazení můžou provádět přesně stejné operace odvozování, ale fakturace, škálování a výkon se podstatně liší. Další informace o typech nasazení Azure OpenAI najdete v průvodci typy nasazení.

Tato tabulka neobsahuje podrobné informace o dostupnosti v jednotlivých oblastech. Informace najdete v části s vyladěním.

Standardní modely podle koncového bodu

Jemně dolaďovací modely

¹ GPT-4 je aktuálně ve verzi Public Preview.

Asistenti (Preview)

Pro asistenty potřebujete kombinaci podporovaného modelu a podporované oblasti. Některé nástroje a možnosti vyžadují nejnovější modely. Následující modely jsou k dispozici v rozhraní API asistentů, sadě SDK a Azure AI Studiu. Následující tabulka je určená pro průběžné platby. Informace o dostupnosti zřízené jednotky propustnosti (PTU) najdete v tématu Zřízená propustnost. Uvedené modely a oblasti je možné použít s asistenty v1 i v2. Globální standardní modely můžete použít, pokud jsou podporované v následujících oblastech.

Vyřazení modelu

Nejnovější informace o vyřazení modelu najdete v průvodci vyřazením modelu.

Další kroky

• Vyřazení modelu a vyřazení z provozu
• Další informace o práci s modely Azure OpenAI
• Další informace o Azure OpenAI
• Další informace o vyladění modelů Azure OpenAI