Rozhraní API pro odvozování modelů Azure AI | Azure AI Studio

Článek
09/02/2024

Důležité

Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Odvozování modelů Azure AI je rozhraní API, které zpřístupňuje společnou sadu funkcí pro základní modely a které můžou vývojáři používat k využívání predikcí z různorodé sady modelů jednotným a konzistentním způsobem. Vývojáři můžou mluvit s různými modely nasazenými v Azure AI Studiu beze změny základního kódu, který používají.

Zaměstnanecké výhody

Základní modely, jako jsou jazykové modely, skutečně v posledních letech učinily pozoruhodné kroky. Tyto pokroky způsobily revoluci v různých oblastech, včetně zpracování přirozeného jazyka a počítačového zpracování obrazu, a povolily aplikace, jako jsou chatovací roboti, virtuální asistenti a služby překladu jazyků.

I když základní modely excelují v konkrétních doménách, nemají jednotnou sadu funkcí. Některé modely jsou lepší v určitém úkolu a dokonce i ve stejném úkolu, některé modely můžou k problému přistupovat jedním způsobem, zatímco jiné v jiném. Vývojáři můžou tuto rozmanitost využít pomocí správného modelu pro správnou úlohu , která jim umožní:

Zvýšení výkonu v konkrétní podřízené úloze
Efektivnější modely používejte pro jednodušší úlohy.
Používejte menší modely, které můžou běžet rychleji u konkrétních úloh.
Vytvořte několik modelů pro vývoj inteligentních prostředí.

Jednotné využívání základních modelů umožňuje vývojářům realizovat všechny tyto výhody bez obětování přenositelnosti nebo změny základního kódu.

Dostupnost

Rozhraní API pro odvozování modelů Azure AI je k dispozici v následujících modelech:

Modely nasazené do koncových bodů rozhraní API bez serveru:

Modely nasazené do spravovaného odvozování:

Meta Llama 3 instrukuje rodinu modelů
Řada modelů Phi-3
Mistral a Mixtral rodina modelů.

Rozhraní API je kompatibilní s nasazeními modelu Azure OpenAI.

Poznámka:

Rozhraní API pro odvozování modelů Azure AI je dostupné ve spravovaném odvozování (spravované online koncové body) pro modely nasazené po 24. červnu 2024. Pokud chcete přejít k rozhraní API, nasaďte koncový bod znovu, pokud byl model nasazen před tímto datem.

Možnosti

Následující část popisuje některé možnosti, které rozhraní API zveřejňuje. Úplnou specifikaci rozhraní API najdete v referenční části.

Modality

Rozhraní API označuje, jak můžou vývojáři využívat předpovědi pro následující způsoby:

Získat informace: Vrátí informace o modelu nasazeného v rámci koncového bodu.
Vkládání textu: Vytvoří vektor vložení představující vstupní text.
Dokončování textu: Vytvoří dokončení pro zadané výzvy a parametry.
Dokončení chatu: Vytvoří odpověď modelu pro danou chatovou konverzaci.
Vkládání obrázků: Vytvoří vektor vložení představující vstupní text a obrázek.

Podpora sady SDK pro odvození

Pomocí zjednodušených klientů odvozování v jazyce podle vašeho výběru můžete využívat předpovědi z modelů, na kterých běží rozhraní API pro odvozování modelů Azure AI.

Nainstalujte balíček azure-ai-inference pomocí správce balíčků, například pip:

pip install azure-ai-inference

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

model = ChatCompletionsClient(
    endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
    credential=AzureKeyCredential(os.environ["AZUREAI_ENDPOINT_KEY"]),
)

Pokud používáte koncový bod s podporou id Entra, můžete vytvořit klienta následujícím způsobem:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.identity import AzureDefaultCredential

model = ChatCompletionsClient(
    endpoint=os.environ["AZUREAI_ENDPOINT_URL"],
    credential=AzureDefaultCredential(),
)

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

Nainstalujte balíček @azure-rest/ai-inference pomocí npm:

npm install @azure-rest/ai-inference

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    process.env.AZUREAI_ENDPOINT_URL, 
    new AzureKeyCredential(process.env.AZUREAI_ENDPOINT_KEY)
);

Pro koncový bod s podporou Microsoft Entra ID můžete vytvořit klienta následujícím způsobem:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureDefaultCredential } from "@azure/identity";

const client = new ModelClient(
    process.env.AZUREAI_ENDPOINT_URL, 
    new AzureDefaultCredential()
);

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

Pomocí následujícího příkazu nainstalujte knihovnu pro odvození Azure AI:

dotnet add package Azure.AI.Inference --prerelease

Pro koncový bod s podporou Microsoft Entra ID (dříve Azure Active Directory) nainstalujte Azure.Identity balíček:

dotnet add package Azure.Identity

Naimportujte následující obory názvů:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Pak můžete balíček použít k využívání modelu. Následující příklad ukazuje, jak vytvořit klienta pro zpracování dokončení chatu:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Pro koncový bod s podporou Microsoft Entra ID (dříve Azure Active Directory):

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri(Environment.GetEnvironmentVariable("AZURE_INFERENCE_ENDPOINT")),
    new DefaultAzureCredential(includeInteractiveCredentials: true)
);

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

V referenční části se seznámíte s návrhem rozhraní API a s dostupnými parametry. Například referenční část pro dokončování chatu podrobně popisuje, jak použít trasu /chat/completions ke generování predikcí na základě pokynů ve formátu chatu:

Požádat

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

Rozšiřitelnost

Rozhraní API pro odvozování modelů Azure AI určuje sadu způsobů a parametrů, které se modely můžou přihlásit k odběru. Některé modely ale můžou mít další možnosti, které rozhraní API označuje. V těchto případech rozhraní API umožňuje vývojáři předat je jako další parametry v datové části.

Když nastavíte hlavičku extra-parameters: pass-through, rozhraní API se pokusí předat jakýkoli neznámý parametr přímo do základního modelu. Pokud model dokáže tento parametr zpracovat, požadavek se dokončí.

Následující příklad ukazuje požadavek, který předává parametr safe_prompt podporovaný nástrojem Mistral-Large, který není zadaný v rozhraní API pro odvozování modelů Azure AI.

from azure.ai.inference.models import SystemMessage, UserMessage

response = model.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="How many languages are in the world?"),
    ],
    model_extras={
        "safe_mode": True
    }
)

print(response.choices[0].message.content)

Tip

Pokud používáte sadu Azure AI Inference SDK, nakonfigurujete model_extras požadavek extra-parameters: pass-through automaticky za vás.

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "How many languages are in the world?" },
];

var response = await client.path("/chat/completions").post({
    "extra-parameters": "pass-through",
    body: {
        messages: messages,
        safe_mode: true
    }
});

console.log(response.choices[0].message.content)

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("How many languages are in the world?")
    },
    AdditionalProperties = { { "logprobs", BinaryData.FromString("true") } },
};

response = client.Complete(requestOptions, extraParams: ExtraParameters.PassThrough);
Console.WriteLine($"Response: {response.Value.Choices[0].Message.Content}");

Požádat

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Poznámka:

Výchozí hodnota extra-parameters je error , která vrátí chybu, pokud je v datové části uveden dodatečný parametr. Případně můžete nastavit extra-parameters: drop , aby v požadavku vyhodil jakýkoli neznámý parametr. Tuto funkci použijte v případě, že odesíláte požadavky s dodatečnými parametry, které znáte, ale chcete, aby se požadavek přesto dokončil. Typickým příkladem tohoto parametru je indikující seed parametr.

Modely s různorodou sadou funkcí

Rozhraní API pro odvozování modelů Azure AI označuje obecnou sadu funkcí, ale každý z těchto modelů se může rozhodnout je implementovat nebo ne. V těchto případech se vrátí konkrétní chyba, kdy model nemůže podporovat konkrétní parametr.

Následující příklad ukazuje odpověď na žádost o dokončení chatu označující parametr reponse_format a žádost o odpověď ve JSON formátu. V tomto příkladu se uživateli vrátí chyba 422, protože model takovou schopnost nepodporuje.

import json
from azure.ai.inference.models import SystemMessage, UserMessage, ChatCompletionsResponseFormatJSON
from azure.core.exceptions import HttpResponseError

try:
    response = model.complete(
        messages=[
            SystemMessage(content="You are a helpful assistant."),
            UserMessage(content="How many languages are in the world?"),
        ],
        response_format=ChatCompletionsResponseFormatJSON()
    )
except HttpResponseError as ex:
    if ex.status_code == 422:
        response = json.loads(ex.response._content.decode('utf-8'))
        if isinstance(response, dict) and "detail" in response:
            for offending in response["detail"]:
                param = ".".join(offending["loc"])
                value = offending["input"]
                print(
                    f"Looks like the model doesn't support the parameter '{param}' with value '{value}'"
                )
    else:
        raise ex

try {
    var messages = [
        { role: "system", content: "You are a helpful assistant" },
        { role: "user", content: "How many languages are in the world?" },
    ];
    
    var response = await client.path("/chat/completions").post({
        body: {
            messages: messages,
            response_format: { type: "json_object" }
        }
    });
}
catch (error) {
    if (error.status_code == 422) {
        var response = JSON.parse(error.response._content)
        if (response.detail) {
            for (const offending of response.detail) {
                var param = offending.loc.join(".")
                var value = offending.input
                console.log(`Looks like the model doesn't support the parameter '${param}' with value '${value}'`)
            }
        }
    }
    else 
    {
        throw error
    }
}

try
{
    requestOptions = new ChatCompletionsOptions()
    {
        Messages = {
            new ChatRequestSystemMessage("You are a helpful assistant"),
            new ChatRequestUserMessage("How many languages are in the world?"),
        },
        ResponseFormat = new ChatCompletionsResponseFormatJSON()
    };

    response = client.Complete(requestOptions);
    Console.WriteLine(response.Value.Choices[0].Message.Content);
}
catch (RequestFailedException ex)
{
    if (ex.Status == 422)
    {
        Console.WriteLine($"Looks like the model doesn't support a parameter: {ex.Message}");
    }
    else
    {
        throw;
    }
}

Požádat

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Response

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Tip

Vlastnost můžete zkontrolovat details.loc , abyste porozuměli umístění parametru pro přesměrování a details.input zobrazili hodnotu, která byla předána v požadavku.

Bezpečnost obsahu

Rozhraní API pro odvozování modelů Azure AI podporuje zabezpečení obsahu Azure AI. Při použití nasazení s bezpečností obsahu Azure AI se vstupy a výstupy procházejí sadou klasifikačních modelů zaměřených na detekci a zabránění výstupu škodlivého obsahu. Systém filtrování obsahu (Preview) detekuje a provádí akce s konkrétními kategoriemi potenciálně škodlivého obsahu ve vstupních výzev i dokončení výstupu.

Následující příklad ukazuje odpověď na žádost o dokončení chatu, která aktivovala bezpečnost obsahu.

from azure.ai.inference.models import AssistantMessage, UserMessage, SystemMessage
from azure.core.exceptions import HttpResponseError

try:
    response = model.complete(
        messages=[
            SystemMessage(content="You are an AI assistant that helps people find information."),
            UserMessage(content="Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."),
        ]
    )

    print(response.choices[0].message.content)

except HttpResponseError as ex:
    if ex.status_code == 400:
        response = json.loads(ex.response._content.decode('utf-8'))
        if isinstance(response, dict) and "error" in response:
            print(f"Your request triggered an {response['error']['code']} error:\n\t {response['error']['message']}")
        else:
            raise ex
    else:
        raise ex

try {
    var messages = [
        { role: "system", content: "You are an AI assistant that helps people find information." },
        { role: "user", content: "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills." },
    ]

    var response = await client.path("/chat/completions").post({
        body: {
            messages: messages,
        }
    });
    
    console.log(response.body.choices[0].message.content)
}
catch (error) {
    if (error.status_code == 400) {
        var response = JSON.parse(error.response._content)
        if (response.error) {
            console.log(`Your request triggered an ${response.error.code} error:\n\t ${response.error.message}`)
        }
        else
        {
            throw error
        }
    }
}

try
{
    requestOptions = new ChatCompletionsOptions()
    {
        Messages = {
            new ChatRequestSystemMessage("You are an AI assistant that helps people find information."),
            new ChatRequestUserMessage(
                "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
            ),
        },
    };

    response = client.Complete(requestOptions);
    Console.WriteLine(response.Value.Choices[0].Message.Content);
}
catch (RequestFailedException ex)
{
    if (ex.ErrorCode == "content_filter")
    {
        Console.WriteLine($"Your query has trigger Azure Content Safety: {ex.Message}");
    }
    else
    {
        throw;
    }
}

Požádat

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Response

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Začínáme

Rozhraní API pro odvozování modelů Azure AI se v současné době podporuje v určitých modelech nasazených jako koncové body bezserverového rozhraní API a spravovaných online koncových bodů. Nasaďte některý z podporovaných modelů a použijte stejný kód k využívání jejich předpovědí.

Klientská knihovna azure-ai-inference odvozuje modely AI nasazené nástrojem Azure AI Studio a Azure Machine Learning Studio, včetně dokončování chatu. Podporuje koncové body bezserverového rozhraní API a spravované výpočetní koncové body (dříve označované jako spravované online koncové body).

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

Klientská knihovna @azure-rest/ai-inference odvozuje modely AI nasazené nástrojem Azure AI Studio a Azure Machine Learning Studio, včetně dokončování chatu. Podporuje koncové body bezserverového rozhraní API a spravované výpočetní koncové body (dříve označované jako spravované online koncové body).

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

Klientská knihovna Azure.Ai.Inference odvozuje modely AI nasazené nástrojem Azure AI Studio a Azure Machine Learning Studio, včetně dokončování chatu. Podporuje koncové body bezserverového rozhraní API a spravované výpočetní koncové body (dříve označované jako spravované online koncové body).

Projděte si naše ukázky a přečtěte si referenční dokumentaci k rozhraní API, abyste mohli začít.

Sdílet prostřednictvím

Rozhraní API pro odvozování modelů Azure AI | Azure AI Studio

Zaměstnanecké výhody

Dostupnost

Možnosti

Modality

Podpora sady SDK pro odvození

Rozšiřitelnost

Modely s různorodou sadou funkcí

Bezpečnost obsahu

Začínáme

Váš názor

Další materiály