Använda Azure OpenAI i Fabric med Python SDK och Synapse ML (förhandsversion)

OpenAI Python SDK är inte installerat i standardkörningen. Du måste först installera det.

%pip install openai==0.28.1

OpenAI Python SDK är inte installerat i standardkörningen. Du måste först installera det. Ändra miljön till Runtime version 1.3 eller senare.

%pip install -U openai

import synapse.ml.core
from synapse.ml.services.openai import *

ChatGPT och GPT-4 är språkmodeller som är optimerade för konversationsgränssnitt. Exemplet som presenteras här visar enkla chattåtgärder och är inte avsett att fungera som en självstudie.

import openai

response = openai.ChatCompletion.create(
    deployment_id='gpt-35-turbo-0125', # deployment_id could be one of {gpt-35-turbo-0125 or gpt-4-32k}
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Knock knock."},
        {"role": "assistant", "content": "Who's there?"},
        {"role": "user", "content": "Orange."},
    ],
    temperature=0,
)

print(f"{response.choices[0].message.role}: {response.choices[0].message.content}")

Output

    assistant: Orange who?

Vi kan också strömma svaret

response = openai.ChatCompletion.create(
    deployment_id='gpt-35-turbo-0125', # deployment_id could be one of {gpt-35-turbo-0125 or gpt-4-32k}
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Knock knock."},
        {"role": "assistant", "content": "Who's there?"},
        {"role": "user", "content": "Orange."},
    ],
    temperature=0,
    stream=True
)

for chunk in response:
    delta = chunk.choices[0].delta

    if "role" in delta.keys():
        print(delta.role + ": ", end="", flush=True)
    if "content" in delta.keys():
        print(delta.content, end="", flush=True)

Output

    assistant: Orange who?

ChatGPT och GPT-4 är språkmodeller som är optimerade för konversationsgränssnitt. Exemplet som presenteras här visar enkla chattåtgärder och är inte avsett att fungera som en självstudie.

import openai

response = openai.chat.completions.create(
    model='gpt-4-32k', # model could be one of {gpt-35-turbo-16k, gpt-4 or gpt-4-32k}
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Knock knock."},
        {"role": "assistant", "content": "Who's there?"},
        {"role": "user", "content": "Orange."},
    ],
    temperature=0,
)

print(f"{response.choices[0].message.role}: {response.choices[0].message.content}")

Output

    assistant: Orange who?

ChatGPT- och GPT-4-modeller är språkmodeller som är optimerade för konversationsgränssnitt.

deployment_name kan vara något av följande:

• gpt-35-turbo-0125
• gpt-4-32k

from synapse.ml.services.openai import OpenAIChatCompletion
from pyspark.sql import Row
from pyspark.sql.types import *


def make_message(role, content):
    return Row(role=role, content=content, name=role)


chat_df = spark.createDataFrame(
    [
        (
            [
                make_message(
                    "system", "You are an AI chatbot with red as your favorite color"
                ),
                make_message("user", "Whats your favorite color"),
            ],
        ),
        (
            [
                make_message("system", "You are very excited"),
                make_message("user", "How are you today"),
            ],
        ),
    ]
).toDF("messages")


chat_completion = (
    OpenAIChatCompletion()
    .setDeploymentName("gpt-35-turbo-0125") # deploymentName could be one of {gpt-35-turbo-0125 or gpt-4-32k}
    .setMessagesCol("messages")
    .setErrorCol("error")
    .setOutputCol("chat_completions")
)

display(
    chat_completion.transform(chat_df).select(
        "messages", "chat_completions.choices.message.content"
    )
)

En inbäddning är ett särskilt datarepresentationsformat som maskininlärningsmodeller och algoritmer enkelt kan använda. Den innehåller informationsrik semantisk betydelse för en text som representeras av en vektor med flyttalsnummer. Avståndet mellan två inbäddningar i vektorutrymmet är relaterat till den semantiska likheten mellan två ursprungliga indata. Om två texter till exempel är liknande bör deras vektorrepresentationer också vara liknande.

Exemplet som visas här visar hur du hämtar inbäddningar och inte är avsett som en självstudie.

deployment_id = "text-embedding-ada-002" # set deployment_name as text-embedding-ada-002
embeddings = openai.Embedding.create(deployment_id=deployment_id,
                                     input="The food was delicious and the waiter...")
                                
print(embeddings)

Output

    {
      "object": "list",
      "data": [
        {
          "object": "embedding",
          "index": 0,
          "embedding": [
            0.002306425478309393,
            -0.009327292442321777,
            0.015797346830368042,
            ...
            0.014552861452102661,
            0.010463837534189224,
            -0.015327490866184235,
            -0.01937841810286045,
            -0.0028842221945524216
          ]
        }
      ],
      "model": "ada",
      "usage": {
        "prompt_tokens": 8,
        "total_tokens": 8
      }
    }

openai. Inbäddning stöds inte längre i openai>=1.0.0 – se README för https://github.com/openai/openai-python API:et.

En inbäddning är ett särskilt format för datarepresentation av maskininlärningsmodeller och algoritmer. Inbäddningen är en informationstät representation av den semantiska innebörden av ett stycke text. Varje inbäddning är en vektor med flyttalsnummer, så att avståndet mellan två inbäddningar i vektorutrymmet korreleras med semantisk likhet mellan två indata i det ursprungliga formatet. Om två texter till exempel är liknande bör deras vektorrepresentationer också vara liknande.

deployment_name kan vara text-embedding-ada-002.

df = spark.createDataFrame(
    [
        ("Once upon a time",),
        ("Best programming language award goes to",),
        ("SynapseML is ",)
    ]
).toDF("text")

embedding = (
    OpenAIEmbedding()
    .setDeploymentName("text-embedding-ada-002") # set deployment_name as text-embedding-ada-002
    .setTextCol("text")
    .setOutputCol("out")
)
display(embedding.transform(df))