Dotaz obsluhující koncové body pro vlastní modely

V tomto článku se dozvíte, jak formátovat žádosti o bodování pro obsluhované modely a jak tyto požadavky odeslat do koncového bodu obsluhující model. Pokyny jsou relevantní pro poskytování vlastních modelů, které Databricks definuje jako tradiční modely ML nebo přizpůsobené modely Pythonu zabalené ve formátu MLflow. Můžou být zaregistrované buď v katalogu Unity, nebo v registru modelu pracovního prostoru. Mezi příklady patří modely scikit-learn, XGBoost, PyTorch a Hugging Face Transformer. Další informace o této funkci a podporovaných kategoriích modelů najdete v tématu Model obsluhující s Azure Databricks .

Požadavky na dotazy pro úlohy generující AI a LLM najdete v tématu Modely generování AI dotazů.

Požadavky

• Model obsluhující koncový bod
• Pro sadu SDK pro nasazení MLflow se vyžaduje MLflow 2.9 nebo vyšší.
• Žádost o bodování v přijatém formátu
• Pokud chcete odeslat žádost o bodování prostřednictvím rozhraní REST API nebo sady SDK pro nasazení MLflow, musíte mít token rozhraní API Databricks.

Dotazování metod a příkladů

Služba rozhraní AI Model Serving poskytuje následující možnosti pro odesílání žádostí o bodování na obsluhované modely:

Příklad bodování datového rámce Pandas

Následující příklad předpokládá podobný , kde je název vaší instance Databricks a token rozhraní REST API Databricks volaný DATABRICKS_API_TOKEN.<databricks-instance> MODEL_VERSION_URI https://<databricks-instance>/model/iris-classifier/Production/invocations

Viz Podporované formáty bodování.

REST API

Určení skóre modelu, který přijímá rozdělený vstupní formát datového rámce

curl -X POST -u token:$DATABRICKS_API_TOKEN $MODEL_VERSION_URI \
  -H 'Content-Type: application/json' \
  -d '{"dataframe_split": [{
     "columns": ["sepal length (cm)", "sepal width (cm)", "petal length (cm)", "petal width (cm)"],
     "data": [[5.1, 3.5, 1.4, 0.2], [4.9, 3.0, 1.4, 0.2]]
    }]
  }'

Určení skóre modelu, který přijímá vstupy tensoru Vstupy Tensoru by měly být formátované, jak je popsáno v dokumentaci k rozhraní API služby TensorFlow.

curl -X POST -u token:$DATABRICKS_API_TOKEN $MODEL_VERSION_URI \
   -H 'Content-Type: application/json' \
   -d '{"inputs": [[5.1, 3.5, 1.4, 0.2]]}'

Sada SDK pro nasazení MLflow

import mlflow.deployments

export DATABRICKS_HOST="https://<workspace_host>.databricks.com"
export DATABRICKS_TOKEN="dapi-your-databricks-token"

client = mlflow.deployments.get_deploy_client("databricks")

response = client.predict(
            endpoint="test-model-endpoint",
            inputs={"dataframe_split": {
                    "index": [0, 1],
                    "columns": ["sepal length (cm)", "sepal width (cm)", "petal length (cm)", "petal width (cm)"],
                    "data": [[5.1, 3.5, 1.4, 0.2], [4.9, 3.0, 1.4, 0.2]]
                    }
                }
           )

SQL

Následující příklad dotazuje model za sentiment-analysis koncovým bodem s text datovou sadou a určuje návratový typ požadavku.

SELECT text, ai_query(
    "sentiment-analysis",
    text,
    returnType => "STRUCT<label:STRING, score:DOUBLE>"
  ) AS predict
FROM
  catalog.schema.customer_reviews

Power BI

Datovou sadu v Power BI Desktopu můžete ohodnocet pomocí následujícího postupu:

1. Otevřete datovou sadu, kterou chcete skóre.

2. Přejděte na Transformovat data.

3. Klikněte pravým tlačítkem na levý panel a vyberte Vytvořit nový dotaz.

4. Přejděte do zobrazení > Rozšířený editor.

5. Po vyplnění příslušného DATABRICKS_API_TOKEN kódu nahraďte text dotazu následujícím fragmentem kódu a MODEL_VERSION_URI.

   (dataset as table ) as table =>
   let
     call_predict = (dataset as table ) as list =>
     let
       apiToken = DATABRICKS_API_TOKEN,
       modelUri = MODEL_VERSION_URI,
       responseList = Json.Document(Web.Contents(modelUri,
         [
           Headers = [
             #"Content-Type" = "application/json",
             #"Authorization" = Text.Format("Bearer #{0}", {apiToken})
           ],
           Content = {"dataframe_records": Json.FromValue(dataset)}
         ]
       ))
     in
       responseList,
     predictionList = List.Combine(List.Transform(Table.Split(dataset, 256), (x) => call_predict(x))),
     predictionsTable = Table.FromList(predictionList, (x) => {x}, {"Prediction"}),
     datasetWithPrediction = Table.Join(
       Table.AddIndexColumn(predictionsTable, "index"), "index",
       Table.AddIndexColumn(dataset, "index"), "index")
   in
     datasetWithPrediction
   

6. Pojmenujte dotaz požadovaným názvem modelu.

7. Otevřete rozšířený editor dotazů pro datovou sadu a použijte funkci modelu.

Příklad vstupu Tensoru

Následující příklad vyhodnocí model, který přijímá vstupy tensoru. Vstupy Tensoru by měly být formátované, jak je popsáno v dokumentaci k rozhraní API služby TensorFlow. V tomto příkladu se předpokládá, že se jedná o název MODEL_VERSION_URI <databricks-instance> https://<databricks-instance>/model/iris-classifier/Production/invocationsvaší instance Databricks a token rozhraní REST API Databricks, který se nazývá .DATABRICKS_API_TOKEN

curl -X POST -u token:$DATABRICKS_API_TOKEN $MODEL_VERSION_URI \
    -H 'Content-Type: application/json' \
    -d '{"inputs": [[5.1, 3.5, 1.4, 0.2]]}'

Podporované formáty bodování

U vlastních modelů podporuje obsluha modelů žádosti o bodování ve vstupním prvku DataFrame nebo Tensoru pandas.

Datový rámec Pandas

Požadavky by se měly odesílat vytvořením datového rámce Pandas serializovaného JSON s jedním z podporovaných klíčů a objektem JSON odpovídajícím vstupnímu formátu.

• (Doporučeno)dataframe_split formát je datový rámec Pandas serializovaný ve formátu JSON v orientaci split .

  {
    "dataframe_split": {
      "index": [0, 1],
      "columns": ["sepal length (cm)", "sepal width (cm)", "petal length (cm)", "petal width (cm)"],
      "data": [[5.1, 3.5, 1.4, 0.2], [4.9, 3.0, 1.4, 0.2]]
    }
  }
  

• dataframe_records je datový rámec Pandas serializovaný ve formátu JSON v orientaci records .

  Poznámka:

  Tento formát nezaručuje zachování řazení sloupců a split formát je upřednostňovaný před formátem records .

  {
    "dataframe_records": [
    {
      "sepal length (cm)": 5.1,
      "sepal width (cm)": 3.5,
      "petal length (cm)": 1.4,
      "petal width (cm)": 0.2
    },
    {
      "sepal length (cm)": 4.9,
      "sepal width (cm)": 3,
      "petal length (cm)": 1.4,
      "petal width (cm)": 0.2
    },
    {
      "sepal length (cm)": 4.7,
      "sepal width (cm)": 3.2,
      "petal length (cm)": 1.3,
      "petal width (cm)": 0.2
    }
    ]
  }
  

Odpověď z koncového bodu obsahuje výstup z vašeho modelu serializovaného pomocí JSON zabaleného do predictions klíče.

{
  "predictions": [0,1,1,1,0]
}

Vstup Tensoru

Pokud váš model očekává tensory, jako je TensorFlow nebo Pytorch model, existují dvě podporované možnosti formátu pro odesílání požadavků: instances a inputs.

Pokud máte více pojmenovaných tensorů na řádek, musíte mít jeden z každého tensoru pro každý řádek.

• instances je formát založený na tensorech, který přijímá tensory ve formátu řádků. Tento formát použijte, pokud mají všechny vstupní tensory stejnou 0-té dimenzi. Koncepčně lze každý tensor v seznamu instancí spojit s ostatními tensory stejného názvu ve zbytku seznamu, aby se vytvořil úplný vstupní tensor modelu, který by byl možný pouze v případě, že by všechny tenzory měly stejnou 0-té dimenzi.

  {"instances": [ 1, 2, 3 ]}
  

  Následující příklad ukazuje, jak zadat více pojmenovaných tenzorů.

  {
  "instances": [
    {
     "t1": "a",
     "t2": [1, 2, 3, 4, 5],
     "t3": [[1, 2], [3, 4], [5, 6]]
    },
    {
     "t1": "b",
     "t2": [6, 7, 8, 9, 10],
     "t3": [[7, 8], [9, 10], [11, 12]]
    }
  ]
  }
  

• inputs odesílat dotazy s tensory ve sloupcových formátech. Tento požadavek se liší, protože ve skutečnosti existuje jiný počet instancí tensoru t2 (3) než t1 a t3, takže tento vstup není možné reprezentovat ve instances formátu.

  {
  "inputs": {
    "t1": ["a", "b"],
    "t2": [[1, 2, 3, 4, 5], [6, 7, 8, 9, 10]],
    "t3": [[[1, 2], [3, 4], [5, 6]], [[7, 8], [9, 10], [11, 12]]]
  }
  }
  

Odpověď z koncového bodu je v následujícím formátu.

{
  "predictions": [0,1,1,1,0]
}

Příklad poznámkového bloku

Příklad testování koncového bodu obsluhy modelů pomocí modelu Pythonu najdete v následujícím poznámkovém bloku:

Poznámkový blok koncového bodu obsluhy testovacího modelu

Získat poznámkový blok

Další materiály

• Odvozování tabulek pro monitorování a ladění modelů
• Dotazování na generující modely AI
• Průvodce laděním pro obsluhu modelů