Dávkové odvozování pomocí rozhraní API základního modelu zřízené propustnosti

  • Článek

Tento článek obsahuje ukázkový poznámkový blok, který provádí dávkové odvozování na zřízeném koncovém bodu propustnosti pomocí rozhraní API modelu Foundation a ai_query.

Požadavky

  • Pracovní prostor v podporované oblasti rozhraní API základního modelu
  • Jedna z následujících možností:
    • Výpočetní prostředky pro všechny účely s velikostí i3.2xlarge výpočetních prostředků nebo většími spuštěnými modulem Databricks Runtime 15.4 ML LTS nebo vyšší s alespoň 2 pracovními procesy.
    • SQL Warehouse – střední a větší.

Spuštění dávkového odvození

Obecně platí, že nastavení dávkového odvozování zahrnuje 2 kroky:

  1. Vytvoření koncového bodu, který se má použít pro dávkové odvozování
  2. Vytvoření dávkových požadavků a odeslání těchto požadavků do koncového bodu dávkového odvozování pomocí ai_query.

Ukázkový poznámkový blok popisuje tyto kroky a ukazuje dávkové odvozování pomocí modelu Meta Llama 3.1 70B.

Odvozování dávky s poznámkovým blokem zřízeného koncového bodu propustnosti

Získat poznámkový blok

Další materiály