Batch-slutsatsdragning med foundation model-API:er etablerade dataflöde

  • Artikel

Den här artikeln innehåller en exempelanteckningsbok som utför batchinferens på en etablerad dataflödesslutpunkt med hjälp av Foundation Model-API:er och ai_query.

Krav

  • En arbetsyta i en FOUNDATION Model-API:er som stöds.
  • Något av följande:
    • All-purpose compute med beräkningsstorlek i3.2xlarge eller större som kör Databricks Runtime 15.4 ML LTS eller senare med minst 2 arbetare.
    • SQL Warehouse medium och större.

Kör batchinferens

I allmänhet omfattar konfiguration av batchinferens två steg:

  1. Skapa slutpunkten som ska användas för batchinferens.
  2. Konstruera batchbegäranden och skicka dessa begäranden till batchslutpunkten med hjälp av ai_query.

Exempelanteckningsboken beskriver de här stegen och visar batchinferens med hjälp av Meta Llama 3.1 70B-modellen.

Batch-slutsatsdragning med en etablerad slutpunktsanteckningsbok för dataflöde

Hämta notebook-fil

Ytterligare resurser