Databricks Foundation Model-APIs

Dieser Artikel enthält eine Übersicht über die Foundation Model-APIs in Azure Databricks. Sie enthält Anforderungen für die Verwendung, unterstützte Modelle und Einschränkungen.

Was sind Databricks Foundation Model-APIs?

Mosaic AI Model Serving unterstützt jetzt Foundation Model-APIs, mit denen Sie auf moderne offene Modelle von einem Dienstendpunkt aus zugreifen und abfragen können. Mit Foundation Model-APIs können Sie schnell und einfach Anwendungen erstellen, die ein qualitativ hochwertiges generatives KI-Modell nutzen, ohne Ihre eigene Modellimplementierung aufrechtzuerhalten. Foundation Model-APIs ist ein Databricks Designated Service, was bedeutet, dass databricks Geos zum Verwalten der Datenhaltung beim Verarbeiten von Kundeninhalten verwendet wird.

Foundation Model-APIs sind in zwei Preismodi verfügbar:

• Tokenbasierte Bezahlung: Dies ist die einfachste Möglichkeit für den Zugriff auf Databricks-Basismodelle. Sie wird für den Einstieg in die Verwendung von Basismodell-APIs empfohlen. Dieser Modus ist nicht für Anwendungen mit hohem Durchsatz oder leistungsfähige Produktionsworkloads ausgelegt.
• Bereitgestellter Durchsatz: Dieser Modus wird für alle Produktionsworkloads empfohlen (insbesondere für Workloads, die einen hohen Durchsatz, Leistungsgarantien, optimierte Modelle oder zusätzliche Sicherheitsanforderungen erfordern). Endpunkte für bereitgestellten Durchsatz sind mit Compliancezertifizierungen wie HIPAA verfügbar.

Anleitungen zur Verwendung dieser beiden Modi und der unterstützten Modelle finden Sie unter Verwenden von Foundation Model-APIs.

Mit den Basismodell-APIs ist Folgendes möglich:

• Eine generalisierte LLM abfrage, um die Gültigkeit eines Projekts zu überprüfen, bevor Sie weitere Ressourcen investieren.
• Eine generalisierte LLM abfragen, um eine schnelle Machbarkeitsstudie für eine LLM-basierte Anwendung zu erstellen, bevor Sie in Schulungen investieren und ein benutzerdefiniertes Modell bereitstellen.
• Ein Foundation-Modell zusammen mit einer Vektordatenbank verwenden, um einen Chatbot mithilfe der erweiterten Abrufgenerierung (Retrieval Augmented Generation, RAG) zu erstellen.
• Proprietäre Modelle durch offene Alternativen ersetzen, um Kosten und Leistung zu optimieren.
• Sie können LLMs effizient vergleichen, um herauszufinden, welches der beste Kandidat für Ihren Anwendungsfall ist, oder ein Produktionsmodell gegen ein leistungsfähigeres austauschen.
• Erstellen Sie eine LLM-Anwendung für die Entwicklung oder die Produktion auf der Grundlage einer skalierbaren, SLA-gesicherten LLM-Serving-Lösung, die Ihre Produktionsverkehrsspitzen bewältigen kann.

Anforderungen

• Databricks API-Token zur Authentifizierung von Endpunktanforderungen.
• Serverloses Computing (für bereitgestellte Durchsatzmodelle).
• Arbeitsbereich in einer unterstützten Region:
  • Regionen, die die tokenbasierte Bezahlung unterstützen
  • Regionen, die den bereitgestellten Durchsatz unterstützen

Verwenden Sie Foundation Model APIs

Es stehen mehrere Optionen zur Verwendung der Basismodell-APIs zur Verfügung.

Die APIs sind mit OpenAI kompatibel, sodass Sie für Abfragen den OpenAI-Client verwenden können. Sie können auch die Benutzeroberfläche, das Python SDK für die Foundation Models-APIs, das Bereitstellungs-SDK von MLflow oder die REST-API zum Abfragen unterstützter Modelle verwenden. Databricks empfiehlt die Verwendung des Open AI Client SDK oder API für erweiterte Interaktionen und die Benutzeroberfläche zum Testen des Features.

Beispiele für bewertungsbeispiele finden Sie unter "Abfragegenerive KI-Modelle ".

Pay-per-Token Foundation Model-APIs

Sie können über Ihren Azure Databricks-Arbeitsbereich auf die Modelle für tokenbasierte Bezahlung zugreifen, die für die ersten Schritte empfohlen werden. Um auf sie in Ihrem Arbeitsbereich zuzugreifen, navigieren Sie in der linken Randleiste zur Registerkarte Bereitstellen. Die Foundation-Modell-APIs befinden sich oben in der Endpunktlistenansicht.

In der folgenden Tabelle werden die unterstützten Modelle für die tokenbasierte Bezahlung zusammengefasst. Weitere Modellinformationen finden Sie unter Unterstützte Modelle für Pay-per-Token.

Wenn Sie diese Modelle testen und mit ihnen chatten möchten, können Sie dazu den AI Playground nutzen. Siehe Chatten mit LLMs und Prototypen-GenAI-Apps im KI-Playground.

* Wenden Sie sich an Ihr Databricks-Kontoteam, wenn bei Verwendung dieses Modells Endpunktfehler oder Stabilisierungsfehler auftreten.

• Anleitungen zum Abfragen von Foundation-Modell-APIs finden Sie unter "Abfragegenerive KI-Modelle ".
• Die erforderlichen Parameter und die Syntax finden Sie in der Referenz zur Foundation Model-REST-API.

Foundation Model-APIs mit bereitgestelltem Durchsatz

Der bereitgestellte Durchsatz bietet Endpunkte mit optimierten Rückschlüssen für Basismodellworkloads, die Leistungsgarantien erfordern. Databricks empfiehlt den bereitgestellten Durchsatz für Produktionsworkloads. Eine Schrittanleitung zum Bereitstellen von Foundation Model-APIs im Modus mit bereitgestelltem Durchsatz finden Sie unter Bereitstellen von Foundation Model-APIs mit bereitgestelltem Durchsatz.

Die Unterstützung des bereitgestellten Durchsatzes umfasst Folgendes:

• Basismodelle aller Größen (z. B. DBRX Base): Auf Basismodelle kann über den Databricks Marketplace zugegriffen werden, oder Sie können sie alternativ von Hugging Face oder einer anderen externen Quelle herunterladen und im Unity Catalog registrieren. Letzteres funktioniert mit jeder optimierten Variante der unterstützten Modelle, unabhängig von der verwendeten Optimierungsmethode.
• Optimierte Varianten von Basismodellen, z. B. LlamaGuard-7B. Dazu gehören Modelle, die für geschützte Daten optimiert sind.
• Vollständig benutzerdefinierte Gewichtungen und Tokenizer, z. B. von Grund auf neu trainierte oder fortgesetzte vortrainierte oder andere Variationen mithilfe der Basismodellarchitektur (z. B. CodeLlama).

In der folgenden Tabelle sind die unterstützten Modellarchitekturen für den bereitgestellten Durchsatz zusammengefasst.

Begrenzungen

Siehe Foundation Model-APIs-Grenzwerte.

Zusätzliche Ressourcen

• Abfragegenerive KI-Modelle
• Foundation Model-APIs mit bereitgestelltem Durchsatz
• Batch-Ableitung mithilfe von Foundation Model-APIs bereitgestellter Durchsatz
• Unterstützte Modelle für Pay-per-Token
• Foundation Model-REST-API-Referenz