Databricks Foundation Model-APIs
Dieser Artikel enthält eine Übersicht über Foundation Model-APIs in Azure Databricks. Sie enthält Anforderungen für die Verwendung, unterstützte Modelle und Einschränkungen.
Was sind Databricks Foundation Model-APIs?
Mosaik AI Model Serving unterstützt jetzt Foundation Model-APIs, mit denen Sie auf moderne offene Modelle von einem dienstenden Endpunkt aus zugreifen und diese abfragen können. Diese Modelle werden von Databricks gehostet, und Sie können schnell und einfach Anwendungen erstellen, die sie verwenden, ohne ihre eigene Modellbereitstellung zu verwalten. Foundation Model-APIs ist ein designierter Databricks-Dienst, was bedeutet, dass geografische Standorte von Databricks genutzt werden, um die Datenresidenz bei der Verarbeitung von Kundeninhalten sicherzustellen.
Die Foundation-Modell-APIs werden in den folgenden Preismodi bereitgestellt:
- Pay-per-Token: Dies ist die einfachste Möglichkeit, mit dem Zugriff auf Foundation-Modelle auf Databricks zu beginnen, und wird empfohlen, Ihre Reise mit Foundation-Modell-APIs zu beginnen. Dieser Modus ist nicht für Anwendungen mit hohem Durchsatz oder für leistungsfähige Produktionsarbeitslasten ausgelegt.
- Bereitgestellter Durchsatz: Dieser Modus wird für alle Produktionsworkloads empfohlen, insbesondere für Solche, die einen hohen Durchsatz, Leistungsgarantien, Feinabstimmungsmodelle oder zusätzliche Sicherheitsanforderungen erfordern. Bereitgestellte Durchsatzendpunkte sind mit Compliancezertifizierungen wie HIPAA verfügbar.
Anleitungen zur Verwendung dieser Modi und der unterstützten Modelle finden Sie unter Verwenden von Foundation-Modell-APIs.
Mit den Foundation-Modell-APIs können Sie Folgendes tun:
- Fragen Sie eine generalisierte LLM ab, um die Gültigkeit eines Projekts zu überprüfen, bevor Sie weitere Ressourcen investieren.
- Fragen Sie eine generalisierte LLM ab, um einen schnellen Machbarkeitsnachweis für eine LLM-basierte Anwendung zu erstellen, bevor Sie in Schulungen investieren und ein benutzerdefiniertes Modell bereitstellen.
- Verwenden Sie ein Foundation-Modell zusammen mit einer Vektordatenbank, um einen Chatbot mithilfe der erweiterten Abrufgenerierung (Retrieval Augmented Generation, RAG) zu erstellen.
- Ersetzen Sie proprietäre Modelle durch offene Alternativen, um Kosten und Leistung zu optimieren.
- Vergleichen Sie LLMs effizient, um den besten Kandidaten für Ihren Anwendungsfall zu sehen, oder tauschen Sie ein Produktionsmodell mit einer besseren Leistung aus.
- Erstellen Sie eine LLM-Anwendung für die Entwicklung oder die Produktion auf der Grundlage einer skalierbaren, SLA-gesicherten LLM-Serving-Lösung, die Ihre Produktionsverkehrsspitzen bewältigen kann.
Anforderungen
- Databricks-API-Token zum Authentifizieren von Endpunktanforderungen.
- Serverlose Berechnung (für bereitgestellte Durchsatzmodelle).
- Ein Arbeitsbereich in einem der folgenden unterstützten Regionen:
Verwenden von Foundation Model-APIs
Sie haben mehrere Optionen für die Verwendung der Foundation-Modell-APIs.
Die APIs sind mit OpenAI kompatibel, sodass Sie den OpenAI-Client zum Abfragen verwenden können. Sie können auch die Benutzeroberfläche, die Foundation Models-APIs Python SDK, das MLflow Deployments SDK oder die REST-API zum Abfragen unterstützter Modelle verwenden. Databricks empfiehlt die Verwendung des OpenAI-Client-SDK oder der API für erweiterte Interaktionen und die Benutzeroberfläche zum Testen des Features.
Beispiele für Bewertungen finden Sie unter Abfragen von Basismodellen.
Foundation Model-APIs mit Pay-per-Token
Vorkonfigurierte Endpunkte, die die Pay-per-Token-Modelle bedienen, sind in Ihrem Azure Databricks-Arbeitsbereich zugänglich. Diese Pay-per-Token-Modelle werden für die ersten Schritte empfohlen. Um auf sie in Ihrem Arbeitsbereich zuzugreifen, navigieren Sie in der linken Seitenleiste zur Registerkarte "Serving". Die Foundation-Modell-APIs befinden sich oben in der Endpunktlistenansicht.
- Unterstützte Pay-per-Token-Modelle.
- Leitfäden zum Abfragen von Foundation Model-APIs finden Sie unter Abfragen von Basismodellen.
- Informationen zu erforderlichen Parametern und Syntax finden Sie unter Foundation-Modell-REST-API-Referenz.
Foundation Model-APIs mit bereitgestelltem Durchsatz
Der bereitgestellte Durchsatz stellt Endpunkte mit optimierter Ableitung für Foundation-Modellworkloads bereit, die Leistungsgarantien erfordern. Databricks empfiehlt den bereitgestellten Durchsatz für Produktionsworkloads.
- Modellarchitekturen, die durch bereitgestellten Durchsatz unterstützt werden.
- Eine Schritt-für-Schritt-Anleitung zum Bereitstellen von Foundation Model-APIs im Modus mit bereitgestelltem Durchsatz finden Sie unter Foundation Model-APIs mit bereitgestelltem Durchsatz.
Die bereitgestellte Durchsatzunterstützung umfasst:
- Basismodelle aller Größen. Auf Basismodelle kann über den Databricks Marketplace zugegriffen werden, oder Sie können sie alternativ von Hugging Face oder einer anderen externen Quelle herunterladen und im Unity-Katalog registrieren. Letzteres funktioniert mit jeder fein abgestimmten Variante der unterstützten Modelle.
- Feinabgestimmte Varianten von Basismodellen, wie etwa Modelle, die mit proprietären Daten feinjustiert wurden.
- Vollständig benutzerdefinierte Gewichtungen und Tokenizer, wie z. B. solche, die von Grund auf neu trainiert oder weiter vorab trainiert werden, oder andere Variationen, die die Basismodellarchitektur nutzen (z. B. CodeLlama).
Begrenzungen
Siehe Foundation Model-APIs-Grenzwerte.