Interfejsy API podstawowych modeli usługi Databricks

Ten artykuł zawiera omówienie interfejsów API modelu podstawowego w usłudze Azure Databricks. Zawiera wymagania dotyczące użycia, obsługiwanych modeli i ograniczeń.

Co to są interfejsy API modelu usługi Databricks Foundation?

Usługa Mosaic AI Model Serving obsługuje teraz interfejsy API modelu foundation, które umożliwiają uzyskiwanie dostępu do najnowocześniejszego otwartego modelu i wykonywanie zapytań o nie z poziomu obsługiwanego punktu końcowego. Za pomocą interfejsów API modelu Foundation można szybko i łatwo tworzyć aplikacje korzystające z wysokiej jakości modelu generowania sztucznej inteligencji bez konieczności utrzymywania własnego wdrożenia modelu.

Interfejsy API modelu foundation są dostępne w dwóch trybach cenowych:

• Płatność za token: jest to najprostszy sposób na rozpoczęcie uzyskiwania dostępu do modeli podstawowych w usłudze Databricks i zaleca się rozpoczęcie podróży za pomocą interfejsów API modelu Foundation. Ten tryb nie jest przeznaczony dla aplikacji o wysokiej przepływności ani wydajnych obciążeń produkcyjnych.
• Aprowizowana przepływność: ten tryb jest zalecany dla wszystkich obciążeń produkcyjnych, zwłaszcza tych, które wymagają wysokiej przepływności, gwarancji wydajności, dostrojonych modeli lub mają dodatkowe wymagania dotyczące zabezpieczeń. Aprowizowanie punktów końcowych przepływności jest dostępne z certyfikatami zgodności, takimi jak HIPAA.

Aby uzyskać wskazówki dotyczące korzystania z tych dwóch trybów i obsługiwanych modeli, zobacz Use Foundation Model APIs (Korzystanie z interfejsów API modelu foundation).

Za pomocą interfejsów API modelu foundation można wykonywać następujące czynności:

• Wykonaj zapytanie względem uogólnionego modułu LLM, aby zweryfikować ważność projektu przed zainwestowaniem większej ilości zasobów.
• Wykonaj zapytanie względem uogólnionego modułu LLM, aby utworzyć szybką weryfikację koncepcji aplikacji opartej na usłudze LLM przed zainwestowaniem w trenowanie i wdrażanie modelu niestandardowego.
• Użyj modelu podstawowego wraz z bazą danych wektorów, aby utworzyć czatbota przy użyciu rozszerzonej generacji pobierania (RAG).
• Zastąp zastrzeżone modele otwartymi alternatywami, aby zoptymalizować koszt i wydajność.
• Efektywnie porównaj moduły LLM, aby sprawdzić, który z nich jest najlepszym kandydatem do użycia, lub zamienić model produkcyjny z lepszym rozwiązaniem.
• Utwórz aplikację LLM na potrzeby programowania lub produkcji na podstawie skalowalnego, opartego na umowie SLA rozwiązania obsługującego usługę LLM, które może obsługiwać wzrost ruchu produkcyjnego.

Wymagania

• Token interfejsu API usługi Databricks do uwierzytelniania żądań punktów końcowych.
• Obliczenia bezserwerowe (w przypadku modeli aprowizowanej przepływności).
• Obszar roboczy w obsługiwanym regionie:
  • Regiony płatności za token.
  • Aprowizowanie regionów przepływności.

Korzystanie z interfejsów API modelu foundation

Istnieje wiele opcji używania interfejsów API modelu foundation.

Interfejsy API są zgodne z interfejsem OpenAI, więc do wykonywania zapytań można użyć klienta OpenAI. Możesz również użyć interfejsu użytkownika, interfejsu API modeli podstawowych zestawu SDK języka Python, zestawu SDK wdrożeń platformy MLflow lub interfejsu API REST do wykonywania zapytań dotyczących obsługiwanych modeli. Usługa Databricks zaleca korzystanie z zestawu SDK klienta openAI lub interfejsu API na potrzeby interakcji rozszerzonych oraz interfejsu użytkownika do wypróbowanie tej funkcji.

Zobacz Tworzenie zapytań dotyczących modeli podstawowych i modeli zewnętrznych, aby zapoznać się z przykładami oceniania.

Interfejsy API modelu modelu płatności za token platformy Azure

Modele płatności za tokeny są dostępne w obszarze roboczym usługi Azure Databricks i są zalecane do rozpoczęcia pracy. Aby uzyskać dostęp do nich w obszarze roboczym, przejdź do karty Obsługa na pasku bocznym po lewej stronie. Interfejsy API modelu foundation znajdują się w górnej części widoku listy Punkty końcowe.

W poniższej tabeli przedstawiono podsumowanie obsługiwanych modeli płatności za token. Aby uzyskać dodatkowe informacje o modelu, zobacz Obsługiwane modele dla tokenu płatności za token .

Jeśli chcesz przetestować te modele i porozmawiać z nimi, możesz to zrobić przy użyciu narzędzia AI Playground. Zobacz Chat with LLMs and prototype GenAI apps using AI Playground (Czat z modułami LLM i prototypowymi aplikacjami GenAI korzystającymi ze środowiska sztucznej inteligencji).

* Skontaktuj się z zespołem konta usługi Databricks, jeśli wystąpią błędy punktu końcowego lub błędy stabilizacji podczas korzystania z tego modelu.

• Aby uzyskać wskazówki dotyczące wykonywania zapytań względem interfejsów API modelu foundation, zobacz Tworzenie zapytań dotyczących modeli modeli i modeli zewnętrznych.
• Zobacz Dokumentacja interfejsu API REST modelu foundation, aby uzyskać wymagane parametry i składnię.

Aprowizowane interfejsy API modelu podstawowego przepływności

Aprowizowana przepływność zapewnia punkty końcowe ze zoptymalizowanym wnioskowaniem dla obciążeń modelu podstawowego, które wymagają gwarancji wydajności. Usługa Databricks zaleca aprowizowaną przepływność dla obciążeń produkcyjnych. Zobacz Aprowizowanie interfejsów API modelu przepływności foundation, aby zapoznać się z przewodnikiem krok po kroku dotyczącym wdrażania interfejsów API modelu foundation w trybie aprowizacji.

Obsługa aprowizowanej przepływności obejmuje:

• Podstawowe modele wszystkich rozmiarów, takie jak DBRX Base. Dostęp do modeli bazowych można uzyskać za pomocą witryny Databricks Marketplace lub możesz też pobrać je z witryny Hugging Face lub innego źródła zewnętrznego i zarejestrować je w wykazie aparatu Unity. Drugie podejście działa z dowolnym dostosowanym wariantem obsługiwanych modeli, niezależnie od zastosowanej metody dostrajania.
• Dostosowane warianty modeli bazowych, takie jak LlamaGuard-7B. Obejmuje to modele, które są dostosowane do zastrzeżonych danych.
• W pełni niestandardowe wagi i tokenizatory, takie jak te trenowane od podstaw lub ciągłe wstępnie wytrenowane lub inne odmiany przy użyciu architektury modelu podstawowego (takich jak CodeLlama, Yi-34B-Chat lub SOLAR-10.7B).

Poniższa tabela zawiera podsumowanie obsługiwanych architektur modelu dla aprowizowanej przepływności.

Ograniczenia

Zobacz Limity i regiony obsługi modeli.

Dodatkowe zasoby

• Tworzenie zapytań względem modeli podstawowych i modeli zewnętrznych
• Interfejsy API modeli podstawowych z aprowizowaną produktywnością
• Wnioskowanie wsadowe przy użyciu aprowizowanej przepływności interfejsu API modelu foundation
• Obsługiwane modele dla płatności za token
• Dokumentacja interfejsu API REST modelu podstawowego