Magazyny wektorowe w usłudze Azure Machine Learning (wersja zapoznawcza)
Ważne
Ta funkcja jest obecnie w publicznej wersji zapoznawczej. Ta wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie zalecamy korzystania z niej w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone.
Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
W tym artykule opisano indeksy wektorów w usłudze Azure Machine Learning, których można użyć do wykonania generowania rozszerzonego pobierania (RAG). Indeks wektorowy przechowuje osadzanie, które są liczbowymi reprezentacjami pojęć (danych) przekonwertowanych na sekwencje liczbowe. Osadzanie umożliwia korzystanie z dużych modeli językowych (LLM) w celu zrozumienia relacji między pojęciami. Możesz tworzyć magazyny wektorów, aby połączyć dane z maszynami LLM, takimi jak GPT-4, i efektywnie pobierać dane.
Usługa Azure Machine Learning obsługuje dwa magazyny wektorów zawierające dane uzupełniające używane w przepływie pracy RAG:
| Magazyn wektorów | opis | Funkcje i użycie |
|---|---|---|
| Faiss | Biblioteka open source | — Korzystanie z lokalnego magazynu opartego na plikach - Poniesienie minimalnych kosztów — Obsługa danych tylko wektorów — Obsługa programowania i testowania |
| Azure AI Search | Zasób usługi Azure PaaS | — Przechowywanie danych tekstowych w indeksie wyszukiwania — Hostowanie dużej liczby indeksów za pomocą pojedynczej usługi — Obsługa wymagań biznesowych na poziomie przedsiębiorstwa — Uzyskiwanie dostępu do pobierania informacji hybrydowych |
W poniższych sekcjach opisano zagadnienia dotyczące pracy z tymi magazynami wektorów.
Biblioteka Faiss
Faiss to biblioteka typu open source, która udostępnia lokalny magazyn oparty na plikach. Indeks wektorowy jest przechowywany na koncie usługi Azure Storage obszaru roboczego usługi Azure Machine Learning. Aby pracować z aplikacją Faiss, pobierz bibliotekę i użyj jej jako składnika rozwiązania. Ponieważ indeks jest przechowywany lokalnie, koszty są minimalne.
Bibliotekę Faiss można użyć jako magazynu wektorów i wykonać następujące akcje:
Lokalne przechowywanie danych wektorowych bez kosztów tworzenia indeksu (tylko koszt magazynowania)
Kompilowanie i wykonywanie zapytań względem indeksu w pamięci
Udostępnianie kopii do użytku indywidualnego i konfigurowanie hostowania indeksu dla aplikacji
Skalowanie przy użyciu bazowego indeksu ładowania zasobów obliczeniowych
Wyszukiwanie AI platformy Azure
Azure AI Search (dawniej Cognitive Search ) to dedykowany zasób PaaS platformy Azure tworzony w ramach subskrypcji platformy Azure. Zasób obsługuje pobieranie informacji na wektor i dane tekstowe przechowywane w indeksach wyszukiwania. Przepływ monitu może tworzyć, wypełniać i wykonywać zapytania dotyczące danych wektorowych przechowywanych w usłudze Azure AI Search. Pojedyncza usługa wyszukiwania może hostować dużą liczbę indeksów, które mogą być odpytywane i używane we wzorcu RAG.
Oto kilka kluczowych kwestii dotyczących korzystania z usługi Azure AI Search dla magazynu wektorów:
Obsługa wymagań biznesowych na poziomie przedsiębiorstwa na potrzeby skalowania, zabezpieczeń i dostępności.
Uzyskaj dostęp do pobierania informacji hybrydowych. Dane wektorowe mogą współistnieć z danymi niewektorowymi, co oznacza, że można użyć dowolnych funkcji usługi Azure AI Search na potrzeby indeksowania i zapytań, w tym wyszukiwania hybrydowego i semantycznego ponownego korbowania.
Należy pamiętać, że obsługa wektorów jest dostępna w wersji zapoznawczej. Obecnie wektory muszą być generowane zewnętrznie, a następnie przekazywane do usługi Azure AI Search na potrzeby indeksowania i kodowania zapytań. Przepływ monitu obsługuje te przejścia.
Aby użyć funkcji wyszukiwania sztucznej inteligencji jako magazynu wektorów dla usługi Azure Machine Learning, musisz mieć usługę wyszukiwania. Po utworzeniu usługi i udzieleniu dostępu deweloperom możesz wybrać usługę Azure AI Search jako indeks wektorowy w przepływie monitu. Przepływ monitu tworzy indeks w usłudze Azure AI Search, generuje wektory na podstawie danych źródłowych, wysyła wektory do indeksu, wywołuje wyszukiwanie podobieństwa w wyszukiwaniu sztucznej inteligencji i zwraca odpowiedź.