Bránu AI pro mozaiku

  • Článek

Důležité

Tato funkce je ve verzi Public Preview.

Tento článek popisuje Architekturu AI Gateway, řešení Databricks pro řízení a monitorování přístupu k podporovaným modelům generování AI a jejich přidruženým modelům obsluhující koncové body.

Co je Služba AI Gateway pro mozaiku?

Služba Mosaic AI Gateway je navržená tak, aby zjednodušila používání a správu generovaných modelů AI v rámci organizace. Jedná se o centralizovanou službu, která přináší připravenost zásad správného řízení, monitorování a produkčního prostředí na modelování obsluhovaných koncových bodů. Umožňuje také spouštět, zabezpečit a řídit provoz umělé inteligence za účelem demokratizace a zrychlení přijetí umělé inteligence pro vaši organizaci.

Všechna data se protokolují do tabulek Delta v katalogu Unity.

Pokud chcete začít vizualizovat přehledy z dat služby AI Gateway, stáhněte si z GitHubu ukázkový řídicí panel služby AI Gateway. Tento řídicí panel využívá data ze sledování využití a tabulek odvozování datových částí.

Po stažení souboru JSON naimportujte řídicí panel do svého pracovního prostoru. Pokyny k importu řídicích panelů najdete v tématu Import souboru řídicího panelu.

AI Gateway podporuje následující funkce:

  • Oprávnění a omezování rychlosti pro řízení, kdo má přístup a kolik přístupu.
  • Protokolování datové části pro monitorování a auditování dat odesílaných do rozhraní API modelu pomocí tabulek odvozování
  • Sledování využití pro monitorování provozního využití koncových bodů a souvisejících nákladů pomocí systémových tabulek
  • AI Guardrails , aby se zabránilo nežádoucím datům a nebezpečným datům v požadavcích a odpovědích.
  • Směrování provozu pro minimalizaci produkčních výpadků během a po nasazení.

Za povolenou funkci se účtují poplatky za bránu AI Gateway v systému Mosaic. Mezi placené funkce ve verzi Preview patří AI Guardrails, protokolování datové části a sledování využití. Funkce, jako jsou oprávnění k dotazům, omezování rychlosti a směrování provozu, se účtují zdarma. Za všechny nové funkce se účtují poplatky.

Následující tabulka odráží sazbu jednotek Databricks (DBU) za milion tokenů (M) pro placené funkce brány AI. Poplatky jsou uvedené pod skladovou položkou Serverless Real-time Inference .

Funkce Rychlost DBU
Mantinely AI 21.429 DBU na tokeny M
Protokolování datové části 2.857 DBU na tokeny M
Sledování využití 0.571 DBU na tokeny M

Mantinely AI

AI Guardrails umožňují uživatelům konfigurovat a vynucovat dodržování předpisů dat na úrovni modelu obsluhujícího koncové body a omezit škodlivý obsah u všech požadavků odeslaných do základního modelu. Chybné požadavky a odpovědi jsou blokované a uživateli se vrátí výchozí zpráva. Zjistěte , jak nakonfigurovat mantinely v koncovém bodu obsluhy modelu.

Důležité

Ochranné mantinely AI jsou dostupné pouze v oblastech, které podporují rozhraní API základního modelu s platbami za token.

Následující tabulka shrnuje konfigurovatelné mantinely.

Zábradlí Definice
Bezpečnostní filtrování Filtrování bezpečnosti brání vašemu modelu v interakci s nebezpečným a škodlivým obsahem, jako je násilné trestné činy, sebepoškozování a projevy nenávisti.

Bezpečnostní filtr AI Gateway je vytvořený pomocí Meta Llama 3. Databricks používá jako bezpečnostní filtr Llama Guard 2-8b. Další informace o bezpečnostním filtru Llama Guard a o tom, jaká témata platí pro bezpečnostní filtr, najdete na kartě modelu Meta Llama Guard 2 8B.

Meta Llama 3 je licencovaná v rámci licence LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Všechna práva vyhrazena. Zákazníci zodpovídají za zajištění dodržování předpisů s příslušnými licencemi modelu.
Detekce identifikovatelných osobních údajů (PII) Zákazníci můžou zjistit jakékoli citlivé informace, jako jsou jména, adresy, čísla platebních karet pro uživatele.

Pro tuto funkci používá AI Gateway k detekci následujících kategorií osobních údajů v USA: čísla platebních karet, e-mailové adresy, telefonní čísla, čísla bankovního účtu a čísla sociálního pojištění.

Klasifikátor PII může pomoct identifikovat citlivé informace nebo PII ve strukturovaných a nestrukturovaných datech. Vzhledem k tomu, že používá mechanismy automatizovaného zjišťování, neexistuje žádná záruka, že služba najde všechny citlivé informace. V důsledku toho by měly být použity další systémy a ochrana.

Tyto klasifikační metody jsou primárně vymezeny na americké kategorie PII, jako jsou telefonní čísla USA a čísla sociálního pojištění.
Moderování témat Možnost vypsat sadu povolených témat Vzhledem k žádosti o chat tento mantinely označí požadavek příznakem, pokud jeho téma není v povolených tématech.
Filtrování klíčových slov Zákazníci můžou pro vstup i výstup zadat různé sady neplatných klíčových slov. Jedním z možných případů použití pro filtrování klíčových slov je, aby model nemluvil o konkurentech.

Toto mantinely používá k rozhodnutí, jestli v obsahu požadavku nebo odpovědi existuje klíčové slovo nebo porovnávání řetězců.

Použití brány AI

Funkce služby AI Gateway můžete nakonfigurovat v modelu obsluhující koncové body pomocí uživatelského rozhraní obsluhy. Viz Konfigurace brány AI na model obsluhujících koncové body.

Omezení

Následující omezení platí pro verzi Preview:

  • AI Gateway je podporována pouze pro modely obsluhující koncové body, které obsluhují externí modely.
  • Při použití mantinely nemůže velikost dávky požadavku, tj. velikost dávky vložení, velikost dávky dokončení nebo n parametr žádostí o chat, překročit 16.