Monitorování využití pomocí systémových tabulek

Tento článek vysvětluje koncept systémových tabulek v Azure Databricks a zvýrazňuje prostředky, které můžete použít k využití dat systémových tabulek na maximum.

Co jsou systémové tabulky?

Systémové tabulky jsou analytické úložiště hostované službou Azure Databricks provozních dat vašeho účtu nalezených system v katalogu. Systémové tabulky se dají použít pro historickou pozorovatelnost v rámci vašeho účtu.

Požadavky

• Pokud chcete získat přístup k systémovým tabulkám, musí být váš pracovní prostor povolený pro katalog Unity. Další informace naleznete v tématu Povolení schémat systémových tabulek.

• Systémové tabulky nejsou dostupné v následujících oblastech:

  • Oblasti Azure Čína
  • Oblasti Azure Government
  • Západ Indie
  • Švýcarsko – západ

Které systémové tabulky jsou k dispozici?

Azure Databricks v současné době hostuje následující systémové tabulky:

Fakturovatelné tabulky využití a cen se dají používat zdarma. Tabulky ve verzi Public Preview se také můžou používat během verze Preview, ale v budoucnu se vám můžou účtovat poplatky.

Povolení schémat systémových tabulek

Vzhledem k tomu, že systémové tabulky se řídí katalogem Unity, musíte mít v účtu alespoň jeden pracovní prostor s podporou katalogu Unity, abyste povolili systémové tabulky a měli k němu přístup. Systémové tabulky zahrnují data ze všech pracovních prostorů ve vašem účtu, ale dají se k nim přistupovat jenom z pracovního prostoru s podporou katalogu Unity.

Systémové tabulky jsou povolené na úrovni schématu. Pokud povolíte systémové schéma, povolíte všechny tabulky v rámci daného schématu. Po vydání nových schémat musí správce účtu schéma povolit ručně.

Systémové tabulky musí povolit správce účtu. Systémové tabulky můžete povolit pomocí rozhraní SystemSchemas API.

Výpis dostupných systémových schémat

Pomocí následujícího příkazu curl zobrazte seznam dostupných systémových schémat:

curl -v -X GET -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas"

Následuje příklad výstupu GET příkazu:

{"schemas":[{"schema":"access","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"billing","state":"<AVAILABLE OR EnableCompleted>"},{"schema":"information_schema","state":"<AVAILABLE OR EnableCompleted>"}]}

state: AVAILABLE: Systémové schéma je k dispozici, ale dosud nebylo povoleno.

state: EnableCompleted: Povolili jste systémové schéma a je viditelné v Průzkumníku katalogu.

Povolení systémového schématu

K zapnutí systémového schématu použijte následující příkaz curl:

curl -v -X PUT -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Pokud je schéma systému úspěšně povolené, vrátí se kód 200 výsledku.

Pokud se pokusíte znovu povolit systémové schéma, vrátí se následující: "error_code":"SCHEMA_ALREADY_EXISTS","message":"Schema <schema-name> already exists".

Zakázání systémového schématu

K zakázání systémového schématu použijte následující příkaz curl:

curl -v -X DELETE -H "Authorization: Bearer <PAT Token>" "https://adb-<xxx>.azuredatabricks.net/api/2.0/unity-catalog/metastores/<metastore-id>/systemschemas/<SCHEMA_NAME>"

Udělení přístupu k systémovým tabulkám

Přístup k systémovým tabulkám se řídí katalogem Unity. K těmto systémovým schématům ve výchozím nastavení nemá přístup žádní uživatelé. Pokud chcete udělit přístup, musí uživatel, který je správcem metastoru i správcem účtu, udělit USE a SELECT udělit oprávnění ke schématům systému. Viz Správa oprávnění v katalogu Unity.

Systémové tabulky jsou jen pro čtení a nelze je upravovat.

Obsahují systémové tabulky data pro všechny pracovní prostory ve vašem účtu?

Systémové tabulky obsahují provozní data pro všechny pracovní prostory ve vašem účtu nasazených ve stejné cloudové oblasti. Tabulky fakturačního systému obsahují data pro celý účet.

I když k systémovým tabulkám lze přistupovat pouze prostřednictvím pracovního prostoru Katalogu Unity, tabulky také obsahují provozní data pro pracovní prostory jiného než Unity Catalog ve vašem účtu.

Kde jsou uložená data systémových tabulek?

Data systémových tabulek vašeho účtu se ukládají do účtu úložiště hostovaného v Azure Databricks ve stejné oblasti jako metastore. Data se s vámi bezpečně sdílí pomocí rozdílového sdílení.

Každá tabulka má volnou dobu uchovávání dat. Informace o prodloužení doby uchovávání získáte od týmu účtu Azure Databricks.

Kde jsou systémové tabulky umístěné v Průzkumníku katalogu?

Systémové tabulky ve vašem účtu se nacházejí v katalogu s názvem system, který je součástí každého metastoru katalogu Unity. system V katalogu uvidíte schémata, jako access jsou systémové tabulky.billing

Důležité informace o systémových tabulkách streamování

Azure Databricks používá funkci Delta Sharing ke sdílení dat systémových tabulek se zákazníky. Při streamování pomocí rozdílového sdílení mějte na paměti následující aspekty:

• Pokud používáte streamování se systémovými tabulkami, nastavte možnost skipChangeCommits na truehodnotu . Tím se zajistí, že úloha streamování nebude narušena odstraněním v systémových tabulkách. Viz Ignorovat aktualizace a odstranění.
• Trigger.AvailableNow není podporováno streamováním rozdílového sdílení. Převede se na Trigger.Once.

Pokud ve své úloze streamování použijete trigger a zjistíte, že se nedotkává nejnovější verze systémové tabulky, doporučuje Databricks zvýšit naplánovanou frekvenci úlohy.

Čtení přírůstkových změn ze streamovaných systémových tabulek

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

Známé problémy

• V současné době není podpora pro monitorování v reálném čase. Data se aktualizují v průběhu dne. Pokud se protokol nedávné události nezobrazuje, zkuste to později.

• Pokud chcete povolit systémové tabulky, možná budete muset udělit síťový přístup ke koncovému bodu úložiště objektů blob systémových tabulek. Pokud chcete zobrazit seznam koncového bodu úložiště systémových tabulek každé oblasti, přečtěte si téma IP adresy koncového bodu úložiště.

• Systémová schémata system.operational_data a system.lineage jsou zastaralá a budou obsahovat prázdné tabulky.

• Schéma __internal_logging systémové tabulky se používá k podpoře protokolování datové části pomocí odvozovacích tabulek. Toto schéma je viditelné správcům účtů, ale nelze ho povolit a nemělo by se používat pro pracovní postupy zákazníků.