Osvědčené postupy pro knihovnu Kusto Ingest

  • Článek

Platí pro: ✅Microsoft Fabric✅Azure Data Explorer

Tento článek vysvětluje osvědčené postupy pro příjem dat pomocí knihovny Kusto Ingest.

Preferovat frontu před přímým příjmem dat

V produkčních scénářích použijte klienta ingestovaného ve frontě. Další informace najdete v tématu Příjem dat ve frontě a Přímý příjem dat.

Použití jedné instance klienta ingestování

Implementace klienta Kusto Ingest jsou bezpečné a opakovaně použitelné. Pro každou cílovou databázi použijte jednu instanci buď ve frontě, nebo přímé ingestování klienta na proces. Spuštění více instancí může databázi přetížit, což způsobí, že přestane reagovat nebo pomalu reaguje na platné požadavky.

Omezení stavu operace sledování

U velkých objemových datových proudů omezte použití kladných oznámení pro žádosti o příjem dat. Nadměrné sledování může vést ke zvýšení latence příjmu dat a dokonce k úplnému nereagování. Další informace najdete v tématu Stav operace.

Optimalizace propustnosti

Při plánování kanálu příjmu dat zvažte následující faktory, protože mohou mít významný vliv na propustnost příjmu dat.

Faktor Popis
Velikost dat Příjem dat je efektivnější, když se provádí ve velkých blocích. Doporučujeme odesílat data v dávkách o velikosti 100 MB až 1 GB (nekomprimované).
Formát dat Upřednostněte formáty dat, jako jsou CSV nebo jakýkoli formát textu s oddělovači, jako je PSV nebo TSV, a také Parquet, JSON nebo AVRO, které jsou optimalizované pro maximální propustnost. Další informace najdete v tématu Formáty dat podporované pro příjem dat.
Šířka tabulky Pouze ingestovat základní data. Každý sloupec musí být kódovaný a indexovaný, což znamená, že širší tabulky můžou mít nižší propustnost. Určete, která pole se ingestují, tím, že poskytnete mapování příjmu dat.
Umístění zdrojových dat Vyhněte se čtení mezi oblastmi, aby se urychlil příjem dat.
Načtení databáze Když u databáze dochází k vysokému zatížení dotazů, trvá příjem dat delší dobu.

Poznámka:

Klient ingestovaný ve frontě rozdělí velké datové sady na bloky dat a agreguje je, což je užitečné, když se data před příjmem dat nedají dávkovat.

Optimalizace nákladů

Použití klientských knihoven Kusto k ingestování dat do vaší databáze zůstává nejlevnější a nej robustnější možností. Vyzýváme naše zákazníky, aby zkontrolovali své metody příjmu dat, aby optimalizovali náklady a využili ceny služby Azure Storage, díky kterým budou transakce objektů blob výrazně nákladově efektivní.

Nákladově efektivní příjem dat:

  • Omezte počet přijatých bloků dat, jako jsou soubory, objekty blob a datové proudy.
  • Ingestuje velké bloky až 1 GB nekomprimovaných dat.
  • Rozhodněte se pro dávkování.
  • Zadejte přesnou nekomprimovanou velikost dat, abyste se vyhnuli dodatečným transakcím úložiště.
  • Vyhněte se truenastavení FlushImmediately .
  • Vyhněte se odesílání malých objemů dat se značkami ingest-by rozsahu.drop-by

Poznámka:

Nadměrné využití posledních dvou metod může narušit agregaci dat, vést k dodatečným transakcím úložiště a poškodit příjem dat a výkon dotazů.

Související obsah