Přehled integrací
Existuje mnoho datových konektorů, nástrojů a integrací, které bezproblémově fungují s platformou pro příjem dat, orchestraci, výstup a dotazy na data. Tento dokument je obecný přehled dostupných konektorů, nástrojů a integrací. Podrobné informace jsou k dispozici pro každý konektor spolu s odkazy na úplnou dokumentaci.
Pokud chcete stránky přehledu konkrétního typu integrace, vyberte jedno z následujících tlačítek.
Srovnávací tabulky
Následující tabulky shrnují možnosti jednotlivých položek. Vyberte kartu odpovídající konektorům nebo nástrojům a integracím. Každý název položky je propojený s podrobným popisem.
Následující tabulka shrnuje dostupné konektory a jejich možnosti:
Název | Ingestování | Export | Orchestrace | Dotaz |
---|---|---|---|---|
Apache Kafka | ✔️ | |||
Apache Flink | ✔️ | |||
Apache Log4J 2 | ✔️ | |||
Apache Spark | ✔️ | ✔️ | ✔️ | |
Apache Spark pro Azure Synapse Analytics | ✔️ | ✔️ | ✔️ | |
Azure Cosmos DB | ✔️ | |||
Azure Data Factory | ✔️ | ✔️ | ||
Azure Event Grid | ✔️ | |||
Azure Event Hubs | ✔️ | |||
Azure Functions | ✔️ | ✔️ | ||
Azure IoT Hubs | ✔️ | |||
Azure Stream Analytics | ✔️ | |||
Dětská postýlka | ✔️ | |||
Fluent Bit | ✔️ | |||
JDBC | ✔️ | |||
Logic Apps | ✔️ | ✔️ | ✔️ | |
Logstash | ✔️ | |||
Matlab | ✔️ | |||
NLog | ✔️ | |||
ODBC | ✔️ | |||
Otevřít telemetrii | ✔️ | |||
Power Apps | ✔️ | ✔️ | ||
Power Automate | ✔️ | ✔️ | ✔️ | |
Serilog | ✔️ | |||
Splunk | ✔️ | |||
Splunk Universal Forwarder | ✔️ | |||
Telegraf | ✔️ |
Podrobné popisy
Tady jsou podrobné popisy konektorů a nástrojů a integrací. Vyberte kartu odpovídající konektorům nebo nástrojům a integracím. Všechny dostupné položky jsou shrnuty v tabulkách porovnání výše.
Apache Kafka
Apache Kafka je distribuovaná platforma streamování pro vytváření datových kanálů streamování v reálném čase, které spolehlivě přesouvají data mezi systémy nebo aplikacemi. Kafka Connect je nástroj pro škálovatelné a spolehlivé streamování dat mezi Apache Kafka a dalšími datovými systémy. Jímka Kafka slouží jako konektor ze systému Kafka a nevyžaduje použití kódu. Toto je zlato certifikované společností Confluent - prošlo komplexní kontrolou a testováním kvality, úplnosti funkcí, dodržování standardů a výkonu.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Protokoly, telemetrie, časová řada
- Podkladová sada SDK: Java
- Úložiště: Microsoft Azure – https://github.com/Azure/kafka-sink-azure-kusto/
- Dokumentace: Příjem dat z Apache Kafka
- Blog komunity: Příjem dat Kafka do Azure Data Exploreru
Apache Flink
Apache Flink je architektura a distribuovaný modul pro zpracování stavových výpočtů přes nevázané a vázané datové proudy. Konektor implementuje datovou jímku pro přesouvání dat mezi clustery Azure Data Explorer a Flink. Pomocí Azure Data Exploreru a Apache Flinku můžete vytvářet rychlé a škálovatelné aplikace zaměřené na scénáře řízené daty. Například strojové učení (ML), extrakce transformace a načítání (ETL) a Log Analytics.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Streamování
- Případy použití: Telemetrie
- Podkladová sada SDK: Java
- Úložiště: Microsoft Azure – https://github.com/Azure/flink-connector-kusto/
- Dokumentace: Příjem dat z Apache Flinku
Apache Log4J 2
Log4J je oblíbená architektura protokolování pro aplikace v Javě, které udržuje Apache Foundation. Log4j umožňuje vývojářům řídit, které příkazy protokolu mají výstup s libovolnou členitostí na základě názvu, úrovně protokolovacího nástroje a vzoru zpráv. Jímka Apache Log4J 2 umožňuje streamovat data protokolů do databáze, kde můžete analyzovat a vizualizovat protokoly v reálném čase.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Protokoly
- Podkladová sada SDK: Java
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-log4j
- Dokumentace: Ingestování dat pomocí konektoru Apache Log4J 2
- Blog komunity: Začínáme s Apache Log4J a Azure Data Explorerem
Apache Spark
Apache Spark je jednotný analytický modul pro zpracování velkých objemů dat. Konektor Spark je opensourcový projekt, který se dá spustit v jakémkoli clusteru Spark. Implementuje zdroj dat a jímku dat pro přesun dat do nebo z clusterů Spark. Pomocí konektoru Apache Spark můžete vytvářet rychlé a škálovatelné aplikace zaměřené na scénáře řízené daty. Například strojové učení (ML), extrakce transformace a načítání (ETL) a Log Analytics. S konektorem se vaše databáze stane platným úložištěm dat pro standardní operace zdroje Sparku a jímky, jako je čtení, zápis a writeStream.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Telemetrie
- Podkladová sada SDK: Java
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-spark/
- Dokumentace: Konektor Apache Spark
- Blog komunity: Předběžné zpracování dat pro Azure Data Explorer pro Azure Data Explorer pomocí Apache Sparku
Apache Spark pro Azure Synapse Analytics
Apache Spark je architektura paralelního zpracování, která podporuje zpracování v paměti za účelem zvýšení výkonu analytických aplikací pro velké objemy dat. Apache Spark ve službě Azure Synapse Analytics je jednou z implementací Apache Sparku v cloudu od Microsoftu. K databázi můžete přistupovat ze sady Synapse Studio pomocí Apache Sparku pro Azure Synapse Analytics.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Telemetrie
- Podkladová sada SDK: Java
- Dokumentace: Připojení k pracovnímu prostoru Azure Synapse
Azure Cosmos DB
Datové připojení kanálu změn Azure Cosmos DB je kanál příjmu dat, který naslouchá kanálu změn Cosmos DB a ingestuje data do vaší databáze.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Kanál změn
- Dokumentace: Příjem dat ze služby Azure Cosmos DB (Preview)
Azure Data Factory
Azure Data Factory (ADF) je cloudová služba pro integraci dat, která umožňuje integrovat různá úložiště dat a provádět s daty aktivity.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Orchestrace dat
- Dokumentace: Kopírování dat do databáze pomocí služby Azure Data Factory
Azure Event Grid
Příjem dat služby Event Grid je kanál, který naslouchá úložišti Azure a aktualizuje vaši databázi, aby při výskytu odebíraných událostí získala informace. Průběžný příjem dat ze služby Azure Storage (Blob Storage a ADLSv2) můžete nakonfigurovat s předplatným služby Azure Event Grid pro oznámení o vytvoření objektu blob nebo přejmenování objektu blob a streamování oznámení prostřednictvím služby Azure Event Hubs.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Zpracování událostí
- Dokumentace: Datové připojení Event Gridu
Azure Event Hubs
Azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí. Průběžný příjem dat můžete nakonfigurovat ze služby Event Hubs spravované zákazníkem.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Dokumentace: Datové připojení Azure Event Hubs
Azure Functions
Azure Functions umožňuje spouštět bezserverový kód v cloudu podle plánu nebo v reakci na událost. Pomocí vstupních a výstupních vazeb pro Azure Functions můžete databázi integrovat do pracovních postupů a ingestovat data a spouštět dotazy na databázi.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Integrace pracovních postupů
- Dokumentace: Integrace Azure Functions pomocí vstupních a výstupních vazeb (Preview)
- Blog komunity: Vazby Azure Data Exploreru (Kusto) pro Azure Functions
Azure IoT Hubs
Azure IoT Hub je spravovaná služba hostovaná v cloudu, která funguje jako centrum zpráv pro obousměrnou komunikaci mezi vaší aplikací IoT a zařízeními, která spravuje. Průběžný příjem dat ze služby IoT Hubs spravovaných zákazníkem můžete nakonfigurovat pomocí integrovaného koncového bodu zpráv typu zařízení-cloud s využitím služby Event Hubs.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Data IoT
- Dokumentace: Datové připojení ioT Hubu
Azure Stream Analytics
Azure Stream Analytics je analytický modul pro zpracování událostí v reálném čase a složitý modul pro zpracování událostí, který je navržený tak, aby zpracovával velké objemy rychlých streamovaných dat z více zdrojů současně.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Zpracování událostí
- Dokumentace: Příjem dat ze služby Azure Stream Analytics
Dětská postýlka
Dětská postýlka je modul pro zpracování, který bezpečně shromažďuje, zpracovává a streamuje data událostí stroje z libovolného zdroje. Umožňuje analyzovat a zpracovávat tato data pro libovolné cíle analýzy.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Zpracování dat počítače, včetně protokolů, metrik, dat instrumentace
- Dokumentace: Příjem dat ze služby Cribl Stream do Azure Data Exploreru
Fluent Bit
Fluent Bit je opensourcový agent, který shromažďuje protokoly, metriky a trasování z různých zdrojů. Umožňuje filtrovat, upravovat a agregovat data událostí před jejich odesláním do úložiště.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Protokoly, metriky, trasování
- Úložiště: modul plug-in výstupu Kusto fluent-bit
- Dokumentace: Příjem dat pomocí fluent Bitu do Azure Data Exploreru
- Blog komunity: Začínáme s fluent bitem a Azure Data Explorerem
JDBC
Java Database Connectivity (JDBC) je rozhraní Java API, které se používá k připojení k databázím a spouštění dotazů. Pomocí JDBC se můžete připojit k Azure Data Exploreru.
- Funkce: Dotaz, vizualizace
- Podkladová sada SDK: Java
- Dokumentace: Připojení k Azure Data Exploreru pomocí JDBC
Logic Apps
Konektor Microsoft Logic Apps umožňuje spouštět dotazy a příkazy automaticky jako součást naplánované nebo aktivované úlohy.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Orchestrace dat
- Dokumentace: Microsoft Logic Apps a Azure Data Explorer
Logstash
Modul plug-in Logstash umožňuje zpracovávat události z Logstash do databáze Azure Data Exploreru pro pozdější analýzu.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Protokoly
- Podkladová sada SDK: Java
- Úložiště: Microsoft Azure – https://github.com/Azure/logstash-output-kusto/
- Dokumentace: Příjem dat z Logstash
- Blog komunity: Migrace z Elasticsearch do Azure Data Exploreru
Matlab
MATLAB je programovací a číselná výpočetní platforma používaná k analýze dat, vývoji algoritmů a vytváření modelů. V MATLABu můžete získat autorizační token pro dotazování dat v Azure Data Exploreru.
- Funkce: Dotaz
- Dokumentace: Dotazování dat pomocí MATLABu
NLog
NLog je flexibilní a bezplatná platforma protokolování pro různé platformy .NET, včetně .NET Standard. NLog umožňuje zapisovat do několika cílů, jako je databáze, soubor nebo konzola. S protokolem NLog můžete změnit konfiguraci protokolování za běhu. Jímka NLog je cílem protokolu NLog, který umožňuje odesílat zprávy protokolu do databáze. Modul plug-in poskytuje efektivní způsob, jak jímit protokoly do clusteru.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Telemetrie, protokoly, metriky
- Podkladová sada SDK: .NET
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-nlog-sink
- Dokumentace: Příjem dat pomocí jímky NLog
- Blog komunity: Začínáme s jímkou NLog a Azure Data Explorerem
ODBC
Open Database Connectivity (ODBC) je široce přijímané aplikační programovací rozhraní (API) pro přístup k databázi. Azure Data Explorer je kompatibilní s podmnožinou komunikačního protokolu SQL Serveru (MS-TDS). Tato kompatibilita umožňuje použití ovladače ODBC pro SQL Server s Azure Data Explorerem.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Telemetrie, protokoly, metriky
- Dokumentace: Připojení k Azure Data Exploreru pomocí rozhraní ODBC
Otevřít telemetrii
Konektor OpenTelemetry podporuje příjem dat z mnoha příjemců do databáze. Funguje jako most na ingestování dat generovaných otevřením telemetrie do vaší databáze přizpůsobením formátu exportovaných dat podle vašich potřeb.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Trasování, metriky, protokoly
- Podkladová sada SDK: Go
- Úložiště: Otevření telemetrie – https://github.com/open-telemetry/opentelemetry-collector-contrib/tree/main/exporter/azuredataexplorerexporter
- Dokumentace: Ingestování dat z OpenTelemetry
- Blog komunity: Začínáme s otevřenou telemetrií a Azure Data Explorerem
Power Apps
Power Apps je sada aplikací, služeb, konektorů a datových platforem, která poskytuje rychlé vývojové prostředí aplikací pro vytváření vlastních aplikací, které se připojují k vašim obchodním datům. Konektor Power Apps je užitečný v případě, že máte velkou a rostoucí kolekci streamovaných dat v Azure Data Exploreru a chcete vytvořit málo kódu, vysoce funkční aplikaci pro použití těchto dat.
- Funkce: Dotaz, příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Dokumentace: Použití Power Apps k dotazování dat v Azure Data Exploreru
Power Automate
Power Automate je služba orchestrace, která slouží k automatizaci obchodních procesů. Konektor Power Automate (dříve Microsoft Flow) umožňuje orchestrovat a plánovat toky, odesílat oznámení a výstrahy jako součást naplánované nebo aktivované úlohy.
- Funkce: Příjem dat, export
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Orchestrace dat
- Dokumentace: Konektor Microsoft Power Automate
Serilog
Serilog je oblíbené protokolovací rozhraní pro aplikace v .NET. Serilog umožňuje vývojářům řídit, které příkazy protokolu budou vypisovány s jakou úrovní podrobností, a to na základě názvu protokolovacího nástroje, jeho úrovně a vzoru zpráv. Jímka Serilog, označovaná také jako appender, streamuje data protokolu do databáze, kde můžete analyzovat a vizualizovat protokoly v reálném čase.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Protokoly
- Podkladová sada SDK: .NET
- Úložiště: Microsoft Azure – https://github.com/Azure/serilog-sinks-azuredataexplorer
- Dokumentace: Příjem dat pomocí jímky Serilog
- Blog komunity: Začínáme s jímkou Serilog a Azure Data Explorerem
Splunk
Splunk Enterprise je softwarová platforma, která umožňuje ingestovat data z mnoha zdrojů současně. Doplněk Azure Data Explorer odesílá data ze splunku do tabulky v clusteru.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Protokoly
- Podkladová sada SDK: Python
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-splunk/tree/main/splunk-adx-alert-addon
- Dokumentace: Příjem dat ze splunku
- Splunk Base: Doplněk Microsoft Azure Data Explorer pro Splunk
- Blog komunity: Začínáme s doplňkem Microsoft Azure Data Explorer pro Splunk
Splunk Universal Forwarder
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování
- Případy použití: Protokoly
- Úložiště: Microsoft Azure – https://github.com/Azure/azure-kusto-splunk
- Dokumentace: Ingestování dat z nástroje Splunk Universal Forwarder do Azure Data Exploreru
- Blog komunity: Ingestování dat pomocí nástroje Splunk Universal forwarder do Azure Data Exploreru
Telegraf
Telegraf je opensourcový, jednoduchý a minimální agent pro tisk zápatí paměti pro shromažďování, zpracování a zápis telemetrických dat, včetně protokolů, metrik a dat IoT. Telegraf podporuje stovky vstupních a výstupních modulů plug-in. Je široce využívaná a dobře podporovaná opensourcovou komunitou. Výstupní modul plug-in slouží jako konektor z Telegrafu a podporuje příjem dat z mnoha typů vstupních modulů plug-in do vaší databáze.
- Funkce: Příjem dat
- Podporovaný typ příjmu dat: Dávkování, streamování
- Případy použití: Telemetrie, protokoly, metriky
- Podkladová sada SDK: Go
- Úložiště: InfluxData – https://github.com/influxdata/telegraf/tree/master/plugins/outputs/azure_data_explorer
- Dokumentace: Příjem dat z Telegrafu
- Blog komunity: Nový výstupní modul plug-in Azure Data Exploreru pro Telegraf umožňuje monitorování SQL v obrovském měřítku