Visão geral das integrações

  • Artigo

Há muitos conectores de dados, ferramentas e integrações que funcionam perfeitamente com a plataforma para ingestão, orquestração, saída e consulta de dados. Este documento é uma visão geral de alto nível sobre os conectores, as ferramentas e as integrações disponíveis. Informações detalhadas são fornecidas para cada conector, juntamente com links para a documentação completa.

Para ver as páginas de visão geral sobre um tipo específico de integração, selecione um dos botões a seguir.

Integrações de dados

Integrações de consulta

Integrações de visualização

Tabelas de comparação

As tabelas a seguir resumem as funcionalidades de cada item. Selecione a guia correspondente a conectores ou ferramentas e integrações. Cada nome de item está vinculado à respectiva descrição detalhada.

A tabela a seguir resume os conectores disponíveis e seus recursos:

Nome Ingestão Export Orquestrar Consulta
Apache Kafka ✔️
Apache Flink ✔️
Apache Log4J 2 ✔️
Apache Spark ✔️ ✔️ ✔️
Apache Spark para Azure Synapse Analytics ✔️ ✔️ ✔️
Azure Cosmos DB ✔️
Fábrica de dados do Azure ✔️ ✔️
Grade de Eventos do Azure ✔️
Hubs de eventos do Azure ✔️
Azure Functions ✔️ ✔️
Hubs IoT do Azure ✔️
Azure Stream Analytics ✔️
Cribl Stream ✔️
Fluent Bit ✔️
JDBC ✔️
Aplicativos Lógicos ✔️ ✔️ ✔️
Logstash ✔️
Matlab ✔️
NLog ✔️
ODBC ✔️
OpenTelemetry ✔️
Power Apps ✔️ ✔️
Power Automate ✔️ ✔️ ✔️
Serilog ✔️
Splunk ✔️
Encaminhador Universal Splunk ✔️
Telegraf ✔️

Descrições detalhadas

Veja a seguir descrições detalhadas de conectores, ferramentas e integrações. Selecione a guia correspondente a conectores ou ferramentas e integrações. Todos os itens disponíveis são resumidos nas Tabelas de comparação acima.

Apache Kafka

O Apache Kafka é uma plataforma de streaming distribuída para a criação de pipelines de dados de fluxo em tempo real, os quais movem os dados entre sistemas ou aplicativos de modo confiável. O Kafka Connect é uma ferramenta para streaming de dados escalonável e confiável entre o Apache Kafka e outros sistemas. O Coletor Kafka serve como o conector do Kafka e não requer o uso de código. Este é certificado com ouro pela Confluent - passou por revisão e testes abrangentes de qualidade, completude de recursos, conformidade com padrões e desempenho.

O Apache Flink é uma estrutura e um mecanismo de processamento distribuído para cálculos com estado em fluxos de dados não associados e limitados. O conector implementa o coletor de dados para mover dados entre o Azure Data Explorer e os clusters do Flink. Usando o Azure Data Explorer e o Apache Flink, você pode criar aplicativos rápidos e escalonáveis direcionados a cenários baseados em dados. Por exemplo, ML (aprendizado de máquina), ETL (Extração, Transformação e Carregamento) e Log Analytics.

Apache Log4J 2

O Log4J é uma estrutura de registro em log popular para aplicativos Java mantido pela Apache Foundation. O Log4j permite que os desenvolvedores controlem quais instruções de log são geradas com granularidade arbitrária com base no nome, no nível do registrador e no padrão de mensagem do registrador. O coletor Apache Log4J 2 permite que você transmita seus dados de log para ao banco de dados, onde pode analisar e visualizar seus logs em tempo real.

Apache Spark

O Apache Spark é um mecanismo de análise unificado para processamento de dados em grande escala. O Conector do Spark é um projeto de código aberto que pode ser executado em qualquer cluster do Spark. Ele implementa a fonte de dados e o coletor de dados para mover dados de ou para os clusters do Spark. Usando o conector Apache Spark, você pode criar aplicativos rápidos e escalonáveis direcionados a cenários baseados em dados. Por exemplo, ML (aprendizado de máquina), ETL (Extração, Transformação e Carregamento) e Log Analytics. Com o conector, seu banco de dados se torna um armazenamento de dados válido para operações padrão de origem e destino do Spark, como leitura, gravação e writeStream.

Apache Spark para Azure Synapse Analytics

O Apache Spark é uma estrutura de processamento paralelo que dá suporte ao processamento na memória para aumentar o desempenho de aplicativos de análise de Big Data. O Apache Spark no Azure Synapse Analytics é uma das implementações da Microsoft do Apache Spark na nuvem. Você pode acessar um banco de dados do Synapse Studio com o Apache Spark para o Azure Synapse Analytics.

Azure Cosmos DB

A conexão de dados do feed de alterações do Azure Cosmos DB é um pipeline de ingestão que escuta o feed de alterações do Cosmos DB e ingere os dados no seu banco de dados.

Fábrica de dados do Azure

O ADF (Azure Data Factory) é um serviço de integração de dados baseado em nuvem que permite integrar diferentes armazenamentos de dados e realizar atividades sobre os dados.

Grade de Eventos do Azure

A ingestão da Grade de Eventos é um pipeline que escuta o Armazenamento do Azure e atualiza seu banco de dados para efetuar pull de informações quando ocorrem eventos assinados. Você pode configurar a ingestão contínua do Armazenamento do Azure (Armazenamento de Blobs e ADLSv2) com uma assinatura da Grade de Eventos do Azure para notificações de criação ou renomeação de blob e a transmissão dessas notificações por meio dos Hubs de Eventos do Azure.

Hubs de eventos do Azure

Os Hubs de Eventos do Azure são uma plataforma de streaming de Big Data e um serviço de ingestão de eventos. Você pode configurar a ingestão contínua a partir de Hubs de Eventos gerenciados pelo cliente.

Azure Functions

O Azure Functions permite que você execute código sem servidor na nuvem segundo uma agenda ou em resposta a um evento. Com associações de entrada e saída para o Azure Functions, você pode integrar seu banco de dados em seus fluxos de trabalho para ingerir dados e executar consultas no seu banco de dados.

Hubs IoT do Azure

O Hub IoT do Azure é um serviço gerenciado e hospedado na nuvem que atua como hub central de mensagens para comunicação bidirecional entre o aplicativo de IoT e os dispositivos gerenciados. Você pode configurar a ingestão contínua de Hubs IoT gerenciados pelo cliente usando o respectivo ponto de extremidade interno compatível com os Hubs de Eventos das mensagens de dispositivo para nuvem.

  • Funcionalidade: Ingestão
  • Tipo de ingestão compatível: envio em lote, streaming
  • Casos de uso: dados de IoT
  • Documentação: Conexão de dados do Hub IoT

Azure Stream Analytics

O Azure Stream Analytics é um mecanismo de processamento de eventos complexos e análise em tempo real desenvolvido para processar simultaneamente altos volumes de dados de streaming rápido de várias fontes.

Cribl Stream

Cribl Stream é um mecanismo de processamento que coleta, processa e transmite dados de eventos do computador de qualquer fonte de forma segura. Ele permite analisar e processar esses dados para qualquer destino para análise.

Fluent Bit

O Fluent Bit é um agente de código aberto que coleta logs, métricas e rastreamentos de várias fontes. Ele permite filtrar, modificar e agregar dados de eventos antes de enviá-los ao armazenamento.

JDBC

A Conectividade de Banco de Dados Java (JDBC) é uma API Java usada para se conectar a bancos de dados e executar consultas. Você pode usar a JDBC para se conectar ao Azure Data Explorer.

Aplicativos Lógicos

O conector dos Aplicativos Lógicos da Microsoft permite que você execute consultas e comandos automaticamente como parte de uma tarefa agendada ou disparada.

Logstash

O plug-in do Logstash permite processar eventos do Logstash em um banco de dados do Azure Data Explorer para análise posterior.

Matlab

O MATLAB é uma plataforma de computação numérica e de programação usada para analisar dados, desenvolver algoritmos e criar modelos. Você pode obter um token de autorização no MATLAB para consultar seus dados no Azure Data Explorer.

NLog

O NLog é uma plataforma de log flexível e gratuita para várias plataformas .NET, incluindo o .NET Standard O NLog permite gravar em vários destinos, como um banco de dados, arquivo ou console. Com o NLog, você pode alterar a configuração de registro em log em tempo real. O coletor NLog é um destino para NLog que permite enviar suas mensagens de log ao banco de dados. O plugin fornece uma maneira eficiente de afundar seus logs para o cluster.

ODBC

ODBC é uma API (interface de programação de aplicativo) amplamente aceita para acesso ao banco de dados. O Azure Data Explorer é compatível com um subconjunto do protocolo de comunicação do SQL Server (MS-TDS). Essa compatibilidade permite o uso do driver ODBC para SQL Server com o Azure Data Explorer.

OpenTelemetry

O conector OpenTelemetry aceita a ingestão de dados de vários receptores em seu banco de dados. Ele funciona como uma ponte para ingerir dados gerados pelo Open Telemetry para seu banco de dados, personalizando o formato dos dados exportados de acordo com suas necessidades.

Power Apps

O Power Apps é um pacote de aplicativos, serviços, conectores e plataforma de dados que fornece um ambiente com método RAD para criar aplicativos personalizados que se conectam aos seus dados empresariais. O conector do Power Apps é útil se você tem uma coleção grande e crescente de dados de streaming no Azure Data Explorer e deseja criar um aplicativo com pouco código e altamente funcional para usar esses dados.

Power Automate

O Power Automate é um serviço de orquestração usado para automatizar processos de negócios. O conector Power Automate (o antigo Microsoft Flow) permite orquestrar e agendar fluxos, enviar notificações e alertas, como parte de uma tarefa agendada ou acionada.

  • Funcionalidade: ingestão, exportação
  • Tipo de ingestão compatível: envio em lote
  • Casos de uso: orquestração de dados
  • Documentação: Conector Microsoft Power Automate

Serilog

O Serilog é uma estrutura de log popular para aplicativos .NET. O Serilog permite que os desenvolvedores controlem quais instruções de log são geradas com granularidade arbitrária com base no nome, no nível do registrador e no padrão de mensagem do registrador. O coletor Serilog, também conhecido como appender, transmite seus dados de log ao seu banco de dados, onde você pode analisar e visualizar logs em tempo real.

Splunk

O Splunk Enterprise é uma plataforma de software que permite ingerir dados de várias fontes simultaneamente. O complemento Azure Data Explorer envia dados do Splunk para uma tabela no seu cluster.

Encaminhador Universal Splunk

Telegraf

O Telegraf é um agente leve, de código aberto, com volume de memória mínimo, para coletar, processar e gravar dados de telemetria, incluindo logs, métricas e dados de IoT. O Telegraf dá suporte a centenas de plug-ins de entrada e saída. Ele é amplamente usado pela comunidade de código aberto e conta com seu suporte. O plug-in de saída funciona como o conector do Telegraf e dá suporte à ingestão de dados de vários tipos de plug-ins de entrada no seu banco de dados.

Conteúdo relacionado