O que é o Azure Synapse Analytics?

  • Artigo

O Azure Synapse é um serviço de análise empresarial que acelera o tempo de obtenção de informações em armazéns de dados e sistemas de big data. O Azure Synapse reúne o melhor das tecnologias SQL usadas no armazenamento de dados corporativos, tecnologias Spark usadas para big data, Data Explorer para análise de log e séries temporais, Pipelines para integração de dados e ETL/ELT e integração profunda com outros serviços do Azure, como Power BI, CosmosDB e AzureML.

Diagrama da arquitetura do Azure Synapse Analytics.

SQL líder do setor

Synapse SQL é um sistema de consulta distribuído para T-SQL que permite cenários de armazenamento de dados e virtualização de dados e estende o T-SQL para abordar cenários de streaming e aprendizado de máquina.

  • O Synapse SQL oferece modelos de recursos dedicados e sem servidor. Para obter um desempenho e custo previsíveis, crie conjuntos de SQL dedicados para reservar a capacidade de processamento para dados armazenados em tabelas SQL. Para cargas de trabalho não planejadas ou intermitentes, use o ponto de extremidade SQL sempre disponível e sem servidor.
  • Use recursos internos de streaming para transferir dados de fontes de dados na nuvem para tabelas SQL
  • Integre IA com SQL usando modelos de aprendizado de máquina para pontuar dados usando a função T-SQL PREDICT

Apache Spark padrão da indústria

O Apache Spark para Azure Synapse integra profunda e perfeitamente o Apache Spark - o mecanismo de big data de código aberto mais popular usado para preparação de dados, engenharia de dados, ETL e aprendizado de máquina.

  • Modelos de ML com algoritmos SparkML e integração do Azure Machine Learning para Apache Spark 3.1 com suporte integrado para Linux Foundation Delta Lake.
  • Modelo de recursos simplificado que livra você de ter que se preocupar com o gerenciamento de clusters.
  • Arranque rápido do Spark e dimensionamento automático agressivo.
  • Suporte interno para .NET for Spark, permitindo que você reutilize sua experiência em C# e código .NET existente em um aplicativo Spark.

Trabalhando com seu Data Lake

O Azure Synapse remove as barreiras tecnológicas tradicionais entre o uso do SQL e do Spark juntos. Você pode perfeitamente misturar e combinar com base em suas necessidades e conhecimentos.

  • As tabelas definidas em arquivos no data lake são consumidas diretamente pelo Spark ou pelo Hive.
  • SQL e Spark podem explorar e analisar diretamente arquivos Parquet, CSV, TSV e JSON armazenados no data lake.
  • Carregamento de dados rápido e escalável entre bancos de dados SQL e Spark

Integração de dados integrada

O Azure Synapse contém o mesmo mecanismo e experiências de Integração de Dados do Azure Data Factory, permitindo que você crie pipelines ETL avançados em escala sem sair do Azure Synapse Analytics.

  • Ingerir dados de 90+ fontes de dados
  • ETL sem código com atividades de fluxo de dados
  • Orquestre blocos de anotações, trabalhos do Spark, procedimentos armazenados, scripts SQL e muito mais

Data Explorer (Pré-visualização)

O Azure Synapse Data Explorer fornece aos clientes uma experiência de consulta interativa para desbloquear informações de logs gerados pelo sistema. Para complementar os mecanismos de tempo de execução de análise SQL e Apache Spark existentes, o tempo de execução da análise do Data Explorer é otimizado para análise de log eficiente usando uma poderosa tecnologia de indexação para indexar automaticamente dados semiestruturados e de texto livre comumente encontrados nos logs gerados pelo sistema.

Use o Data Explorer como uma plataforma de dados para criar soluções de análise de log e análise de IoT quase em tempo real para:

  • Consolide e correlacione seus dados de logs e eventos em fontes de dados locais, na nuvem e de terceiros.
  • Acelere sua jornada de AI Ops (reconhecimento de padrões, deteção de anomalias, previsão e muito mais)
  • Substitua as soluções de pesquisa de logs baseadas em infraestrutura para economizar custos e aumentar a produtividade.
  • Crie uma solução de análise de IoT para seus dados de IoT.
  • Crie soluções SaaS analíticas para oferecer serviços aos seus clientes internos e externos.

Experiência unificada

O Synapse Studio fornece uma maneira única para as empresas criarem soluções, manterem e protegerem tudo em uma única experiência de usuário

  • Executar tarefas chave: ingerir, explorar, preparar, orquestrar, visualizar
  • Monitore recursos, uso e usuários em SQL, Spark e Data Explorer
  • Use o controle de acesso baseado em função para simplificar o acesso aos recursos de análise
  • Escreva código SQL, Spark ou KQL e integre-se a processos empresariais de CI/CD

Envolva-se com a comunidade Synapse

Próximos passos