Usar dados de referência para pesquisas no Stream Analytics

Os dados de referência são um conjunto de dados finito que é estático ou lentamente alterado por natureza. Ele é usado para executar uma pesquisa ou para aumentar seus fluxos de dados. Os dados de referência também são conhecidos como uma tabela de pesquisa.

Pegue um cenário de IoT como exemplo. Você poderia armazenar metadados sobre sensores, os quais não são alterados com frequência, nos dados de referência. Em seguida, você poderia associá-los a fluxos de dados IoT em tempo real.

O Azure Stream Analytics carrega dados de referência na memória para obter um processamento de fluxo de baixa latência. Para usar dados de referência no seu trabalho do Stream Analytics, geralmente é preciso usar uma união de dados de referência em sua consulta.

Exemplo

Você pode ter um fluxo em tempo real de eventos gerados quando carros passam em um pedágio. O pedágio pode capturar as placas dos carros em tempo real. Os dados podem ser unidos a um conjunto de dados estáticos que tenha detalhes de registro para identificar as placas de licença que expiraram.

SELECT I1.EntryTime, I1.LicensePlate, I1.TollId, R.RegistrationId  
FROM Input1 I1 TIMESTAMP BY EntryTime  
JOIN Registration R  
ON I1.LicensePlate = R.LicensePlate  
WHERE R.Expired = '1'

O Stream Analytics é dá suporte para o Armazenamento de Blobs do Azure, o Azure Data Lake Storage Gen2 e o Banco de Dados SQL do Azure como a camada de armazenamento para dados de referência. Se você tiver os dados de referência em outros armazenamentos de dados, tente usar o Azure Data Factory para extrair, transformar e carregar os dados em um dos armazenamentos de dados com suporte. Para obter mais informações, consulte Atividade de cópia na visão geral do Azure Data Factory.

Armazenamento de Blobs do Azure ou Azure Data Lake Storage Gen2

Dados de referência são modelados como uma sequência de blobs em ordem crescente segundo a data/hora especificada no nome do blob. Os blobs só podem ser adicionados ao final da sequência usando um valor de data/hora maior que aquele especificado pelo último blob na sequência. Os Blobs são definidos na configuração de entrada.

Para obter mais informações, confira Usar dados de referência de um Armazenamento de Blobs para um trabalho do Stream Analytics.

Configurar dados de referência de blob

Para configurar os dados de referência, primeiro você precisa criar uma entrada que seja do tipo dados de referência. A tabela a seguir explica cada propriedade que você precisa fornecer ao criar a entrada de dados de referência com sua descrição.

Dados de referência estática

Talvez não seja esperado que os dados de referência sejam alterados. Para habilitar o suporte para dados de referência estáticos, especifique um caminho estático na configuração de entrada.

O Stream Analytics pega o blob do caminho especificado. Os tokens de substituição de {date} e {time} não são necessários. Como os dados de referência são imutáveis no Stream Analytics, não é recomendável substituir um blob de dados de referência estáticos.

Gerar dados de referência de acordo com um agendamento

Os dados de referência podem ser um conjunto de dados de alteração lenta. Para atualizar os dados de referência, especifique um padrão de caminho na configuração de entrada usando os tokens de substituição {date} e {time}. O Stream Analytics separa as definições de dados de referência baseadas nesse padrão de caminho.

Por exemplo, um padrão de sample/{date}/{time}/products.csv com um formato de data do tipo AAAA-MM-DD e um formato de hora do tipo HH-mm instrui o Stream Analytics a coletar o blob atualizado sample/2015-04-16/17-30/products.csv em 16 de abril de 2015, às 17:30 UTC.

O Stream Analytics verifica automaticamente os blobs de dados de referência atualizados em um intervalo de um minuto. Um blob com o carimbo de data/hora de 10:30:00 pode ter sido carregado com um pequeno atraso, por exemplo, 10:30:30. Você percebe um pequeno atraso no trabalho do Stream Analytics que faz referência a esse blob.

Para evitar esses cenários, carregue o blob antes da hora de destino, que, neste exemplo, é 10:30:00. O trabalho do Stream Analytics agora tem tempo suficiente para descobrir e carregar o blob na memória e executar operações.

Na hora de início, o trabalho procura o blob mais recente produzido antes da hora especificada de início do trabalho. Esse comportamento garante que haja um conjunto de uma referência não vazia quando o trabalho for iniciado. Caso algum não seja encontrado, o trabalho exibirá o seguinte diagnóstico: Initializing input without a valid reference data blob for UTC time <start time>.

Quando um conjunto de dados de referência for atualizado, um log de diagnóstico será gerado: Loaded new reference data from <blob path>. Por muitos motivos, um trabalho pode precisar recarregar um conjunto de uma referência anterior. Geralmente, o motivo é reprocessar dados antigos. O mesmo log de diagnóstico é gerado nesse momento. Essa ação não implica que os dados de fluxo atuais usem dados de referência anteriores.

Azure Data Factory pode ser utilizada para orquestrar a tarefa de criar os blobs atualizados exigidos pelo Stream Analytics para atualizar as definições de dados de referência.

O Data Factory é um serviço de integração de dados baseado em nuvem que automatiza a movimentação e a transformação dos dados. O Data Factory dá suporte à conexão de um grande número de armazenamentos de dados local baseados em nuvem. Ele consegue mover dados facilmente em um agendamento regular que você especificar.

Para obter mais informações sobre como configurar um pipeline do Data Factory para gerar dados de referência para o Stream Analytics que sejam atualizados em um cronograma predefinido, confira este exemplo de GitHub.

Dicas sobre como atualizar os dados de referência de blob

• Não substitua blobs de dados de referência porque eles são imutáveis.
• A maneira recomendada para atualizar os dados de referência é:
  • Use {date}/{time} no padrão de caminho.
  • Adicione um novo blob usando o mesmo padrão de contêiner e o caminho definido na entrada do trabalho.
  • Use um valor de data/hora maior daquele especificado pelo último blob na sequência.
• Os blobs de dados de referência não são ordenados pela hora da Última Modificação do blob. Eles são ordenados apenas pela data e hora especificadas no nome do blob usando as substituições {date} e {time}.
• Para evitar ter de listar um grande número de blobs, exclua blobs muito antigos para os quais o processamento não será mais feito. O Stream Analytics pode ter que reprocessar uma pequena quantidade em alguns cenários, como uma reinicialização.

Banco de Dados SQL do Azure

Seu Stream Analytics recupera dados de referência do Banco de Dados SQL e os armazena como um instantâneo na memória para processamento. O instantâneo dos dados de referência também é armazenado em um contêiner em uma conta de armazenamento. Especifique a conta de armazenamento nas definições de configuração.

O contêiner é criado automaticamente quando o trabalho é iniciado. Se o trabalho for interrompido ou entrar em um estado de falha, os contêineres criados automaticamente serão excluídos quando o trabalho reiniciar.

Se os dados de referência forem um conjunto de dados com alteração lenta, você precisará atualizar periodicamente o instantâneo que é usado no trabalho.

Com o Stream Analytics, você pode definir uma taxa de atualização ao configurar a conexão de entrada do Banco de Dados SQL. O runtime do Stream Analytics consulta sua instância do Banco de Dados SQL no intervalo especificado pela taxa de atualização. A taxa de atualização mais rápida compatível é uma vez por minuto. Para cada atualização, o Stream Analytics armazena um novo instantâneo na conta de armazenamento fornecida.

O Stream Analytics oferece duas opções de consulta da sua instância do Banco de Dados SQL. Uma consulta de instantâneo é obrigatória e precisa ser incluída em cada trabalho. O Stream Analytics executa a consulta de instantâneo periodicamente com base no intervalo de atualização. Ele usa o resultado da consulta (o instantâneo) como o conjunto de dados de referência.

A consulta de instantâneo deve se ajustar à maioria dos cenários. Se você tiver problemas de desempenho com grandes conjuntos de dados e taxas de atualização rápidas, use a opção de consulta delta. As consultas que levam mais de 60 segundos para retornar um conjunto de dados de referência resultam em um tempo limite.

Com a opção de consulta delta, o Stream Analytics executa a consulta de instantâneo inicialmente para obter um conjunto de dados de referência de linha de base. Depois disso, o Stream Analytics executa a consulta delta periodicamente com base no intervalo de atualização para recuperar alterações incrementais. Essas alterações incrementais são aplicadas continuamente ao conjunto de dados de referência para mantê-lo atualizado. O uso da opção de consulta delta pode ajudar a reduzir o custo de armazenamento e as operações de E/S de rede.

Configurar os dados de referência do Banco de Dados SQL

Para configurar os dados de referência do Banco de Dados SQL, primeiro você precisará criar a entrada de dados de referência. A tabela a seguir explica cada propriedade que você precisa fornecer ao criar a entrada de dados de referência com sua descrição. Para obter mais informações, confira Usar dados de referência de um Banco de Dados SQL para um trabalho do Stream Analytics.

É possível usar o Instância Gerenciada de SQL do Azure como uma entrada de dados de referência. Você deve configurar um ponto de extremidade público na Instância Gerenciada de SQL. Em seguida, defina manualmente as seguintes configurações do Stream Analytics. Uma máquina virtual do Azure que executando o SQL Server com um banco de dados anexado também tem suporte da definição manual dessas configurações.

Limitação de tamanho

Conjuntos de dados de referência que sejam menores que 300 MB para obter o melhor desempenho. Os conjuntos de dados de referência de 5 GB ou inferiores têm suporte em seis unidades de streaming ou mais. Usar um grande conjunto de dados de referência pode afetar a latência de ponta a ponta do trabalho.

A complexidade da consulta pode ser aumentada para incluir o processamento com estado, como agregações em janelas, junções temporais e funções de análise temporal. Quando a complexidade aumenta, o tamanho máximo suportado dos dados de referência diminui.

Se o Stream Analytics não conseguir carregar os dados de referência nem realizar operações complexas, o trabalho será executado fora da memória e falhará. Nesses casos, a métrica de utilização percentual da unidade de streaming atinge 100%.

O suporte para a compactação não está disponível para os dados de referência. Para conjuntos de dados de referência maiores que 300 MB, use o Banco de Dados SQL como a fonte com a opção de consulta delta para obter o desempenho ideal. Se a opção de consulta delta não for usada nesses cenários, você verá picos na métrica de atraso da marca d'água sempre que o conjunto de dados de referência for atualizado.

Unir vários conjuntos de dados de referência em um trabalho

Você só pode ingressar uma entrada de dados de referência em uma entrada de streaming. Para unir vários conjuntos de dados de referência, divida sua consulta em várias etapas. Veja um exemplo:

With Step1 as (
    --JOIN input stream with reference data to get 'Desc'
    SELECT streamInput.*, refData1.Desc as Desc
    FROM    streamInput
    JOIN    refData1 ON refData1.key = streamInput.key 
)
--Now Join Step1 with second reference data
SELECT *
INTO    output 
FROM    Step1
JOIN    refData2 ON refData2.Desc = Step1.Desc 

Trabalhos do loT Edge

Somente dados de referência locais têm suporte para trabalhos do edge do Stream Analytics. Quando um trabalho for implantado em um dispositivo IoT Edge, ele carregará dados de referência do caminho do arquivo definido pelo usuário. Tenha um arquivo de dados de referência pronto no dispositivo.

Para um contêiner do Windows, coloque o arquivo de dados de referência na unidade local e compartilhe a unidade local com o contêiner Docker. Para um contêiner do Linux, crie um volume do Docker e preencha o arquivo de dados para o volume.

Os dados de referência em uma atualização do IoT Edge são acionados por uma implantação. Depois de acionado, o módulo do Stream Analytics coleta os dados atualizados sem interromper o trabalho em execução.

Você pode atualizar os dados de referência de duas formas:

• Atualize o caminho dos dados de referência em sua tarefa do Stream Analytics do portal do Azure.
• Atualize a implantação do IoT Edge.

Próximas etapas