Coleta, retenção e armazenamento de dados no Application Insights

Quando você instala o SDK do Application Insights em seu aplicativo, ele envia telemetria sobre seu aplicativo para a nuvem. Como um desenvolvedor responsável, é importante saber exatamente quais dados serão enviados, o que acontecerá com os dados e como poderá manter o controle deles. Em particular, poderiam ser enviados dados confidenciais, onde são armazenados e qual é o nível de segurança?

Primeiro, a resposta curta:

• Os módulos de telemetria padrão que executam "prontos de fábrica" têm pouca probabilidade de enviar dados confidenciais para o serviço. A telemetria está relacionada a carga, a métricas de desempenho e uso, a relatórios de exceção e a outros dados de diagnóstico. Os principais dados do usuário visíveis nos relatórios de diagnóstico são URLs. Mas o aplicativo não deverá, em nenhum caso, colocar os dados confidenciais em texto sem formatação em uma URL.
• Você pode escrever um código que envie mais telemetria personalizada para ajudá-lo com o uso de monitoramento e diagnóstico. (Essa extensibilidade é um grande recurso do Application Insights). Seria possível, por engano, escrever esse código para que ele inclua dados confidenciais e pessoais. Se seu aplicativo trabalhar com esses dados, você deverá aplicar um processo de revisão completo para todo o código que escrever.
• Enquanto você desenvolve e testa o aplicativo, é fácil inspecionar o que está sendo enviado pelo SDK. Os dados aparecem nas janelas de saída de depuração do IDE e do navegador.
• Quando você cria um novo recurso do Application Insights, você pode selecionar o local. Para obter mais informações sobre a disponibilidade do Application Insights por região, consulte Produtos disponíveis por região.
• Revise os dados coletados, pois poderão incluir dados permitidos em algumas circunstâncias, mas não em outras. Um bom exemplo dessa circunstância é o nome do dispositivo. O nome do dispositivo de um servidor não afeta a privacidade e é útil. Um nome do dispositivo de um telefone ou laptop poderá ter implicações de privacidade e ser menos útil. Um SDK desenvolvido principalmente para servidores de destino coleta o nome do dispositivo por padrão. Esse recurso poderá ser substituído em eventos normais e exceções.

O restante deste artigo aborda esses pontos de forma mais detalhada. O artigo é autossuficiente e você poderá compartilhá-lo com os colegas que não fazem parte de sua equipe imediata.

O que é o Application Insights?

O Application Insights é um serviço fornecido pela Microsoft que ajuda você a melhorar o desempenho e a usabilidade do aplicativo ativo. Ele monitora seus aplicativos em todo o tempo de execução, tanto durante o teste quanto depois de publicado ou implantado. O Application Insights cria gráficos e tabelas que mostram métricas informativas. Por exemplo, é possível ver em que horas do dia você tem mais usuários, quão responsivo o aplicativo é e quão bem é atendido pelos serviços externos dos quais ele depende. Se houver falhas ou problemas de desempenho, você poderá pesquisar os dados de telemetria para diagnosticar a causa. O serviço enviará emails se houver alguma alteração na disponibilidade e no desempenho do aplicativo.

Para obter essa funcionalidade, você instalará um SDK do Application Insights no aplicativo que se tornará parte do código. Quando seu aplicativo está em execução, o SDK monitora sua operação e envia telemetria para um workspace do Log Analytics do Application Insights, que é um serviço de nuvem hospedado pelo Microsoft Azure. O Application Insights também funciona para qualquer aplicativo, não apenas para aplicativos hospedados no Azure.

O Application Insights armazena e analisa a telemetria. Para ver a análise ou a pesquisa por meio de telemetria armazenada, você entra na sua conta do Azure e abre o recurso Application Insights para seu aplicativo. Você também pode compartilhar o acesso aos dados com outros membros da equipe ou com assinantes do Azure especificados.

Você pode exportar dados do Application Insights, por exemplo, para um banco de dados ou para ferramentas externas. Você fornece a cada ferramenta uma chave especial obtida do serviço. A chave poderá ser revogada, se necessário.

Os SDKs do Application Insights estão disponíveis para vários tipos de aplicativos:

• Serviços Web hospedados nos próprios servidores Java EE ou ASP.NET ou no Azure
• Clientes da Web, ou seja, o código em execução em uma página da Web
• Aplicativos e serviços para desktop
• Aplicativos de dispositivos como Windows Phone, iOS e Android

Todos enviam telemetria para o mesmo serviço.

Quais dados são coletados?

Há três fontes de dados:

• O SDK, que você integra ao aplicativo em desenvolvimento ou em runtime. Há diferentes SDKs para diferentes tipos de aplicativos. Há também um SDK para páginas da Web, que é carregado no navegador do usuário junto com a página.

  • Cada SDK tem vários módulos, que usam diferentes técnicas para coletar diferentes tipos de telemetria.
  • Se você instalar o SDK no desenvolvimento, poderá usar sua API para enviar sua própria telemetria, além dos módulos padrão. Essa telemetria personalizada pode incluir quaisquer dados que você deseje enviar.

• Em alguns servidores web, também existem agentes que são executados juntamente com o aplicativo e que enviam telemetria sobre CPU, memória e ocupação de rede. Por exemplo, as VMs do Azure, hosts de Docker e servidores de aplicativo Java podem ter esses agentes.

• Visão geral da disponibilidade refere-se a processos executados pela Microsoft que enviam solicitações para o aplicativo Web a intervalos regulares. Os resultados são enviados para o Application Insights.

Que tipo de dados são coletados?

As principais categorias são:

• Telemetria do servidor Web: solicitações HTTP. URI, tempo gasto para processar a solicitação, código de resposta e endereço IP do cliente. Session id.
• Páginas da Web: contagens de páginas, usuários e sessões. Tempos de carregamento de página. Exceções. Chamadas Ajax.
• Contadores de desempenho: memória, CPU, E/S e ocupação de rede.
• Contexto de cliente e servidor: SO, localidade, tipo de dispositivo, navegador e resolução de tela.
• Exceções e falhas: despejos de pilha, build id e tipo de CPU.
• Dependências: chamadas para serviços externos como REST, SQL e AJAX. URI ou cadeia de conexão, duração, êxito e comando.
• Testes de disponibilidade: duração do teste e etapas e respostas.
• Logs de rastreamentos e telemetria personalizada: qualquer elemento que você codificar em logs ou telemetria.

Para obter mais informações, consulte a seção Dados enviados pelo Application Insights.

Como verificar o que está sendo coletado?

Se você estiver desenvolvendo um aplicativo usando o Visual Studio, execute o aplicativo no modo de depuração (F5). A telemetria aparece na janela Saída. A partir dali, é possível copiá-la e formatá-la como JSON para fácil inspeção.

Há também uma exibição mais legível na janela Diagnóstico.

Para páginas da Web, abra a janela de depuração do navegador. Selecione F12 e abra a guia Rede.

Posso gravar código para filtrar a telemetria antes de enviá-la?

Você precisará gravar um plug-in do processador de telemetria.

Por quanto tempo os dados são mantidos?

Os pontos de dados brutos (ou seja, os itens que você pode consultar na Análise e inspecionar na Pesquisa) são mantidos por até 730 dias. Você pode selecionar uma duração de retenção de 30, 60, 90, 120, 180, 270, 365, 550 ou 730 dias. Se você precisar manter os dados por mais de 730 dias. poderá usar as configurações de diagnóstico.

Dados mantidos por mais de 90 dias incorrem em custos adicionais. Para obter mais informações sobre os preços do Application Insights, consulte a página de preço do Azure Monitor.

Os dados agregados (ou seja, contagens, médias e outros dados estatísticos que você vê no gerenciador de métricas) são retidos em uma granulação de 1 minuto por 90 dias.

Instantâneos de depuração são armazenados por 15 dias. Essa política de retenção é definida por aplicativo. Se for necessário aumentar esse valor, você poderá solicitar o aumento abrindo um caso de suporte no portal do Azure.

Quem pode acessar os dados?

Os dados são visíveis para você e, se você tiver uma conta de organização, para os membros de sua equipe.

Eles podem ser exportados por você e pelos membros da equipe e podem ser copiados para outros locais e passados para outras pessoas.

O que a Microsoft faz com as informações que meu aplicativo envia ao Application Insights?

A Microsoft usa os dados apenas para fornecer o serviço a você.

Onde os dados são mantidos?

Quando você cria um novo recurso do Application Insights, você pode selecionar o local. Para obter mais informações sobre a disponibilidade do Application Insights, consulte Produtos disponíveis por região.

Quão seguros meus dados estão?

O Application Insights é um serviço do Azure. Políticas de segurança são descritas no white paper de segurança, privacidade e conformidade do Azure.

Os dados são armazenados em servidores do Microsoft Azure. Para contas no portal do Azure, as restrições de conta são descritas no documento sobre Segurança, privacidade e conformidade do Azure.

É restrito o acesso aos seus dados por funcionários da Microsoft. Nós acessamos os dados apenas com a sua permissão e se for necessário para dar suporte ao uso do Application Insights.

Dados agregados em todos os aplicativos de nossos clientes, como taxas de dados e tamanho médio de rastreamentos, são usados para melhorar o Application Insights.

A telemetria de outra pessoa poderia interferir meus dados do Application Insights?

Alguém pode enviar mais telemetria para a conta usando a chave de instrumentação. Essa chave poderá ser encontrada no código das páginas da Web. Com dados adicionais suficientes, as métricas não representam corretamente o desempenho e o uso do aplicativo.

Se você compartilhar código com outros projetos, lembre-se de remover sua chave de instrumentação.

Os dados são criptografados?

Todos os dados são criptografados em repouso e à medida que se movem entre os datacenters.

Os dados são criptografados em trânsito do meu aplicativo para servidores do Application Insights?

Sim. Usamos HTTPS para enviar dados ao portal de quase todos os SDKs, incluindo servidores de Web, dispositivos e páginas da Web HTTPS.

O SDK cria armazenamento local temporário?

Sim. Alguns canais de telemetria persistirão os dados localmente se um ponto de extremidade não puder ser alcançado. Os parágrafos a seguir descrevem as estruturas e os canais de telemetria que são afetados:

• Os canais de telemetria que utilizam armazenamento local criam arquivos temporários nos diretórios TEMP ou APPDATA que são restritos à conta específica que executa o aplicativo. Essa situação poderá ocorrer quando um ponto de extremidade ficar temporariamente indisponível ou se você atingir o limite de limitação. Depois que esse problema for resolvido, o canal de telemetria retomará o envio de todos os dados novos e persistentes.
• Esses dados persistentes não são criptografados localmente. Se esse problema for uma preocupação, examine os dados e restrinja a coleta de dados privados. Para obter mais informações, consulte Exportar e excluir dados privados.
• Se um cliente precisar configurar esse diretório com requisitos de segurança específicos, será possível configurá-lo por estrutura. Verifique se o processo executando o aplicativo tem acesso de gravação a este diretório. Verifique também se esse diretório está protegido para evitar que a telemetria seja lida por usuários não intencionais.

Java

A pasta C:\Users\username\AppData\Local\Temp é usada para dados persistentes. Esse local não é configurável no diretório de configuração e as permissões para acessar essa pasta são restritas ao usuário específico com as credenciais necessárias. Para obter mais informações, consulte implementação.

.NET

Por padrão, ServerTelemetryChannel usa a pasta de dados do aplicativo local do usuário atual %localAppData%\Microsoft\ApplicationInsights ou a pasta temporária %TMP%. Para obter mais informações, consulte implementação.

Por meio de arquivo de configuração:

<TelemetryChannel Type="Microsoft.ApplicationInsights.WindowsServer.TelemetryChannel.ServerTelemetryChannel,   Microsoft.AI.ServerTelemetryChannel">
    <StorageFolder>D:\NewTestFolder</StorageFolder>
</TelemetryChannel>

Por meio de código:

• Remova ServerTelemetryChannel do arquivo de configuração.

• Adicione este snippet à configuração:

  ServerTelemetryChannel channel = new ServerTelemetryChannel();
  channel.StorageFolder = @"D:\NewTestFolder";
  channel.Initialize(TelemetryConfiguration.Active);
  TelemetryConfiguration.Active.TelemetryChannel = channel;
  

NetCore

Por padrão, ServerTelemetryChannel usa a pasta de dados do aplicativo local do usuário atual %localAppData%\Microsoft\ApplicationInsights ou a pasta temporária %TMP%. Para obter mais informações, consulte implementação.

Em um ambiente Linux, o armazenamento local será desabilitado, exceto se uma pasta de armazenamento estiver especificada.

O snippet de código a seguir mostra como definir ServerTelemetryChannel.StorageFolder no método ConfigureServices() da classe Startup.cs:

services.AddSingleton(typeof(ITelemetryChannel), new ServerTelemetryChannel () {StorageFolder = "/tmp/myfolder"});

Para obter mais informações, consulte Configuração personalizada do AspNetCore.

Node.js

Por padrão, %TEMP%/appInsights-node{INSTRUMENTATION KEY} é usado para persistir dados. As permissões para acessar essa pasta são restritas ao usuário e a administradores atuais. Para obter mais informações, consulte a implementação.

O prefixo de pasta appInsights-node pode ser substituído, alterando o valor de runtime da variável estática Sender.TEMPDIR_PREFIX localizada em Sender.ts.

JavaScript (navegador)

O Armazenamento de Sessão HTML5 é usado para manter os dados. Dois buffers separados são usados: AI_buffer e AI_sent_buffer. A telemetria que está em lote e aguardando para ser enviada é armazenada em AI_buffer. A telemetria que acabou de ser enviada é colocada no AI_sent_buffer até que o servidor de ingestão responda que foi recebido com êxito.

Quando a telemetria é recebida com êxito, ela é removida de todos os buffers. Em falhas transitórias (por exemplo, um usuário perde a conectividade de rede), a telemetria permanecerá em AI_buffer até que seja recebida com êxito ou o servidor de ingestão responda que a telemetria é inválida (esquema inválido ou muito antigo, por exemplo).

Os buffers de telemetria podem ser desabilitados definindo enableSessionStorageBuffer como false. Quando o armazenamento de sessão é desativado, uma matriz local é usada como armazenamento persistente. Como o SDK do JavaScript é executado em um dispositivo cliente, o usuário tem acesso a esse local de armazenamento por meio das ferramentas de desenvolvedor do navegador.

OpenCensus Python

Por padrão, o SDK do Python OpenCensus usa a pasta de usuário atual %username%/.opencensus/.azure/. As permissões para acessar essa pasta são restritas ao usuário e a administradores atuais. Para obter mais informações, consulte a implementação. A pasta com seus dados persistentes terá o mesmo nome do arquivo do Python que gerou a telemetria.

Você poderá alterar o local do arquivo de armazenamento passando o parâmetro storage_path no construtor do exportador que está usando.

AzureLogHandler(
  connection_string='InstrumentationKey=00000000-0000-0000-0000-000000000000',
  storage_path='<your-path-here>',
)

Como enviar dados ao Application Insights usando o TLS 1.2?

Para garantir a segurança dos dados em trânsito para os pontos de extremidade do Application Insights, recomendamos que os clientes configurem o aplicativo para usar pelo menos o protocolo TLS 1.2. Versões mais antigas do protocolo TLS/SSL foram consideradas vulneráveis. Embora ainda funcionem atualmente para permitir a compatibilidade com versões anteriores, eles não são recomendados. O setor está rapidamente se preparando para deixar de dar suporte a esses protocolos mais antigos.

O PCI Security Standards Council estabeleceu um prazo para 30 de junho de 2018 para desabilitar as versões mais antigas de TLS/SSL e atualizar para protocolos mais seguros. Depois que o Azure remover o suporte herdado, se o aplicativo ou os clientes não puderem se comunicar sobre TLS 1.2, no mínimo, você não poderá enviar dados ao Application Insights. A abordagem que você adota para testar e validar o suporte a TLS do aplicativo varia de acordo com o sistema operacional ou a plataforma e a linguagem ou a estrutura que o aplicativo usa.

Não é recomendável configurar explicitamente o aplicativo para usar apenas o TLS 1.2, a menos que seja necessário. Essa configuração poderá interromper os recursos de segurança no nível da plataforma que permitem detectar e aproveitar automaticamente os protocolos mais seguros mais recentes à medida que se tornam disponíveis, como o TLS 1.3. É recomendável que você execute uma auditoria completa do código do aplicativo para verificar a codificação de versões específicas de TLS/SSL.

Diretrizes específicas à plataforma/linguagem

Verifique qual versão do OpenSSL sua distribuição do Linux está em execução

Para verificar qual versão do OpenSSL que você tiver instalado, abra o terminal e execute:

openssl version -a

Executar um teste de transação do TLS 1.2 no Linux

Para executar um teste preliminar para ver se o sistema Linux pode se comunicar por TLS 1.2, abra o terminal e execute:

openssl s_client -connect bing.com:443 -tls1_2

Dados pessoais armazenados no Application Insights

Para uma discussão detalhada sobre esse problema, consulte Gerenciar dados pessoais no Log Analytics e no Application Insights.

Meus usuários podem desativar o Application Insights?

Não diretamente. Não fornecemos um comutador que os usuários possam operar para desativar o Application Insights.

Você poderá implementar esse recurso no aplicativo. Todos os SDKs incluem uma configuração de API que desativa a coleta da telemetria.

Dados enviados pelo Application Insights

Os SDKs variam entre diferentes plataformas, e há vários componentes que você pode instalar. Para obter mais informações, consulte visão geral do Application Insights. Cada componente envia dados diferentes.

Classes de dados enviados em cenários diferentes

Para SDKs para outras plataformas, consulte seus respectivos documentos.

As classes dos dados coletados

Você pode desativar alguns dos dados editando ApplicationInsights.config.

Posso modificar ou atualizar os dados depois que eles forem coletados?

Não. Os dados são somente leitura e somente poderão ser excluídos por meio da funcionalidade de limpeza. Para saber mais, consulte Diretrizes para dados pessoais armazenados no Log Analytics e no Application Insights.

Perguntas frequentes

Esta seção fornece respostas para perguntas comuns.

O que acontece com a telemetria do Application Insights quando um servidor ou dispositivo perde a conexão com o Azure?

Todos os nossos SDKs, incluindo o SDK da Web, incluem transporte confiável ou transporte robusto. Quando o servidor ou dispositivo perde a conexão com o Azure, a telemetria é armazenada localmente no sistema de arquivos (SDKs do servidor) ou no Armazenamento de Sessão do HTML5 (SDK da Web). Periodicamente, o SDK tenta enviar novamente essa telemetria até que o serviço de ingestão o considere "obsoleto" (48 horas para logs, 30 minutos para métricas). A telemetria obsoleta é descartada. Em alguns casos, como quando o armazenamento local está cheio, a repetição não ocorrerá.

É possível enviar dados pessoais na Telemetria?

Você poderá enviar os dados pessoais se o seu código enviar esses dados. Isso também pode acontecer se as variáveis nos rastreamentos de pilha incluírem dados pessoais. Sua equipe de desenvolvimento deve realizar avaliações de risco para garantir que os dados pessoais sejam devidamente tratados. Saiba mais sobre privacidade e retenção de dados.

Todos os octetos do endereço web do cliente são sempre definidos como 0 depois que os atributos de localização geográfica são pesquisados.

Por padrão, o SDK do JavaScript do Application Insights não inclui dados pessoais no preenchimento automático. No entanto, alguns dados pessoais usados no seu aplicativo podem ser selecionados pelo SDK (por exemplo, nomes completos em window.title ou IDs de conta em parâmetros de consulta de URL XHR). Para mascaramento de dados pessoais personalizados, adicione um inicializador de telemetria.