Recolha, retenção e armazenamento de dados no Application Insights

Quando instala o SDK do Application Insights na sua aplicação, este envia telemetria sobre a sua aplicação para a cloud. Enquanto programador responsável, quer saber exatamente que dados são enviados, o que acontece aos dados e como pode manter o controlo dos mesmos. Em particular, podem ser enviados dados confidenciais, onde são armazenados e quão seguros são?

Primeiro, a resposta curta:

• É pouco provável que os módulos de telemetria padrão que são executados "fora da caixa" enviem dados confidenciais para o serviço. A telemetria diz respeito às métricas de carga, desempenho e utilização, relatórios de exceção e outros dados de diagnóstico. Os principais dados de utilizador visíveis nos relatórios de diagnóstico são URLs. Contudo, a sua aplicação não deve, em nenhum caso, colocar dados confidenciais em texto simples num URL.
• Pode escrever código que envia mais telemetria personalizada para o ajudar com o diagnóstico e a monitorização da utilização. (Esta extensibilidade é uma excelente funcionalidade do Application Insights.) Por engano, seria possível escrever este código para incluir dados pessoais e outros confidenciais. Se a sua aplicação funcionar com esses dados, deve aplicar um processo de revisão completo a todo o código que escrever.
• Enquanto desenvolve e testa a sua aplicação, é fácil inspecionar o que está a ser enviado pelo SDK. Os dados são apresentados nas janelas de saída de depuração do IDE e do browser.
• Pode selecionar a localização quando criar um novo recurso do Application Insights. Para obter mais informações sobre a disponibilidade do Application Insights por região, veja Produtos disponíveis por região.
• Reveja os dados recolhidos porque podem incluir dados permitidos em algumas circunstâncias, mas não noutras. Um bom exemplo desta circunstância é o nome do dispositivo. O nome do dispositivo de um servidor não afeta a privacidade e é útil. Um nome de dispositivo de um telemóvel ou portátil pode ter implicações de privacidade e ser menos útil. Um SDK desenvolvido principalmente para servidores de destino recolheria o nome do dispositivo por predefinição. Esta capacidade poderá ter de ser substituída tanto em eventos normais como em exceções.

O resto deste artigo aborda estes pontos mais detalhadamente. O artigo é autónomo, pelo que pode partilhá-lo com colegas que não fazem parte da sua equipa imediata.

O que é o Application Insights?

O Application Insights é um serviço fornecido pela Microsoft que o ajuda a melhorar o desempenho e a utilização da sua aplicação em direto. Monitoriza a sua aplicação sempre que está em execução, tanto durante os testes como depois de a publicar ou implementar. O Application Insights cria gráficos e tabelas que lhe mostram métricas informativas. Por exemplo, poderá ver que horas do dia obtém a maioria dos utilizadores, quão reativa é a aplicação e quão bem é servida por quaisquer serviços externos de que dependa. Se existirem falhas ou problemas de desempenho, pode procurar os dados telemétricos para diagnosticar a causa. O serviço envia-lhe e-mails se existirem alterações na disponibilidade e no desempenho da sua aplicação.

Para obter esta funcionalidade, instale um SDK do Application Insights na sua aplicação, que faz parte do respetivo código. Quando a aplicação está em execução, o SDK monitoriza a operação e envia telemetria para uma área de trabalho do Log Analytics do Application Insights, que é um serviço em nuvem alojado pelo Microsoft Azure. O Application Insights também funciona para quaisquer aplicações e não apenas aplicações alojadas no Azure.

O Application Insights armazena e analisa a telemetria. Para ver a análise ou a pesquisa através da telemetria armazenada, inicie sessão na sua conta do Azure e abra o recurso do Application Insights para a sua aplicação. Também pode partilhar o acesso aos dados com outros membros da sua equipa ou com subscritores do Azure especificados.

Pode exportar dados do Application Insights, por exemplo, para uma base de dados ou para ferramentas externas. Fornece a cada ferramenta uma chave especial que obtém do serviço. Se necessário, a chave pode ser revogada.

Os SDKs do Application Insights estão disponíveis para vários tipos de aplicações:

• Serviços Web alojados nos seus próprios servidores Java EE ou ASP.NET ou no Azure
• Clientes Web, ou seja, o código em execução numa página Web
• Aplicações e serviços de ambiente de trabalho
• Aplicações de dispositivos como Windows Phone, iOS e Android

Todos enviam telemetria para o mesmo serviço.

Que dados recolhe?

Existem três origens de dados:

• O SDK, que integra com a sua aplicação no desenvolvimento ou no runtime. Existem SDKs diferentes para diferentes tipos de aplicações. Existe também um SDK para páginas Web, que é carregado para o browser do utilizador juntamente com a página.

  • Cada SDK tem muitos módulos, que utilizam técnicas diferentes para recolher diferentes tipos de telemetria.
  • Se instalar o SDK em desenvolvimento, pode utilizar a API para enviar a sua própria telemetria, além dos módulos padrão. Esta telemetria personalizada pode incluir todos os dados que pretende enviar.

• Em alguns servidores Web, também existem agentes que são executados juntamente com a aplicação e enviam telemetria sobre a CPU, memória e ocupação de rede. Por exemplo, as VMs do Azure, os anfitriões do Docker e os servidores de aplicações Java podem ter esses agentes.

• A descrição geral da disponibilidade são processos executados pela Microsoft que enviam pedidos para a sua aplicação Web em intervalos regulares. Os resultados são enviados para o Application Insights.

Que tipo de dados são recolhidos?

As categorias principais são:

• Telemetria do servidor Web: pedidos HTTP. URI, tempo necessário para processar o pedido, o código de resposta e o endereço IP do cliente. Session id.
• Páginas Web: contagens de páginas, utilizadores e sessões. Tempos de carregamento de páginas. Exceções. O Ajax liga.
• Contadores de desempenho: Memória, CPU, E/S e ocupação de rede.
• Contexto do cliente e do servidor: SO, região, tipo de dispositivo, browser e resolução de ecrã.
• Exceções e falhas: capturas de pilha e build idtipo de CPU.
• Dependências: chamadas para serviços externos, como REST, SQL e AJAX. URI ou cadeia de ligação, duração, êxito e comando.
• Testes de disponibilidade: Duração do teste, passos e respostas.
• Registos de rastreio e telemetria personalizada: tudo o que codificar nos seus registos ou telemetria.

Para obter mais informações, veja a secção Dados enviados pelo Application Insights.

Como posso verificar o que está a ser recolhido?

Se estiver a desenvolver uma aplicação com o Visual Studio, execute a aplicação no modo de depuração (F5). A telemetria é apresentada na janela Saída . A partir daí, pode copiá-lo e formatá-lo como JSON para uma inspeção fácil.

Também existe uma vista mais legível na janela Diagnósticos .

Para páginas Web, abra a janela de depuração do browser. Selecione F12 e abra o separador Rede .

Posso escrever código para filtrar a telemetria antes de ser enviada?

Terá de escrever um plug-in de processador de telemetria.

Durante quanto tempo os dados são mantidos?

Os pontos de dados não processados (ou seja, os itens que pode consultar na Análise e inspecionar na Pesquisa) são mantidos durante um máximo de 730 dias. Pode selecionar uma duração de retenção de 30, 60, 90, 120, 180, 270, 365, 550 ou 730 dias. Se precisar de manter os dados com mais de 730 dias, pode utilizar as definições de diagnóstico.

Os dados mantidos durante mais de 90 dias implicam custos adicionais. Para obter mais informações sobre os preços do Application Insights, veja a página de preços do Azure Monitor.

Os dados agregados (ou seja, contagens, médias e outros dados estatísticos que vê no explorador de métricas) são mantidos num intervalo de 1 minuto durante 90 dias.

Os instantâneos de depuração são armazenados durante 15 dias. Esta política de retenção é definida numa base por aplicação. Se precisar de aumentar este valor, pode pedir um aumento ao abrir um caso de suporte no portal do Azure.

Quem pode aceder aos dados?

Os dados são visíveis para si e, se tiver uma conta de organização, os membros da sua equipa.

Pode ser exportada por si e pelos membros da sua equipa e pode ser copiada para outras localizações e transmitida a outras pessoas.

O que faz a Microsoft com as informações que a minha aplicação envia para o Application Insights?

A Microsoft utiliza os dados apenas para lhe fornecer o serviço.

Onde são mantidos os dados?

Pode selecionar a localização quando criar um novo recurso do Application Insights. Para obter mais informações sobre a disponibilidade do Application Insights, veja Produtos disponíveis por região.

Quão seguros são os meus dados?

O Application Insights é um serviço do Azure. As políticas de segurança são descritas no documento técnico Segurança, Privacidade e Conformidade do Azure.

Os dados são armazenados em servidores do Microsoft Azure. Para contas no portal do Azure, as restrições de conta são descritas no documento Segurança, Privacidade e Conformidade do Azure.

O acesso aos seus dados por pessoal da Microsoft é restrito. Acedemos aos seus dados apenas com a sua permissão e, se for necessário, para suportar a sua utilização do Application Insights.

Os dados agregados em todas as aplicações dos nossos clientes, como as taxas de dados e o tamanho médio dos rastreios, são utilizados para melhorar o Application Insights.

A telemetria de outra pessoa pode interferir com os meus dados do Application Insights?

Alguém poderia enviar mais telemetria para a sua conta com a chave de instrumentação. Esta chave pode ser encontrada no código das suas páginas Web. Com dados adicionais suficientes, as métricas não representariam corretamente o desempenho e a utilização da sua aplicação.

Se partilhar código com outros projetos, lembre-se de remover a chave de instrumentação.

Os dados estão encriptados?

Todos os dados são encriptados inativos e à medida que se movem entre datacenters.

Os dados são encriptados em trânsito da minha aplicação para os servidores do Application Insights?

Sim. Utilizamos HTTPS para enviar dados para o portal a partir de quase todos os SDKs, incluindo servidores Web, dispositivos e páginas Web HTTPS.

O SDK cria armazenamento local temporário?

Sim. Determinados canais de telemetria irão manter os dados localmente se não for possível alcançar um ponto final. Os parágrafos seguintes descrevem que arquiteturas e canais de telemetria são afetados:

• Os canais de telemetria que utilizam o armazenamento local criam ficheiros temporários nos diretórios TEMP ou APPDATA, que estão restritos à conta específica que executa a sua aplicação. Esta situação pode ocorrer quando um ponto final estava temporariamente indisponível ou se atingiu o limite de limitação. Depois de este problema ser resolvido, o canal de telemetria retomará o envio de todos os dados novos e persistentes.
• Estes dados persistentes não são encriptados localmente. Se este problema for uma preocupação, reveja os dados e restrinja a recolha de dados privados. Para obter mais informações, veja Exportar e eliminar dados privados.
• Se um cliente precisar de configurar este diretório com requisitos de segurança específicos, pode ser configurado por arquitetura. Certifique-se de que o processo que está a executar a sua aplicação tem acesso de escrita a este diretório. Certifique-se também de que este diretório está protegido para evitar que a telemetria seja lida por utilizadores indesejados.

Java

A pasta C:\Users\username\AppData\Local\Temp é utilizada para dados persistentes. Esta localização não é configurável a partir do diretório de configuração e as permissões para aceder a esta pasta estão restritas ao utilizador específico com as credenciais necessárias. Para obter mais informações, veja implementação.

.NET

Por predefinição, ServerTelemetryChannel utiliza a pasta %localAppData%\Microsoft\ApplicationInsights de dados da aplicação local ou pasta %TMP%temporária do utilizador atual. Para obter mais informações, veja implementação.

Através do ficheiro de configuração:

<TelemetryChannel Type="Microsoft.ApplicationInsights.WindowsServer.TelemetryChannel.ServerTelemetryChannel,   Microsoft.AI.ServerTelemetryChannel">
    <StorageFolder>D:\NewTestFolder</StorageFolder>
</TelemetryChannel>

Através do código:

• Remover ServerTelemetryChannel do ficheiro de configuração.

• Adicione este fragmento à configuração:

  ServerTelemetryChannel channel = new ServerTelemetryChannel();
  channel.StorageFolder = @"D:\NewTestFolder";
  channel.Initialize(TelemetryConfiguration.Active);
  TelemetryConfiguration.Active.TelemetryChannel = channel;
  

NetCore

Por predefinição, ServerTelemetryChannel utiliza a pasta %localAppData%\Microsoft\ApplicationInsights de dados da aplicação local ou pasta %TMP%temporária do utilizador atual. Para obter mais informações, veja implementação.

Num ambiente linux, o armazenamento local será desativado, a menos que seja especificada uma pasta de armazenamento.

O fragmento de código seguinte mostra como definir ServerTelemetryChannel.StorageFolder no ConfigureServices() método da sua Startup.cs classe:

services.AddSingleton(typeof(ITelemetryChannel), new ServerTelemetryChannel () {StorageFolder = "/tmp/myfolder"});

Para obter mais informações, veja Configuração personalizada do AspNetCore.

Node.js

Por predefinição, %TEMP%/appInsights-node{INSTRUMENTATION KEY} é utilizado para dados persistentes. As permissões para aceder a esta pasta estão restritas ao utilizador e administradores atuais. Para obter mais informações, veja a implementação.

O prefixo appInsights-node da pasta pode ser substituído ao alterar o valor de runtime da variável Sender.TEMPDIR_PREFIX estática encontrada em Sender.ts.

JavaScript (browser)

O Armazenamento de Sessões HTML5 é utilizado para manter os dados. São utilizadas duas memórias intermédias separadas: AI_buffer e AI_sent_buffer. A telemetria em lote e à espera de ser enviada é armazenada no AI_buffer. A telemetria que acabou de ser enviada é colocada AI_sent_buffer até o servidor de ingestão responder que foi recebido com êxito.

Quando a telemetria é recebida com êxito, é removida de todas as memórias intermédias. Em falhas transitórias (por exemplo, um utilizador perde a conectividade de rede), a telemetria permanece dentro AI_buffer até ser recebida com êxito ou o servidor de ingestão responde que a telemetria é inválida (esquema incorreto ou demasiado antigo, por exemplo).

As memórias intermédias de telemetria podem ser desativadas ao definir enableSessionStorageBuffer como false. Quando o armazenamento de sessões é desativado, uma matriz local é utilizada como armazenamento persistente. Uma vez que o SDK JavaScript é executado num dispositivo cliente, o utilizador tem acesso a esta localização de armazenamento através das ferramentas de programador do browser.

OpenCensus Python

Por predefinição, o SDK Python do OpenCensus utiliza a pasta %username%/.opencensus/.azure/de utilizador atual . As permissões para aceder a esta pasta estão restritas ao utilizador e administradores atuais. Para obter mais informações, veja a implementação. A pasta com os seus dados persistentes terá o nome do ficheiro Python que gerou a telemetria.

Pode alterar a localização do ficheiro de armazenamento ao transmitir o storage_path parâmetro no construtor do exportador que está a utilizar.

AzureLogHandler(
  connection_string='InstrumentationKey=00000000-0000-0000-0000-000000000000',
  storage_path='<your-path-here>',
)

Como devo proceder para enviar dados para o Application Insights com o TLS 1.2?

Para garantir a segurança dos dados em trânsito para os pontos finais do Application Insights, incentivamos vivamente os clientes a configurarem a sua aplicação para utilizar, pelo menos, o Transport Layer Security (TLS) 1.2. As versões mais antigas do TLS/Secure Sockets Layer (SSL) foram consideradas vulneráveis. Apesar de continuarem a trabalhar para permitir a retrocompatibilidade, não são recomendados. A indústria está rapidamente a mover-se para abandonar o suporte para estes protocolos mais antigos.

O Conselho de Normas de Segurança do PCI fixou um prazo de 30 de junho de 2018 para desativar versões mais antigas do TLS/SSL e atualizar para protocolos mais seguros. Depois de o Azure deixar cair o suporte legado, se a aplicação ou os clientes não conseguirem comunicar pelo menos através do TLS 1.2, não conseguiria enviar dados para o Application Insights. A abordagem que adotar para testar e validar o suporte TLS da sua aplicação irá variar consoante o sistema operativo ou plataforma e a linguagem ou arquitetura que a sua aplicação utiliza.

Não recomendamos explicitamente definir a sua aplicação para utilizar apenas o TLS 1.2, a menos que seja necessário. Esta definição pode interromper as funcionalidades de segurança ao nível da plataforma que lhe permitem detetar e tirar partido de protocolos mais recentes e seguros à medida que ficam disponíveis, como o TLS 1.3. Recomendamos que efetue uma auditoria completa do código da sua aplicação para verificar a codificação de versões específicas do TLS/SSL.

Documentação de orientação específica da plataforma/idioma

Verifique qual é a versão do OpenSSL que a distribuição do Linux está a executar

Para verificar que versão do OpenSSL instalou, abra o terminal e execute:

openssl version -a

Executar uma transação TLS 1.2 de teste no Linux

Para executar um teste preliminar para ver se o seu sistema Linux consegue comunicar através do TLS 1.2, abra o terminal e execute:

openssl s_client -connect bing.com:443 -tls1_2

Dados pessoais armazenados no Application Insights

Para um debate aprofundado sobre este problema, veja Managing personal data in Log Analytics and Application Insights (Gerir dados pessoais no Log Analytics e no Application Insights).

Os meus utilizadores podem desativar o Application Insights?

Não diretamente. Não fornecemos um comutador que os seus utilizadores possam operar para desativar o Application Insights.

Pode implementar essa funcionalidade na sua aplicação. Todos os SDKs incluem uma definição de API que desativa a coleção de telemetria.

Dados enviados pelo Application Insights

Os SDKs variam entre plataformas e existem vários componentes que pode instalar. Para obter mais informações, veja Application Insights overview (Descrição geral do Application Insights). Cada componente envia dados diferentes.

Classes de dados enviados em diferentes cenários

Para SDKs para outras plataformas, veja os respetivos documentos.

As classes de dados recolhidos

Pode desativar alguns dos dados ao editar ApplicationInsights.config.

Posso modificar ou atualizar dados depois de terem sido recolhidos?

N.º Os dados são só de leitura e só podem ser eliminados através da funcionalidade de remoção. Para saber mais, veja Documentação de orientação para dados pessoais armazenados no Log Analytics e no Application Insights.

Perguntas mais frequentes

Esta secção fornece respostas a perguntas comuns.

O que acontece à telemetria do Application Insight quando um servidor ou dispositivo perde a ligação ao Azure?

Todos os nossos SDKs, incluindo o SDK Web, incluem transporte fiável ou transporte robusto. Quando o servidor ou dispositivo perde a ligação com o Azure, a telemetria é armazenada localmente no sistema de ficheiros (SDKs do Servidor) ou no Armazenamento de Sessões HTML5 (SDK Web). O SDK repete periodicamente para enviar esta telemetria até que o nosso serviço de ingestão o considere "obsoleto" (48 horas para registos, 30 minutos para métricas). A telemetria obsoleto foi removida. Em alguns casos, como quando o armazenamento local está cheio, a repetição não ocorrerá.

Os dados pessoais são enviados na telemetria?

Pode enviar dados pessoais se o seu código enviar esses dados. Também pode acontecer se as variáveis em rastreios de pilha incluírem dados pessoais. A sua equipa de desenvolvimento deve realizar avaliações de risco para garantir que os dados pessoais são processados corretamente. Saiba mais sobre a retenção de dados e a privacidade.

Todos os octetos do endereço Web do cliente estão sempre definidos como 0 após a pesquisa dos atributos de geolocalização.

Por predefinição, o SDK JavaScript do Application Insights não inclui quaisquer dados pessoais na respetiva conclusão automática. No entanto, alguns dados pessoais utilizados na sua aplicação podem ser recolhidos pelo SDK (por exemplo, nomes completos em window.title ou IDs de conta em parâmetros de consulta de URL XHR). Para mascarar dados pessoais personalizados, adicione um inicializador de telemetria.