Сбор и хранение данных в Application Insights

При установке пакета SDK Application Insights в приложении он отправляет данные телеметрии о приложении в облако. Как ответственный разработчик вы хотите точно знать, какие данные отправляются, что происходит с данными и как вы можете контролировать их. В частности, возникают следующие вопросы: можно ли отправлять конфиденциальные данные, где они хранятся и насколько это безопасно?

Ответ прост.

• Для отправки конфиденциальных данных в службу лучше не использовать телеметрические модули со стандартными настройками. Телеметрия включает метрики нагрузки, производительности и использования, отчеты об исключениях и другие диагностические данные. В диагностических отчетах отображаются main пользовательские данные. Но в любом случае приложение не должно помещать конфиденциальные данные в виде обычного текста в URL-адрес.
• Можно написать код, который будет отправлять больше пользовательских телеметрических данных для диагностики и мониторинга. (Эта расширяемость — одна из полезных возможностей Application Insights) По ошибке код может включать в себя личные и другие конфиденциальные данные. Если приложение работает с такими данными, то следует тщательно проверять весь написанный код.
• При разработке и тестировании приложения можно легко проверить, что отправляет пакет SDK. Данные отображаются в окнах вывода отладочных данных IDE и браузера.
• Расположение можно выбрать при создании нового ресурса Application Insights. Дополнительные сведения о доступности Application Insights для каждого региона см. в статье Доступность продуктов по регионам.
• Просмотрите собранные данные, так как они могут включать данные, разрешенные в некоторых случаях, но не в других случаях. Хорошим примером этого обстоятельства является имя устройства. Имя устройства с сервера не влияет на конфиденциальность и полезно. Имя устройства с телефона или ноутбука может иметь последствия для конфиденциальности и быть менее полезным. Пакет SDK, разработанный в основном для целевых серверов, будет собирать имя устройства по умолчанию. Эту возможность может потребоваться перезаписать как в обычных событиях, так и в исключениях.

В остальной части этой статьи эти моменты рассматриваются более подробно. Статья является автономной, поэтому вы можете поделиться ею с коллегами, которые не являются частью вашей непосредственной команды.

Что такое Azure Application Insights?

Application Insights — это служба, предоставляемая корпорацией Майкрософт, которая помогает повысить производительность и удобство использования вашего реального приложения. Она отслеживает приложение на протяжении всего времени его работы: как на этапе тестирования, так и после публикации или развертывания. Application Insights создает диаграммы и таблицы, отображающие информативные метрики. Например, вы можете увидеть, в какое время дня вы получаете большинство пользователей, насколько быстро реагирует приложение и насколько хорошо оно обслуживается любыми внешними службами, от чего оно зависит. Если возникают сбои или проблемы с производительностью, можно выполнить поиск по данным телеметрии, чтобы диагностировать причину. Служба отправляет вам сообщения электронной почты в случае каких-либо изменений в доступности и производительности приложения.

Чтобы получить эту функцию, установите пакет SDK Application Insights в приложении, который становится частью его кода. Когда приложение запущено, пакет SDK отслеживает его работу и отправляет данные телеметрии в рабочую область Application Insights Log Analytics, которая является облачной службой, размещенной в Microsoft Azure. Application Insights также подходит для любых приложений, а не только для приложений, размещенных в Azure.

Application Insights хранит и анализирует данные телеметрии. Для просмотра результатов анализа или поиска в сохраненных телеметрических данных войдите в учетную запись Azure и откройте в окне приложения ресурс Application Insights. Доступ к данным также можно предоставить другим участникам команды или определенным подписчикам Azure.

Данные можно экспортировать из Application Insights, например, в базу данных или во внешние инструменты. Каждому устройству можно назначить специальный ключ, предоставляемый службой. При необходимости ключ можно отменить.

Пакеты SDK для Application Insights доступны для различных типов приложений:

• Веб-службы, размещенные на собственных серверах Java EE или ASP.NET, или в Azure
• Веб-клиенты, то есть код, выполняющийся на веб-странице
• Классические приложения и службы
• Приложения для устройств, такие как Windows Phone, iOS и Android

Все они отправляют телеметрические данные в одну и ту же службу.

Какие данные собираются?

Есть три источника данных:

• Пакет SDK, который вы интегрируете с приложением при разработке или во время выполнения. Существуют разные пакеты SDK для различных типов приложений. Существует также пакет SDK для веб-страниц, который загружается в браузер пользователя вместе со страницей.

  • В каждый пакет SDK входит множество модулей, которые используют различные методики для сбора разных типов телеметрических данных.
  • Если пакет SDK устанавливается на этапе разработки, для отправки собственных телеметрических данных, помимо стандартных модулей, можно использовать API. Такая пользовательские телеметрические данные могут включать все данные, которые требуется отправить.

• На некоторых веб-серверах также установлены агенты, которые работают вместе с приложениями и отправляют телеметрические данные о ЦП, памяти и загрузке сети. Например, такие агенты могут быть установлены на виртуальных машинах Azure, узлах Docker и серверах приложений Java.

• Обзор доступности — это процессы, выполняемые корпорацией Майкрософт, которые регулярно отправляют запросы к веб-приложению. Результаты отправляются в Application Insights.

Какие данные собираются?

Вот основные категории данных.

• Телеметрия веб-сервера: HTTP-запросы. URI, время, затраченного на обработку запроса, кода ответа и IP-адреса клиента. Session id.
• Веб-страницы: количество страниц, пользователей и сеансов. Время загрузки страницы. Исключения. Вызовы AJAX.
• Счетчики производительности: память, ЦП, операции ввода-вывода и заполнение сети.
• Контекст клиента и сервера: ОС, языковой стандарт, тип устройства, браузер и разрешение экрана.
• Исключения и сбои: дампы стека, build idи тип ЦП.
• Зависимости: вызовы внешних служб, таких как REST, SQL и AJAX. URI или строка подключения, длительность, успешное выполнение и команда.
• Тесты доступности: продолжительность теста, шагов и ответов.
• Журналы трассировки и пользовательские данные телеметрии: все, что вы закодируете в журналах или телеметрии.

Дополнительные сведения см. в разделе Данные, отправляемые Application Insights.

Как проверить, какие именно данные собираются?

Если вы разрабатываете приложение с помощью Visual Studio, запустите его в режиме отладки (F5). Данные телеметрии отображаются в окне Выходные данные . Оттуда их можно скопировать, отформатировать как файл JSON и быстро проверить.

Кроме того, в окне "Диагностика " есть более удобочитаемое представление.

Для веб-страниц откройте окно отладки браузера. Нажмите клавишу F12 и откройте вкладку Сеть .

Можно ли написать код для фильтрации данных телеметрии перед отправкой?

Вам потребуется написать подключаемый модуль обработчика телеметрии.

Как долго хранятся данные?

Необработанные точки данных (то есть элементы, которые можно запросить в Аналитике и проверить с помощью Поиска) хранятся в течение 730 дней. Вы можете выбрать срок хранения 30, 60, 90, 120, 180, 270, 365, 550 или 730 дней. Если необходимо хранить данные дольше 730 дней, можно использовать параметры диагностики.

За данные, хранящиеся дольше 90 дней, взимается дополнительная плата. Дополнительные сведения о ценах на Application Insights см. на странице цен на Azure Monitor.

Агрегированные данные (то есть счетчики, средние значения и другие статистические данные, отображаемые в обозревателе метрик) хранятся в интервале 1 минуты в течение 90 дней.

Моментальные снимки отладки хранятся в течение 15 дней. Такая политика хранения задается для каждого приложения отдельно. Если нужно изменить этот параметр, вы можете запросить изменения, открыв окно Службы Поддержки на портале Microsoft Azure.

Кто имеет доступ к данным?

Данные видны вам и, если у вас есть учетная запись организации, членам вашей группы.

Вы и члены группы могут их экспортировать и скопировать в другое место, а также передать другим пользователям.

Что корпорация Майкрософт делает с данными, которые мое приложение отправляет службе Application Insights?

Корпорация Майкрософт использует данные только для предоставления службы.

Где хранятся данные?

Расположение можно выбрать при создании нового ресурса Application Insights. Дополнительные сведения о доступности Application Insights см. в разделе Продукты, доступные по регионам.

Насколько защищены мои данные?

Application Insights — это служба Azure. Политики безопасности описаны в техническом документе Azure о безопасности, конфиденциальности и соответствии требованиям.

Данные хранятся на серверах Microsoft Azure. Ограничения для учетных записей на портале Azure описаны в документе Безопасность, конфиденциальность и соответствие нормативам Azure.

Доступ к данным сотрудников Майкрософт ограничен. Мы имеем доступ к вашим данным только с вашего разрешения и, если это необходимо для поддержки использования Application Insights.

Для улучшения Application Insights используются агрегированные данные во всех приложениях наших клиентов, такие как скорость данных и средний размер трассировок.

Могут ли данные телеметрии другого пользователя повлиять на мои данные Application Insights?

Кто-то может отправить дополнительные данные телеметрии в вашу учетную запись с помощью ключа инструментирования. Этот ключ можно найти в коде веб-страниц. С достаточным количеством дополнительных данных метрики не будут правильно представлять производительность и использование приложения.

Если вы совместно используете код в других проектах, не забудьте удалить ключ инструментирования.

Шифруются ли данные?

Все неактивные данные шифруются при перемещении между центрами обработки данных.

Данные шифруются при передаче из приложения на серверы Application Insights?

Да. Мы используем ПРОТОКОЛ HTTPS для отправки данных на портал практически из всех пакетов SDK, включая веб-серверы, устройства и веб-страницы HTTPS.

Создает ли пакет SDK временное локальное хранилище?

Да. Некоторые каналы телеметрии будут сохранять данные локально, если конечная точка не может быть достигнута. В следующих абзацах описаны платформы и каналы телеметрии.

• Каналы телеметрии, использующие локальное хранилище, создают временные файлы в каталогах TEMP или APPDATA, которые ограничены определенной учетной записью для запуска приложения. Такая ситуация может произойти, когда конечная точка была временно недоступна или если достигнут предел регулирования. После устранения этой проблемы канал телеметрии возобновит отправку всех новых и сохраненных данных.
• Эти сохраненные данные не шифруются локально. Если эта проблема вызывает озабоченность, просмотрите данные и ограничьте сбор частных данных. Дополнительные сведения см. в статье Экспорт и удаление частных данных.
• Если пользователю нужно настроить каталог с особыми требованиями безопасности, их можно установить для каждой отдельной платформы. Убедитесь, что процесс, выполняющий приложение, имеет доступ на запись в этот каталог. Кроме того, убедитесь, что этот каталог защищен, чтобы избежать чтения данных телеметрии непреднамеренных пользователей.

Java

Папка C:\Users\username\AppData\Local\Temp используется для сохранения данных. Это расположение не настраивается из каталога конфигурации, а разрешения на доступ к этой папке предоставляются только конкретному пользователю с необходимыми учетными данными. Дополнительные сведения см. в разделе Реализация.

.NET

По умолчанию ServerTelemetryChannel использует папку данных локального приложения текущего пользователя или временную %localAppData%\Microsoft\ApplicationInsights папку %TMP%. Дополнительные сведения см. в разделе Реализация.

С помощью файла конфигурации:

<TelemetryChannel Type="Microsoft.ApplicationInsights.WindowsServer.TelemetryChannel.ServerTelemetryChannel,   Microsoft.AI.ServerTelemetryChannel">
    <StorageFolder>D:\NewTestFolder</StorageFolder>
</TelemetryChannel>

С помощью кода:

• Удалите ServerTelemetryChannel из файла конфигурации.

• Добавьте этот фрагмент кода в ваш файл конфигурации:

  ServerTelemetryChannel channel = new ServerTelemetryChannel();
  channel.StorageFolder = @"D:\NewTestFolder";
  channel.Initialize(TelemetryConfiguration.Active);
  TelemetryConfiguration.Active.TelemetryChannel = channel;
  

NetCore

По умолчанию ServerTelemetryChannel использует папку данных локального приложения текущего пользователя или временную %localAppData%\Microsoft\ApplicationInsights папку %TMP%. Дополнительные сведения см. в разделе Реализация.

В среде Linux локальное хранилище отключено, если только не указана папка хранилища.

Следующий фрагмент кода демонстрирует как установить ServerTelemetryChannel.StorageFolder в метод ConfigureServices() вашего класса Startup.cs:

services.AddSingleton(typeof(ITelemetryChannel), new ServerTelemetryChannel () {StorageFolder = "/tmp/myfolder"});

Дополнительные сведения см. в статье Настраиваемая конфигурация AspNetCore.

Node.js

По умолчанию %TEMP%/appInsights-node{INSTRUMENTATION KEY} используется для сохранения данных. Разрешения на доступ к этой папке предоставляются только текущему пользователю и администраторам. Дополнительные сведения см. в описании реализации.

Префикс папки appInsights-node можно перевести в ручной режим, изменив значение времени выполнения статической переменной Sender.TEMPDIR_PREFIX в Sender.ts.

JavaScript (для браузера)

Хранилище сеансов HTML5 используется для хранения данных. Используются два отдельных буфера: AI_buffer и AI_sent_buffer. Данные телеметрии, которые пакетируются и ожидают отправки, хранятся в AI_buffer. Данные телеметрии, которые были только что отправлены, помещаются в AI_sent_buffer до тех пор, пока сервер приема данных не сообщит, что они были успешно получены.

Когда данные телеметрии успешно получены, они удаляются из всех буферов. При временных сбоях (например, пользователь теряет сетевое подключение) данные телеметрии остаются в AI_buffer системе до тех пор, пока не будет успешно получен, или сервер приема не ответит, что данные телеметрии недопустимы (например, неправильная схема или слишком старая).

Буферы телеметрии можно отключить, задав для enableSessionStorageBuffer значение false. При отключении хранилища сеанса, в качестве постоянного хранилища используется локальный массив. Поскольку пакет SDK для JavaScript работает на клиентском устройстве, пользователь имеет доступ к этому месту хранения через средства разработчика браузера.

Python для OpenCensus

По умолчанию пакет SDK OpenCensus для Python использует текущую папку %username%/.opencensus/.azure/пользователя . Разрешения на доступ к этой папке предоставляются только текущему пользователю и администраторам. Дополнительные сведения см. в описании реализации. Папка с сохраненными данными будет названа именем файла Python, который создал данные телеметрии.

Вы можете изменить расположение файла хранилища, передав storage_path параметр в конструкторе используемого экспортера.

AzureLogHandler(
  connection_string='InstrumentationKey=00000000-0000-0000-0000-000000000000',
  storage_path='<your-path-here>',
)

Как отправить данные в Application Insights с помощью TLS 1.2?

Чтобы обеспечить безопасность данных в пути к конечным точкам Application Insights, мы настоятельно рекомендуем клиентам включить для приложения протокол TLS как минимум версии 1.2. Более старые версии TLS/Secure Sockets Layer (SSL) оказались уязвимыми. Хотя в настоящее время они по-прежнему работают для обеспечения обратной совместимости, они не рекомендуются. Отрасль быстро переходит к отказу от поддержки этих старых протоколов.

Совет по стандартам безопасности PCI установил крайний срок (30 июня 2018 года) для отказа от старых версий протоколов TLS или SSL и перехода на более безопасные протоколы. Если приложение или клиенты не смогут обмениваться данными по крайней мере по протоколу TLS 1.2, вы не сможете отправлять данные в Application Insights. Подход к тестированию и проверке поддержки TLS приложения зависит от операционной системы или платформы, а также языка или платформы, используемого приложением.

Мы не рекомендуем явно настраивать приложение только для использования TLS 1.2, если это не требуется. Этот параметр может нарушить функции безопасности на уровне платформы, которые позволяют автоматически обнаруживать и использовать новые более безопасные протоколы по мере их доступности, например TLS 1.3. Рекомендуется выполнить тщательный аудит кода приложения, чтобы проверка для жесткого кодирования определенных версий TLS/SSL.

Руководство для конкретных платформ и языков

Проверка версии OpenSSL, используемой дистрибутивом Linux

Чтобы проверить, какая версия OpenSSL установлена, откройте терминал и выполните команду:

openssl version -a

Выполнение тестовой транзакции TLS 1.2 на платформе Linux

Чтобы выполнить предварительный тест, чтобы проверить, может ли система Linux взаимодействовать по протоколу TLS 1.2, откройте терминал и выполните следующую команду:

openssl s_client -connect bing.com:443 -tls1_2

Персональные данные, хранимые в Application Insights

Подробное обсуждение этого вопроса см. в статье Управление персональными данными в Log Analytics и Application Insights.

Могут ли мои пользователи отключить Application Insights?

Не напрямую. Мы не предоставляем параметр, с помощью которого пользователи могут отключить Application Insights.

Вы можете реализовать такую функцию в приложении. Все пакеты SDK содержат параметр API, который отключает сбор данных телеметрии.

Данные, передаваемые службой Application Insights

На разных платформах пакеты SDK различаются, при этом существует несколько компонентов, которые можно установить. Дополнительные сведения см. в статье Обзор Application Insights. Каждый компонент отправляет различные данные.

Классы данных, передаваемых в различных сценариях

Сведения о пакетах SDK для других платформ можно получить в соответствующей документации.

Классы собираемых данных

Вы можете отключить некоторые данные, изменив ApplicationInsights.config.

Можно ли изменить или обновить данные после сбора?

Нет. Данные доступны только для чтения и могут быть удалены только с помощью функции очистки. Дополнительные сведения см. в статье Руководство по персональным данным, хранящимся в Log Analytics и Application Insights.

Часто задаваемые вопросы

В этом разделы приводятся ответы на часто задаваемые вопросы.

Что происходит с телеметрией Application Insight, когда сервер или устройство теряет подключение к Azure?

Все наши пакеты SDK, включая веб-пакет SDK, включают надежный транспорт или надежный транспорт. Когда сервер или устройство теряет подключение к Azure, данные телеметрии хранятся локально в файловой системе (пакеты SDK для сервера) или в хранилище сеансов HTML5 (веб-пакет SDK). Пакет SDK периодически повторяет попытку отправки данных телеметрии, пока служба приема не сочтет ее устаревшей (48 часов для журналов и 30 минут для метрик). Устаревшие данные телеметрии удаляются. В некоторых случаях, например при заполнении локального хранилища, повторная попытка не выполняется.

Отправляются ли персональные данные в телеметрии?

Вы можете отправлять персональные данные, если ваш код отправляет такие данные. Это также может происходить, если переменные в трассировках стека содержат персональные данные. Ваша команда разработчиков должна произвести оценку рисков, чтобы обеспечить надлежащую обработку персональных данных. Узнайте больше о хранении данных и конфиденциальности.

После поиска атрибутов геолокации для всех октетов веб-адреса клиента всегда устанавливается значение 0.

Пакет SDK JavaScript для Application Insights по умолчанию не включает персональные данные в автозавершение. Однако некоторые персональные данные, используемые в приложении, могут быть выбраны пакетом SDK (например, полные имена window.title или идентификаторы учетных записей в параметрах запроса URL-адреса XHR). Для пользовательского маскирования персональных данных добавьте инициализатор телеметрии.