Краткое руководство. Прием данных одним щелчком (предварительная версия)

Прием данных одним щелчком упрощает этот процесс, делая его быстрым и интуитивно понятным. С помощью приема данных одним щелчком вы можете легко принимать данные, создавать таблицы базы данных и сопоставлять структуры. Вы можете выбирать данные из разных источников в разных форматах и принимать их однократно или в рамках непрерывного процесса.

Преимущества приема данных одним щелчком:

• интуитивно понятный процесс, управляемый мастером приема;
• прием данных всего за несколько минут;
• прием данных из разных источников (локальный файл, большие двоичные объекты и контейнеры, содержащие до 10 тыс. больших двоичных объектов);
• прием данных в разных форматах;
• прием данных в новые или существующие таблицы;
• вам предлагаются сопоставления таблиц и схемы, которые можно легко изменить;

Возможность приема данных одним щелчком особенно полезна при первом приеме данных или в случае, когда схема данных вам незнакома.

Предварительные требования

• Подписка Azure. Создайте бесплатную учетную запись Azure.

• Создать пул Data Explorer с помощью Synapse Studio или портала Azure

• Создать базу данных Data Explorer.

  1. В Synapse Studio в области слева выберите элемент Данные.

  2. Выберите + (Добавить новый ресурс) >Пул Data Explorer, а затем используйте следующие сведения:

     Параметр	Рекомендуемое значение	Описание
     Имя пула	contosodataexplorer	Имя пула Data Explorer, который вы будете использовать.
     Имя	TestDatabase	Имя базы данных должно быть уникальным в пределах кластера.
     Срок хранения по умолчанию	365.	Интервал времени (в днях), в течение которого данные будут гарантированно доступны для запросов. Интервал времени измеряется с момента приема данных.
     Период кэширования по умолчанию	31	Интервал времени (в днях), в течение которого необходимо хранить часто запрашиваемые данные в хранилище SSD или ОЗУ, а не в долговременном хранилище.

  3. Чтобы создать базу данных, выберите Создать. Создание обычно занимает меньше минуты.

• Создание таблицы

  1. В Synapse Studio в области слева выберите элемент Разработка.
  2. В разделе Скрипты KQL выберите + (Добавить новый ресурс) >Скрипт KQL. В области справа можно присвоить имя вашему сценарию.
  3. В меню Подключение к выберите contosodataexplorer.
  4. В меню Использование базы данных выберите TestDatabase.
  5. Вставьте следующую команду и выберите Выполнить, чтобы создать таблицу.

  .create table StormEvents (StartTime: datetime, EndTime: datetime, EpisodeId: int, EventId: int, State: string, EventType: string, InjuriesDirect: int, InjuriesIndirect: int, DeathsDirect: int, DeathsIndirect: int, DamageProperty: int, DamageCrops: int, Source: string, BeginLocation: string, EndLocation: string, BeginLat: real, BeginLon: real, EndLat: real, EndLon: real, EpisodeNarrative: string, EventNarrative: string, StormSummary: dynamic)
  

  Совет

  Убедитесь, что таблица была успешно создана. В области слева выберите Данные, откройте дополнительное меню contosodataexplorer и выберите Обновить. В разделе contosodataexplorer разверните элемент Таблицы и убедитесь, что в списке присутствует таблица StormEvents.

Доступ к мастеру приема данных одним щелчком

Мастер приема данных одним щелчком помогает выполнить прием данных одним щелчком.

• Чтобы получить доступ к мастеру из Azure Synapse, выполните приведенные ниже действия.

  1. В Synapse Studio в области слева выберите элемент Данные.

  2. В разделе Data Explorer Databases (Базы данных Data Explorer) щелкните правой кнопкой мыши соответствующую базу данных, а затем выберите Open in Azure Data Explorer (Открыть в Azure Data Explorer).

     

  3. Щелкните правой кнопкой мыши соответствующий пул, а затем выберите Ingest new data (Принять новые данные).

• Чтобы получить доступ к мастеру с портала Azure, выполните приведенные ниже действия.

  1. На портале Azure найдите и выберите соответствующую рабочую область Synapse.

  2. В разделе Data Explorer pools (Пулы Data Explorer) выберите соответствующий пул.

  3. На начальном экране Welcome to Data Explorer pool (Добро пожаловать в пул Data Explorer) выберите Ingest new data (Принять новые данные).

     

• Чтобы получить доступ к мастеру из пользовательского веб-интерфейса Azure Data Explorer, выполните приведенные ниже действия.

  1. Прежде чем начать, выполните приведенные ниже действия, чтобы получить конечные точки для приема запросов и данных.

     1. В Synapse Studio в области навигации слева выберите Управление>Пулы Data Explorer.

     2. Выберите пул Data Explorer, сведения о котором нужно просмотреть.

        

     3. Запишите конечные точки запроса и приема данных. Используйте конечную точку запроса в качестве кластера при настройке подключений к пулу Data Explorer. При настройке пакетов SDK для приема данных используйте конечную точку приема данных.

        

  2. В пользовательском веб-интерфейсе Azure Data Explorer добавьте подключение к конечной точке запроса.
  3. В меню слева выберите элемент Запрос, щелкните правой кнопкой мыши имя базы данных или таблицы и выберите элемент Ingest new data (Прием новых данных).

Мастер приема данных одним щелчком

1. На вкладке Назначение выберите базу данных и таблицу для приема данных.

   

2. На вкладке Источник:

   1. Выберите Концентратор событий в качестве типа источника для приема данных.

      

   2. Укажите сведения о подключении к данным концентратора событий, используя приведенную ниже информацию.

      Параметр	Пример значения	Описание
      Имя подключения к данным	ContosoDataConnection	Имя подключения к данным концентратора событий
      Подписка	Contoso_Synapse	Подписка, в которой находится концентратор событий.
      Пространство имен концентратора событий	contosoeventhubnamespace	Пространство имен концентратора событий.
      Группа потребителей	contosoconsumergroup	Имя группы потребителей концентратора событий.

      

   3. Выберите Далее.

Сопоставление схем

Служба автоматически создает схему и свойства приема, которые можно изменить. Вы можете использовать существующую структуру сопоставления или создать новую в зависимости от того, принимаете ли вы данные в новую или существующую таблицу.

На вкладке Схема нужно сделать следующее:

1. подтвердить автоматически выбранный тип сжатия;
2. выбрать формат данных. Разные форматы поддерживают возможность дальнейших изменений.
3. Измените сопоставление в окне редактора.

Форматы файлов

Прием данных одним щелчком — это прием данных из источника данных во всех форматах, поддерживаемых Azure Data Explorer для приема.

Окно редактора

В окне редактора на вкладке Схема можно нужным образом настроить столбцы таблицы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

• Тип таблицы — новая или существующая.
• Тип сопоставления — новое или существующее.

Преобразования сопоставлений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставлений, создайте или обновите столбец в окне редактора.

Преобразования сопоставлений можно выполнять для столбца типа string или datetime. При этом тип данных источника — int или long. Поддерживаются следующие преобразования сопоставлений:

• DateTimeFromUnixSeconds;
• DateTimeFromUnixMilliseconds;
• DateTimeFromUnixMicroseconds;
• DateTimeFromUnixNanoseconds.

Прием данных

После завершения сопоставления схемы и операций со столбцами мастер приема начнет прием данных.

• Прием данных из источников, не являющихся контейнерами, происходит мгновенно.

• Если источник данных является контейнером:

  • Политика пакетной обработки Azure Data Explorer выполнит агрегирование данных.
  • После приема вы сможете скачать отчет о приеме и просмотреть данные о производительности каждого принятого большого двоичного объекта.

Первоначальное изучение данных

После приема мастер предоставляет возможность использовать быстрые команды для первоначального изучения данных.

Дальнейшие действия

• Анализ с помощью Data Explorer
• Мониторинг пулов Data Explorer