Прием потоковой передачи данных и изменения схемы
Область применения: ✅Microsoft Fabric✅Azure Data Explorer
Узлы кластера кэшируют схему баз данных, которые получают данные через прием потоковой передачи, повышая производительность и использование ресурсов. Однако при изменении схемы это может привести к задержкам в обновлениях.
Узлы Eventhouse кэшируют схему баз данных, которые получают данные через прием потоковой передачи, повышение производительности и использования ресурсов. Однако при изменении схемы это может привести к задержкам в обновлениях.
Если изменения схемы и прием потоковой передачи не синхронизированы, вы можете столкнуться с ошибками, такими как ошибки, связанные с схемой, или неполные и искаженные данные в таблице.
В этой статье описаны типичные изменения схемы и приведены рекомендации по устранению проблем с приемом потоковой передачи во время этих изменений.
Изменения схемы
В следующем списке рассматриваются ключевые примеры изменений схемы:
- Создание таблиц
- Удаление таблиц
- Добавление столбца в таблицу
- Удаление столбца из таблицы
- Повторная привязка столбцов таблицы
- Переименование столбцов таблицы
- Добавление предварительно созданных сопоставлений приема
- Удаление предварительно созданных сопоставлений приема
- Добавление, удаление или изменение политик
Согласование изменений схемы с приемом потоковой передачи
Кэш схемы хранится во время подключения к базе данных. При наличии изменений схемы система автоматически обновляет кэш, но это обновление может занять несколько минут. Если вы полагаетесь на автоматическое обновление, вы можете столкнуться с несогласованными сбоями приема.
Вы можете уменьшить влияние задержки распространения, явно очищая кэш схемы на узлах. Если поток приема потоковой передачи и изменения схемы координируются, можно полностью исключить сбои и связанные с ними искажения данных.
Для координации потока приема потоковой передачи с изменениями схемы:
- Приостановка приема потоковой передачи.
- Дождитесь завершения всех невыполненных запросов приема потоковой передачи.
- Измените схему.
- Выполните одну или несколько команд схемы приема потоковой передачи кэша .
- Повторяйте до успешного выполнения и всех строк в выходных данных команды указывают на успешность
- Возобновление приема потоковой передачи.
Примечание.
Если вы создали приложение для пользовательского приема, рекомендуется управлять сбоями, связанными с схемой, путем повторного выполнения заданной длительности или перенаправления данных из неудачных запросов с помощью методов приема в очереди.