Delta Live Tables 릴리스 2022.49

  • 아티클

2022년 12월 6일~9일

이러한 기능 및 개선 사항은 Delta Live Tables의 2022.49 릴리스와 함께 릴리스되었습니다.

이 릴리스에서 사용하는 Databricks 런타임 버전

채널:

  • 현재(기본값): Databricks Runtime 11.0.11
  • 미리 보기: Databricks Runtime 11.3.2

이 릴리스의 새로운 기능 및 개선 사항

  • 이제 Databricks Git 폴더에서 Python 모듈로 파일을 가져올 수 있습니다. sys.path.append()를 사용하여 현재 리포지토리 경로 또는 지정된 리포지토리 경로에서 파일을 가져올 수 있습니다.

  • 향상된 자동 스케일링이 이제 일반 공급됩니다. 이 릴리스에서 향상된 자동 스케일링은 UI에서 만든 새 파이프라인의 기본 자동 스케일링 모드입니다. Databricks는 기존 클러스터 자동 스케일링을 사용하여 향상된 자동 스케일링을 사용하는 파이프라인을 업데이트하는 것을 권장합니다.

  • 연속 모드로 실행되는 파이프라인의 경우 다시 시도 가능한 오류가 발생할 때 기본 다시 시도 제한은 이제 2회입니다. 원래 시도를 포함하여 모든 흐름에는 치명적이지 않은 오류가 발생할 때 세 번의 실행 시도(지수 백오프 포함)가 있습니다. 이전에는 기본값이 일괄 처리 흐름에 대해 바인딩되지 않은 재시도 및 스트리밍 흐름에 대해 다섯 번의 재시도였습니다.

  • 이제 구성 매개 변수 pipelines.maxFlowRetryAttempts는 일괄 처리 및 스트리밍 흐름, 연속 또는 트리거된 파이프라인을 포함한 모든 흐름에 대한 재시도 제한에 적용됩니다. 이전에는 pipelines.maxFlowRetryAttempts가 트리거된 모드의 모든 재시도 제한에 적용되었지만 연속 모드의 일괄 처리 흐름만 적용되었습니다. 연속 모드의 스트리밍 파이프라인에 대한 재시도는 pipelines.numStreamRetryAttempts에 의해 제어되었습니다. 기존 파이프라인의 경우 pipelines.numStreamRetryAttempts는 연속 모드의 스트리밍 흐름에 대해 계속 지원됩니다. pipelines.numStreamRetryAttempts 및 pipelines.maxFlowRetryAttempts가 모두 설정된 경우 pipelines.numStreamRetryAttempts는 연속 모드의 스트리밍 흐름에 우선 순위를 둡니다. 그렇지 않으면 pipelines.maxFlowRetryAttempts에 구성된 값이 사용됩니다. Delta Live Tables 속성 참조를 참조하세요.

이 릴리스의 버그 수정

  • 이 릴리스에서는 Photon 사용 클러스터에 대한 시간당 잘못된 DBU 계산을 표시하는 버그를 수정합니다.

  • 이 릴리스에서는 Unity 카탈로그 사용 작업 영역에서 Delta Live Tables 유지 관리 작업이 실패하는 버그를 수정합니다.

  • 이 릴리스에서는 자동 로더를 사용하여 데이터를 수집하는 연속 파이프라인을 중지하거나 다시 시작하면 파이프라인이 몇 분 동안 중단되는 버그를 수정합니다.