서버리스 컴퓨팅 제한 사항

  • 아티클

이 문서에서는 Notebook 및 작업에 대한 서버리스 컴퓨팅의 현재 제한 사항에 대해 설명합니다. 가장 중요한 고려 사항에 대한 개요부터 시작하여 포괄적인 제한 사항 참조 목록을 제공합니다.

제한 사항 개요

새 워크로드를 만들거나 서버를 사용하지 않는 컴퓨팅으로 워크로드를 마이그레이션하기 전에 먼저 다음 제한 사항을 고려합니다.

  • Python 및 SQL은 유일하게 지원되는 언어입니다.

  • Spark 연결 API만 지원됩니다. Spark RDD API는 지원되지 않습니다.

  • JAR 라이브러리는 지원되지 않습니다. 해결 방법은 서버리스 컴퓨팅에 대한 모범 사례를 참조 하세요.

  • 서버리스 컴퓨팅에는 모든 작업 영역 사용자에 대한 무제한 액세스 권한이 있습니다.

  • Notebook 태그는 지원되지 않습니다.

  • 스트리밍의 경우 증분 일괄 처리 논리만 사용할 수 있습니다. 기본 또는 시간 기반 트리거 간격은 지원되지 않습니다. 스트리밍 제한 사항을 참조 하세요.

제한 사항 참조 목록

다음 섹션에서는 서버리스 컴퓨팅의 현재 제한 사항을 나열합니다.

서버리스 컴퓨팅은 공유 컴퓨팅 아키텍처를 기반으로 합니다. 공유 컴퓨팅에서 상속된 가장 관련성이 큰 제한 사항은 아래와 함께 서버리스 관련 추가 제한 사항과 함께 나열됩니다. 공유 컴퓨팅 제한 사항의 전체 목록은 Unity 카탈로그에 대한 컴퓨팅 액세스 모드 제한을 참조 하세요.

일반적인 제한 사항

  • Scala 및 R은 지원되지 않습니다.

  • ANSI SQL은 SQL을 작성할 때 기본값입니다. 으로 설정 spark.sql.ansi.enabled 하여 ANSI 모드를 옵트아웃합니다 false.

  • Spark RDD API는 지원되지 않습니다.

  • Spark 컨텍스트(sc) spark.sparkContext및 sqlContext 지원되지 않습니다.

  • Databricks Container Services는 지원되지 않습니다.

  • 웹 터미널은 지원되지 않습니다.

  • 쿼리는 48시간 이상 실행할 수 없습니다.

  • Unity 카탈로그를 사용하여 외부 데이터 원본에 연결해야 합니다. 외부 위치를 사용하여 클라우드 스토리지에 액세스합니다.

  • 데이터 원본에 대한 지원은 AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT 및 XML로 제한됩니다.

  • UDF(사용자 정의 함수)는 인터넷에 액세스할 수 없습니다.

  • 개별 행은 최대 크기 128MB를 초과해서는 안 됩니다.

  • Spark UI를 사용할 수 없습니다. 대신 쿼리 프로필을 사용하여 Spark 쿼리에 대한 정보를 봅니다. 쿼리 프로필을 참조하세요.

  • Databricks 엔드포인트를 사용하는 Python 클라이언트는 "CERTIFICATE_VERIFY_FAILED"과 같은 SSL 확인 오류가 발생할 수 있습니다. 이러한 오류를 해결하려면 클라이언트가 에 있는 CA 파일을 신뢰하도록 구성합니다 /etc/ssl/certs/ca-certificates.crt. 예를 들어 서버리스 Notebook 또는 작업의 시작 부분에서 다음 명령을 실행합니다. import os; os.environ['SSL_CERT_FILE'] = '/etc/ssl/certs/ca-certificates.crt'

  • 작업 영역 간 API 요청은 지원되지 않습니다.

스트리밍 제한 사항

  • 기본 또는 시간 기반 트리거 간격은 지원되지 않습니다. Trigger.AvailableNow만 지원됩니다. 구조적 스트리밍 트리거 간격 구성을 참조 하세요.
  • 공유 액세스 모드의 스트리밍에 대한 모든 제한 사항도 적용됩니다. Unity 카탈로그 공유 액세스 모드에 대한 스트리밍 제한 사항 및 요구 사항을 참조하세요.

기계 학습 제한 사항

Notebook 제한 사항

  • Notebook은 구성할 수 없는 8GB 메모리에 액세스할 수 있습니다.
  • Notebook 범위 라이브러리는 개발 세션 간에 캐시되지 않습니다.
  • 사용자 간에 전자 필기장을 공유할 때 TEMP 테이블 및 뷰 공유는 지원되지 않습니다.
  • Notebook의 데이터 프레임에 대한 자동 완성 및 변수 탐색 기는 지원되지 않습니다.

워크플로 제한 사항

  • 작업에 대한 서버리스 컴퓨팅의 드라이버 크기는 현재 고정되어 있으며 변경할 수 없습니다.
  • 작업 로그는 작업 실행당 격리되지 않습니다. 로그에는 여러 작업의 출력이 포함됩니다.
  • Notebook 작업에는 작업 라이브러리가 지원되지 않습니다. 대신 Notebook 범위 라이브러리를 사용합니다. Notebook 범위의 Python 라이브러리를 참조하세요.

컴퓨팅 관련 제한 사항

다음 컴퓨팅 관련 기능은 지원되지 않습니다.

  • 컴퓨팅 정책
  • 컴퓨팅 범위 init 스크립트
  • 사용자 지정 데이터 원본 및 Spark 확장을 비롯한 컴퓨팅 범위 라이브러리. 대신 Notebook 범위 라이브러리를 사용합니다.
  • 인스턴스 프로필을 포함한 컴퓨팅 수준 데이터 액세스 구성 따라서 클라우드 경로 또는 포함된 자격 증명이 없는 DBFS 탑재를 사용하여 HMS를 통해 테이블 및 파일에 액세스하는 것은 작동하지 않습니다.
  • 인스턴스 풀
  • 컴퓨팅 이벤트 로그
  • Apache Spark 컴퓨팅 구성 및 환경 변수