시나리오: Azure HDInsight에서 클러스터 노드의 디스크 공간이 부족합니다
이 문서에서는 Azure HDInsight 클러스터와 상호 작용할 때 문제에 대한 문제 해결 단계 및 가능한 해결 방법을 설명합니다.
문제
/usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.과 유사한 오류 메시지와 함께 작업이 실패할 수 있습니다.
또는 local-dirs usable space is below configured utilization percentage과 유사한 Apache Ambari 경고를 받을 수 있습니다.
원인
Apache Yarn 응용 프로그램 캐시가 사용 가능한 모든 디스크 공간을 사용했을 수 있습니다. Spark 응용 프로그램이 비효율적으로 실행될 가능성이 높습니다.
해결
Ambari UI를 사용하여 디스크 공간이 부족한 노드를 확인합니다.
모든 디스크 공간에 적용되는 문제가 있는 노드의 폴더를 확인합니다. 먼저 노드에 대한 SSH를 실행 한 다음
df를 실행하여 모든 마운트에 대한 디스크 사용량을 나열합니다. 일반적으로 이는 OSS에서 사용되는 임시 디스크인/mnt입니다. 폴더에 입력한 다음sudo du -hs를 입력하여 폴더 아래에 요약된 파일 크기를 표시할 수 있습니다./mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007과 유사한 폴더가 표시되는 경우, 이 출력은 애플리케이션이 여전히 실행되고 있음을 의미합니다. 이 출력은 RDD 지속성 또는 중간 순서 섞기 파일이 원인일 수 있습니다.이 문제를 완화하기 위해 응용 프로그램을 중지하여 응용 프로그램에서 사용하는 디스크 공간을 해제합니다.
작업자 노드에서 문제가 자주 발생하는 경우, 클러스터에서 YARN 로컬 캐시 설정을 조정할 수 있습니다.
Ambari UI를 열고 YARN --> 구성 --> 고급으로 이동합니다.
사용자 지정 yarn-site.xml 섹션에 다음 2개의 속성을 추가하고 저장합니다.yarn.nodemanager.localizer.cache.target-size-mb=2048 yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000위의 방법으로 문제가 해결되지 않으면 응용 프로그램을 최적화합니다.
다음 단계
문제가 표시되지 않거나 문제를 해결할 수 없는 경우 다음 채널 중 하나를 방문하여 추가 지원을 받으세요.
Azure 커뮤니티 지원을 통해 Azure 전문가로부터 답변을 얻습니다.
사용자 환경을 개선하기 위한 공식 Microsoft Azure 계정인 @AzureSupport와 연결합니다. Azure 커뮤니티를 적절한 리소스(답변, 지원 및 전문가)에 연결합니다.
도움이 더 필요한 경우 Azure Portal에서 지원 요청을 제출할 수 있습니다. 메뉴 모음에서 지원을 선택하거나 도움말 + 지원 허브를 엽니다. 자세한 내용은 Azure 지원 요청을 만드는 방법을 참조하세요. 구독 관리 및 청구 지원에 대한 액세스 권한은 Microsoft Azure 구독에 포함되어 있으며, Azure 지원 플랜 중 하나를 통해 기술 지원이 제공됩니다.