자동으로 토픽을 작성하기 위해 HDInsight에서 Apache Kafka를 구성하는 방법
기본적으로 HDInsight의 Apache Kafka는 자동 토픽 생성을 허용하지 않습니다. Apache Ambari를 사용하여 기존 클러스터에 자동 토픽 만들기를 사용할 수 있습니다. Azure Resource Manager 템플릿을 사용하여 새로운 Kafka 클러스터를 만들 때 자동 토픽 만들기도 사용할 수 있습니다.
Apache Ambari 웹 UI
Ambari 웹 UI를 통해 기존 클러스터에서 자동 토픽 생성을 사용할 수 있게 하려면 다음 단계를 사용합니다.
Azure Portal에서 Kafka 클러스터를 선택합니다.
클러스터 대시보드에서 Ambari 홈을 선택합니다.
메시지가 표시되면 클러스터에 대한 로그인(관리자) 자격 증명을 사용하여 인증을 받습니다. 대신
https://CLUSTERNAME.azurehdinsight.net/
에서 Amabri에 직접 연결할 수 있습니다 여기서CLUSTERNAME
(은)는 Kafka 클러스터의 이름입니다.페이지 왼쪽 목록에서 Kafka 서비스를 선택합니다.
페이지 중간의 Config를 선택합니다.
필터 필드에
auto.create
값을 입력합니다.이 설정은 속성 목록을 필터링하고
auto.create.topics.enable
설정을 표시합니다.auto.create.topics.enable
값을true
로 변경하고 저장을 선택합니다. 메모를 추가하고 저장을 다시 선택합니다.Kafka 서비스를 선택하고 다시 시작을 선택한 후 영향을 받는 모든 서비스 다시 시작을 선택합니다. 메시지가 나타나면 모두 다시 시작 확인을 선택합니다.
참고 항목
또한 Ambari REST API를 통해 Ambari 값을 설정할 수 있습니다. 이는 현재 구성을 검색하고 수정하기 위해 여러 REST 호출을 수행해야 하기 때문에 일반적으로 더 어렵습니다. 자세한 내용은 Apache Ambari REST API를 사용하여 HDInsight 클러스터 관리 문서를 참조하세요.
리소스 관리자 템플릿
Azure Resource Manager 템플릿을 사용하여 Kafka 클러스터를 만들 때 kafka-broker
에 추가하여 직접 auto.create.topics.enable
을 설정할 수 있습니다. 다음 JSON 코드 조각은 이 값을 true
로 설정하는 방법을 보여줍니다.
"clusterDefinition": {
"kind": "kafka",
"configurations": {
"gateway": {
"restAuthCredential.isEnabled": true,
"restAuthCredential.username": "[parameters('clusterLoginUserName')]",
"restAuthCredential.password": "[parameters('clusterLoginPassword')]"
},
"kafka-broker": {
"auto.create.topics.enable": "true"
}
}
}
다음 단계
이 문서에서는 HDInsight에서 Apache Kafka에 대한 자동 화제 생성을 활성화하는 방법을 배웠습니다. Kafka 작업에 대해 자세히 알아보려면 다음 링크를 참조하세요.