Go를 사용하여 업로드 및 다운로드에 대한 성능 튜닝

  • 아티클

애플리케이션이 Go용 Azure Storage 클라이언트 라이브러리를 사용하여 데이터를 전송하는 경우 속도, 메모리 사용량, 요청의 성공 또는 실패에도 영향을 줄 수 있는 몇 가지 요인이 있습니다. 데이터 전송 성능과 안정성을 극대화하려면 앱이 실행되는 환경에 따라 클라이언트 라이브러리 전송 옵션을 사전에 구성하는 것이 중요합니다.

이 문서에서는 데이터 전송 옵션을 튜닝하기 위한 몇 가지 고려 사항을 안내합니다. 제대로 조정되면 클라이언트 라이브러리는 여러 요청에 데이터를 효율적으로 분산할 수 있으므로 작업 속도, 메모리 사용량, 네트워크 안정성이 향상될 수 있습니다.

업로드에 대한 성능 튜닝

데이터 전송 옵션을 올바르게 튜닝하는 것은 안정적인 업로드 성능의 핵심입니다. 스토리지 전송은 이러한 속성의 값에 따라 여러 하위 전송으로 분할됩니다. 지원되는 최대 전송 크기는 작업 및 서비스 버전에 따라 다르므로 설명서를 확인하여 한도를 결정해야 합니다. Blob 스토리지 전송 크기 제한에 대한 자세한 내용은 Blob 스토리지의 스케일링 대상을 참조하세요.

업로드를 위한 전송 옵션 설정

총 Blob 크기가 256MB보다 작거나 같으면 데이터는 단일 Put Blob 요청으로 업로드됩니다. Blob 크기가 256MB보다 크거나 Blob 크기를 알 수 없는 경우 Blob은 일련의 Put Block 호출과 Put Block List를 사용하여 청크로 업로드됩니다.

앱의 요구에 따라 다음 속성을 구성하고 튜닝할 수 있습니다.

  • BlockSize: 블록 Blob을 청크로 업로드할 때 전송의 최대 길이(바이트)입니다. 기본값은 4MB입니다.
  • Concurrency: 병렬로 사용할 수 있는 최대 하위 전송자 수입니다. 기본값은 5입니다.

이러한 구성 옵션은 다음 방법을 사용하여 업로드할 때 사용할 수 있습니다.

Upload 메서드는 이러한 옵션을 지원하지 않으며 단일 요청으로 데이터를 업로드합니다.

참고 항목

클라이언트 라이브러리는 제공되지 않은 경우 각 데이터 전송 옵션에 대해 기본값을 사용합니다. 이러한 기본값은 일반적으로 데이터 센터 환경에서 수행되지만 일반 소비자 환경에는 적합하지 않을 수 있습니다. 데이터 전송이 제대로 튜닝되지 않으면 작업이 지나치게 오래 걸리고 요청 시간 제한도 발생할 수 있습니다. 이러한 값을 테스트하고 애플리케이션 및 환경 요구 사항에 따라 튜닝하는 것이 가장 좋습니다.

BlockSize

BlockSize인수는 블록 Blob을 청크로 업로드할 때 최대 전송 길이(바이트)입니다.

데이터를 효율적으로 이동하기 위해 클라이언트 라이브러리는 모든 전송에 대한 BlockSize 값에 항상 도달하지 않을 수 있습니다. 작업에 따라 전송 크기에 지원되는 최대 값이 다를 수 있습니다. Blob 스토리지 전송 크기 제한에 대한 자세한 내용은 Blob 스토리지의 스케일링 대상의 차트를 참조하세요.

코드 예

다음 코드 예제에서는 UploadFileOptions 인스턴스에 대한 값을 정의하고 이러한 구성 옵션을 UploadFile에 매개 변수로 전달하는 방법을 보여 줍니다.

이 샘플에 제공된 값은 권장 사항이 아닙니다. 이러한 값을 올바르게 조정하려면 앱의 특정 요구 사항을 고려해야 합니다.

func uploadBlobWithTransferOptions(client *azblob.Client, containerName string, blobName string) {
    // Open the file for reading
    file, err := os.OpenFile("path/to/sample/file", os.O_RDONLY, 0)
    handleError(err)

    defer file.Close()

    // Upload the data to a block blob with transfer options
    _, err = client.UploadFile(context.TODO(), containerName, blobName, file,
        &azblob.UploadFileOptions{
            BlockSize:   int64(8 * 1024 * 1024), // 8 MiB
            Concurrency: uint16(2),
        })
    handleError(err)
}

이 예제에서는 필드를 사용하여 Concurrency 병렬 전송 작업자 수를 2로 설정합니다. 이 구성은 최대 2개의 연결을 동시에 열어 업로드가 병렬로 수행되도록 합니다. Blob 크기가 256MB보다 큰 경우 Blob은 필드에 설정된 Block_Size 대로 최대 청크 크기가 8MiB인 청크로 업로드됩니다.

업로드 성능 고려 사항

업로드하는 동안 스토리지 클라이언트 라이브러리는 클라이언트 구성 중에 정의된 구성 옵션에 따라 지정된 업로드 스트림을 여러 하위 업로드로 분할합니다. 각 하위 업로드에는 REST 작업에 대한 자체 전용 호출이 있습니다. Storage 클라이언트 라이브러리는 전송 옵션에 따라 이러한 REST 작업을 병렬로 관리하여 전체 업로드를 완료합니다.

클라이언트 라이브러리가 다음 섹션에서 버퍼링을 처리하는 방법을 알아볼 수 있습니다.

참고 항목

블록 Blob의 최대 블록 수는 50,000개입니다. 블록 Blob의 최대 크기는 Block_Size의 50,000배입니다.

업로드 중 버퍼링

Storage REST 계층은 중단한 REST 업로드 작업을 선택하지 않습니다. 개별 전송은 완료되거나 손실됩니다. 스트림 업로드에 대한 복원력을 보장하기 위해 스토리지 클라이언트 라이브러리는 업로드를 시작하기 전에 각 개별 REST 호출에 대한 데이터를 버퍼링합니다. 네트워크 속도 제한 외에도 이 버퍼링 동작은 순서대로 업로드하는 경우에도 더 작은 BlockSize 값을 고려해야 하는 이유입니다. BlockSize 값을 줄이면 각 요청 및 실패한 요청의 각 재시도에서 버퍼링되는 최대 데이터 양이 줄어듭니다. 특정 크기의 데이터 전송 동안 시간 제한이 자주 발생하는 경우 BlockSize 값을 줄이면 버퍼링 시간이 줄어들고 성능이 향상될 수 있습니다.

다운로드 성능 튜닝

데이터 전송 옵션을 올바르게 튜닝하는 것은 안정적인 다운로드 성능의 핵심입니다. 스토리지 전송은 이러한 속성의 값에 따라 여러 하위 전송으로 분할됩니다.

다운로드를 위한 전송 옵션 설정

앱의 요구 사항에 따라 다음 속성을 조정할 수 있습니다.

  • BlockSize: Blob을 다운로드하는 데 사용되는 최대 청크 크기입니다. 기본값은 4MB입니다.
  • Concurrency: 병렬로 사용할 수 있는 최대 하위 전송자 수입니다. 기본값은 5입니다.

이러한 옵션은 다음 방법을 사용하여 다운로드할 때 사용할 수 있습니다.

DownloadStream 메서드는 이러한 옵션을 지원하지 않으며 단일 요청으로 데이터를 다운로드합니다.

코드 예

다음 코드 예제에서는 DownloadFileOptions 인스턴스에 대한 값을 정의하고 이러한 구성 옵션을 DownloadFile에 매개 변수로 전달하는 방법을 보여 줍니다.

이 샘플에 제공된 값은 권장 사항이 아닙니다. 이러한 값을 올바르게 조정하려면 앱의 특정 요구 사항을 고려해야 합니다.

func downloadBlobTransferOptions(client *azblob.Client, containerName string, blobName string) {
    // Create or open a local file where we can download the blob
	file, err := os.Create("path/to/sample/file")
	handleError(err)

	// Download the blob to the local file
	_, err = client.DownloadFile(context.TODO(), containerName, blobName, file,
		&azblob.DownloadFileOptions{
			BlockSize:   int64(4 * 1024 * 1024), // 4 MiB
			Concurrency: uint16(2),
		})
	handleError(err)
}

다운로드 성능 고려 사항

업로드하는 동안 스토리지 클라이언트 라이브러리는 클라이언트 구성 중에 정의된 구성 옵션에 따라 지정된 다운로드 요청을 여러 하위 다운로드로 분할합니다. 각 하위 다운로드에는 REST 작업에 대한 자체 전용 호출이 있습니다. 전송 옵션에 따라 클라이언트 라이브러리는 이러한 REST 작업을 병렬로 관리하여 전체 다운로드를 완료합니다.

관련 콘텐츠

  • 이 문서는 Go용 Blob Storage 개발자 가이드의 일부입니다. 앱 빌드에서 개발자 가이드 문서의 전체 목록을 참조하세요.
  • Azure Storage 작업 성능에 영향을 줄 수 있는 요인에 대한 자세한 내용은 Blob 스토리지의 대기 시간을 참조하세요.
  • Blob 스토리지를 사용하여 앱의 성능을 최적화하기 위한 디자인 고려 사항 목록을 보려면 Blob 스토리지의 성능 및 확장성 검사 목록을 참조하세요.