Autoscale AI 서비스 한도

  • 아티클

이 문서에서는 고객이 Azure AI 서비스 리소스에 대한 더 높은 속도 제한에 액세스할 수 있는 방법에 대한 지침을 제공합니다.

개요

각 Azure AI 서비스 리소스에는 지정된 시간 프레임 동안 고객이 백 엔드 서비스에 대해 수행할 수 있는 동시 호출 수를 제한하는 미리 구성된 정적 호출 속도(초당 트랜잭션)가 있습니다. 자동 크기 조정 기능은 거의 실시간 리소스 사용 현황 메트릭 및 백 엔드 서비스 용량 메트릭에 따라 고객의 리소스 속도 제한을 자동으로 늘리거나 줄입니다.

자동 크기 조정 기능 시작

이 기능은 기본적으로 모든 새 리소스에 대해 사용하지 않도록 설정됩니다. 다음 지침에 따라 사용하도록 설정합니다.

Azure Portal에서 리소스 페이지로 이동하고, 왼쪽 창에서 개요 탭을 선택합니다. 기본 정보 섹션 아래에서 자동 크기 조정 줄을 찾아 링크를 선택하여 자동 크기 조정 설정 창을 보고 기능을 사용하도록 설정합니다.

오른쪽에 자동 크기 조정 창이 있는 Azure Portal의 스크린샷

자주 묻는 질문

자동 크기 조정 기능을 사용하도록 설정하면 리소스가 다시 제한되지 않나요?

아니요, 여전히 속도 제한 초과에 대한 429 오류가 발생할 수 있습니다. 애플리케이션에서 급증을 트리거하고 리소스에서 429 응답을 보고하면 자동 크기 조정은 사용 가능한 용량 예측 섹션을 확인하여 현재 용량이 속도 제한 증가를 수용할 수 있는지 확인하고 5분 이내에 응답합니다.

사용 가능한 용량이 증가할 만큼 충분한 경우 자동 크기 조정은 리소스의 속도 제한 한도를 점진적으로 늘립니다. 리소스를 더 많은 429 제한이 발생하는 높은 속도로 계속 호출하는 경우 시간이 지남에 따라 TPS 속도가 계속 증가합니다. 이 작업은 한 시간 이상 계속되면 해당 리소스에 대해 현재 사용 가능한 최대 속도(최대 1,000TPS)에 도달합니다.

사용 가능한 용량이 증가하기에 충분하지 않은 경우 자동 크기 조정 기능은 5분을 기다린 후 다시 확인합니다.

더 높은 기본 속도 제한이 필요한 경우 어떻게 해야 하나요?

기본적으로 Azure AI 서비스 리소스의 기본 속도 제한은 10TPS입니다. 더 높은 기본 TPS가 필요한 경우 Azure Portal의 리소스 페이지에서 새 지원 요청 링크를 따라 티켓을 제출합니다. 비즈니스 근거를 요청에 포함해야 합니다.

이 기능을 사용하면 Azure 지출이 늘어나는가요?

Azure AI 서비스 가격 책정은 변경되지 않았으며 여기에서 액세스할 수 있습니다. Azure AI 서비스 API에 대한 성공적인 호출에 대해서만 요금이 청구됩니다. 그러나 통화 요금 한도가 높아지면 더 많은 트랜잭션이 완료되고 더 높은 요금이 청구될 수 있습니다.

잠재적인 오류 및 그 결과를 알고 있어야 합니다. 클라이언트 애플리케이션의 버그로 인해 서비스를 초당 수백 번 호출하게 되면 더 높은 요금이 청구될 수 있지만, 비용은 고정 속도 제한에 따라 훨씬 더 제한될 수 있습니다. 이런 종류의 오류는 사용자의 책임입니다. 자동 크기 조정 기능을 사용하기 전에 고정 속도 제한이 있는 리소스에 대해 개발 및 클라이언트 업데이트 테스트를 수행하는 것이 좋습니다.

예측할 수 없는 지출을 부담하는 대신 속도를 제한하려는 경우 이 기능을 사용하지 않도록 설정할 수 있나요?

예, Azure Portal 또는 CLI를 통해 자동 크기 조정 기능을 사용하지 않도록 설정하고 기본 호출 속도 제한 설정으로 돌아갈 수 있습니다. 이전에 리소스가 더 높은 기본 TPS로 승인된 경우 해당 비율로 돌아갑니다. 변경 내용이 적용되는 데 최대 5분이 걸릴 수 있습니다.

자동 크기 조정 기능을 지원하는 서비스는 무엇인가요?

자동 크기 조정 기능을 사용할 수 있는 서비스는 다음과 같습니다.

체험 구독을 사용하여 이 기능을 테스트할 수 있나요?

아니요, 무료 계층 구독에서는 자동 크기 조정 기능을 사용할 수 없습니다.

다음 단계