문서 필드 추출 - 사용자 지정 생성형 AI 모델

  • 아티클

Important

  • 문서 인텔리전스 공개 미리 보기 릴리스에서는 현재 개발 중인 기능에 대한 조기 액세스를 제공합니다. 기능, 방식 및 프로세스는 GA(일반 공급) 전에 사용자 피드백에 따라 변경될 수 있습니다.
  • 문서 인텔리전스 클라이언트 라이브러리의 공개 미리 보기 버전은 기본적으로 REST API 버전 2024-07-31-preview로 설정되며 현재 다음과 같은 Azure 지역에서만 사용할 수 있습니다.
    • 미국 동부
    • 미국 중북부

문서 필드 추출(사용자 지정 생성형 AI) 모델은 생성형 AI를 활용하여 다양한 시각적 템플릿의 문서에서 사용자 지정된 필드를 추출합니다. 사용자 지정 생성형 AI 모델은 LLM(대규모 언어 모델)을 통한 문서 이해 기능과 사용자 지정 추출 기능의 엄격함과 스키마를 결합하여 몇 분 만에 높은 정확도의 모델을 만듭니다. 이 생성 모델 유형을 사용하면 단일 문서로 시작하여 최소한의 레이블 지정으로 스키마 추가 및 모델 만들기 프로세스를 진행할 수 있습니다. 사용자 지정 생성 모델을 사용하면 개발자와 기업이 모든 유형의 문서에 대해 보다 높은 정확도와 신속함으로 데이터 추출 워크플로를 쉽게 자동화할 수 있습니다. 사용자 지정 생성형 AI 모델은 레이블이 지정된 샘플 없이 문서에서 간단한 필드를 추출하는 데 탁월합니다. 그러나 레이블이 지정된 몇 가지 샘플을 제공하면 복잡한 필드 및 테이블과 같은 사용자 정의 필드의 추출 정확도가 향상됩니다. REST API 또는 클라이언트 라이브러리를 사용하여 모델 빌드를 통해 분석할 문서를 제출하고 사용자 지정 생성형 프로세스를 사용할 수 있습니다.

사용자 지정 생성형 AI 모델 이점

  • 자동 레이블 지정 LLM(대규모 언어 모델)을 활용하고 다양한 문서 종류 및 시각적 템플릿의 사용자 지정된 필드를 추출합니다.

  • 향상된 일반화 구조화되지 않은 데이터와 다양한 문서 템플릿에서 더 높은 정확도로 데이터를 추출합니다.

  • 근거 있는 결과 문서에서 추출된 데이터를 지역화합니다. 사용자 지정 생성 모델은 해당하는 경우 결과를 기반으로 하여 콘텐츠에서 응답이 생성되고 인적 검토 워크플로를 사용하도록 설정합니다.

  • 신뢰도 점수. 추출된 각 필드의 신뢰도 점수를 사용하여 고품질의 추출된 데이터를 필터링하고, 문서 처리를 최대화하고, 인적 검토 비용을 최소화할 수 있습니다.

일반 사용 예

  • 계약 수명 주기 관리. 생성 모델을 빌드하고 다양한 계약 유형에서 필드, 조항, 의무를 추출합니다.

  • 대출 및 모기지 신청. 대출 및 모기지 신청 프로세스를 자동화하면 은행, 대출 기관, 정부 기관이 대출 및 모기지 신청을 신속하게 처리할 수 있습니다.

  • 금융 서비스 사용자 지정 생성형 AI 모델을 사용하여 재무 보고서 및 자산 관리 보고서와 같은 복잡한 문서를 분석합니다.

  • 경비 관리 다양한 소매업체와 기업의 영수증과 송장을 분석하여 비용을 확인해야 합니다. 사용자 지정 생성형 AI 모델은 다양한 템플릿을 사용하여 각기 다른 형식 및 문서에서 비용을 추출할 수 있습니다.

학습 데이터 세트 관리

다른 사용자 지정 모델을 사용하면 데이터 세트를 유지 관리하고, 새 샘플을 추가하고, 정확도 향상을 위해 모델을 학습시켜야 합니다. 사용자 지정 생성형 AI 모델을 사용하면 레이블이 지정된 문서가 모델의 일부로 변환, 암호화, 저장됩니다. 이 프로세스를 통해 모델은 레이블이 지정된 샘플을 지속적으로 사용하여 추출 품질을 향상시킬 수 있습니다. 다른 사용자 지정 모델과 마찬가지로 모델은 Microsoft Storage에 저장되며 언제든지 삭제할 수 있습니다.

문서 인텔리전스 서비스는 데이터 세트를 관리하지만, 문서는 암호화된 채로 저장되며 특정 모델의 모델 결과를 개선하는 데에만 사용됩니다. 서비스 관리형 키를 사용하여 데이터를 암호화하거나 또는 선택적으로 고객 관리형 키를 사용하여 암호화할 수 있습니다. 데이터 세트의 관리 및 수명 주기 변경은 사용자 지정 생성 모델에만 적용됩니다.

모델 기능

필드 추출 사용자 지정 생성 모델은 현재 2024-07-31-preview 및 다음 필드가 포함된 동적 테이블을 지원합니다.

양식 필드 선택 표시 표 형식 필드 서명 지역 레이블 지정 겹치는 필드
지원됨 지원됨 지원됨 지원되지 않음 지원되지 않음 지원 여부

빌드 모드

이 build custom model 작업은 사용자 지정 템플릿, 인공신경망, 생성 모델을 지원합니다. 사용자 지정 모델 빌드 모드를 참조하세요. 모델 형식의 차이점은 다음과 같습니다.

  • 사용자 지정 생성형 AI 모델은 다양한 형식, 다양한 템플릿, 구조화되지 않은 데이터를 사용하여 복잡한 문서를 처리할 수 있습니다.

  • 사용자 지정 인공신경망 모델은 복잡한 문서 처리를 지원하며, 구조화된 문서와 반구조화된 문서의 페이지에서 더 많은 변동을 지원합니다.

  • 사용자 지정 템플릿 모델은 레이블이 지정된 데이터를 추출하기 위해 설문지 또는 애플리케이션과 같은 일관된 시각적 템플릿을 사용합니다.

언어 및 로캘 지원

필드 추출 사용자 지정 생성 모델 2024-07-31-preview 버전은 ko-kr 로캘을 지원합니다. 언어 지원에 대한 자세한 내용은 언어 지원 - 사용자 지정 모델을 참조하세요.

지역 지원

필드 추출 사용자 지정 생성 모델 2024-07-31-preview 버전은 '미국 동부' 및 North Central US에서만 사용할 수 있습니다.  

입력 요구 사항

  • 지원 파일 형식:

    모델 PDF 이미지:
    JPEG/JPG, PNG, BMP, TIFF, HEIF     		Microsoft Office:
    Word(DOCX), Excel(XLSX), PowerPoint(PPTX), HTML
    읽기 ✔ ✔ ✔
    레이아웃 ✔ ✔ ✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
    일반 문서 ✔ ✔
    사전 제작 ✔ ✔
    사용자 지정 추출 ✔ ✔
    사용자 지정 분류 ✔ ✔ ✔ (2024-07-31-preview, 2024-02-29-preview)

  • 최상의 결과를 위해 문서당 하나의 명확한 사진 또는 고품질 스캔을 제공합니다.

  • PDF 및 TIFF의 경우 최대 2,000페이지를 처리할 수 있습니다(무료 계층 구독의 경우 처음 2페이지만 처리됨).

  • 문서를 분석하기 위한 파일 크기는 유료(S0) 계층의 경우 500MB이고 무료(F0) 계층의 경우 4MB입니다.

  • 이미지 크기는 50픽셀 x 50픽셀에서 10,000픽셀 x 10,000픽셀 사이여야 합니다.

  • PDF가 암호로 잠긴 경우에는 제출하기 전에 잠금을 해제해야 합니다.

  • 추출할 텍스트의 최소 높이는 1024 x 768 픽셀 이미지의 경우 12픽셀입니다. 이 차원은 150DPI(인치당 도트 수)에서 약 8점 텍스트에 해당합니다.

  • 사용자 지정 모델 학습의 경우 학습 데이터의 최대 페이지 수는 사용자 지정 템플릿 모델의 경우 500개, 사용자 지정 인공신경망 모델의 경우 50,000개입니다.

    • 사용자 지정 추출 모델 학습의 경우 학습 데이터의 총 크기는 템플릿 모델의 경우 50MB이고 인공신경망 모델의 경우 1GB입니다.

    • 사용자 지정 분류 모델 학습의 경우 학습 데이터의 총 크기는 1GB이고 최대 10,000페이지입니다. 2024-07-31-preview 및 이후 버전의 경우 학습 데이터의 총 크기는 2GB이고 최대 10,000페이지입니다.

모범 사례

  • 대표 데이터 실제 데이터 배포를 대상으로 하는 대표 문서를 사용하고 고품질의 사용자 지정 생성 모델을 학습합니다. 예를 들어 대상 문서에 부분적으로 채워진 테이블 형식 필드가 포함된 경우 부분적으로 채워진 테이블로 구성된 학습 문서를 추가합니다. 또는 필드 이름이 날짜인 경우 임의 문자열이 모델 성능에 영향을 줄 수 있으므로 이 필드의 값은 날짜여야 합니다.

  • 필드 이름 지정. 필드 값을 나타내는 정확한 필드 이름을 선택합니다. 예를 들어 트랜잭션 날짜가 포함된 필드 값의 경우 필드 이름을 Date1 대신 TransactionDate로 지정하는 것이 좋습니다.

  • 필드 설명 추출해야 하는 필드를 명확하게 하기 위해 설명에 더 많은 컨텍스트 정보를 제공합니다. 예를 들어 문서 내의 위치, 문서와 연결할 수 있는 잠재적인 필드 레이블, 모호한 다른 용어와 구별하는 방법 등이 있습니다.

  • 변형 사용자 지정 생성 모델은 동일한 문서 종류의 다양한 문서 템플릿에서 일반화할 수 있습니다. 문서 형식의 모든 변형에 대해 단일 모델을 만드는 것이 좋습니다. 문서 생성 또는 처리에서 모델의 정확도와 일관성을 향상하려면 각 형식, 특히 특정 서식 및/또는 구조적 요소가 필요한 시각적 템플릿을 포함합니다.

서비스 지침

  • 사용자 지정 생성 미리 보기 모델은 현재 고정 테이블 및 서명 추출을 지원하지 않습니다.

  • 동일한 문서에 대한 추론은 호출마다 약간 다른 결과를 초래할 수 있으며 현재 GPT 모델의 알려진 제한 사항입니다.

  • 각 필드마다 신뢰도 점수는 다를 수 있습니다. 시나리오의 신뢰도 임계값을 설정하려면 대표 데이터로 테스트하는 것이 좋습니다.

  • 특히 테이블 형식 필드의 경우, 접지가 쉽지 않으며 경우에 따라 완벽하지 않을 수도 있습니다.

  • 대용량 문서의 경우 대기 시간이 높고 미리 보기에 알려진 제한 사항이 있습니다.

  • 구성된 모델은 사용자 지정 생성 추출을 지원하지 않습니다.

모델 학습

사용자 지정 생성 모델은 2024-07-31-preview 버전 이상의 모델에서 사용할 수 있습니다.

모델을 학습시키기 위한 build operation은 buildMode 속성을 지원하고, 사용자 지정 생성 모델을 학습하고, buildMode를 generative로 설정합니다.


https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "generative",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

다음 단계