벡터 인덱스 만들기

  • 아티클

Azure AI 검색에서 벡터 저장소에는 벡터 필드와 비 벡터 필드를 정의하는 인덱스 스키마, 포함 공간을 만들고 압축하는 알고리즘에 대한 벡터 구성, 쿼리 요청에 사용되는 벡터 필드 정의에 대한 설정이 있습니다.

인덱스 만들기 또는 업데이트 API는 벡터 저장소를 만듭니다. 다음 단계를 사용하여 벡터 데이터를 인덱싱합니다.

  • 벡터 알고리즘과 선택적 압축을 사용하여 스키마 정의
  • 벡터 필드 정의 추가
  • 사전 벡터화된 데이터를 별도의 단계로 로드 또는 인덱싱 중에 통합 벡터화를 데이터 청크 및 인코딩에 사용

이 문서에서는 워크플로를 설명하고 REST를 예로 들어 설명합니다. 기본 워크플로를 이해한 후 테스트 및 프로덕션 코드에서 이러한 기능을 사용하는 방법에 대한 지침을 얻으려면 azure-search-vector-samples 리포지토리의 Azure SDK 코드 샘플을 계속 사용하세요.

팁

Azure Portal을 사용하여 벡터 인덱스를 만들고 통합 데이터 청크 및 벡터화를 사용해 보세요.

필수 조건

  • 모든 지역 및 모든 계층의 Azure AI 검색. 대부분의 기존 서비스는 벡터 검색을 지원합니다. 2019년 1월 이전에 만들어진 서비스의 경우 벡터 인덱스를 만들 수 없는 작은 하위 집합이 있습니다. 이런 상황에서는 새로운 서비스를 만들어야 합니다. 통합 벡터화(Azure AI를 호출하는 기술 세트)를 사용하는 경우 Azure AI 검색은 Azure OpenAI 또는 Azure AI 서비스와 동일한 지역에 있어야 합니다.

  • 기존 벡터 포함 또는 인덱싱 파이프라인에서 포함 모델을 호출하는 통합 벡터화를 사용합니다.

  • 포함을 만드는 데 사용된 모델의 차원 제한을 알아야 합니다. 유효한 값은 2에서 3072까지입니다. Azure OpenAI에서 text-embedding-ada-002의 경우 숫자 벡터의 길이는 1536입니다. text-embedding-3-small 또는 text-embedding-3-large의 경우 벡터 길이는 3072입니다.

  • 지원되는 유사성 메트릭이 무엇인지도 알아야 합니다. Azure OpenAI의 경우 유사성은 cosine를 사용하여 계산됩니다.

  • 인덱스 만들기에 익숙해야 합니다. 스키마에는 문서 키에 대한 필드, 검색하거나 필터링하려는 기타 필드, 인덱싱 및 쿼리 중에 필요한 동작에 대한 기타 구성이 포함되어야 합니다.

인덱싱을 위한 문서 준비

인덱싱하기 전에 벡터 및 비 벡터 데이터 필드를 포함하는 문서 페이로드를 어셈블합니다. 문서 구조는 인덱스 스키마를 준수해야 합니다.

문서는 다음과 같아야 합니다.

  1. 각 문서를 고유하게 식별하는 필드 또는 메타데이터 속성을 제공합니다. 모든 검색 인덱스에는 문서 키가 필요합니다. 문서 키 요구 사항을 충족하려면 인덱스에서 해당 문서를 고유하게 식별할 수 있는 하나의 필드 또는 속성이 원본 문서에 있어야 합니다. 이 원본 필드는 검색 인덱스에서 Edm.String 및 key=true 형식의 인덱스 필드에 매핑해야 합니다.

  2. 벡터 데이터(단정밀도 부동 소수점 숫자 배열)를 원본 필드에 제공합니다.

    벡터 필드는 포함 모델에서 생성된 배열을 포함하며, 필드당 하나의 포함이 있습니다. 여기서 필드는 최상위 필드입니다(중첩 또는 복합 형식의 일부가 아님). 가장 단순한 통합을 위해 텍스트 문서의 경우 text-embedding-ada-002, 이미지의 경우 이미지 검색 REST API와 같은 Azure OpenAI의 포함 모델을 권장합니다.

    인덱서와 기술 세트에 대한 종속성을 취할 수 있다면 인덱싱 중에 이미지와 영숫자 콘텐츠를 인코딩하는 통합 벡터화를 사용하는 것이 좋습니다. 필드 정의는 벡터 필드에 대한 것이지만 원본 데이터는 텍스트나 이미지일 수 있으며, 인덱싱 중에 벡터 배열이 만들어집니다.

  3. 전체 텍스트 검색 또는 의미 체계 순위를 쿼리 응답 및 동일한 요청에 포함하는 하이브리드 쿼리 시나리오에 대해 사람이 읽을 수 있는 영숫자 콘텐츠를 다른 필드에 제공합니다.

검색 인덱스는 지원하려는 모든 쿼리 시나리오에 대한 필드와 콘텐츠를 포함해야 합니다. 제품 이름, 버전, 메타데이터 또는 주소를 검색하거나 필터링한다고 가정합니다. 이 경우 유사성 검색은 특히 유용하지 않습니다. 키워드 검색, 지리적 검색 또는 필터를 선택하는 것이 좋습니다. 벡터 및 비 벡터 데이터의 포괄적인 필드 컬렉션을 포함하는 검색 인덱스는 최대 유연성을 쿼리 생성 및 응답 구성에 제공합니다.

벡터 필드와 비 벡터 필드를 포함하는 문서 페이로드의 간단한 예제는 이 문서의 벡터 데이터 로드 섹션에 있습니다.

벡터 검색 구성 추가

벡터 구성은 벡터 노드 간의 "가장 인접한 항목" 정보를 만들기 위해 인덱싱 중에 사용되는 매개 변수를 지정합니다.

  • HNSW(Hierarchical Navigable Small World)
  • exhaustive KNN

필드에서 HNSW를 선택하면 쿼리 시 exhaustive KNN을 선택할 수 있습니다. 그러나 다른 방향은 작동하지 않습니다. exhaustive를 선택하면 근사 검색을 사용하도록 설정하는 추가 데이터 구조가 없으므로 나중에 HNSW 검색을 요청할 수 없습니다.

벡터 구성은 벡터 크기를 줄이기 위한 양자화 방법도 지정합니다.

  • 스칼라
  • 이진(2024-07-01에만 사용 가능 및 최신 Azure SDK 패키지에서 사용 가능)

최신 버전으로 마이그레이션하는 방법에 대한 지침은 REST API 업그레이드를 참조하세요.

2024-07-01이 일반 공급 버전입니다. 다음과 같은 벡터 구성을 지원합니다.

  • vectorSearch.algorithms HNSW와 포괄적인 KNN을 지원합니다.
  • vectorSearch.compressions 스칼라 및 이진 양자화, 오버샘플링, 원본 벡터를 사용한 재순위 지정을 지원합니다.
  • vectorSearch.profiles 알고리즘과 압축 구성의 다양한 조합을 제공합니다.

콘텐츠 벡터화 전략이 있어야 합니다. 기본 제공 인코딩의 경우 통합 벡터화와 쿼리 시간 벡터라이저를 권장합니다.

  1. 인덱스 만들기 또는 업데이트 API를 사용하여 인덱스를 만듭니다.

  2. 포함 공간을 만드는 데 사용되는 검색 알고리즘을 지정하는 vectorSearch 섹션을 인덱스에 추가합니다.

     "vectorSearch": {
     "compressions": [
         {
             "name": "scalar-quantization",
             "kind": "scalarQuantization",
             "rerankWithOriginalVectors": true,
             "defaultOversampling": 10.0,
                 "scalarQuantizationParameters": {
                     "quantizedDataType": "int8"
                 }
         },
         {
             "name": "binary-quantization",
             "kind": "binaryQuantization",
             "rerankWithOriginalVectors": true,
             "defaultOversampling": 10.0,
         }
     ],
     "algorithms": [
         {
             "name": "hnsw-1",
             "kind": "hnsw",
             "hnswParameters": {
                 "m": 4,
                 "efConstruction": 400,
                 "efSearch": 500,
                 "metric": "cosine"
             }
         },
         {
             "name": "hnsw-2",
             "kind": "hnsw",
             "hnswParameters": {
                 "m": 8,
                 "efConstruction": 800,
                 "efSearch": 800,
                 "metric": "hamming"
             }
         },
         {
             "name": "eknn",
             "kind": "exhaustiveKnn",
             "exhaustiveKnnParameters": {
                 "metric": "euclidean"
             }
         }

     ],
     "profiles": [
       {
         "name": "vector-profile-hnsw-scalar",
         "compression": "scalar-quantization",
         "algorithm": "hnsw-1"
       }
     ]
 }

    주요 정보:

    • 압축, 알고리즘, 프로필의 각 구성에 대한 이름은 인덱스 내에서 해당 형식에 대해 고유해야 합니다.

    • vectorSearch.compressions.kind은 scalarQuantization 또는 binaryQuantization가 될 수 있습니다.

    • vectorSearch.compressions.rerankWithOriginalVectors는 원래의 압축되지 않은 벡터를 사용하여 유사성을 다시 계산하고 초기 검색 쿼리에서 반환된 상위 결과의 순위를 다시 지정합니다. 압축되지 않은 벡터는 stored가 false인 경우에도 검색 인덱스에 존재합니다. 이 속성은 선택 사항입니다. 기본값은 true입니다.

    • vectorSearch.compressions.defaultOversampling은 양자화로 인한 정보 감소를 상쇄하기 위해 더 광범위한 잠재적 결과 집합을 고려합니다. 잠재적 결과에 대한 수식은 오버샘플링 승수와 함께 쿼리의 k로 구성됩니다. 예를 들어 쿼리에서 k를 5로 지정하고 오버샘플링이 20인 경우 쿼리는 해당 목적으로 압축되지 않은 원래 벡터를 사용하여 순위 재지정에 사용할 문서 100개를 효과적으로 요청합니다. 상위 k개의 순위 변경 결과만 반환됩니다. 이 속성은 선택 사항입니다. 기본값은 4입니다.

    • vectorSearch.compressions.scalarQuantizationParameters.quantizedDataType는 int8로 설정해야 합니다. 현재 지원되는 유일한 기본 데이터 형식입니다. 이 속성은 선택 사항입니다. 기본값은 int8입니다.

    • vectorSearch.algorithms.kind는 "hnsw" 또는 "exhaustiveKnn"입니다. 이는 인덱싱 중에 벡터 콘텐츠를 구성하는 데 사용되는 ANN(Approximate Nearest Neighbor) 알고리즘입니다.

    • vectorSearch.algorithms.m은 양방향 링크 수입니다. 기본값은 4입니다. 범위는 4~10입니다. 값이 낮을수록 결과에서 노이즈가 줄어듭니다.

    • vectorSearch.algorithms.efConstruction은 인덱싱 중에 사용되는 가장 인접한 항목의 수입니다. 기본값은 400입니다. 범위는 100~1,000입니다.

    • "vectorSearch.algorithms.fSearch는 검색 중에 사용되는 가장 인접한 항목의 수입니다. 기본값은 500입니다. 범위는 100~1,000입니다.

    • vectorSearch.algorithms.metric은 Azure OpenAI를 사용하는 경우 "cosine"이어야 하고, 그렇지 않은 경우 사용하는 포함 모델과 연결된 유사성 메트릭을 사용해야 합니다. 지원되는 값은 cosine, dotProduct, euclidean, hamming입니다(이진 데이터 인덱싱에 사용됨).

    • vectorSearch.profiles는 더 풍부한 정의를 수용하는 추상화 계층을 추가합니다. 프로필은 vectorSearch에 정의된 다음, 각 벡터 필드에서 이름으로 참조됩니다. 이는 압축과 알고리즘 구성의 조합입니다. 이는 벡터 필드에 할당하는 속성이며, 필드의 알고리즘과 압축을 결정합니다.

필드 컬렉션에 벡터 필드 추가

필드 컬렉션은 문서 키 필드, 벡터 필드 및 하이브리드 검색 시나리오에 필요한 다른 모든 필드를 포함해야 합니다.

벡터 필드는 데이터 형식, 벡터 출력에 사용되는 포함 모델을 기반으로 하는 dimensions 속성, 벡터 프로필을 특징으로 합니다.

2024-07-01이 일반 공급 버전입니다.

  1. 인덱스를 만들려면 인덱스 만들기 또는 업데이트를 사용합니다.

  2. 다음 특성을 사용하여 벡터 필드를 정의합니다. 필드당 하나의 생성된 포함을 저장할 수 있습니다. 각 벡터 필드는 다음과 같습니다.

    • type은 벡터 데이터 형식이어야 합니다. Collection(Edm.Single)은 모델을 포함하는 데 가장 일반적입니다.
    • dimensions는 포함 모델에서 생성된 차원의 수입니다. text-embedding-ada-002의 경우 1536입니다.
    • vectorSearchProfile은 인덱스의 다른 위치에 정의된 프로필의 이름입니다.
    • searchable은 true여야 합니다.
    • retrievable은 true 또는 false일 수 있습니다. true는 원시 벡터(1,536개)를 일반 텍스트로 반환하고 스토리지 공간을 소비합니다. 벡터 결과를 다운스트림 앱에 전달하는 경우 true로 설정합니다.
    • stored은 true 또는 false일 수 있습니다. 벡터의 추가 복사본을 검색용으로 저장할지 여부를 결정합니다. 자세한 내용은 벡터 크기 줄이기를 참조하세요.
    • filterable, facetable, sortable은 false여야 합니다.

  3. 벡터 쿼리에서 사전 필터링 또는 사후 필터링을 호출하려면 filterable이 true로 설정된 "title"과 같은 필터링 가능한 비 벡터 필드를 컬렉션에 추가합니다.

  4. 인덱싱하는 텍스트 콘텐츠의 내용과 구조를 정의하는 다른 필드를 추가합니다. 최소한 문서 키가 필요합니다.

    쿼리 또는 응답에 유용한 필드도 추가해야 합니다. 다음 예제에서는 벡터와 동일한 제목 및 콘텐츠("titleVector", "contentVector")에 대한 벡터 필드를 보여줍니다. 검색 결과에서 정렬, 필터링 및 읽기에 유용한 동일한 텍스트 콘텐츠에 대한 필드("title", "title")도 제공합니다.

    다음 예제에서는 필드 컬렉션을 보여줍니다.

    PUT https://my-search-service.search.windows.net/indexes/my-index?api-version=2024-07-01&allowIndexDowntime=true
Content-Type: application/json
api-key: {{admin-api-key}}
{
    "name": "{{index-name}}",
    "fields": [
        {
            "name": "id",
            "type": "Edm.String",
            "key": true,
            "filterable": true
        },
        {
            "name": "title",
            "type": "Edm.String",
            "searchable": true,
            "filterable": true,
            "sortable": true,
            "retrievable": true
        },
        {
            "name": "titleVector",
            "type": "Collection(Edm.Single)",
            "searchable": true,
            "retrievable": true,
            "stored": true,
            "dimensions": 1536,
            "vectorSearchProfile": "vector-profile-1"
        },
        {
            "name": "content",
            "type": "Edm.String",
            "searchable": true,
            "retrievable": true
        },
        {
            "name": "contentVector",
            "type": "Collection(Edm.Single)",
            "searchable": true,
            "retrievable": false,
            "stored": false,
            "dimensions": 1536,
            "vectorSearchProfile": "-vector-profile-1"
        }
    ],
    "vectorSearch": {
        "algorithms": [
            {
                "name": "hsnw-1",
                "kind": "hnsw",
                "hnswParameters": {
                    "m": 4,
                    "efConstruction": 400,
                    "efSearch": 500,
                    "metric": "cosine"
                }
            }
        ],
        "profiles": [
            {
                "name": "vector-profile-1",
                "algorithm": "hnsw-1"
            }
        ]
    }
}

인덱싱을 위한 벡터 데이터 로드

인덱싱을 위해 제공하는 콘텐츠는 인덱스 스키마를 준수해야 하며 문서 키에 대한 고유한 문자열 값을 포함해야 합니다. 사전 벡터화된 데이터는 영숫자 콘텐츠가 포함된 다른 필드와 공존할 수 있는 하나 이상의 벡터 필드에 로드됩니다.

밀어넣기 또는 끌어오기 방법론을 데이터 수집에 사용할 수 있습니다.

벡터 및 벡터가 아닌 데이터를 인덱스에 로드하려면 문서 - 인덱스를 사용합니다. 인덱싱을 위한 푸시 API는 모든 안정 버전과 미리 보기 버전에서 동일합니다. 문서를 로드하려면 다음 API 중 하나를 사용합니다.

POST https://{{search-service-name}}.search.windows.net/indexes/{{index-name}}/docs/index?api-version=2024-07-01

{
    "value": [
        {
            "id": "1",
            "title": "Azure App Service",
            "content": "Azure App Service is a fully managed platform for building, deploying, and scaling web apps. You can host web apps, mobile app backends, and RESTful APIs. It supports a variety of programming languages and frameworks, such as .NET, Java, Node.js, Python, and PHP. The service offers built-in auto-scaling and load balancing capabilities. It also provides integration with other Azure services, such as Azure DevOps, GitHub, and Bitbucket.",
            "category": "Web",
            "titleVector": [
                -0.02250031754374504,
                 . . . 
                        ],
            "contentVector": [
                -0.024740582332015038,
                 . . .
            ],
            "@search.action": "upload"
        },
        {
            "id": "2",
            "title": "Azure Functions",
            "content": "Azure Functions is a serverless compute service that enables you to run code on-demand without having to manage infrastructure. It allows you to build and deploy event-driven applications that automatically scale with your workload. Functions support various languages, including C#, F#, Node.js, Python, and Java. It offers a variety of triggers and bindings to integrate with other Azure services and external services. You only pay for the compute time you consume.",
            "category": "Compute",
            "titleVector": [
                -0.020159931853413582,
                . . .
            ],
            "contentVector": [
                -0.02780858241021633,
                 . . .
            ],
            "@search.action": "upload"
        }
        . . .
    ]
}

벡터 콘텐츠에 대한 인덱스 확인

유효성 검사를 위해 Azure Portal의 검색 탐색기 또는 REST API 호출을 사용하여 인덱스를 쿼리할 수 있습니다. Azure AI 검색에서는 벡터를 사람이 읽을 수 있는 텍스트로 변환할 수 없으므로 동일한 문서에서 일치 증거를 제공하는 필드를 하도록 시도합니다. 예를 들어 벡터 쿼리에서 "titleVector" 필드를 대상으로 하는 경우 검색 결과에 대해 "title"을 선택할 수 있습니다.

결과에 포함되려면 필드를 "retrievable" 특성으로 지정해야 합니다.

  • 검색 관리>인덱스에서 인덱스를 검토하여 전체 인덱스 크기와 벡터 인덱스 크기를 확인합니다. 양의 벡터 인덱스 크기는 벡터가 존재함을 나타냅니다.

  • 검색 탐색기를 사용하여 인덱스를 쿼리합니다. 검색 탐색기에는 쿼리 보기(기본값)와 JSON 보기의 두 가지 보기가 있습니다.

    • 더 읽기 쉬운 결과를 얻으려면 쿼리 옵션>검색 결과에서 벡터 값 숨기기를 설정합니다.

    • 벡터 쿼리에 JSON 뷰를 사용합니다. 실행하려는 벡터 쿼리의 JSON 정의를 붙여넣거나, 인덱스에 벡터라이저 할당이 있는 경우 기본 제공 텍스트-벡터 또는 이미지-벡터 변환 기능을 사용할 수 있습니다. 이미지 검색에 대한 자세한 내용은 빠른 시작: 검색 탐색기에서 이미지 검색을 참조하세요.

    • 인덱스에 벡터가 포함되어 있는지 빠르게 확인하려면 기본 쿼리 보기를 사용합니다. 쿼리 보기는 전체 텍스트 검색을 위한 것입니다. 벡터 쿼리에는 사용할 수 없지만 빈 검색(search=*)을 보내 콘텐츠를 확인할 수 있습니다. 벡터 필드를 포함한 모든 필드의 콘텐츠는 일반 텍스트로 반환됩니다.

    • 자세한 내용은 벡터 쿼리 만들기를 참조하세요.

벡터 저장소 업데이트

벡터 저장소를 업데이트하려면 스키마를 수정하고 필요한 경우 문서를 다시 로드하여 새 필드를 채웁다. 스키마 업데이트용 API에는 인덱스 만들기 또는 업데이트(REST), .NET용 Azure SDK의 CreateOrUpdateIndex, Python용 Azure SDK의 create_or_update_index 및 다른 Azure SDK의 유사한 메서드가 포함됩니다.

인덱스를 업데이트하기 위한 표준 지침은 인덱스 업데이트 또는 다시 빌드에 설명되어 있습니다.

주요 사항은 다음과 같습니다.

  • 기존 필드를 업데이트하고 삭제하려면 삭제 및 다시 빌드가 필요한 경우가 많습니다.

  • 그러나 다시 빌드할 필요 없이 기존 스키마를 다음과 같은 수정 사항이 적용되도록 업데이트할 수 있습니다.

    • 필드 컬렉션에 새 필드를 추가합니다.
    • 새 필드에 할당되었지만 이미 벡터화된 기존 필드에는 할당되지 않은 새 벡터 구성을 추가합니다.
    • 기존 필드에서 "조회 가능"(값은 true 또는 false)을 변경합니다. 벡터 필드는 검색 및 조회가 가능해야 하지만 삭제 및 다시 빌드가 불가능한 상황에서 벡터 필드에 대한 액세스를 사용하지 않도록 설정하려면 조회 가능 항목을 false로 설정하면 됩니다.

다음 단계

다음 단계에서는 검색 인덱스에서 벡터 데이터를 쿼리하는 것이 좋습니다.

azure-search-Vector 리포지토리의 코드 샘플에서는 스키마 정의, 벡터화, 인덱싱 및 쿼리를 포함하는 엔드투엔드 워크플로를 보여줍니다.

Python, C# 및 JavaScript에 대한 데모 코드가 있습니다.