MicrosoftLanguageTokenizer interface

言語固有のルールを使用してテキストが分割されます。

プロパティ

isSearchTokenizer	トークナイザーの使用方法を示す値。検索トークナイザーとして使用する場合は true に設定し、インデックス作成トークナイザーとして使用する場合は false に設定します。既定値は false です。
language	使用する言語。既定値は英語です。
maxTokenLength	トークンの最大長。最大長より長いトークンは分割されます。使用できる最大トークン長は、300 文字です。 300 文字を超えるトークンは、最初に長さ 300 のトークンに分割され、それらの各トークンは最大トークン長セットに基づいて分割されます。既定値は 255 です。
odatatype	ポリモーフィック識別子。このオブジェクトに使用できるさまざまな型を指定します。

name	トークナイザーの名前。アルファベット、数字、空白、ダッシュ、アンダースコアのみを含める必要があります。また、最初と最後の文字は英数字にする必要があり、長さは 128 文字までに制限されています。

トークナイザーの使用方法を示す値。検索トークナイザーとして使用する場合は true に設定し、インデックス作成トークナイザーとして使用する場合は false に設定します。既定値は false です。

isSearchTokenizer?: boolean

boolean

使用する言語。既定値は英語です。

language?: MicrosoftTokenizerLanguage

トークンの最大長。最大長より長いトークンは分割されます。使用できる最大トークン長は、300 文字です。 300 文字を超えるトークンは、最初に長さ 300 のトークンに分割され、それらの各トークンは最大トークン長セットに基づいて分割されます。既定値は 255 です。

maxTokenLength?: number

number

ポリモーフィック識別子。このオブジェクトに使用できるさまざまな型を指定します。

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

トークナイザーの名前。アルファベット、数字、空白、ダッシュ、アンダースコアのみを含める必要があります。また、最初と最後の文字は英数字にする必要があり、長さは 128 文字までに制限されています。

name: string

string