LexicalTokenizerName type

LexicalTokenizerName の値を定義します。
<xref:KnownLexicalTokenizerName> LexicalTokenizerName と同じ意味で使用できます。この列挙型には、サービスでサポートされている既知の値が含まれています。

サービスでサポートされている既知の値

classic: ほとんどのヨーロッパ言語ドキュメントの処理に適した文法ベースのトークナイザー。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/ClassicTokenizer.html」を参照してください。
edgeNGram: エッジからの入力を特定のサイズの n グラムにトークン化します。 「https://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/EdgeNGramTokenizer.html」を参照してください。
keyword_v2: 入力全体を 1 つのトークンとして出力します。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/KeywordTokenizer.html」を参照してください。
letter: テキストを非文字で分割します。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LetterTokenizer.html」を参照してください。
小文字: テキストを文字以外で分割し、小文字に変換します。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/LowerCaseTokenizer.html」を参照してください。
microsoft_language_tokenizer: 言語固有のルールを使用してテキストを分割します。
microsoft_language_stemming_tokenizer: 言語固有のルールを使用してテキストを分割し、単語を基本フォームに減らします。
nGram: 指定されたサイズの n-gram に入力をトークン化します。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/ngram/NGramTokenizer.html」を参照してください。
path_hierarchy_v2: パスに似た階層のトークナイザー。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/path/PathHierarchyTokenizer.html」を参照してください。
pattern: 正規表現パターン マッチングを使用して個別のトークンを構築するトークナイザー。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/pattern/PatternTokenizer.html」を参照してください。
standard_v2: 標準 Lucene アナライザー;標準トークナイザー、小文字フィルター、および停止フィルターで構成されます。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/StandardTokenizer.html」を参照してください。
uax_url_email: URL と電子メールを 1 つのトークンとしてトークン化します。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/standard/UAX29URLEmailTokenizer.html」を参照してください。
空白: テキストを空白で区切ります。 「http://lucene.apache.org/core/4_10_3/analyzers-common/org/apache/lucene/analysis/core/WhitespaceTokenizer.html」を参照してください。