LexicalTokenizer type
Innehåller möjliga fall för Tokenizer.
type LexicalTokenizer =
| ClassicTokenizer
| EdgeNGramTokenizer
| KeywordTokenizer
| MicrosoftLanguageTokenizer
| MicrosoftLanguageStemmingTokenizer
| NGramTokenizer
| PathHierarchyTokenizer
| PatternTokenizer
| LuceneStandardTokenizer
| UaxUrlEmailTokenizer