TokenizerFunction type
、、または findValues()
に渡すことができる代替ワード ブレーカーのrecognizeChoices()
findChoices()
署名。
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
注釈
defaultTokenizer()
は非常にシンプルで、スペースと句読点でのみ中断されます。