TokenizerFunction type

、、または findValues()に渡すことができる代替ワード ブレーカーのrecognizeChoices()findChoices()署名。

type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]

注釈

defaultTokenizer()は非常にシンプルで、スペースと句読点でのみ中断されます。