Token interface

Token singolo restituito da un TokenizerFunction.

Proprietà

end

Posizione del carattere finale del token all'interno della stringa esterna.

normalized

Forma normalizzata del token. Questo può includere elementi come maiuscole e minuscole o stemming.

start

Posizione del carattere iniziale del token all'interno della stringa esterna.

text

Testo originale del token.

Dettagli proprietà

end

Posizione del carattere finale del token all'interno della stringa esterna.

end: number

Valore della proprietà

number

normalized

Forma normalizzata del token. Questo può includere elementi come maiuscole e minuscole o stemming.

normalized: string

Valore della proprietà

string

start

Posizione del carattere iniziale del token all'interno della stringa esterna.

start: number

Valore della proprietà

number

text

Testo originale del token.

text: string

Valore della proprietà

string