Token interface
Token singolo restituito da un TokenizerFunction
.
Proprietà
end | Posizione del carattere finale del token all'interno della stringa esterna. |
normalized | Forma normalizzata del token. Questo può includere elementi come maiuscole e minuscole o stemming. |
start | Posizione del carattere iniziale del token all'interno della stringa esterna. |
text | Testo originale del token. |
Dettagli proprietà
end
Posizione del carattere finale del token all'interno della stringa esterna.
end: number
Valore della proprietà
number
normalized
Forma normalizzata del token. Questo può includere elementi come maiuscole e minuscole o stemming.
normalized: string
Valore della proprietà
string
start
Posizione del carattere iniziale del token all'interno della stringa esterna.
start: number
Valore della proprietà
number
text
Testo originale del token.
text: string
Valore della proprietà
string