WordTokenizingEstimator Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Tokenzza il testo di input usando delimitatori specificati.
public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>type WordTokenizingEstimator = class
inherit TrivialEstimator<WordTokenizingTransformer>Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)- Ereditarietà
Commenti
Caratteristiche dello strumento di stima
| Questo stimatore deve esaminare i dati per eseguire il training dei relativi parametri? | No |
| Tipo di dati della colonna di input | Scalare o vettore di testo |
| Tipo di dati della colonna di output | Vettore di dimensioni variabili del testo |
| Esportabile in ONNX | Sì |
Il risultato WordTokenizingTransformer crea una nuova colonna, denominata come specificato nei parametri del nome della colonna di output, in cui ogni stringa di input viene mappata a un vettore di sottostringa ottenute suddividendo la stringa di input in base ai delimitatori definiti dall'utente. Il carattere di spazio è il delimitatore predefinito.
Le stringhe e le stringhe vuote contenenti solo spazi vengono eliminati.
Controllare la sezione Vedere anche i collegamenti agli esempi di utilizzo.
Metodi
| Fit(IDataView) |
Tokenzza il testo di input usando delimitatori specificati. (Ereditato da TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Restituisce l'oggetto SchemaShape dello schema che verrà prodotto dal trasformatore. Usato per la propagazione e la verifica dello schema in una pipeline. |
Metodi di estensione
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Aggiungere un "checkpoint di memorizzazione nella cache" alla catena di stima. Ciò garantisce che gli estimatori downstream vengano sottoposti a training sui dati memorizzati nella cache. È utile avere un checkpoint di memorizzazione nella cache prima dei training che accettano più passaggi di dati. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Dato un stimatore, restituire un oggetto wrapping che chiamerà un delegato una volta Fit(IDataView) chiamato. Spesso è importante che un stimatore restituisca informazioni su ciò che è stato adatto, che è il motivo per cui il Fit(IDataView) metodo restituisce un oggetto tipizzato in modo specifico, anziché solo un oggetto generale ITransformer. Tuttavia, allo stesso tempo, IEstimator<TTransformer> sono spesso formati in pipeline con molti oggetti, quindi potrebbe essere necessario creare una catena di stima tramite EstimatorChain<TLastTransformer> dove lo stimatore per cui si vuole ottenere il trasformatore è sepolto da qualche parte in questa catena. Per questo scenario, è possibile collegare questo metodo a un delegato che verrà chiamato una volta chiamato fit. |