WordTokenizingEstimator Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Tokenise le texte d’entrée à l’aide de délimiteurs spécifiés.
public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>type WordTokenizingEstimator = class
inherit TrivialEstimator<WordTokenizingTransformer>Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)- Héritage
Remarques
Caractéristiques de l’estimateur
| Ce estimateur doit-il examiner les données pour entraîner ses paramètres ? | Non |
| Type de données de colonne d’entrée | Scalaire ou vecteur de texte |
| Type de données de colonne de sortie | Vecteur de taille variable du texte |
| Exportable vers ONNX | Oui |
Le résultat WordTokenizingTransformer crée une nouvelle colonne, nommée comme spécifié dans les paramètres de nom de colonne de sortie, où chaque chaîne d’entrée est mappée à un vecteur de sous-chaînes obtenue en fractionnant la chaîne d’entrée en fonction des délimiteurs définis par l’utilisateur. Le caractère d’espace est le délimiteur par défaut.
Les chaînes vides et les chaînes contenant uniquement des espaces sont supprimées.
Consultez la section Voir également pour obtenir des liens vers des exemples d’utilisation.
Méthodes
| Fit(IDataView) |
Tokenise le texte d’entrée à l’aide de délimiteurs spécifiés. (Hérité de TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Retourne le SchemaShape schéma qui sera produit par le transformateur. Utilisé pour la propagation et la vérification du schéma dans un pipeline. |
Méthodes d’extension
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Ajoutez un « point de contrôle de mise en cache » à la chaîne d’estimateur. Cela garantit que les estimateurs en aval seront entraînés par rapport aux données mises en cache. Il est utile d’avoir un point de contrôle de mise en cache avant les formateurs qui prennent plusieurs passes de données. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Étant donné un estimateur, retournez un objet de création de package de package qui appellera un délégué une fois Fit(IDataView) appelé. Il est souvent important pour un estimateur de retourner des informations sur ce qui a été adapté, c’est pourquoi la Fit(IDataView) méthode retourne un objet spécifiquement typé, plutôt que simplement un général ITransformer. Toutefois, en même temps, IEstimator<TTransformer> sont souvent formés en pipelines avec de nombreux objets. Nous pouvons donc avoir besoin de créer une chaîne d’estimateurs via EstimatorChain<TLastTransformer> laquelle l’estimateur pour lequel nous voulons obtenir le transformateur est enterré quelque part dans cette chaîne. Pour ce scénario, nous pouvons par le biais de cette méthode attacher un délégué qui sera appelé une fois l’ajustement appelé. |