TokenizingByCharactersEstimator Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
public sealed class TokenizingByCharactersEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.TokenizingByCharactersTransformer>type TokenizingByCharactersEstimator = class
inherit TrivialEstimator<TokenizingByCharactersTransformer>Public NotInheritable Class TokenizingByCharactersEstimator
Inherits TrivialEstimator(Of TokenizingByCharactersTransformer)- Herança
Comentários
Características do estimador
| Esse estimador precisa examinar os dados para treinar seus parâmetros? | Sim |
| Tipo de dados de coluna de entrada | Escalar ou vetor de texto |
| Tipo de dados de coluna de saída | Vetor de tamanho variável do tipo de chave . |
| Exportável para ONNX | Sim |
O estimador tokeniza os caracteres dividindo o texto em sequências de caracteres usando uma janela deslizante. Durante o treinamento, o estimador cria um dicionário de pares chave-valor com as sequências de caracteres encontradas.
O TokenizingByCharactersTransformer resultado da montagem do estimador cria uma nova coluna, nomeada conforme especificado nos parâmetros de nome da coluna de saída, que contém as chaves das sequências de caracteres que foram encontradas na entrada.
Verifique a seção Consulte Também para obter links para exemplos de uso.
Métodos
| Fit(IDataView) |
IEstimator<TTransformer> para o TokenizingByCharactersTransformer. (Herdado de TrivialEstimator<TTransformer>) |
| GetOutputSchema(SchemaShape) |
Retorna o SchemaShape esquema que será produzido pelo transformador. Usado para propagação e verificação de esquema em um pipeline. |
Métodos de Extensão
| AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment) |
Acrescente um "ponto de verificação de cache" à cadeia de estimativas. Isso garantirá que os estimadores downstream serão treinados em relação aos dados armazenados em cache. É útil ter um ponto de verificação de cache antes dos treinadores que fazem várias passagens de dados. |
| WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>) |
Dado um estimador, retorne um objeto de encapsulamento que chamará um delegado uma vez Fit(IDataView) chamado. Geralmente, é importante que um estimador retorne informações sobre o que estava em forma, e é por isso que o Fit(IDataView) método retorna um objeto especificamente tipado, em vez de apenas um geral ITransformer. No entanto, ao mesmo tempo, IEstimator<TTransformer> muitas vezes são formados em pipelines com muitos objetos, portanto, talvez seja necessário construir uma cadeia de estimadores por meio EstimatorChain<TLastTransformer> de onde o estimador para o qual queremos que o transformador seja enterrado em algum lugar nesta cadeia. Para esse cenário, podemos por meio desse método anexar um delegado que será chamado quando fit for chamado. |