O que é fala incorporada?

A Fala inserida foi projetada para cenários de conversão de fala em texto e conversão de texto em fala no dispositivo em que a conectividade de nuvem está intermitente ou indisponível. Por exemplo, é possível usar a fala inserida em equipamentos industriais, em uma unidade de ar condicionado habilitada para voz ou em um carro que possa viajar fora do alcance. Você também pode desenvolver soluções de nuvem híbrida e offline. Para cenários em que seus dispositivos devem estar em um ambiente seguro, como um banco ou entidade governamental, você deve primeiro considerar contêineres desconectados.

Requisitos de plataforma

A fala inserida está incluída no SDK de Fala (versão 1.24.1 e superior) para C#, C++ e Java. Consulte os Requisitos gerais de instalação do SDK de Fala para linguagem de programação e detalhes específicos da plataforma de destino.

Escolha o ambiente de destino

Limitações

A fala inserida só está disponível com SDKs C#, C++ e Java. Os outros SDKs de Fala, a CLI de Fala e as APIs REST não dão suporte a fala inserida.

O reconhecimento de fala inserido dá suporte apenas a formatos de áudio WAV mono de 16 bits, 8 kHz ou 16 kHz codificados por PCM.

As vozes neurais inseridas dão suporte a RIFF/RAW de 24 kHz, com um requisito de RAM de 100 MB.

Pacotes do SDK de fala inserida

dependencies {
    implementation 'com.microsoft.cognitiveservices.speech:client-sdk-embedded:1.40.0@aar'
}

Modelos e vozes

Para a fala inserida, você precisa baixar os modelos de reconhecimento de fala para conversão de fala em texto e vozes para conversão de texto em fala. As instruções são fornecidas após a conclusão bem-sucedida do processo de revisão de acesso limitado.

Os seguintes modelos de conversão de fala em texto estão disponíveis: da-DK, de-DE, en-AU, en-CA, en-GB, en-IE, en-IN, en-NZ, en-US, es-ES, es-MX, fr-CA, fr-FR, it-IT, ja-JP, ko-KR, pt-BR, pt-PT, zh-CN, zh-HK e zh-TW.

Todas as localidades de conversão de texto em fala aqui (exceto fa-IR, persa (Irã)) estão disponíveis prontas para uso com 1 voz feminina selecionada e/ou 1 selecionada. Damos as boas-vindas à sua entrada para nos ajudar a medir a demanda por mais idiomas e vozes.

Configuração de fala inserida

Para aplicativos conectados à nuvem, conforme mostrado na maioria dos exemplos de SDK de Fala, você usa o objeto SpeechConfig com uma chave de recurso de Fala e uma região. Para fala inserida, você não usa um recurso de Fala. Em vez de um recurso de nuvem, você usa os modelos e vozes baixados em seu dispositivo local.

Use o objeto EmbeddedSpeechConfig para definir o local dos modelos ou vozes. Se o aplicativo for usado para conversão de fala em texto e conversão de texto em fala, você poderá usar o mesmo objeto EmbeddedSpeechConfig para definir o local dos modelos e vozes.

// Provide the location of the models and voices.
List<string> paths = new List<string>();
paths.Add("C:\\dev\\embedded-speech\\stt-models");
paths.Add("C:\\dev\\embedded-speech\\tts-voices");
var embeddedSpeechConfig = EmbeddedSpeechConfig.FromPaths(paths.ToArray());

// For speech to text
embeddedSpeechConfig.SetSpeechRecognitionModel(
    "Microsoft Speech Recognizer en-US FP Model V8",
    Environment.GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig.SetSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    Environment.GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig.SetSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat.Riff24Khz16BitMonoPcm);

// Provide the location of the models and voices.
vector<string> paths;
paths.push_back("C:\\dev\\embedded-speech\\stt-models");
paths.push_back("C:\\dev\\embedded-speech\\tts-voices");
auto embeddedSpeechConfig = EmbeddedSpeechConfig::FromPaths(paths);

// For speech to text
embeddedSpeechConfig->SetSpeechRecognitionModel((
    "Microsoft Speech Recognizer en-US FP Model V8",
    GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig->SetSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig->SetSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat::Riff24Khz16BitMonoPcm);

// Provide the location of the models and voices.
List<String> paths = new ArrayList<>();
paths.add("C:\\dev\\embedded-speech\\stt-models");
paths.add("C:\\dev\\embedded-speech\\tts-voices");
var embeddedSpeechConfig = EmbeddedSpeechConfig.fromPaths(paths);

// For speech to text
embeddedSpeechConfig.setSpeechRecognitionModel(
    "Microsoft Speech Recognizer en-US FP Model V8",
    System.getenv("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig.setSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    System.getenv("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig.setSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat.Riff24Khz16BitMonoPcm);

Exemplos de código de fala inserido

Fala híbrida

A fala híbrida com o objeto HybridSpeechConfig usa o serviço de fala em nuvem por padrão e a fala inserida como um fallback caso a conectividade na nuvem seja limitada ou lenta.

Com a configuração de fala híbrida para conversão de fala em texto (modelos de reconhecimento), a fala inserida é usada quando a conexão com o serviço de nuvem falha após tentativas repetidas. O reconhecimento poderá continuar usando o serviço de nuvem novamente se a conexão for retomada posteriormente.

Com a configuração de fala híbrida para conversão de texto em fala (vozes), a síntese de nuvem e inserida é executada em paralelo e o resultado final é selecionado com base na velocidade da resposta. O melhor resultado é avaliado novamente em cada nova solicitação de síntese.

Fala na nuvem

Para fala em nuvem, use o objeto SpeechConfig, conforme mostrado no início rápido de conversão de fala em texto e no início rápido de conversão de texto em fala. Para executar os inícios rápidos da fala inserida, você pode substituir SpeechConfig por EmbeddedSpeechConfig ou HybridSpeechConfig. A maior parte dos outros códigos de síntese e reconhecimento de fala são os mesmos, seja usando a nuvem, a inserção ou a configuração híbrida.

Funcionalidades de vozes inseridas

Para vozes inseridas, é essencial observar que algumas marcas SSML podem não ter suporte no momento devido a diferenças na estrutura do modelo. Para obter informações detalhadas sobre as marcas SSML sem suporte, consulte a tabela a seguir.

Conteúdo relacionado

• Leia sobre texto em fala em dispositivos para cenários desconectados e híbridos
• Acesso limitado à fala inserida