AI Studio'da söyleniş değerlendirmesi

Makale
09/23/2024

Önemli

Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Söyleniş değerlendirmesi, dil öğrencilerine öznel ve nesnel geri bildirim sağlamak için konuşmayı metne dönüştürme özelliğini kullanır. Telaffuz alıştırması yapmak ve zamanında geri bildirim almak, dil becerilerini geliştirmek için gereklidir. Deneyimli öğretmenlerin yönlendirdiği değerlendirmeler çok zaman ve çaba alabilir ve öğrenciler için yüksek kaliteli bir değerlendirmeyi pahalı hale getirir. Söyleniş değerlendirmesi, dil değerlendirmesini tüm arka planlardan öğrenenler için daha ilgi çekici ve erişilebilir hale getirmeye yardımcı olabilir.

Not

Söyleniş değerlendirmesinin kullanılabilirliği hakkında bilgi için bkz . Desteklenen diller ve kullanılabilir bölgeler.

Bu makalede, AI Studio aracılığıyla kod yazmadan söyleniş değerlendirme aracının nasıl kullanılacağı açıklanmaktadır. Söyleniş değerlendirmesini konuşma uygulamalarınızla tümleştirme hakkında bilgi için bkz . Telaffuz değerlendirmesini kullanma.

Okuma ve konuşma senaryoları

Söyleniş değerlendirmesi için iki senaryo vardır: Okuma ve Konuşma.

Okuma: Bu senaryo betikli değerlendirme için tasarlanmıştır. Bu, öğrencilerin belirli bir metni okumasını gerektirir. Başvuru metni önceden sağlanır.
Konuşma: Bu senaryo açıklanmamış değerlendirme için tasarlanmıştır. Bu, öğrencilerin belirli bir konuda konuşmasını gerektirir. Başvuru metni önceden sağlanmadı.

Betikli değerlendirme gerçekleştirme

Başvuru metninin söylenişini değerlendirmek için şu adımları izleyin:

AI Studio'da Söyleniş değerlendirmesi'ne gidin.
Okuma sekmesinde, söylenişi değerlendirmek istediğiniz desteklenen bir dil seçin.
Sağlanan metin örneklerini kullanabilir veya kendi betiğinizi girebilirsiniz.

Metni okurken, kaydedilen sesin çok düşük olmadığından emin olmak için mikrofona yakın olmanız gerekir.

Aksi takdirde, telaffuz değerlendirmesi için kayıtlı sesi karşıya yükleyebilirsiniz. Başarıyla karşıya yüklendikten sonra ses, aşağıdaki ekran görüntüsünde gösterildiği gibi sistem tarafından otomatik olarak değerlendirilir.

Açıklanmamış değerlendirme gerçekleştirme

Açıklanmamış bir değerlendirme yapmak istiyorsanız Konuşma sekmesini seçin. Bu özellik, önceden başvuru metni sağlamadan açıklanmamış değerlendirme gerçekleştirmenizi sağlar. Şu şekilde ilerleyin:

AI Studio'da Söyleniş değerlendirmesi'ne gidin.
Konuşma sekmesinde, söylenişi değerlendirmek istediğiniz desteklenen bir dil seçin.
Ardından, sağlanan örnek konu başlıklarından birini seçebilir veya kendi konunuzu girebilirsiniz. Bu seçenek, önceden tanımlanmış bir betik olmadan belirli bir konuda konuşma yeteneğinizi değerlendirmenizi sağlar.

Söyleniş değerlendirmesi için konuşmanızı kaydederken, kayıt sürenizin önerilen 15 saniye (50 sözcükten fazla sözcükle eşdeğer) ile 10 dakika arasında olduğundan emin olmak önemlidir. Bu zaman aralığı, konuşmanızın içeriğini doğru bir şekilde değerlendirmek için idealdir. Konu puanı almak için, konuşulan sesinizin en az üç cümle içermesi gerekir.

Ayrıca, telaffuz değerlendirmesi için kayıtlı sesi karşıya yükleyebilirsiniz. Başarıyla karşıya yüklendikten sonra ses sistem tarafından otomatik olarak değerlendirilir.

Söyleniş değerlendirme sonuçları

Konuşmanızı kaydettikten veya kaydedilen sesi karşıya yükledikten sonra Değerlendirme sonucu çıkış olur. Sonuç, sesli konuşmanızı ve konuşma değerlendirmenizle ilgili geri bildirimleri içerir. Sesli sesinizi dinleyebilir ve gerekirse indirebilirsiniz.

JSON'da söyleniş değerlendirme sonucunu da kontrol edebilirsiniz. Sözcük düzeyi, hece düzeyi ve fone düzeyi doğruluk puanları JSON dosyasına eklenir.

Görüntüle
JSON

Konuşmanızla ilgili transkript ve geri bildirim içeren görüntüleme penceresinde değerlendirme sonucunu gösteren ekran görüntüsü.

Sözcük, hata türüne göre vurgulanır. Söyleniş değerlendirmesindeki hata türleri farklı renkler kullanılarak temsil edilir. Bu görsel ayrım, belirli hataları tanımlamayı ve çözümlemeyi kolaylaştırır. Konuşulan sesteki hata türlerine ve sıklıklara net bir genel bakış sunarak iyileştirme gerektiren alanlara odaklanmanıza yardımcı olur. Belirli hata türlerine odaklanmak veya belirli türleri ekrandan dışlamak için her hata türünü açıp kapatabilirsiniz. Bu özellik, sesli sesinizdeki hataları gözden geçirme ve analiz etme konusunda esneklik sağlar. Her sözcüğün üzerine geldiğinizde, sözcüğün tamamı veya belirli fonemler için doğruluk puanlarını görebilirsiniz.

Değerlendirme sonucunun en altında puanlama sonuçları görüntülenir. Betikli telaffuz değerlendirmesi için yalnızca telaffuz puanı (doğruluk puanı, akıcılık puanı, tamlık puanı ve prosody puanı dahil) sağlanır. Açıklanmamış telaffuz değerlendirmesi için hem telaffuz puanı (doğruluk puanı, akıcılık puanı ve prosody puanı dahil) hem de içerik puanı (sözlük puanı, dil bilgisi puanı ve konu puanı dahil) görüntülenir.

Tam transkripsiyon özniteliğinde text gösterilir. Kelimenin tamamı, heceler ve belirli fonemler için doğruluk puanlarını görebilirsiniz. Konuşma SDK'sını kullanarak aynı sonuçları alabilirsiniz. Daha fazla bilgi için bkz . Söyleniş değerlendirmesini kullanma.

{
    "text": "Today was a beautiful day. We had a great time taking a long long walk in the morning. The countryside was in full bloom, yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain.",
    "duration": 156100000,
    "offset": 800000,
    "json": {
        "Id": "f583d7588c89425d8fce76686c11ed12",
        "RecognitionStatus": 0,
        "Offset": 800000,
        "Duration": 156100000,
        "DisplayText": "Today was a beautiful day. We had a great time taking a long long walk in the morning. The countryside was in full bloom, yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain.",
        "SNR": 40.47014,
        "NBest": [
            {
                "Confidence": 0.97532314,
                "Lexical": "today was a beautiful day we had a great time taking a long long walk in the morning the countryside was in full bloom yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain",
                "ITN": "today was a beautiful day we had a great time taking a long long walk in the morning the countryside was in full bloom yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain",
                "MaskedITN": "today was a beautiful day we had a great time taking a long long walk in the morning the countryside was in full bloom yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain",
                "Display": "Today was a beautiful day. We had a great time taking a long long walk in the morning. The countryside was in full bloom, yet the air was crisp and cold towards end of the day clouds came in forecasting much needed rain.",
                "PronunciationAssessment": {
                    "AccuracyScore": 92,
                    "FluencyScore": 81,
                    "CompletenessScore": 93,
                    "PronScore": 85.6
                },
                "Words": [
                    // Words preceding "countryside" are omitted for brevity...
                    {
                        "Word": "countryside",
                        "Offset": 66200000,
                        "Duration": 7900000,
                        "PronunciationAssessment": {
                            "AccuracyScore": 30,
                            "ErrorType": "Mispronunciation"
                        },
                        "Syllables": [
                            {
                                "Syllable": "kahn",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 3
                                },
                                "Offset": 66200000,
                                "Duration": 2700000
                            },
                            {
                                "Syllable": "triy",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 19
                                },
                                "Offset": 69000000,
                                "Duration": 1100000
                            },
                            {
                                "Syllable": "sayd",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 51
                                },
                                "Offset": 70200000,
                                "Duration": 3900000
                            }
                        ],
                        "Phonemes": [
                            {
                                "Phoneme": "k",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 0
                                },
                                "Offset": 66200000,
                                "Duration": 900000
                            },
                            {
                                "Phoneme": "ah",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 0
                                },
                                "Offset": 67200000,
                                "Duration": 1000000
                            },
                            {
                                "Phoneme": "n",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 11
                                },
                                "Offset": 68300000,
                                "Duration": 600000
                            },
                            {
                                "Phoneme": "t",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 16
                                },
                                "Offset": 69000000,
                                "Duration": 300000
                            },
                            {
                                "Phoneme": "r",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 27
                                },
                                "Offset": 69400000,
                                "Duration": 300000
                            },
                            {
                                "Phoneme": "iy",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 15
                                },
                                "Offset": 69800000,
                                "Duration": 300000
                            },
                            {
                                "Phoneme": "s",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 26
                                },
                                "Offset": 70200000,
                                "Duration": 1700000
                            },
                            {
                                "Phoneme": "ay",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 56
                                },
                                "Offset": 72000000,
                                "Duration": 1300000
                            },
                            {
                                "Phoneme": "d",
                                "PronunciationAssessment": {
                                    "AccuracyScore": 100
                                },
                                "Offset": 73400000,
                                "Duration": 700000
                            }
                        ]
                    },
                    // Words following "countryside" are omitted for brevity...
                ]
            }
        ]
    }
}

Söyleniş değerlendirmesinin ayrıntı düzeyi

Söyleniş değerlendirmesi, tek tek fonemlerden metin girişinin tamamına kadar farklı ayrıntı düzeyinde çeşitli değerlendirme sonuçları sağlar.

Tam metin düzeyinde, söyleniş değerlendirmesi ek Fluency, Completeness ve Prosody puanları sunar: Akıcılık, konuşmanın yerel konuşmacının sözcükler arasında sessiz sonlar kullanmasıyla ne kadar yakın olduğunu gösterir; Tamlık, konuşmada başvuru metni girişine kaç sözcüğün telaffuz edildiğini gösterir; Prosody, konuşmacının konuşmalarında doğallık, ifade ve genel prosody öğelerini ne kadar iyi aktardığı gösterir. Daha sonra verilen konuşmanın genel söyleniş kalitesini belirtmek için Doğruluk, Akıcılık, Tamlık ve Prosody'den toplanan genel bir puan verilir. Söyleniş değerlendirmesi ayrıca tam metin düzeyinde içerik puanı (Sözlük, Dil Bilgisi ve Konu) sunar.
Sözcük düzeyinde, söyleniş değerlendirmesi yanlışları otomatik olarak algılayabilir ve aynı anda doğruluk puanı sağlayabilir ve bu da verilen konuşmada eksiklik, yineleme, eklemeler ve yanlış telaffuz hakkında daha ayrıntılı bilgi sağlar.
Hece düzeyinde doğruluk puanları şu anda JSON dosyası veya Konuşma SDK'sı aracılığıyla kullanılabilir.
Phoneme düzeyinde, söyleniş değerlendirmesi her phoneme'nin doğruluk puanlarını sağlayarak öğrencilerin konuşmalarının telaffuz ayrıntılarını daha iyi anlamasına yardımcı olur.

AI Studio'daki söyleniş değerlendirme özelliği, doğruluk, akıcılık ve tamlık temel puanlarına ek olarak, konuşma performansı ve anlayışının çeşitli yönleri hakkında ayrıntılı geri bildirim sağlamak için daha kapsamlı puanlar içerir. İyileştirilmiş puanlar şunlardır: Prosody puanı, Sözlük puanı, Dil bilgisi puanı ve Konu puanı. Bu puanlar konuşma kullanımı, sözcük dağarcığı kullanımı, dil bilgisi doğruluğu ve konu anlama hakkında değerli içgörüler sunar.

AI Studio'da genel söyleniş puanının ve genel içerik puanının ekran görüntüsü.

Değerlendirme sonucunun en altında iki genel puan görüntülenir: Söyleniş puanı ve İçerik puanı. Okuma sekmesinde, Söyleniş puanının görüntülendiğini bulursunuz. Konuşma sekmesinde hem Söyleniş puanı hem de İçerik puanı görüntülenir.

Söyleniş puanı: Bu puan, söyleniş kalitesinin toplu değerlendirmesini temsil eder ve dört alt değerlendirme içerir. Bu puanlar hem betikli hem de açıklanmamış değerlendirmeler için hem okuma hem de konuşma sekmelerinde kullanılabilir.

Doğruluk puanı: Söylenişin doğruluğunu değerlendirir.
Akıcılık puanı: Konuşmadaki yumuşaklık ve doğallık düzeyini ölçer.
Tamlık puanı: Doğru telaffuz edilen sözcüklerin sayısını yansıtır.
Prosody puanı: Uygun tonlama, ritim ve stres kullanımını değerlendirir. Prosody değerlendirmesiyle ilgili beklenmeyen kesme, Eksik kesme ve Monoton gibi birkaç hata türü daha kullanıma sunulmuştur. Bu hata türleri, önceki altyapıya kıyasla telaffuz hataları hakkında daha ayrıntılı bilgi sağlar.

İçerik puanı: Bu puan, konuşma içeriğinin toplu bir değerlendirmesini sağlar ve üç alt değerlendirme içerir. Bu puan yalnızca açıklanmamış bir değerlendirme için konuşma sekmesinde kullanılabilir.

Kelime dağarcığı puanı: Konuşmacının sözcükleri etkili bir şekilde kullanmasını ve fikirleri doğru ifade etmek için verilen bağlam içindeki uygunluğunu ve sözcük karmaşıklığı düzeyini değerlendirir.
Dil bilgisi puanı: Dil bilgisi kullanımının doğruluğunu ve çeşitli cümle desenlerini değerlendirir. Sözcük doğruluğunu, dil bilgisi doğruluğunu ve cümle yapılarının çeşitliliğini dikkate alarak dil yeterliliğini daha kapsamlı bir şekilde değerlendirmeyi sağlar.
Konu puanı: Konuşmada ele alınan konuyu anlama ve katılım düzeyini değerlendirir. Konuşmacının, söz konusu konu ile ilgili düşünceleri ve fikirleri etkili bir şekilde ifade edebilme becerisini değerlendirir.

Bu genel puanlar, hem söyleniş hem de içeriğin kapsamlı bir değerlendirmesini sunarak, öğrencilerin konuşma performansı ve anlamalarının çeşitli yönleri hakkında değerli geri bildirimler sağlar. Bu gelişmiş özelliklerle, dil öğrenenler hem söyleniş hem de içerik ifadesinde iyileştirmeye yönelik avantajları ve alanları hakkında daha derin içgörüler elde edebilir.

Not

İçerik ve prosody değerlendirmeleri yalnızca en-US yerel ayarında kullanılabilir.

Akış modunda değerlendirme puanları

Söyleniş değerlendirmesi kesintisiz akış modunu destekler. AI Studio tanıtımı, değerlendirme için akış modunda 60 dakikaya kadar kayıt yapılmasını sağlar. Kaydı durdur düğmesine basmadığınız sürece değerlendirme işlemi tamamlanmaz ve değerlendirmeyi rahatça duraklatabilir ve sürdürebilirsiniz.

Söyleniş değerlendirmesi, söylenişin çeşitli yönlerini değerlendirir. Değerlendirme sonucunun en altında, Söyleniş puanını toplam toplam puan olarak görebilirsiniz; bu puan 4 alt yönü içerir: Doğruluk puanı, Akıcılık puanı, Tamlık puanı ve Prosody puanı. Akış modunda doğruluk puanı, Akıcılık puanı ve Prosody puanı kayıt işlemi boyunca zaman içinde değişeceğinden, AI Studio'da değerlendirmenin sonundan önce yaklaşık genel puanı artımlı olarak görüntülemeye yönelik bir yaklaşım gösteririz. Bu yaklaşım yalnızca Doğruluk puanı, Akıcılık puanı ve Prosody puanı ile ağırlıklıdır. Tamlık puanı yalnızca durdurma düğmesine bastıktan sonra değerlendirmenin sonunda hesaplanır, dolayısıyla son söyleniş genel puanı Doğruluk puanı, Akıcılık puanı, Tamlık puanı ve Prosody puanı ağırlıkla toplanır.

Akış modunda söylenişi değerlendirme işleminin tamamı için aşağıdaki tanıtım örneklerine bakın.

Kaydı başlat

Kaydetmeye başladığınızda, alttaki puanlar 0'dan değişmeye başlar.

Kayıt sırasında

Uzun bir paragraf kaydederken, kaydı istediğiniz zaman duraklatabilirsiniz. Durdur düğmesine basmadığınız sürece kaydınızı değerlendirmeye devam edebilirsiniz.

Kaydı bitir

Durdur düğmesine bastıktan sonra, en altta Söyleniş puanı, Doğruluk puanı, Akıcılık puanı, Tamlık puanı ve Prosody puanı görebilirsiniz.

Fiyatlandırma

Temel olarak, söyleniş değerlendirmesinin kullanımı kullandıkça öde veya taahhüt katmanı fiyatlandırması için konuşmayı metne dönüştürmeyle aynıdır. Konuşmayı metne dönüştürme için bir taahhüt katmanı satın alırsanız söyleniş değerlendirmesi için harcama, taahhüdü karşılamaya gider.

Söyleniş değerlendirme özelliği ayrıca, temel konuşmayı metin fiyatına dahil etmeyen başka puanlar da sunar: prosody, dil bilgisi, konu ve sözlük. Bu puanlar, temel konuşmadan metin fiyatına kadar bir eklenti ücreti olarak kullanılabilir. Fiyatlandırma hakkında bilgi için bkz . Konuşmayı metne dönüştürme fiyatlandırması.

Aşağıda, betikli veya açıklanmamış değerlendirmelerde kullanılabilir olup olmadığı ve temel konuşmada metin fiyatına veya eklenti fiyatına dahil olup olmadığı gibi kullanılabilir söyleniş değerlendirme puanlarının yer aldığı bir tablo verilmiştir.

Puan	Betikli veya açıklanmamış	Temel konuşmada metin fiyatına dahil mi?
Doğruluk	Betikli ve açıklanmamış	Yes
Akıcılık	Betikli ve açıklanmamış	Yes
Bütünlüğü	Komut dosyası	Yes
Yanlış Bakım	Betikli ve açıklanmamış	Yes
Prozodi	Betikli ve açıklanmamış	Hayır
Dilbilgisi	Yalnızca açıklanmamış	Hayır
Konu	Yalnızca açıklanmamış	Hayır
Lügatçe	Yalnızca açıklanmamış	Hayır

Sorumlu AI

Yapay zeka sistemi yalnızca teknolojiyi değil, onu kullanan kişileri, bundan etkilenecek kişileri ve dağıtıldığı ortamı da içerir. Sistemlerinizde sorumlu yapay zeka kullanımı ve dağıtımı hakkında bilgi edinmek için saydamlık notlarını okuyun.

Sonraki adımlar

Konuşma SDK'sı ile söyleniş değerlendirmesini kullanma
Kullanım örnekleri hakkındaki blogu okuyun

Aracılığıyla paylaş