휴먼 레이블 대화 기록을 만드는 방법
휴먼 레이블 대화 기록은 오디오 파일의 단어별 대화 내용 기록입니다. 특히 단어가 삭제되거나 잘못 바뀐 경우 인간이 레이블을 붙인 대화 내용 기록을 사용하여 모델 정확도를 평가하고 인식 정확도를 개선합니다. 이 가이드는 고품질 대화 내용 기록을 만드는 데 도움이 될 수 있습니다.
모델 정확도를 평가하려면 대화 내용 기록 데이터의 대표 샘플을 사용하는 것이 좋습니다. 데이터는 사용자가 애플리케이션에 말하는 내용을 대표하는 다양한 화자와 발화를 포함해야 합니다. 테스트 데이터의 경우 각 개별 오디오 파일의 최대 지속 시간은 2시간입니다.
인식을 개선하려면 대화 내용 기록 데이터의 많은 샘플이 필요합니다. 1 ~ 100시간의 오디오 데이터를 제공하는 것이 좋습니다. 음성 서비스는 학습을 위해 최대 100시간의 오디오를 사용합니다(학습 요금을 청구하지 않는 구형 모델의 경우 최대 20시간). 각 개별 오디오 파일은 40초(위스퍼 사용자 지정의 경우 최대 30초)를 초과할 수 없습니다.
이 가이드에는 미국 영어, 표준 중국어, 독일어 로캘 섹션이 있습니다.
모든 WAV 파일의 대화 내용 기록은 단일 일반 텍스트 파일(.txt 또는 .tsv)에 포함됩니다. 대화 내용 기록 파일의 각 줄에는 한 오디오 파일의 이름 다음에 해당 대화 기록 이름이 옵니다. 파일 이름과 대화 내용 기록은 탭(\t)으로 구분해야 합니다.
예시:
speech01.wav speech recognition is awesome
speech02.wav the quick brown fox jumped all over the place
speech03.wav the lazy dog was not amused
대화 내용 기록은 텍스트로 정규화되므로 시스템에서 처리할 수 있습니다. 그러나 데이터 세트를 업로드하기 전에 몇 가지 중요한 정규화를 수행해야 합니다.
비영어 또는 북경어 중국어에 대한 휴먼 레이블 대화 기록은 바이트 순서 표식을 사용하여 UTF-8로 인코딩해야 합니다. 다른 로캘의 대화 내용 기록 요구 사항은 다음 섹션을 참조하세요.
en-US
영어 오디오의 휴먼 레이블 대화 기록은 ASCII 문자만 사용하여 일반 텍스트로 제공되어야 합니다. Latin-1 또는 유니코드 문장 부호를 사용하지 않도록 합니다. 이러한 문자는 워드 프로세싱 애플리케이션에서 텍스트를 복사하거나 웹 페이지에서 데이터를 스크랩할 때 실수로 추가되는 경우가 많습니다. 이러한 문자가 있으면 적절한 ASCII 대체를 사용하여 업데이트해야 합니다.
다음은 몇 가지 예입니다.
| 피할 문자 | 대체 | 주의 |
|---|---|---|
| "Hello world" | "Hello world" | 여는 따옴표와 닫는 따옴표가 적절한 ASCII 문자로 대체됩니다. |
| John’s day | John's day | 아포스트로피가 적절한 ASCII 문자로 대체됩니다. |
| It was good—no, it was great! | it was good--no, it was great! | em 대시가 하이픈 두 개로 대체됩니다. |
미국 영어에 대한 텍스트 정규화
텍스트 정규화는 모델을 학습하는 데 사용되는 일관된 형식으로 단어를 변환하는 것입니다. 일부 정규화 규칙은 텍스트에 자동으로 적용되지만 휴먼 레이블 대화 기록 데이터를 준비할 때 이러한 지침을 사용하는 것이 좋습니다.
- 약어를 단어로 작성합니다.
- 비표준 숫자 문자열을 단어로 작성합니다(예: 회계 용어).
- 영문자가 아닌 문자 또는 혼합 영숫자 문자는 발음되는 대로 전사해야 합니다.
- 단어로 발음된 약어는 편집할 수 없습니다(예: "레이더", "레이저", "RAM" 또는 "NATO").
- 각 문자가 공백으로 구분되는 별도의 문자로 발음되는 약어를 작성합니다.
- 오디오를 사용하는 경우 오디오와 일치하는 단어(예: "101"을 "one oh one" 또는 "one hundred and one"으로 발음할 수 있음)로 숫자를 기록합니다.
- 반복되는 문자, 단어 또는 단어 그룹을 세 번보다 많이(예: "yeah yeah yeah yeah") 반복하지 않습니다. Speech Service는 반복되는 줄을 삭제할 수 있습니다.
다음은 대화 내용 기록에서 수행해야 하는 정규화의 몇 가지 예제입니다.
| Original text | 정규화 후 텍스트(사람) |
|---|---|
| Dr. Bruce Banner | Doctor Bruce Banner |
| James Bond, 007 | James Bond, double oh seven |
| Ke$ha | Kesha |
| How long is the 2x4 | How long is the two by four |
| The meeting goes from 1-3pm | The meeting goes from one to three pm |
| My blood type is O+ | My blood type is O positive |
| Water is H20 | Water is H 2 O |
| Play OU812 by Van Halen | Play O U 8 1 2 by Van Halen |
| UTF-8(BOM 포함) | U T F 8 with BOM |
| It costs $3.14 | It costs three fourteen |
다음 정규화 규칙은 자동으로 대화 내용 기록에 적용됩니다.
- 소문자를 사용합니다.
- 단어 내에서 아포스트로피를 제외한 모든 문장 부호를 제거합니다.
- 숫자를 달러 양과 같은 단어/발성 형식으로 확장합니다.
다음은 대화 내용 기록에 대해 자동으로 수행되는 정규화의 몇 가지 예제입니다.
| Original text | 정규화 후 텍스트(자동) |
|---|---|
| "Holy cow!" said Batman. | holy cow said batman |
| "What?" said Batman's sidekick, Robin. | what said batman's sidekick robin |
| Go get -em! | go get em |
| I'm double-jointed | I'm double jointed |
| 104 Elm Street | one oh four Elm street |
| Tune to 102.7 | tune to one oh two point seven |
| Pi is about 3.14 | pi is about three point one four |
de-DE
독일어 오디오의 휴먼 레이블 대화 기록은 바이트 순서 표식을 사용하여 UTF-8로 인코딩해야 합니다.
독일어에 대한 텍스트 정규화
텍스트 정규화는 모델을 학습하는 데 사용되는 일관된 형식으로 단어를 변환하는 것입니다. 일부 정규화 규칙은 텍스트에 자동으로 적용되지만 휴먼 레이블 대화 기록 데이터를 준비할 때 이러한 지침을 사용하는 것이 좋습니다.
- "."가 아닌 ","로 소수점을 작성합니다.
- "."가 아닌 ":"로 시간 구분 기호를 작성합니다(예: 12:00 Uhr).
- "ca"와 같은 약어는 대체되지 않습니다. 전체 발성 형식을 사용하는 것이 좋습니다.
- 네 개의 기본 수학 연산자(+, -, * 및 /)를 제거합니다. "plus", "minus", "mal" 및 "geteilt"와 같은 작성 형식으로 바꾸는 것이 좋습니다.
- 비교 연산자가 제거됩니다(=, < 및 >). "gleich", "kleiner als" 및 "grösser als"로 바꾸는 것이 좋습니다.
- 3/4과 같은 분수는 작성 형식(예: 3/4 대신 "drei viertel")으로 작성합니다.
- "€" 기호를 작성 형식 "유로"로 바꿉니다.
다음은 대화 내용 기록에서 수행해야 하는 정규화의 몇 가지 예제입니다.
| Original text | 사용자 정규화 후 텍스트 | 시스템 정규화 후 텍스트 |
|---|---|---|
| Es ist 12.23 Uhr | Es ist 12:23 Uhr | es ist zwölf uhr drei und zwanzig uhr |
| {12.45} | {12,45} | zwölf komma vier fünf |
| 2 + 3 - 4 | 2 plus 3 minus 4 | zwei plus drei minus vier |
다음 정규화 규칙은 자동으로 대화 내용 기록에 적용됩니다.
- 모든 텍스트에 소문자를 사용합니다.
- 다양한 유형의 따옴표를 포함하여 모든 문장 부호를 제거합니다("테스트", '테스트', "테스트„ 및 «테스트»는 허용됨).
- 이 집합 ¢ ¤ ¥ ¦ § © ª ¬ ® ° ± ² µ × ÿ ج¬의 특수 문자를 포함하는 행을 버립니다.
- 달러 또는 유로 금액을 포함하여 숫자를 발성 형식으로 확장합니다.
- a, o 및 u에 대해서만 움라우트를 허용합니다. 다른 항목은 "th"로 바뀌거나 삭제됩니다.
다음은 대화 내용 기록에 대해 자동으로 수행되는 정규화의 몇 가지 예제입니다.
| Original text | 정규화 후 텍스트 |
|---|---|
| Frankfurter Ring | frankfurter ring |
| ¡Eine Frage! | eine frage |
| Wir, haben | wir haben |
ja-JP
일본어(ja-JP)에서 각 문장의 최대 길이는 90자입니다. 문장이 이보다 더 긴 줄은 무시됩니다. 긴 텍스트를 추가하려면 사이에 마침표를 삽입합니다.
zh-CN
북경어 중국어 오디오의 휴먼 레이블 대화 기록은 바이트 순서 표식을 사용하여 UTF-8로 인코딩해야 합니다. 반자 문장 부호 문자를 사용하지 않아야 합니다. 이러한 문자는 워드 프로세싱 프로그램에서 데이터를 준비하거나 웹 페이지에서 데이터를 스크랩할 때 실수로 포함될 수 있습니다. 이러한 문자가 있으면 적절한 전자 대체를 사용하여 업데이트해야 합니다.
다음은 몇 가지 예입니다.
| 피할 문자 | 대체 | 주의 |
|---|---|---|
| "你好" | "你好" | 여는 따옴표와 닫는 따옴표가 적절한 문자로 대체됩니다. |
| 需要什么帮助? | 需要什么帮助？ | 물음표가 적절한 문자로 대체됩니다. |
북경어 중국어에 대한 텍스트 정규화
텍스트 정규화는 모델을 학습하는 데 사용되는 일관된 형식으로 단어를 변환하는 것입니다. 일부 정규화 규칙은 텍스트에 자동으로 적용되지만 휴먼 레이블 대화 기록 데이터를 준비할 때 이러한 지침을 사용하는 것이 좋습니다.
- 약어를 단어로 작성합니다.
- 숫자 문자열은 음성 형식으로 기록합니다.
다음은 대화 내용 기록에서 수행해야 하는 정규화의 몇 가지 예제입니다.
| Original text | 정규화 후 텍스트 |
|---|---|
| 我今年 21 | 我今年二十一 |
| 3 号楼 504 | 三号 楼 五 零 四 |
다음 정규화 규칙은 자동으로 대화 내용 기록에 적용됩니다.
- 모든 문장 부호 제거
- 숫자를 음성 형식으로 확장
- 전자 문자를 반자 문자로 변환
- 모든 영어 단어에 대문자 사용
자동 대화 내용 기록 정규화의 몇 가지 예제는 다음과 같습니다.
| Original text | 정규화 후 텍스트 |
|---|---|
| 3.1415 | 三 点 一 四 一 五 |
| ￥ 3.5 | 三 元 五 角 |
| w f y z | W F Y Z |
| 1992 年 8 月 8 日 | 一 九 九 二 年 八 月 八 日 |
| 你吃饭了吗? | 你 吃饭 了 吗 |
| 下午 5:00 的航班 | 下午 五点 的 航班 |
| 我今年 21 岁 | 我 今年 二十 一 岁 |