한국어 전사는 한 기준에서는 정확해 보이지만 다른 기준에서는 약해 보일 수 있습니다. KsponSpeech 연구의 한 시스템은 Eval-clean 세트에서 8.0% 문자 오류율(CER), 14.2% 공백 독립 단어 오류율(sWER), 21.9% 단어 오류율(WER)을 기록했습니다. 이 수치들은 서로 다른 단위를 측정한 것이며, 경쟁하는 세 가지 제품 주장으로 볼 수는 없습니다. 실제로 보유한 한국어 오디오에서 도구를 어떻게 읽고 테스트해야 하는지 살펴보겠습니다.
핵심 요약
- 한국어 정확도 주장 뒤에 있는 지표, 테스트 세트, 모델을 확인하세요.
- 문자 일치만 보지 말고 띄어쓰기와 의미도 검토하세요.
- 대표성 있는 오디오로 한국어-영어 전환과 고유명사를 테스트하세요.
CER, sWER, WER가 측정하는 것
KsponSpeech 연구는 한국어 자발화에 SpecAugment를 적용한 Transformer를 평가했습니다. Eval-clean 결과는 지표가 왜 중요한지 보여줍니다:
| 지표 | Eval-clean | 무엇이 달라지는가 |
|---|---|---|
| CER | 8.0% | 문자 편집 횟수를 셉니다. |
| sWER | 14.2% | 단어 띄어쓰기 차이의 영향을 줄입니다. |
| WER | 21.9% | 단어 경계가 정해진 뒤의 단어 편집 횟수를 셉니다. |
이 수치는 MirrorCaption이나 다른 서비스의 정확도 추정치가 아니라, 하나의 연구 모델과 평가 세트에 대한 측정값입니다. WER과 sWER는 토큰화 방식이 다르므로 7.7포인트 차이는 띄어쓰기가 점수에 영향을 준다는 뜻이지, 공백 때문에 정확히 몇 개의 인식 오류가 발생했는지를 세는 것은 아닙니다. 우리의 전사 정확도 비교에서는 오류율의 더 넓은 한계를 설명합니다.
띄어쓰기는 문자를 바꾸지 않아도 의미를 바꿀 수 있습니다
아버지가방에들어가신다를 생각해 보세요. 띄어쓰기 아버지가 방에 들어가신다는 “아버지가 방에 들어가신다”를 뜻하고, 아버지 가방에 들어가신다는 “아버지가 가방에 들어가신다”를 뜻합니다. 문자는 동일합니다. 공백을 무시하는 문자 수준 비교만으로는 의도한 문장이 복원되었는지 알 수 없습니다.
회의록에서는 총점뿐 아니라 이름, 직함, 문장 경계도 검토하세요. 역할이나 회사명이 모호하다면 전사본을 녹음과 맥락에 대조해 보세요. KsponSpeech 저자들은 자발화 참조본에서 일관되지 않은 띄어쓰기를 논의합니다. 이 예시는 CER만으로는 의미를 판단할 수 없음을 보여줍니다.
한국어-영어 전환은 별도로 테스트하세요
HiKE 연구는 13명의 이중언어 화자로부터 1,121개의 한국어-영어 발화를 수집했습니다. 이 연구는 혼합 오류율(MER)과 전환 지점에 초점을 맞춘 관심 지점 오류율(PIER)로 혼합 발화를 평가합니다. 논문의 표에서 GPT-4o Transcribe는 별도의 단일언어 한국어 FLEURS 세트에서 2.5% CER을 기록했고, HiKE에서 단어 수준 전환에 대해 25.8% PIER을 기록했습니다. 이 값들은 서로 다른 오디오와 지표를 사용하므로, 직접적인 전후 손실로 읽을 수는 없습니다.
연구진은 둘 다 유효한 경우 한글 또는 라틴 문자로 된 차용어를 허용해 데이터셋에서 측정 오류를 줄였습니다. 제품을 시험할 때도 영어 약어, 차용어, 고유명사를 포함하세요. 우리의 다국어 전사 가이드는 원어 그대로의 캡처와 번역을 구분합니다.
정확한 모델과 워크플로를 확인하세요
벤더의 한국어 지원 주장은 모든 모델에 적용되지 않습니다. Deepgram의 모델 목록에는 Nova-3용 ko/ko-KR가 포함되어 있지만 Flux speech-to-text에서는 한국어가 빠져 있습니다. Google Cloud의 표에는 모델 및 지역 정보와 함께 ko-KR이 나와 있습니다. 사용하려는 실시간 또는 업로드 경로에 대해 현재 목록을 확인하세요.
MirrorCaption은 실시간 전사 언어에 한국어를 포함하며, 예상 용어를 위한 사용자 지정 어휘 힌트를 제공합니다. 하지만 이러한 보조 기능이 올바른 동음이의어 선택이나 띄어쓰기를 보장하지는 않습니다. MirrorCaption은 한국어 CER을 공개하지 않으며, 방언이나 띄어쓰기 선택 기능도 없고, 인증된 전사 서비스도 아닙니다. 기록이 법적, 의료적 또는 그 밖의 중대한 결과를 수반한다면 사람의 검토를 사용하세요.
5분 한국어 전사 시험
- 일반적인 마이크, 배경 소음, 한국어-영어 전환이 있는 대표성 있는 오디오를 고르세요.
- 의미가 반드시 유지되어야 하는 이름과 구문을 적어 두세요. 지원되는 어휘 힌트를 추가하세요.
- 출력을 사람 기준본과 비교한 뒤, 의미를 바꾸는 오류를 다시 들어 보세요. 띄어쓰기와 문자 선택은 따로 기록하세요.
- 제공업체 문서에서 정확한 모델, 실시간 또는 파일 워크플로, 출력 형식, 현재 가격을 확인하세요.
실시간 브라우저 시험을 하려면 MirrorCaption을 열고 자신의 한국어 음성을 확인하세요. 무료 1시간을 통해 워크플로가 적합한지 결정하기 전에 결과를 검토할 수 있습니다. 녹음 파일의 경우 별도의 업로드 Transcriber를 사용하고, 작업에 맞는 언어 및 내보내기 옵션을 확인하세요.
자주 묻는 질문
한국어 전사의 정확도는 어느 정도인가요?
하나의 정확도 수치로 말할 수는 없습니다. KsponSpeech Eval-clean 세트에서 한 연구 시스템은 문자 오류율 8.0%, 공백 독립 단어 오류율 14.2%, 단어 오류율 21.9%를 기록했습니다. 이는 상용 도구의 보장이 아니라 연구 결과입니다.
한국어 CER과 WER가 다른 이유는 무엇인가요?
서로 다른 단위를 세기 때문입니다. 표준 단어 오류율은 단어 경계에 민감하고, 공백 독립 WER은 일관되지 않은 띄어쓰기의 영향을 줄입니다. 문자 오류율은 같은 한글 문자가 다르게 띄어쓰기 되었을 때의 의미 변화를 놓칠 수 있습니다.
한 번의 녹음에서 한국어와 영어를 함께 전사할 수 있나요?
일부 모델은 혼합 언어 인식을 지원하지만, 반드시 자신의 음성으로 정확한 모델을 테스트해야 합니다. HiKE 연구는 한국어-영어 전환 지점에서 오류를 발견했습니다. 단일언어 결과와 혼합 발화 결과는 서로 다른 오디오와 지표를 사용하므로 직접적인 정확도 비교가 아닙니다.
한국어를 지원하는 벤더의 모든 모델이 한국어를 지원하나요?
아닙니다. Deepgram은 현재 Nova-3에 한국어를 명시하지만, Flux speech-to-text 언어 목록에는 한국어가 없습니다. 녹음 또는 실시간 워크플로에 대한 현재 모델 문서를 확인하세요.
한국어 전사 도구는 어떻게 테스트해야 하나요?
이름, 띄어쓰기의 모호성, 영어 용어가 포함된 대표성 있는 5분 녹음을 사용하세요. 사람 기준본과 비교하고, 의미를 바꾸는 오류를 검토한 뒤, 도입 전에 모델, 내보내기 형식, 현재 가격을 확인하세요.