블로그로 돌아가기

Whisper 한국어 성능과 지원 언어 100개

Whisper는 100개 언어를 지원하지만 정확도는 같지 않아요. 한국어 오류율, 전체 언어 목록, OpenAI가 공개한 언어·모델별 오류율과 turbo가 large-v3에 뒤처지는 언어를 정리했어요.

2026년 11월 10일
Sablate Team

Whisper는 100개 언어를 지원해요. OpenAI가 처음 공개한 99개 코드에 large-v3와 함께 추가된 광둥어를 더한 수예요. 목록에 있다고 해서 모든 언어를 똑같이 잘 쓸 수 있는 건 아니에요. OpenAI가 직접 공개한 FLEURS 벤치마크에서 large-v3는 스페인어에서 100단어 중 약 3개, 벵골어에서는 100단어 중 약 50개를 틀리고, 작은 모델일수록 영어 밖에서 이 격차가 더 벌어져요.

목록 자체는 쉬운 부분이에요. Whisper가 내 언어의 자막을 만들기에 충분한지는 그 언어가 학습 오디오를 얼마나 갖고 있었는지, 어떤 모델 크기를 쓰는지, 그리고 더 빠른 turbo 모델이 뒤처지는 몇 안 되는 언어인지에 달려 있어요. 아래에서 전체 목록, OpenAI가 언어와 모델별로 공개한 오류율, 그 숫자를 내 영상에 맞춰 읽는 방법을 차례로 살펴봐요.

Whisper 지원 언어 전체 목록

Whisper의 tokenizer.py에 있는 LANGUAGES 표의 100개 항목을 이름순으로 정렬해 세로 열 순서대로 읽을 수 있게 놓았어요. 왼쪽의 코드는 명령줄에서 --language에 넘기는 값이고, 데스크톱 앱에서 메뉴로 언어를 고를 때 앱이 보내는 값이기도 해요.

af  Afrikaans       fr  French          lt  Lithuanian      sd  Sindhi
sq  Albanian        gl  Galician        lb  Luxembourgish   si  Sinhala
am  Amharic         ka  Georgian        mk  Macedonian      sk  Slovak
ar  Arabic          de  German          mg  Malagasy        sl  Slovenian
hy  Armenian        el  Greek           ms  Malay           so  Somali
as  Assamese        gu  Gujarati        ml  Malayalam       es  Spanish
az  Azerbaijani     ht  Haitian Creole  mt  Maltese         su  Sundanese
ba  Bashkir         ha  Hausa           mi  Maori           sw  Swahili
eu  Basque          haw Hawaiian        mr  Marathi         sv  Swedish
be  Belarusian      he  Hebrew          mn  Mongolian       tl  Tagalog
bn  Bengali         hi  Hindi           my  Myanmar         tg  Tajik
bs  Bosnian         hu  Hungarian       ne  Nepali          ta  Tamil
br  Breton          is  Icelandic       no  Norwegian       tt  Tatar
bg  Bulgarian       id  Indonesian      nn  Nynorsk         te  Telugu
yue Cantonese       it  Italian         oc  Occitan         th  Thai
ca  Catalan         ja  Japanese        ps  Pashto          bo  Tibetan
zh  Chinese         jw  Javanese        fa  Persian         tr  Turkish
hr  Croatian        kn  Kannada         pl  Polish          tk  Turkmen
cs  Czech           kk  Kazakh          pt  Portuguese      uk  Ukrainian
da  Danish          km  Khmer           pa  Punjabi         ur  Urdu
nl  Dutch           ko  Korean          ro  Romanian        uz  Uzbek
en  English         lo  Lao             ru  Russian         vi  Vietnamese
et  Estonian        la  Latin           sa  Sanskrit        cy  Welsh
fo  Faroese         lv  Latvian         sr  Serbian         yi  Yiddish
fi  Finnish         ln  Lingala         sn  Shona           yo  Yoruba

이름이 여러 개인 경우도 있어요. zh는 표준 중국어(Mandarin)를 가리키고 토크나이저는 "mandarin"도 받아들여요. ca는 "valencian", nl은 "flemish", ro는 "moldavian", es는 "castilian"을 받아들여요. jw는 자바어에 대한 Whisper 고유의 코드예요. ISO 표준은 jv라서 코드를 ISO 기준으로 검증하는 도구는 이 둘을 서로 바꿔 줘야 해요. 광둥어(yue)는 large-v3와 그걸 바탕으로 만든 turbo 모델에만 있고, 이전 체크포인트에는 이 토큰이 없어요.

Whisper 언어별 정확도: OpenAI가 직접 공개한 수치

OpenAI는 large-v3의 언어별 오류율을 Whisper README에, turbo는 turbo 발표문에, 더 작은 모델은 Whisper 논문의 부록에 공개해요. 아래 표는 이 세 출처에서 FLEURS 수치를 가져온 거예요. FLEURS는 각 언어로 소리 내어 읽은 문장을 녹음한 데이터라서 가장 좋은 경우의 수치예요.

언어large-v3turbosmalltiny
스페인어2.83.15.615.9
이탈리아어3.03.29.829.8
한국어 (CER, small과 tiny는 WER)3.13.219.636.1
포르투갈어4.14.27.320.1
영어4.14.46.112.4
폴란드어4.65.414.745.6
일본어 (CER)4.94.712.037.0
독일어4.95.810.227.8
러시아어5.05.311.431.1
네덜란드어5.25.916.449.0
프랑스어5.35.815.041.4
인도네시아어6.16.916.351.7
우크라이나어6.46.919.351.2
터키어6.76.915.942.5
표준 중국어 (CER)7.78.320.840.5
태국어 (CER)8.413.921.958.8
베트남어8.69.621.260.0
아랍어9.610.230.663.4
힌디어17.018.538.4102.3
히브리어26.1미공개44.471.6
스와힐리어34.1미공개73.7100.9
벵골어50.0미공개104.4101.6

수치는 퍼센트 단위의 단어 오류율(WER, word error rate)이에요. 모델이 틀리게 쓰거나 빠뜨리거나 덧붙인 단어의 비율이죠. 일본어, 표준 중국어, 태국어처럼 단어를 띄어 쓰지 않는 언어는 출처들이 글자 수로 세는 글자 오류율(CER, character error rate)을 써요. 이 표에서 조심할 언어는 한국어예요. README와 turbo 차트는 한국어를 CER로 싣는데, 논문의 small과 tiny 수치는 단어 기준이라서 이 행은 가로로 그냥 비교할 수 없어요. 삽입된 단어도 오류로 세기 때문에 WER은 100을 넘을 수도 있어요.

small과 tiny 열은 2022년의 별도 실험에서 나온 수치예요. OpenAI는 이 두 크기를 다시 학습시키지 않았기 때문에 지금 내려받는 모델과 같아요. 열끼리의 차이는 대략적으로, 행끼리의 차이는 믿을 만하게 읽으세요.

왜 어떤 언어는 훨씬 더 나쁠까

Whisper 논문이 여기에 직접 답해요. 언어 전체로 보면 전사된 학습 오디오의 양이 로그 스케일에서 제곱 상관계수 0.83으로 오류율을 예측하고, 추정한 직선에 따르면 학습 데이터가 16배 늘 때마다 오류율이 절반으로 줄어요. 원래 모델이 학습한 68만 시간 중 영어가 대략 3분의 2를 차지하고, 나머지 96개 언어가 11만 7천 시간을 나눠 가져요. 논문이 음성 인식 학습 데이터의 양을 집계한 언어는 75개뿐이에요.

학습 데이터가 전부는 아니에요. 논문은 히브리어, 텔루구어, 중국어, 한국어를 학습 시간에서 예측되는 것보다 성능이 낮은 언어로 꼽고, 그 이유로 고유한 문자 체계, 데이터를 지배하는 인도·유럽어족과의 거리, 그런 문자에 잘 맞지 않는 바이트 단위 토크나이저를 짚어요. 데이터의 질도 중요해요. 저자들은 웨일스어 번역 데이터라고 알려진 것의 대부분이 웨일스어로 잘못 분류된 영어 오디오라는 걸 발견했어요.

large-v3는 훨씬 더 많은 오디오로 학습했어요. 약한 라벨이 붙은 음성 100만 시간과 의사 라벨(pseudo-label)이 붙은 음성 400만 시간이고, OpenAI는 언어 전반에서 large-v2보다 오류가 10~20퍼센트 적다고 밝혀요. 그래도 순위는 거의 바뀌지 않았어요. 2022년 표에서 아래쪽에 있던 언어는 지금도 아래쪽에 있어요.

모델이 작으면 영어 밖에서 더 크게 불리할까

네, 그것도 아주 많이요. 영어에서는 large-v3에서 small로 내려가면 오류율이 4.1에서 6.1퍼센트가 돼요. 교정할 때 눈에 띄지만 초안으로는 쓸 만한 수준이에요. 프랑스어는 5.3에서 15.0으로, 폴란드어는 4.6에서 14.7로, 터키어는 6.7에서 15.9로 올라가요. 일곱 단어 중 하나꼴로 틀리면 고치는 게 아니라 다시 쓰는 전사가 돼요.

tiny는 몇몇 언어를 빼면 차원이 달라요. 스페인어는 15.9퍼센트로 버티지만 프랑스어, 폴란드어, 네덜란드어, 터키어는 41~49퍼센트에 이르러서, 거의 모든 자막 큐에 틀린 곳이 있다는 뜻이에요. 패턴은 일관돼요. 언어가 표 위쪽에서 멀수록 모델 크기를 한 단계 낮출 때 치르는 대가가 커져요.

모델 크기는 속도와 메모리도 결정해요. 그래서 실제 질문은 내 언어에서 정확도를 얼마나 내줄 수 있느냐예요. Whisper 모델 비교에서 모델별 다운로드 용량, VRAM, 속도를 다루니 이 표를 대체하지 말고 함께 읽으세요.

Turbo와 large-v3: turbo가 뒤처지는 곳

turbo는 large-v3의 디코더를 32개 레이어에서 4개로 줄인 다음 같은 양의 전사 데이터로 다시 파인튜닝한 모델이에요. FLEURS에서는 표의 대부분 언어에서 large-v3와 약 1포인트 이내로 붙어 있고, 일본어에서는 약간 앞서요. OpenAI의 설명은 large-v2와 비슷한 성능을 내지만 태국어와 광둥어에서는 더 많이 떨어진다는 거예요. 지원자들이 각자 마이크로 녹음한 Common Voice 차트에서는 그 차이가 더 분명하게 보여요.

언어 (Common Voice 15)large-v3turbo
광둥어, 중국 (CER)10.946.1
광둥어, 홍콩 (CER)15.942.9
태국어 (CER)5.820.8
세르비아어15.736.7
라트비아어16.735.5
터키어12.017.0
일본어 (CER)10.312.3

세르비아어와 라트비아어는 발표문 본문에는 없고 차트에만 있는데, 태국어만큼 떨어져요. 내 언어가 이 목록에 있다면 turbo의 8배 속도는 감수할 가치가 없어요. large-v3를 쓰세요. 또 turbo는 번역 데이터로 학습하지 않았기 때문에 Whisper에 내장된 영어로 번역 작업에는 large-v3나 medium이 필요해요. 영상 자막 번역 가이드에서 설명해요.

Whisper는 한국어를 얼마나 잘할까

한국어는 Whisper의 표에서 상위권이에요. FLEURS에서 large-v3의 글자 오류율(CER)은 3.1퍼센트, turbo는 3.2퍼센트예요. 지원자들이 각자 마이크로 녹음한 Common Voice 15에서는 large-v3가 5.2퍼센트, turbo가 5.6퍼센트로 올라가요. 소리 내어 읽은 문장보다 실제 영상에 더 가까운 건 이쪽 수치예요.

다만 한국어는 학습 시간만 보고 예상하는 것보다 성능이 낮은 언어로 논문이 직접 꼽아요. 논문은 그 이유로 독특한 문자 체계와 토크나이저와의 궁합을 추정해요. 표에서 small과 tiny의 19.6과 36.1은 논문이 단어 단위로 잰 값이고, OpenAI의 차트는 한국어를 글자 단위로 재요. 한국어는 띄어쓰기 단위가 달라서 CER 수치와 견주면 실제보다 나빠 보이니 직접 비교하지 마세요. 그래도 완성할 자막에는 turbo나 large-v3를 쓰는 게 좋아요.

언어 자동 감지, 아니면 직접 지정?

언어를 지정하지 않으면 Whisper는 처음 30초의 음성을 듣고 가장 가능성이 높은 언어를 고른 다음 파일 전체를 그 언어로 받아 적어요. 대부분의 데스크톱 앱이 쓰는 엔진인 faster-whisper도 기본값은 마찬가지예요. 감지는 꽤 정확하지만 확실하지는 않아요. 논문에서 가장 좋은 모델은 학습 데이터가 있는 FLEURS 82개 언어 전체에서 80.3퍼센트의 경우에 언어를 맞혔어요.

두 가지 상황에서 감지가 어긋나요. 음악, 박수, 아주 적은 말소리로 시작하는 영상은 감지기에 단서를 거의 주지 못해요. 처음 30초가 나머지와 다른 언어인 영상, 예를 들어 터키어 인터뷰에 영어 인트로가 붙은 경우에는 그 뒤 전체의 언어를 잘못 정해 버려요. 언어를 안다면 직접 고르세요.

Whisper는 파일 하나에 언어 하나를 기대해요. 파일 전체가 하나의 언어 토큰으로 디코딩되기 때문에 두 번째 언어로 말한 구간도 첫 번째 언어인 것처럼 받아 적고, 그 구간의 결과는 믿을 수 없어요. 여러 언어가 섞인 영상은 주된 언어로 전사한 뒤 나머지 구간을 손으로 고치거나 오디오를 나누는 게 확실한 방법이에요.

내 언어에 맞는 모델 고르기

“내 언어는 표 위쪽이에요.” 스페인어, 이탈리아어, 포르투갈어, 영어, 독일어, 러시아어와 그 이웃 언어는 small로도 깔끔한 초안이 나오고, 완성할 자막에는 turbo가 합리적인 기본값이에요.

“내 언어는 중간쯤이에요.” 터키어, 우크라이나어, 베트남어, 아랍어, 표준 중국어는 small이 다시 써야 할 초안을 내놓으니, 공개할 자막에는 turbo나 large-v3로 가세요.

“내 언어는 태국어, 광둥어, 세르비아어, 라트비아어예요.” turbo가 아니라 large-v3를 쓰세요.

“내 언어는 표 아래쪽이에요.” 힌디어, 히브리어, 스와힐리어, 벵골어, 그리고 공개된 수치가 아예 없는 대부분의 언어가 여기에 들어요. Whisper의 결과는 거친 첫 패스로 보고, 모든 큐를 확인하고, 그만큼 시간을 잡아 두세요. 한 언어만을 위해 학습한 모델이 있다면 시험해 볼 만해요. 일본어에는 예를 들어 kotoba-whisper가 있어요.

“화자가 언어를 바꿔 가며 말해요.” 주된 언어를 직접 고르고 나머지는 손으로 고칠 계획을 세우세요.

표가 뭐라고 하든 확정하기 전에 테스트하세요. 내 영상에서 2분을 잘라 두 가지 모델 크기로 전사하고 줄 단위로 비교해 보세요. 벤치마크는 낭독한 음성이지만 내 영상에는 음악, 겹치는 대화, 이름이 있어요. 전사가 줄을 반복하거나 없는 글을 지어낼 때 원인은 보통 언어가 아니라 오디오와 디코딩 설정이에요.

Sablate에서 쓰는 Whisper 언어

Sablate의 언어 메뉴는 Whisper의 목록 그대로예요. 같은 100개 코드에 Auto-detect가 더해지고, 각 이름은 앱 인터페이스 언어로 표시돼요. 네 가지 품질 단계는 표의 모델에 대응해요. Fast는 tiny, Balanced는 small, Accurate는 large-v3-turbo, Best는 large-v3예요. 그래서 위 표의 열이 곧 앱에서 하는 선택이에요. 무료 요금제는 계정이 필요 없고 10분 이하 영상, 월 3회 작업, Fast와 Balanced 모델, 오프라인 번역 레이어 1개를 지원해요. 구워 넣은 영상에는 모서리에 작은 마크가 붙어요. Accurate와 Best는 Pro에 포함돼요.

Sablate가 전사 다음 단계까지 가는 부분은 이거예요. 모든 번역은 같은 전사 위의 레이어이고, 각 레이어는 자기만의 스타일과 해당 문자를 실제로 그릴 수 있는 폰트를 가져요. 그래서 아랍어, 힌디어, 일본어, 한국어 자막이 구워 넣은 영상에서 빈 사각형으로 바뀌지 않아요. 영상 하나로 여러 언어 자막 만들기에서 전체 작업 흐름을 볼 수 있어요.

한계도 솔직히 짚을게요. Sablate는 OpenAI의 체크포인트만 실행하기 때문에 한 언어에 맞춰 파인튜닝한 커뮤니티 모델은 불러올 수 없어요. 그리고 GPU는 Apple Silicon Mac과 NVIDIA 그래픽 카드를 갖춘 Windows에서 전사를 빠르게 해주고, Intel Mac과 그 외 Windows PC는 CPU를 써요.

자주 묻는 질문

Whisper는 몇 개 언어를 지원하나요?

100개예요. OpenAI의 토크나이저에는 최초 공개 때의 언어 코드 99개와, 2023년 11월 large-v3와 함께 추가된 광둥어가 들어 있어요. 지원한다는 건 모델에 그 언어의 토큰이 있다는 뜻이지 잘 받아 적는다는 뜻은 아니에요. OpenAI의 FLEURS 벤치마크에서 large-v3는 스페인어 약 3퍼센트부터 벵골어 약 50퍼센트까지 오류율이 벌어져요.

Whisper가 가장 잘 받아 적는 언어는 무엇인가요?

OpenAI 수치로는 스페인어, 이탈리아어, 한국어, 포르투갈어, 영어예요. FLEURS 벤치마크에서 large-v3는 이 다섯 언어 모두 오류율이 약 4퍼센트 이하이고, 폴란드어, 일본어, 독일어, 러시아어, 네덜란드어, 프랑스어가 바로 뒤를 따라요. 정확도는 언어별 학습 오디오 양을 따라가서, 사용 인구가 많은 유럽 언어와 동아시아 언어가 표 위쪽을 차지해요.

Whisper는 한국어를 얼마나 정확하게 받아 적나요?

깨끗한 음성이라면 꽤 정확해요. OpenAI는 FLEURS에서 large-v3의 글자 오류율(CER)을 3.1퍼센트, turbo를 3.2퍼센트로 측정했어요. 지원자들이 각자 마이크로 녹음한 Common Voice 15에서는 large-v3가 5.2퍼센트, turbo가 5.6퍼센트예요. 실제 영상은 후자에 더 가까우니, 완성할 자막에는 turbo나 large-v3를 쓰세요.

Whisper turbo는 모든 언어에서 large-v3만큼 좋은가요?

아니요. turbo는 같은 100개 언어 코드를 갖고 있고 대부분의 언어에서 large-v3와 비슷하지만, OpenAI는 태국어와 광둥어에서 손실이 더 크다고 밝혀요. Common Voice에서 광둥어의 글자 오류율은 약 11퍼센트에서 46퍼센트로, 태국어는 약 6퍼센트에서 21퍼센트로 올라가요. 이런 언어에는 large-v3 전체 모델을 쓰세요.

Whisper가 언어를 자동으로 감지하게 둬도 될까요?

언어를 모를 때만 그렇게 하세요. Whisper는 처음 30초의 음성으로 언어를 추측한 다음 파일 전체를 그 한 언어로 받아 적어요. 도입부가 조용하거나 음악이 많거나 영상이 다른 언어로 시작하면 전체 전사가 엉뚱한 방향으로 갈 수 있어요. 언어를 직접 고르면 이 위험이 사라져요.