Whisper на русском: поддерживаемые языки и ошибки
Whisper поддерживает 100 языков, но не одинаково хорошо. Полный список, доля ошибок на русском и других языках по данным OpenAI и где turbo уступает large-v3.
Whisper поддерживает 100 языков: 99 кодов из первого релиза OpenAI и кантонский, добавленный вместе с large-v3. Но наличие в списке не делает язык одинаково пригодным для работы. На собственном тесте OpenAI FLEURS large-v3 ошибается примерно в 3 словах из 100 в испанском и примерно в 50 из 100 в бенгальском, а меньшие модели увеличивают этот разрыв за пределами английского.
Сам список — самая простая часть. Достаточно ли хорош Whisper для субтитров на вашем языке, зависит от того, сколько обучающего аудио было у этого языка, какого размера модель вы запускаете и входит ли язык в число тех немногих, на которых более быстрая модель turbo проседает. Ниже — полный список, доля ошибок, которую OpenAI опубликовала для каждого языка и каждой модели, и подсказка, как сопоставить эти цифры с вашим видео.
Полный список языков Whisper
Это 100 записей таблицы LANGUAGES из tokenizer.py в Whisper, отсортированные по названию (по-английски) и читаемые по столбцам сверху вниз. Код слева вы передаёте в --language в командной строке, а настольное приложение отправляет его, когда вы выбираете язык в меню.
af Afrikaans fr French lt Lithuanian sd Sindhi
sq Albanian gl Galician lb Luxembourgish si Sinhala
am Amharic ka Georgian mk Macedonian sk Slovak
ar Arabic de German mg Malagasy sl Slovenian
hy Armenian el Greek ms Malay so Somali
as Assamese gu Gujarati ml Malayalam es Spanish
az Azerbaijani ht Haitian Creole mt Maltese su Sundanese
ba Bashkir ha Hausa mi Maori sw Swahili
eu Basque haw Hawaiian mr Marathi sv Swedish
be Belarusian he Hebrew mn Mongolian tl Tagalog
bn Bengali hi Hindi my Myanmar tg Tajik
bs Bosnian hu Hungarian ne Nepali ta Tamil
br Breton is Icelandic no Norwegian tt Tatar
bg Bulgarian id Indonesian nn Nynorsk te Telugu
yue Cantonese it Italian oc Occitan th Thai
ca Catalan ja Japanese ps Pashto bo Tibetan
zh Chinese jw Javanese fa Persian tr Turkish
hr Croatian kn Kannada pl Polish tk Turkmen
cs Czech kk Kazakh pt Portuguese uk Ukrainian
da Danish km Khmer pa Punjabi ur Urdu
nl Dutch ko Korean ro Romanian uz Uzbek
en English lo Lao ru Russian vi Vietnamese
et Estonian la Latin sa Sanskrit cy Welsh
fo Faroese lv Latvian sr Serbian yi Yiddish
fi Finnish ln Lingala sn Shona yo Yoruba
У некоторых названий есть псевдонимы. zh покрывает мандаринский, и токенизатор принимает также «mandarin»; ca принимает «valencian», nl — «flemish», ro — «moldavian», а es — «castilian». jw — собственный код Whisper для яванского, тогда как стандарт ISO предписывает jv, поэтому инструменту, который проверяет коды по ISO, нужно их сопоставлять. Кантонский (yue) есть только в large-v3 и в построенной на ней модели turbo; в более старых чекпойнтах такого токена нет.
Точность Whisper по языкам: собственные цифры OpenAI
OpenAI публикует долю ошибок по языкам для large-v3 в README Whisper, для turbo — в анонсе turbo, а для меньших моделей — в приложении к статье о Whisper. В таблице ниже приведены данные FLEURS из этих трёх источников. FLEURS — это набор вслух прочитанных предложений, записанных на каждом языке, так что цифры отражают лучший случай.
| Язык | large-v3 | turbo | small | tiny |
|---|---|---|---|---|
| Испанский | 2,8 | 3,1 | 5,6 | 15,9 |
| Итальянский | 3,0 | 3,2 | 9,8 | 29,8 |
| Корейский (CER; у small и tiny — WER) | 3,1 | 3,2 | 19,6 | 36,1 |
| Португальский | 4,1 | 4,2 | 7,3 | 20,1 |
| Английский | 4,1 | 4,4 | 6,1 | 12,4 |
| Польский | 4,6 | 5,4 | 14,7 | 45,6 |
| Японский (CER) | 4,9 | 4,7 | 12,0 | 37,0 |
| Немецкий | 4,9 | 5,8 | 10,2 | 27,8 |
| Русский | 5,0 | 5,3 | 11,4 | 31,1 |
| Нидерландский | 5,2 | 5,9 | 16,4 | 49,0 |
| Французский | 5,3 | 5,8 | 15,0 | 41,4 |
| Индонезийский | 6,1 | 6,9 | 16,3 | 51,7 |
| Украинский | 6,4 | 6,9 | 19,3 | 51,2 |
| Турецкий | 6,7 | 6,9 | 15,9 | 42,5 |
| Мандаринский (CER) | 7,7 | 8,3 | 20,8 | 40,5 |
| Тайский (CER) | 8,4 | 13,9 | 21,9 | 58,8 |
| Вьетнамский | 8,6 | 9,6 | 21,2 | 60,0 |
| Арабский | 9,6 | 10,2 | 30,6 | 63,4 |
| Хинди | 17,0 | 18,5 | 38,4 | 102,3 |
| Иврит | 26,1 | не опубликовано | 44,4 | 71,6 |
| Суахили | 34,1 | не опубликовано | 73,7 | 100,9 |
| Бенгальский | 50,0 | не опубликовано | 104,4 | 101,6 |
Цифры — это доля ошибочных слов (WER, word error rate) в процентах: сколько слов модель распознала неверно, пропустила или добавила. Для японского, мандаринского и тайского, где слова не разделяются пробелами, источники считают символы (CER, character error rate). Корейский — ловушка этой таблицы: в README и на графике turbo он дан как CER, а цифры статьи для small и tiny посчитаны по словам, поэтому его строку нельзя читать насквозь. WER выше 100 возможен, потому что вставленные слова тоже считаются ошибками.
Столбцы small и tiny взяты из отдельного прогона 2022 года, а эти два размера OpenAI так и не переобучила, поэтому это те же модели, которые вы скачиваете сегодня. Разницу между столбцами считайте приблизительной, а разницу между строками — надёжной.
Почему некоторые языки так сильно хуже
На этот вопрос прямо отвечает статья о Whisper. По всем языкам объём размеченного обучающего аудио предсказывает долю ошибок с квадратом корреляции 0,83 в логарифмической шкале, а подобранная прямая говорит, что доля ошибок вдвое снижается при каждом 16-кратном росте обучающих данных. На английский приходится примерно две трети из 680 000 часов, на которых обучали первые модели; остальные 96 языков делят 117 000 часов, а данные для распознавания речи, по подсчётам статьи, есть лишь для 75 языков.
Но одни данные не объясняют всего. Статья называет иврит, телугу, китайский и корейский языками, на которых модель работает хуже, чем предсказывают их часы, и указывает на уникальные системы письма, удалённость от индоевропейских языков, преобладающих в данных, и байтовый токенизатор, который плохо подходит к этим письменностям. Важно и качество данных: авторы обнаружили, что большая часть якобы валлийских данных для перевода — это английское аудио, ошибочно отнесённое к валлийскому.
large-v3 обучали на гораздо большем объёме аудио — 1 миллион часов со слабой разметкой и 4 миллиона часов с псевдоразметкой, — и, по данным OpenAI, она делает на 10–20% меньше ошибок, чем large-v2, на разных языках. Рейтинг почти не изменился. Язык, находившийся в конце таблицы 2022 года, и сейчас там же.
Сильнее ли вредит меньшая модель за пределами английского?
Да, и намного. В английском переход от large-v3 к small поднимает долю ошибок с 4,1 до 6,1%: при вычитке это заметно, для черновика терпимо. Во французском она растёт с 5,3 до 15,0, в польском — с 4,6 до 14,7, в турецком — с 6,7 до 15,9. Примерно каждое седьмое слово с ошибкой — это уже транскрипт, который вы переписываете, а не исправляете.
tiny за пределами горстки языков — совсем другая категория. Испанский держится на 15,9%; французский, польский, нидерландский и турецкий оказываются между 41 и 49%, а значит, почти в каждой реплике субтитров есть ошибка. Закономерность стабильна: чем дальше язык от верха таблицы, тем дороже обходится каждый шаг вниз по размеру модели.
Размер модели определяет и скорость, и объём памяти, так что практический вопрос — сколько точности вы готовы отдать на вашем языке. Сравнение моделей Whisper рассказывает про размеры загрузки, VRAM и скорость каждой модели; читайте его вместе с этой таблицей, а не вместо неё.
Turbo или large-v3: где turbo проседает
turbo — это large-v3, у которой декодер урезали с 32 слоёв до 4, а затем снова дообучили на том же объёме данных для транскрипции. На FLEURS она держится в пределах примерно одного пункта от large-v3 для большинства языков таблицы, а в японском даже немного впереди. Собственное замечание OpenAI: по качеству она близка к large-v2, но сильнее деградирует на тайском и кантонском. Насколько сильнее, показывает её график Common Voice, записанный добровольцами на собственные микрофоны:
| Язык (Common Voice 15) | large-v3 | turbo |
|---|---|---|
| Кантонский, Китай (CER) | 10,9 | 46,1 |
| Кантонский, Гонконг (CER) | 15,9 | 42,9 |
| Тайский (CER) | 5,8 | 20,8 |
| Сербский | 15,7 | 36,7 |
| Латышский | 16,7 | 35,5 |
| Турецкий | 12,0 | 17,0 |
| Японский (CER) | 10,3 | 12,3 |
Сербского и латышского нет в тексте анонса, только на его графике, и теряют они не меньше, чем тайский. Если ваш язык в этом списке, восьмикратная скорость turbo того не стоит: запускайте large-v3. Кроме того, turbo не обучали переводу, поэтому для встроенной в Whisper задачи перевода на английский нужна large-v3 или medium, как объясняет руководство по переводу видео.
Насколько хорош Whisper на русском?
На русском Whisper держится уверенно: на тесте FLEURS доля ошибок составляет 5,0% у large-v3 и 5,3% у turbo, а у small и tiny — 11,4% и 31,1%. Даже на Common Voice, где записи сделаны на обычные микрофоны, русский остаётся в хорошей форме: 5,8% у large-v3 и 6,3% у turbo. Это более честная цифра для влога или записи звонка.
Практический вывод такой: между large-v3 и turbo на русском разница невелика, а вот small увеличивает число ошибок более чем вдвое (с 5,0 до 11,4%). Для готовых субтитров берите turbo или large-v3, а small оставьте для черновика, который вы всё равно вычитываете.
Автоопределение или выбрать язык самостоятельно?
Если язык не указан, Whisper слушает первые 30 секунд речи, выбирает наиболее вероятный язык и расшифровывает на нём весь файл. faster-whisper, движок, которым пользуется большинство настольных приложений, по умолчанию делает то же самое. Определение хорошее, но не безошибочное: в статье лучшая модель верно определяла язык в 80,3% случаев по 82 языкам FLEURS, для которых у неё были обучающие данные.
Ломают его две ситуации. Видео, которое открывается музыкой, аплодисментами или почти без речи, почти ничего не даёт детектору. Видео, у которого первые полминуты на другом языке, чем остальное, например английское вступление к турецкому интервью, задаёт неверный язык для всего последующего. Если вы знаете язык, выберите его.
Whisper к тому же рассчитан на один язык в файле. Весь файл декодируется с одним языковым токеном, поэтому фрагменты на втором языке расшифровываются так, будто они на первом, и результат для них ненадёжен. Для видео на нескольких языках надёжный путь — расшифровать его на основном языке и поправить остальные фрагменты вручную либо разделить аудио.
Выбор модели для вашего языка
«Мой язык — в верхней части таблицы». Испанский, итальянский, португальский, английский, немецкий, русский и их соседи дают чистые черновики даже на small, а turbo — разумный вариант по умолчанию для готовых субтитров.
«Мой язык — в середине». Турецкий, украинский, вьетнамский, арабский, мандаринский: small выдаёт черновик, который вы перепишете, поэтому для всего, что публикуете, переходите на turbo или large-v3.
«Мой язык — тайский, кантонский, сербский или латышский». Берите large-v3, а не turbo.
«Мой язык — в конце таблицы». Хинди, иврит, суахили, бенгальский и большая часть списка, для которой нет вообще никаких опубликованных цифр. Воспринимайте результат Whisper как грубый первый проход, проверяйте каждую реплику и закладывайте на это время. Стоит попробовать и модель, обученную под один язык, если такая есть: например, для японского есть kotoba-whisper.
«Говорящие переключаются между языками». Выберите основной язык сами и будьте готовы поправить остальное вручную.
Что бы ни говорила таблица, проверяйте до принятия решения. Расшифруйте две минуты своего видео на двух размерах модели и сравните их строка за строкой. Бенчмарки — это читаемая речь, а в вашем видео есть музыка, перебивания и имена. Если транскрипт повторяет строки или выдумывает текст (галлюцинации Whisper, англ. whisper hallucination), причина обычно в звуке и настройках декодирования, а не в языке.
Языки Whisper в Sablate
Меню языков в Sablate — это список Whisper: те же 100 кодов плюс Auto-detect, причём каждое название показано на языке интерфейса приложения. Четыре тарифа соответствуют моделям из таблицы: Fast — tiny, Balanced — small, Accurate — large-v3-turbo, Best — large-v3, так что столбцы выше — это выбор, который вы делаете в приложении. Бесплатный тариф не требует аккаунта и охватывает видео до десяти минут, три задачи в месяц, модели Fast и Balanced и один слой офлайн-перевода; вшитые субтитры получают небольшую метку в углу. Accurate и Best входят в Pro.
Главное в Sablate начинается после транскрипта. Каждый перевод — это слой поверх той же транскрипции, и у каждого слоя свой стиль и шрифт, который действительно умеет рисовать его письменность, так что арабские, хинди, японские или корейские субтитры при вшивании не превращаются в пустые прямоугольники. Полный процесс показывает материал «Субтитры на нескольких языках из одного видео».
Два ограничения, прямо. Sablate запускает только собственные чекпойнты OpenAI, поэтому дообученную под один язык модель сообщества загрузить нельзя. А GPU ускоряет транскрипцию на Mac с Apple Silicon и на Windows с видеокартой NVIDIA; Mac с Intel и остальные компьютеры с Windows используют CPU.
Часто задаваемые вопросы
Сколько языков поддерживает Whisper?
Сто. В токенизаторе OpenAI перечислены 99 языковых кодов из первого релиза плюс кантонский, который появился вместе с large-v3 в ноябре 2023 года. Поддержка означает, что у модели есть токен языка, а не что она хорошо его распознаёт: на тесте FLEURS у large-v3 доля ошибок составляет от около 3% в испанском до около 50% в бенгальском.
Какие языки Whisper распознаёт лучше всего?
По данным самой OpenAI, испанский, итальянский, корейский, португальский и английский. На тесте FLEURS large-v3 даёт во всех пяти около 4% ошибок или меньше, а польский, японский, немецкий, русский, нидерландский и французский идут следом. Точность зависит от объёма обучающего аудио на каждом языке, поэтому в начале таблицы распространённые европейские и восточноазиатские языки.
Насколько точно Whisper распознаёт русский?
Хорошо. По данным OpenAI, на тесте FLEURS доля ошибок в русском составляет 5,0% у large-v3, 5,3% у turbo, 11,4% у small и 31,1% у tiny. На записях Common Voice 15, сделанных на обычные микрофоны, у large-v3 она равна 5,8%, а у turbo 6,3%. Модель small увеличивает число ошибок более чем вдвое.
Так же ли хорош Whisper turbo, как large-v3, на любом языке?
Нет. У turbo те же 100 языковых кодов, и на большинстве из них он близок к large-v3, но OpenAI отмечает бóльшие потери на тайском и кантонском. На Common Voice доля ошибок по символам в кантонском растёт примерно с 11 до 46%, а в тайском — примерно с 6 до 21%. Для этих языков берите полный large-v3.
Стоит ли доверять Whisper автоопределение языка?
Только если вы не знаете язык. Whisper определяет язык по первым 30 секундам речи, а затем расшифровывает весь файл на этом одном языке. Тихое или музыкальное начало либо видео, которое открывается на другом языке, могут направить весь транскрипт по неверному пути. Если выбрать язык самому, этого риска нет.