Сравнение моделей Whisper для субтитров: tiny, small, turbo и large-v3

Whisper выпускается в шести размерах. По собственным данным OpenAI, у tiny 39 миллионов параметров, у base — 74 миллиона, у small — 244 миллиона, у medium — 769 миллионов, у large — 1,55 миллиарда, у turbo — 809 миллионов, а первые четыре есть и в версиях .en только для английского. В сборках faster-whisper, которые скачивают настольные приложения, они занимают от примерно 78 МБ у tiny до примерно 3,1 ГБ у large-v3.

Самая крупная модель, впрочем, не обязательно лучший выбор для субтитров. У large-v3-turbo примерно вдвое меньше параметров, чем у large-v3, а работает она почти в восемь раз быстрее, и на обычном материале разница в готовом файле субтитров настолько мала, что решающим фактором становится именно скорость. Бывают и случаи, когда меньшая модель выдаёт транскрипт лучше, чем более крупная.

Дальше — цифры, что они значат именно для работы с субтитрами, и типичные сбои, из-за которых модель выглядит хуже, чем есть на самом деле.

Модели в сравнении

Параметры и относительная скорость взяты из README Whisper от OpenAI; размеры — это реальный суммарный вес сборок faster-whisper (CTranslate2) на Hugging Face, тех самых, которые Sablate скачивает для своих тарифов, а не округлённые оценки.

Строка, которая выбивается из общей закономерности, — turbo. У неё больше параметров, чем у medium, а работает она всё равно примерно в четыре раза быстрее — то, что одно число параметров никак не предсказывает. Четыре тарифа Sablate используют многоязычные модели; base и версии .en приведены в таблице для сравнения.

Нужны ли англоязычные модели .en?

OpenAI выпускает версии только для английского у tiny, base, small и medium. В её README отмечено, что на английском они обычно справляются лучше, особенно tiny.en и base.en, а у small.en и medium.en разрыв становится менее заметным. Версий .en у large и turbo нет.

Для субтитров отсюда следует простое правило. Если звук английский, а вы ограничены небольшой моделью — старый ноутбук, только CPU, быстрый черновик, — версия .en лучше при том же размере и скорости. Если хотя бы часть звука на другом языке, берите многоязычную модель: .en знает только английский. Начиная с large-v3-turbo вопрос снимается, потому что существуют только многоязычные версии.

Почему turbo меняет рекомендацию

Turbo — это не меньшая модель, обученная с нуля. Это тот же large-v3, у которого декодер урезали с 32 слоёв до 4, а затем дообучили ещё две эпохи на тех же многоязычных данных для транскрипции. Whisper проводит большую часть времени именно в декодере, поэтому такое жёсткое урезание даёт очень большой прирост скорости, а энкодер — та часть, которая, собственно, «слушает», — остаётся нетронутым.

У этого есть два предупреждения, и оба задокументированы самим OpenAI, а не являются народным поверьем:

• Её дообучали без данных для перевода. Turbo — это модель транскрипции. Если нужна встроенная в Whisper задача перевода речи на английский, turbo — не тот инструмент; транскрибируйте на языке оригинала и переводите текст уже потом — так и правильнее в принципе.
• На некоторых языках качество падает сильнее. По большинству языков turbo держится на уровне large-v2, но заметно теряет на тайском и кантонском. Если работаете с этими языками, проверьте модель, прежде чем на неё переходить.

Во всех остальных случаях turbo — разумный выбор по умолчанию для субтитров: качество почти как у large, но на скорости, которая делает двухчасовую запись реально выполнимой задачей.

Даёт ли самая большая модель лучшие субтитры?

Не всегда, и это исключение стоит знать заранее, потому что на практике оно выглядит как баг.

Мы измерили это на 101-секундном турецком клипе, на RTX 3060 Ti с float16, через собственный путь транскрипции приложения. По тому, сколько речи модель реально уловила, первым оказался medium. large-v3 пропустил речь, которую medium распознал верно, — первые слова клипа и несколько коротких междометий просто не появились в тексте. Ни один из обычных рычагов их не вернул: ни отключение фильтра голосовой активности, ни повышение порога отсутствия речи, ни снятие порога log-probability, ни фиксация температуры. Снятие порога log-probability сделало всё заметно хуже, урезав транскрипт с примерно 1110 до 429 символов.

Мы также проверили распространённый в сообществе совет использовать large-v2 вместо large-v3. На этом клипе она оказалась худшей из всех: она полностью выбросила непрерывный 30-секундный отрезок речи — с 28,7 до 58,7 секунды, — выдав 106 слов против 178 у medium.

Один клип — это не бенчмарк, и этот к тому же был коротким, турецким и разговорным. Берите не рейтинг, а метод: транскрибируйте один и тот же файл двумя моделями, смотрите не на опечатки, а на пропуски, и выбирайте ту, что услышала всё. В субтитрах пропуски обходятся куда дороже, чем опечатки, — неверное слово зритель домыслит, а строку, которой просто нет, прочитать невозможно.

Когда хорошая модель выглядит плохой

Есть три типа сбоев, из-за которых возникают жалобы «большая модель хуже», хотя сама модель тут ни при чём.

1. Совпадающие таймкоды слов ломают разбивку на строки. Whisper выдаёт таймкод на каждое слово, и соседние слова часто делят границу ровно поровну — в изученном нами клипе 172 из 177 промежутков между словами составили ровно 0,000 секунды. Разделитель, который режет длинную реплику по самому большому промежутку, в этом случае находит одинаковые кандидаты, берёт первый и повторяет операцию рекурсивно, отрезая по одному слову за раз. Результат — транскрипт, изрубленный на однословные субтитры, и чем больше слов выдаёт модель, тем хуже эффект. Исправление правила на случай равенства в пользу середины временного промежутка сократило один клип с 90 реплик (78 из них однословных) до 28 реплик с единственной однословной строкой. Модель при этом не менялась.

2. Выбранная модель — не та, что реально запустилась. Реестры загрузок и библиотеки инференса называют репозитории моделей по-разному. Скачанная модель лежит на диске под одним именем репозитория, а загрузчик ищет её под другим — и в итоге происходит либо тихий откат на другую модель, либо ошибка, которая выглядит как проблема сети, хотя нужные 1,6 ГБ уже лежат на диске.

3. Неудачная повторная транскрипция оставляет на экране старый транскрипт. Если повтор задачи не удался, а приложение откатывает её, но сохраняет имя запрошенной модели, вы смотрите на результат прежней модели, подписанный как новый. Любое сравнение, сделанное в этом состоянии, будет неверным. Если вы устраиваете бенчмарк, сначала убедитесь, что текст действительно изменился, — одинаковый результат у двух разных моделей — это повод насторожиться, а не находка.

VRAM, диск и что потянет ваша машина

В README OpenAI приведён примерный объём VRAM для её собственной реализации на PyTorch: около 1 ГБ для tiny и base, 2 ГБ для small, 5 ГБ для medium, 6 ГБ для turbo и 10 ГБ для large. Сборкам faster-whisper нужно меньше, а размер загрузки из таблицы выше — хороший ориентир для нагрузки на память, которую вы увидите на самом деле. Практические рекомендации:

• 4 ГБ VRAM или меньше, либо без дискретного GPU — оптимальный выбор small. tiny — для черновиков и проверки тайминга, не для финальной доставки.
• 6–8 ГБ VRAM — large-v3-turbo без проблем. Это конфигурация, на которой стоит сидеть большинству.
• 10 ГБ VRAM и больше — large-v3, если аудио этого действительно требует: сильный акцент, перекрывающиеся голоса, плохие микрофоны.
• Только CPU — small для всего, что нужно сегодня, turbo — если можно оставить его работать в фоне.

Точность вычислений важна здесь не меньше, чем размер модели. Сборки CTranslate2, на которых работает Whisper, поддерживают float16 и int8, а снижение точности заметно снижает расход памяти — ценой, которая невелика для int8 и обычно незаметна для float16 на GPU.

На GPU ожидайте ускорения примерно в пять-десять раз по сравнению с той же машиной на CPU. В Sablate на Windows среда выполнения NVIDIA CUDA загружается при первом запуске на GPU, а не идёт в комплекте с установщиком, — это оставляет установщик компактным для тех, кто GPU вообще не использует.

Какую модель выбрать на практике?

Именно последняя строка меняет весь расчёт. Когда транскрипт — это исходник для восьми переводов, ошибка — это не одна ошибка, а сразу восемь. Работа с несколькими языками объясняет, почему исходный транскрипт заслуживает и медленной модели, и внимательной вычитки.

В Sablate Fast и Balanced (tiny и small) доступны на бесплатном тарифе; Accurate и Best входят в Pro — разовый платёж $29, подробности на странице тарифов. Какую бы модель вы ни запустили, результат попадает в один и тот же редактор и экспортируется в те же форматы — SRT, VTT и ASS, — так что выбор модели влияет на объём последующей правки, а не на то, что вообще можно получить.

Если не хочется управлять моделями вручную, сравнение офлайн-генераторов субтитров перечисляет настольные приложения, которые выбирают и скачивают их за вас. Альтернативы MacWhisper для Windows и альтернативы TurboScribe рассматривают тот же выбор со стороны приложений.

Как проверить это на своём материале

Пять минут метода бьют любой опубликованный бенчмарк, включая этот:

1. Возьмите клип на 60–120 секунд, который показателен: ваш худший микрофон, привычные акценты, реальная комната.
2. Транскрибируйте его двумя моделями-кандидатами, не меняя больше ничего.
3. Сравнивайте сначала пропуски, и только потом опечатки.
4. Посчитайте однословные реплики. Если их много — дело в сегментации, а не в модели.
5. И только после этого сравнивайте реальное время работы и решайте, чего оно вам стоит.

Лучшая модель для вас — та, что услышала всё на вашем материале, и это не обязательно самая крупная из них.

Часто задаваемые вопросы

Какие бывают размеры моделей Whisper?

Шесть, по данным OpenAI: tiny (39 миллионов параметров), base (74 миллиона), small (244 миллиона), medium (769 миллионов), large (1,55 миллиарда) и turbo (809 миллионов). Tiny, base, small и medium есть и в версиях .en только для английского. В виде загрузок faster-whisper они занимают около 78 МБ, 148 МБ, 486 МБ, 1,53 ГБ, 3,09 ГБ у large-v3 и 1,62 ГБ у turbo.

Какая модель Whisper лучше всего подходит для субтитров?

Для большинства материалов — large-v3-turbo. У неё 809 миллионов параметров против 1,55 миллиарда у large-v3, но работает она примерно в восемь раз быстрее, потому что её декодер урезали с 32 слоёв до 4, а точность настолько близка, что решает именно скорость. Для сложного аудио берите полный large-v3, а для черновой работы — small.

Всегда ли large-v3 точнее medium или turbo?

Нет. На большинстве материалов — да, но не на всех. В нашем собственном тесте на коротком турецком клипе large-v3 пропустил речь, которую medium распознал верно, включая междометия и первые слова ролика. Выбор модели стоит проверять на своём материале, а не считать, что больше параметров — значит лучше.

Сколько места на диске занимает каждая модель Whisper?

По размеру реально скачиваемых сборок CTranslate2: tiny — около 78 МБ, base — около 148 МБ, small — около 486 МБ, medium — около 1,53 ГБ, large-v3-turbo — около 1,62 ГБ, large-v3 — около 3,09 ГБ. Версии .en только для английского весят столько же. Расход VRAM во время транскрипции идёт примерно в том же порядке, а точность float16 или int8 заметно его снижает.

Чем отличаются large-v3 и large-v3-turbo?

Turbo — это урезанная и дообученная версия large-v3, у которой слои декодера сократили с 32 до 4. Это делает её гораздо быстрее при похожем качестве транскрипции. Два предупреждения: её дообучали без данных для перевода, так что для перевода речи она не годится, а на некоторых языках, особенно тайском и кантонском, она теряет в качестве больше, чем large-v3.

Действительно ли GPU ускоряет Whisper?

Да, и заметно — GPU NVIDIA обычно транскрибирует в пять-десять раз быстрее, чем та же машина на CPU. Разрыв достаточно велик, чтобы менять саму практичность модели: large-v3 на длинной записи — это работа на всю ночь на CPU и перерыв на кофе на GPU среднего уровня.

Почему транскрипт распадается на однословные субтитры?

Обычно дело в таймкодах отдельных слов, а не в модели. Whisper может выдавать соседние слова с промежутком ровно в ноль секунд, и разделитель строк, который ищет самый большой промежуток, просто не находит его и рекурсивно режет по первой попавшейся позиции. Модель тут ни при чём — логике сегментации не хватает правила на случай равенства.