Как перевести видео на русский (или на любой язык)

Чтобы перевести видео на русский, нужны русские субтитры, выставленные по времени речи. Самый быстрый бесплатный путь, задача перевода Whisper, пишет субтитры только на английском, так что для русского (как и для любого другого языка, или для нескольких сразу) сначала распознайте речь, а затем переведите текст, сохранив каждый таймкод.

В этом руководстве четыре способа, то, что меняется, когда целевой язык не английский, и проверка результата перед публикацией.

Субтитры или дубляж: что здесь значит «перевести видео»

Перевод видео может означать две разные задачи. Это руководство о первой: субтитры, то есть текст на экране, переведённый и выставленный по времени сказанного. Вторая задача — перевести сам голос, то есть сделать дубляж или озвучку на новом языке. Это другая работа и другие инструменты. Sablate не делает дубляж, поэтому ни один из методов ниже не даёт озвученного перевода.

Каждый метод здесь начинается с видео- или аудиофайла, который у вас уже лежит на диске.

Как перевести видео на русский? Четыре метода

1. Задача перевода Whisper. Бесплатно, запускается из командной строки, результат только на английском.
2. Распознать, затем перевести файл субтитров. Подходит для любого языка и любого инструмента на ваш вкус.
3. Sablate. Распознайте один раз, добавьте перевод слоем, экспортируйте или вшейте.
4. Автоперевод YouTube. Только для просмотра. Ни файла, ни экспорта.

Сильнее всего они различаются двумя вещами: до каких языков они дотягиваются и получите ли вы в итоге файл субтитров, который останется у вас.

Метод 1: задача перевода Whisper (только английский)

Whisper — модель распознавания речи с открытым кодом от OpenAI. Согласно её README, это многозадачная модель: она распознаёт речь на многих языках, переводит речь и определяет язык. Здесь полезна именно часть с переводом, и в README есть такой пример, как превратить японскую речь в английский текст:

whisper japanese.wav --model medium --language Japanese --task translate

Чтобы получить файл субтитров вместо выводов по умолчанию, добавьте --output_format srt. Утилита командной строки читает не только аудио, но и видеофайлы, потому что декодирует медиа через FFmpeg, так что можно сразу указать .mp4.

Только английский. У задачи перевода один целевой язык. Если вам нужны русские, немецкие или японские субтитры, этот метод их не даст.

Не используйте turbo. Это ошибка, которая стоит за большинством жалоб вроде «Whisper не перевёл моё видео». В README сказано, что модель turbo не обучена задачам перевода и возвращает исходный язык, даже если задан --task translate. Для лучшего результата перевода рекомендуются medium или large. Если ваш «перевод» вернулся на исходном языке, проверьте, какую модель вы запускали.

Ограничения практические. Нужны командная строка и окружение Python. Вы получаете один язык и никакого редактора, так что ошибочно переведённое имя придётся править в SRT вручную. Для одного видео на английский без затрат это трудно превзойти. Если нужна помощь с выбором модели, сравнение моделей Whisper показывает, чем каждый размер оплачивается во времени и точности.

Метод 2: сначала распознать, затем перевести файл субтитров

Второй путь делит работу на две части. Сделайте файл субтитров на языке, который звучит в видео, любым инструментом на Whisper, а затем переведите текст, сохраняя таймкоды. Он работает для любого целевого языка, включая английский, потому что переводчик — отдельный шаг.

Второй шаг можно выполнить по-разному: редактором субтитров с автопереводом, переводчиком документов, который принимает .srt, или языковой моделью со строгим промптом, после чего проверить, что число блоков по-прежнему совпадает. Инструменты и ловушки разобраны в материале о том, как переводить SRT, не сломав тайминг, поэтому здесь они не повторяются.

Преимущество этого пути — контроль: для каждого языка можно выбрать свой переводчик и поправить исходный текст до перевода. Цена — несколько инструментов и несколько передач файла из рук в руки. Если расшифровки в виде файла у вас ещё нет, первую половину работы описывает материал о том, как превратить видео в текст.

Метод 3: перевод видео в Sablate слоем

Sablate — настольное приложение для Windows 10 (64-разрядной) и новее и macOS 12 Monterey и новее. Оно не использует задачу перевода Whisper. Оно распознаёт речь на языке, который звучит, а затем переводит этот текст слоем, реплика за репликой, так что каждая переведённая строка сохраняет тайминг исходной.

Шаги:

1. Нажмите New job и перетащите видео- или аудиофайл с диска.
2. Задайте Spoken language или оставьте автоопределение. Распознавание идёт локально на faster-whisper и охватывает 100 языков речи.
3. В разделе Translate into выберите один или несколько целевых языков.
4. Нажмите Start.
5. Прочитайте строки в редакторе. Другой язык можно добавить позже через Add language…, не распознавая речь заново.
6. Экспортируйте .srt, .vtt или .txt либо вшейте субтитры в .mp4. Pro дополнительно экспортирует .ass и многодорожечный .mkv.

Argos — офлайн-переводчик. Он работает на вашем компьютере, а пакет каждого языка скачивается один раз. Пакеты Argos связывают каждый язык с английским, поэтому перевод с английского на русский прямой, а пара без английского, например с испанского на русский, идёт через английский как промежуточный шаг и читается немного суше. Argos охватывает около 50 целевых языков. Со своим API-ключом Pro может также использовать DeepL, OpenAI или Claude, которые обычно формулируют лучше, хотя текст субтитров при этом уходит этому провайдеру.

Поскольку перевод — слой поверх одной расшифровки, второй и третий язык можно добавить, ничего не повторяя, и у каждого слоя свой стиль и свой шрифт для письменности. Этот процесс объясняет материал о том, как добавить субтитры на нескольких языках.

Бесплатный тариф не требует аккаунта и покрывает видео до десяти минут, три задачи в месяц, модели Fast и Balanced и один офлайн-слой перевода; на вшитых субтитрах остаётся небольшая отметка в углу. Pro стоит $29 разово или $5.99 в месяц и снимает ограничения; см. цены. После загрузки речевой модели и нужных языковых пакетов Argos распознавание, офлайн-перевод и вшивание субтитров работают без подключения к интернету. Скачайте Sablate и попробуйте на коротком ролике.

Метод 4: автоперевод YouTube, если нужно только смотреть

Если видео лежит на YouTube и вам нужно лишь понять, о чём оно, никакой файл не нужен. В плеере откройте шестерёнку настроек и выберите Subtitles/CC; если вашего языка нет в списке, выберите Auto-translate и укажите его. Это описано на странице справки YouTube о настройках субтитров.

Это бесплатно и мгновенно, но субтитры доступны только внутри плеера YouTube. Файла, экспорта и того, что можно вшить, не будет. На странице YouTube об автоматических субтитрах сказано, что автоматические субтитры создаются машиной и их качество может различаться, поэтому перевод, построенный поверх них, наследует это. Чтобы понять доклад, этого часто хватает. Для видео, которое вы собираетесь публиковать, — нет.

Перевод видео на русский (или на любой язык, кроме английского)

Большинству людей английский не нужен. Им нужен русский, немецкий, французский или японский, и это меняет метод.

• Задача перевода Whisper не подходит. Она выдаёт только английский. Это единственный факт в руководстве, который не переносится на другие языки.
• Распознать, затем перевести. Методы 2 и 3 работают для любого целевого языка, потому что перевод — отдельный шаг, не связанный с распознаванием речи.
• Прямой перевод или через промежуточный язык. В Argos пары с английским прямые. Пара без английского, например с испанского на русский, идёт через английский, а это ещё одно место, где смысл может уплыть. Если исходный или целевой язык у вас английский, лишнего шага удаётся избежать.
• Хороший переводчик важнее большой речевой модели. Когда расшифровка верна, качество формулировок зависит от переводчика. DeepL, OpenAI и Claude, которые вы используете в Sablate Pro со своим ключом, в целом читаются лучше офлайн-Argos. Платой становится то, что текст покидает ваш компьютер.
• Письменности и шрифты. Китайскому, японскому, корейскому, арабскому и деванагари нужен шрифт, в котором эти символы действительно есть, иначе в видео с вшитыми субтитрами вместо них появятся пустые прямоугольники. Sablate даёт каждому языковому слою собственный шрифт для письменности.

Видео с английского на русский переводится так же. Исходный язык — тот, на котором говорят, целевой — тот, который вы выбрали.

Что перевод делает с таймингом и скоростью чтения

Перевод сохраняет тайминг и портит скорость чтения. Реплика по-прежнему начинается и заканчивается там, где говорил человек, но переведённая строка может оказаться длиннее, а секунд на её чтение у зрителя столько же. Типичный пример — с английского на немецкий: текст разрастается, и комфортная реплика становится слишком быстрой.

Мера здесь — символы в секунду, о ней рассказывает материал о скорости чтения субтитров (CPS). Решение — сократить формулировку или разделить реплику на две. Не сдвигайте таймкоды: они соответствуют звуку.

Читайте и каждую строку перед публикацией. Машинный перевод субтитров получается буквальным: идиомы, шутки и имена выходят неверными так, что беглым взглядом этого не заметить. Офлайн-Argos по качеству формулировок уступает DeepL и современным языковым моделям, и ни один движок не заменяет чтения человеком.

Переводить видео онлайн или офлайн?

Браузерные переводчики видео работают так: загружают ваш файл на свои серверы, переводят там и присылают результат обратно. Это удобно, но видео при этом покидает ваш компьютер. Для личных съёмок, клиентской работы или медленного соединения локальный метод надёжнее по умолчанию. Задача перевода Whisper и маршрут Sablate через Argos обрабатывают файл на вашем компьютере.

Сравнение методов

Задача перевода Whisper и YouTube обходят Sablate по цене и сложности настройки: первая бесплатна и не требует покупать приложение, второй не нужно вообще ничего. Для одного видео на английский или доклада, который нужно лишь послушать, любого из них может хватить.

Какой метод выбрать?

• Нужен английский, а не русский: одно видео, и вы не боитесь терминала. Задача перевода Whisper с моделью medium или large.
• Нужно просто понять видео на YouTube: автоперевод YouTube. Не стройте на нём рабочий процесс.
• Русский, одно видео: распознайте речь, затем переведите SRT тем переводчиком, которому доверяете больше всего.
• Несколько языков, видео для публикации или вшитые субтитры: Sablate, потому что одна расшифровка кормит все языки, а редактор ловит длинные строки.
• Формулировки важнее приватности: соедините любую расшифровку с DeepL или языковой моделью и оставьте этап проверки.

Если вы публикуете результат, помните, что файл субтитров и видео с вшитыми субтитрами ведут себя на каждой платформе по-разному. Какой вариант нужен вам, объясняет материал о том, чем различаются hardsub и softsub, а сам рендер описан в материале о том, как вшить субтитры в видео.

Часто задаваемые вопросы

Как бесплатно перевести видео на русский?

Whisper умеет переводить только на английский, поэтому для русского сначала распознайте речь бесплатным инструментом на Whisper, а затем переведите текст субтитров, сохранив тайминг. Бесплатный тариф Sablate делает это в приложении: в нём один офлайн-слой перевода для видео до десяти минут, а русский входит в языки Argos.

Может ли Whisper перевести видео на русский?

Нет. Встроенная задача перевода в Whisper выдаёт только английский текст. Чтобы получить русские субтитры, сначала распознайте речь на исходном языке, а затем переведите готовый текст отдельным переводчиком, сохранив таймкоды. Этот второй шаг по тексту субтитров умеют делать Argos, DeepL и большие языковые модели.

Почему Whisper не перевёл моё видео?

Скорее всего, вы использовали модель turbo. В README Whisper сказано, что turbo не обучалась переводу и возвращает исходный язык, даже если включена задача перевода. Переключитесь на модель medium или large и запустите ту же команду заново. Именно эти две README рекомендует для лучшего результата перевода.

Можно ли перевести видео офлайн, не загружая его никуда?

Да. Whisper локально распознаёт речь и переводит её на английский, а Sablate сочетает локальное распознавание с Argos, офлайн-переводчиком. После загрузки речевой модели и языковых пакетов оба работают без интернета. Браузерные переводчики видео устроены иначе: они загружают ваш файл на свои серверы и обрабатывают его там.

Ломается ли тайминг субтитров при переводе видео?

Нет, если переводить текст и оставлять таймкоды. Начало и конец реплики остаются там, где звучит речь. Меняется длина: переведённые строки часто длиннее, а на чтение отведено то же число секунд, поэтому реплику становится слишком быстро читать. Исправляйте это сокращением формулировки или делением реплики, а не сдвигом таймкодов.

Как перевести английское видео на русский?

Распознайте английскую речь и переведите текст на русский, сохранив тайминг. Задача перевода в Whisper так не умеет: она работает только в сторону английского. Sablate делает это слоем перевода, а пара с английского на русский в Argos прямая. Что бы вы ни выбрали, перед публикацией прочитайте результат: машинный перевод субтитров обычно получается буквальным.