Назад к блогу

Почему Whisper пропускает слова-паразиты и как их вернуть

Слова-паразиты в Whisper пропадают намеренно. Мы измерили, как часто он пишет um и uh с подсказкой и без неё и насколько неточны его временные метки для них.

17 ноября 2026 г.
Sablate Team

Whisper пропускает слова-паразиты, потому что учился на расшифровках, написанных для чтения, а в них нет «um», «uh» и «äh». Попросите их начальной подсказкой, полной вставных звуков, и он в основном послушается: на 425 размеченных вручную вставных звуках Whisper без подсказки записал от 0 до 4%, а с ней — от 78 до 85%.

Для субтитров такое поведение по умолчанию — преимущество. Субтитры не расшифровка, и пропуск колебаний — именно то, что сделал бы субтитровщик. Проблема возникает, когда нужно знать, где стоят вставные звуки: чтобы вырезать их из видео, получить дословную расшифровку для исследования или юридической работы или изучить, как человек говорит. Эта страница показывает, как часто каждая модель Whisper пишет вставные звуки, как их вернуть и почему их временным меткам нельзя доверять при нарезке.

Как часто Whisper пишет слова-паразиты

Мы прогнали четыре модели Whisper по 129 минутам английской речи с совещаний и посчитали, сколько вставных звуков говорящих вернулось в расшифровке при трёх вариантах подсказки.

МодельБез подсказкиКороткая подсказка с несколькими вставными звукамиПлотная подсказкаТочность, плотная подсказка
small0%54%78%86%
medium0%59%85%83%
large-v3-turbo2%48%79%86%
large-v34%55%82%86%

Метод. Аудио — четыре канала нагрудных гарнитур из трёх совещаний AMI Meeting Corpus (ES2002a, TS3003b и IS1009b), выпущенного по лицензии CC BY 4.0, в котором слова выровнены вручную. Мы считали 425 вставных звуков («um», «uh», «er», «hmm» и их варианты написания), произнесённых владельцем каждой гарнитуры и не перекрытых чужой речью. Вставной звук считается записанным, если Whisper вывел токен вставного звука в пределах 0,25 секунды от него; точность — это доля токенов Whisper, попавших на настоящий вставной звук. Все прогоны шли на faster-whisper 1.2.1, пакетно, с шириной луча 5, с включённым фильтром обнаружения речи (VAD), во float16 на RTX 3060 Ti. Подсказки приведены ниже. Один корпус совещаний, во многих из которых говорят не носители английского, — это не все записи, поэтому читайте столбцы как диапазон, а не как рейтинг.

Из общей картины выбивается первый столбец. Ни одна модель не записала больше одного вставного звука из 25, а small и medium не записали практически ничего: 0 и 2 из 425. Это не проблема слуха, ведь те же модели с подсказкой записали большую часть.

Почему Whisper не пишет слова-паразиты?

Whisper обучали на огромном количестве аудио с расшифровками из интернета, а большинство расшифровок, сделанных людьми, причёсаны для чтения. Модель усвоила стиль вместе со словами. В собственном руководстве OpenAI по подсказкам Whisper следствие названо прямо: «Whisper реже следует редким или необычным стилям, нетипичным для расшифровки». Расшифровка, полная колебаний, — как раз один из таких стилей.

Со стороны оценки картина та же. Английский нормализатор текста Whisper, с помощью которого OpenAI сравнивает вывод модели с эталоном перед подсчётом доли ошибочных слов, просто удаляет эти слова: его шаблон — \b(hmm|mm|mhm|mmm|uh|um)\b (whisper/normalizers/english.py). Этот код запускается только при оценке, не при расшифровке, но из него следует, что цифры точности, которыми известен Whisper, ни поощряют, ни наказывают за вставные звуки. Ничто в привычных тестах не подталкивает модель их писать.

Интереснее то, что модель пишет вместо них. Без подсказки от 43 до 67% пропущенных ею вставных звуков лежали внутри временного промежутка соседнего слова: колебание не отбрасывалось, а поглощалось. На турецкой записи экрана длиной 142 секунды мы увидели то же самое: долгое «eee» и слово вокруг него вернулись как одно слово длиннее двух секунд.

Как вернуть слова-паразиты подсказкой

Начальная подсказка (initial prompt) — это текст, который Whisper воспринимает как предшествующий аудио, поэтому продолжает в том же стиле. Подсказка со вставными звуками сообщает модели, что в этой расшифровке они сохраняются. В руководстве OpenAI по распознаванию речи среди задач подсказки названо «сохранение пунктуации, регистра и слов-паразитов».

Количество вставных звуков в подсказке важнее, чем можно ожидать. Вот две подсказки из таблицы:

Short prompt:  Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt:  Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.

Короткая подсказка с горсткой вставных звуков подняла модели с почти нуля примерно до половины. Плотная, где почти каждое второе слово — колебание, довела каждую модель примерно до четырёх из пяти.

Два правила помогают подсказке работать на реальных файлах.

Пишите подсказку на том языке, на котором говорят. Английское «um» не учит модель писать немецкое «äh» или турецкое «ııı». На турецком ролике сработала подсказка на турецком:

Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.

С ней small, medium и large-v3-turbo записали по три из четырёх вставных звуков ролика; без неё medium, large-v3-turbo и large-v3 не записали ни одного. Слова-паразиты в других языках перечисляют звуки колебаний на 13 языках, из которых можно составить такую подсказку.

Отправляйте подсказку с каждым окном. Whisper обрабатывает аудио по 30 секунд, и в большинстве конфигураций начальная подсказка влияет только на начало: при опоре на предыдущий текст расшифровка вытесняет её, а без неё подсказка доходит лишь до первого окна. В пакетном конвейере faster-whisper она отправляется с каждым фрагментом:

from faster_whisper import WhisperModel, BatchedInferencePipeline

model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
    "meeting.wav",
    language="en",
    initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
    word_timestamps=True,
    batch_size=8,
)
for segment in segments:
    for word in segment.words:
        print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")

В whisper.cpp то же делает --carry-initial-prompt. Одна ловушка: -mc 0, обычное лекарство от петель повторов, не оставляет места и для переносимой подсказки. На нашем турецком ролике с -mc 0 он не записал ни одного вставного звука, а с небольшим контекстом в 64 токена — пять:

whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."

В openai-whisper для той же цели есть параметр carry_initial_prompt. Почему Whisper галлюцинирует рассказывает, как эти настройки взаимодействуют с фильтром обнаружения речи и опорой на предыдущий текст.

Можно ли резать видео по временным меткам Whisper для слов-паразитов?

Нет, не напрямую. С плотной подсказкой медианный разрыв между концом вставного звука по Whisper и настоящим концом звука составил 0,13 секунды у medium и до 0,43 секунды у large-v3. От 26 до 42% найденных им вставных звуков начинались дальше чем на 0,2 секунды от настоящего начала.

Модель, плотная подсказкаМедианное смещение началаМедианное смещение концаНачало смещено больше чем на 0,2 с
small0,10 с0,27 с26%
medium0,11 с0,13 с35%
large-v3-turbo0,11 с0,36 с29%
large-v30,16 с0,43 с42%

Пятая доля секунды кажется малой, но разрез, который кончается на 0,3 секунды позже, забирает первый слог следующего слова, а закончившийся раньше оставляет огрызок «um». Временные метки Whisper годятся, чтобы найти вставной звук, но не чтобы поставить разрез. Края должны браться из аудио: с того места, где начинает падать уровень протяжного звука, и из тишины прямо перед его началом.

Точность требует такой же осторожности. От 14 до 17% вставных звуков, записанных Whisper с подсказкой, не совпали с размеченным вставным звуком в пределах четверти секунды. Часть смещена, часть — вдохи или ложные старты, записанные как «uh», а несколько просто выдуманы. Всё, что режет автоматически, должно сначала давать проверить список.

Какую модель Whisper выбрать для слов-паразитов?

Любую, но с подсказкой. На английском больше всего поймала medium — 85%, меньше всего small — 78%; разброс настолько мал, что решать должна скорость, а сравнение моделей Whisper содержит данные по размеру и скорости. large-v3-turbo — разумный выбор по умолчанию на видеокарте.

Исключение дал турецкий ролик: large-v3 с той же подсказкой записала лишь один из четырёх вставных звуков, тогда как меньшие модели нашли по три. Это та же модель, которая пропускала короткие междометия в нашем прежнем тестировании на турецком, так что, если вставные звуки важны на языке, отличном от английского, сравните large-v3 с turbo, прежде чем ей доверять.

Когда слова-паразиты лучше не трогать?

«Я делаю субтитры». Оставьте их за бортом, так Whisper работает по умолчанию. Колебания съедают время чтения и не несут смысла; их сжатие — стандартная практика, как объясняет руководство по скорости чтения.

«Я хочу вырезать вставные звуки из видео». Верните их подсказкой отдельным проходом, используйте расшифровку только для поиска и берите края разреза из аудио.

«Мне нужна дословная расшифровка». Верните их подсказкой, затем проверьте на слух. При 78–85% подсказка проходит большую часть пути, но не весь.

«Я изучаю речь». Используйте подсказку и проверьте выборку вручную. Даже с плотной подсказкой в нашем тесте не хватало примерно одного вставного звука из пяти.

Как Sablate находит слова-паразиты

Sablate выполняет оба прохода. Расшифровка, которую вы редактируете и вшиваете, — это чистый вариант Whisper по умолчанию, ведь именно такими должны быть субтитры. Когда вы ищете вставные звуки в режиме Cuts, он расшифровывает речь второй раз с плотной подсказкой на языке речи, отправляемой с каждым окном, на 13 языках.

Эту вторую расшифровку он использует только для поиска вставных звуков. Края разрезов берутся из звука, из того места, где падает уровень протяжной гласной, а отдельная проверка ищет долгие ровные звуки колебаний, которые Whisper так и не записал, в любом языке. На турецком ролике эта проверка нашла четвёртый вставной звук — колебание в 0,65 секунды, которое не расшифровала ни одна модель. Вставные звуки, переходящие прямо в слово, остаются нетронутыми, а те, в которых он не уверен, показываются в списке выключенными, пока вы не послушаете. Удаление слов-паразитов и пауз из видео показывает весь процесс.

Коротко

Whisper слышит слова-паразиты и намеренно их пропускает, потому что так были написаны расшифровки, на которых он учился. Плотная подсказка на языке речи, отправляемая с каждым окном, возвращает около четырёх из пяти. Используйте такую расшифровку, чтобы находить вставные звуки, а не резать по ней: временные метки достаточно часто ошибаются на пятую долю секунды, чтобы обрезать слова. Для субтитров оставьте чистый вариант Whisper по умолчанию; чтобы находить и вырезать вставные звуки на своём компьютере, скачайте Sablate.

Часто задаваемые вопросы

Расшифровывает ли Whisper слова-паразиты вроде um и uh?

По умолчанию почти никогда. На 425 размеченных вручную вставных звуках из английских записей совещаний Whisper без подсказки записал от 0 до 4%, в зависимости от модели. С начальной подсказкой, набитой вставными звуками, он записал от 78 до 85%. Аудио модель слышит в любом случае, просто предпочитает чистый текст расшифровки.

Как заставить Whisper сохранять слова-паразиты?

Дайте ему начальную подсказку, которая сама полна вставных звуков на том языке, на котором говорят, и следите, чтобы подсказка доходила до каждого 30-секундного окна, а не только до первого. В faster-whisper пакетный конвейер делает это сам; whisper.cpp нужна опция carry-initial-prompt, а openai-whisper — параметр carry_initial_prompt.

Почему Whisper убирает слова-паразиты?

Потому что он учился на расшифровках, написанных для чтения, а в них колебания в основном опущены. В руководстве OpenAI по подсказкам отмечено, что Whisper реже следует стилям, нетипичным для расшифровки, а собственный английский нормализатор текста, который применяется при оценке точности, перед сравнением удаляет um, uh, hmm и mm, так что в тестах за их запись очков не дают.

Точны ли временные метки Whisper для слов-паразитов?

Недостаточно точны, чтобы резать по ним видео. В нашем тесте при возвращённых подсказкой вставных звуках медианная ошибка конца составила от 0,13 до 0,43 секунды в зависимости от модели, а от четверти до двух пятых вставных звуков начинались дальше чем на 0,2 секунды от настоящего звука. Без подсказки большинство из них растворялись во времени соседнего слова.

Какая модель Whisper лучше всех пишет слова-паразиты?

С плотной подсказкой больше всего записала medium, 85%, затем large-v3 с 82%, turbo с 79% и small с 78%, при схожей точности около 83–86%. Разница так мала, что решать должна скорость. На коротком турецком ролике large-v3 нашла лишь один вставной звук из четырёх, тогда как small, medium и turbo нашли по три.

Похожие статьи

3 октября 2026 г.

Галлюцинации Whisper: почему он повторяет строки и выдумывает текст

Галлюцинации Whisper: почему он пишет «Thank you for watching» на тишине или зацикливает одну строку, чем обходится каждое исправление и как найти их в SRT.

Читать дальше
11 сентября 2026 г.

Сравнение моделей Whisper для субтитров: tiny, small, turbo и large-v3

Сравнение моделей Whisper для субтитров: параметры, реальный размер загрузки и скорость tiny, small, turbo и large-v3 — и почему больше не всегда лучше.

Читать дальше
8 ноября 2026 г.

Форсированные субтитры: что это такое и как их сделать

Форсированные субтитры переводят в фильме только иностранные реплики и важный текст на экране. Что это, как их помечают Plex, Jellyfin и MKV и как их сделать.

Читать дальше
10 ноября 2026 г.

Whisper на русском: поддерживаемые языки и ошибки

Whisper поддерживает 100 языков, но не одинаково хорошо. Полный список, доля ошибок на русском и других языках по данным OpenAI и где turbo уступает large-v3.

Читать дальше