Voltar ao blog

Alucinações do Whisper: Por Que Ele Repete Linhas e Inventa Texto

Alucinações do Whisper explicadas: por que ele escreve “Thank you for watching” no silêncio ou repete linhas, o que cada correção custa e como achar isso em um SRT.

3 de outubro de 2026
Sablate Team

As alucinações do Whisper (Whisper hallucinations, em inglês) são texto que o modelo escreve sem que ninguém o tenha dito: “Thank you for watching” sobre o silêncio, um crédito de legendas ou uma linha repetida durante um minuto. Duas configurações evitam a maioria delas — filtrar o áudio sem fala e impedir que o modelo use como contexto o próprio resultado anterior — e as ferramentas Whisper mais comuns não trazem nenhuma ativada.

A seguir: os dois tipos lado a lado, por que cada um acontece, o que medimos quando um deles atingiu nosso próprio programa, quanto custa cada correção, as configurações do openai-whisper, do faster-whisper e do whisper.cpp, e como encontrar as alucinações que sobrevivem em um arquivo de legendas já pronto.

As alucinações do Whisper, lado a lado

Frase-fantasmaLoop de repetiçãoFala omitida
O que se vê“Thank you for watching”, “Thanks for watching”, um crédito de legendasUma linha escrita sem parar, muitas vezes sem pontuaçãoUma frase faltando na transcrição
Onde apareceSilêncio, música, aplausos, ruído de ambienteEm qualquer lugar; depois que começa, continuaInícios em voz baixa, interjeições curtas
O que causaÁudio sem fala chega ao decodificadorCada janela é decodificada com o resultado anterior como promptComo um modelo específico trata esse áudio
Primeira correçãoUm filtro de detecção de atividade de voz (VAD)Desativar o uso do texto anterior como contextoTestar um segundo modelo no mesmo clipe
Como aparece nas legendasUma legenda a mais sobre uma pausaUma legenda presa a uma só linha, ou legendas sem quebras de fraseUm buraco onde devia haver uma fala

A terceira coluna é a falha oposta: fala que foi pulada em vez de texto que foi inventado. Tem causas e correções diferentes, tratadas na comparação de modelos Whisper. Tudo o que vem a seguir diz respeito às duas primeiras.

Por que o Whisper escreve texto que ninguém disse?

O Whisper percorre o áudio em janelas de 30 segundos, e seu decodificador escreve texto para cada uma. Existe uma verificação de ausência de fala, mas é um limiar sobre uma probabilidade, e janelas de música, aplausos ou som ambiente passam por ele com regularidade e saem como palavras. As palavras que ele escolhe denunciam a causa. O Whisper foi treinado com 680.000 horas de áudio da web emparelhado com transcrições, e as despedidas e os créditos de legendas comuns nesse texto são a explicação habitual para o que ele escreve quando não há nada para transcrever.

Os números não são pequenos. Em um estudo de 2025, pesquisadores da AGH University of Kraków rodaram o large-v3 sobre áudio sem fala (ruído, música, sons ambientes) 301.317 vezes. Ele produziu texto em 40,3% dos casos, e 9,1% dessas alucinações eram loops. As saídas mais frequentes foram “thank you”, com 24,76% das alucinações, e “thanks for watching”, com 10,32%.

Em fala real, a taxa é muito mais baixa e o dano é pior. O estudo de 2024 Careless Whisper constatou que cerca de 1% das transcrições continha expressões ou frases inteiras que não existiam no áudio, que 38% delas incluíam danos explícitos, como perpetuar violência, inventar associações ou insinuar uma falsa autoridade, e que isso acontecia desproporcionalmente com falantes que faziam pausas longas.

Nas legendas, o custo é concreto. Uma frase alucinada chega como uma legenda perfeitamente formatada sobre uma pausa, e o espectador a lê como diálogo.

Por que uma linha errada vira quarenta

O loop tem uma causa diferente. Por padrão, o Whisper decodifica cada janela com o próprio resultado anterior como prompt, então o contexto passa de uma janela para a outra: os nomes mantêm a mesma grafia e as frases continuam. O mesmo recurso permite que uma janela ruim envenene a seguinte. Quando o decodificador escreve uma linha duas vezes, a janela seguinte parte dessa linha e a escreve de novo. A documentação do faster-whisper para condition_on_previous_text é clara: com a opção desligada, o modelo “fica menos propenso a ficar preso em um ciclo de falha, como a repetição em loop ou os tempos que perdem a sincronia”.

Esbarramos nisso no nosso próprio programa antes do lançamento, então medimos: o mesmo clipe turco de 101 segundos usado na nossa comparação de modelos, em uma RTX 3060 Ti com float16, sem mudar nada além dessa opção.

large-v3, com contexto anteriorlarge-v3, sem contexto anteriormedium, com contexto anteriormedium, sem contexto anterior
Marcas de fim de frase na transcrição0304730
Frases repetidas (6-gramas)9000

A configuração padrão estragou o large-v3 e não fez nada ao medium. Com o contexto anterior ativado, o modelo maior não escreveu nenhuma pontuação de fim de frase e produziu nove frases repetidas; o menor, com o mesmo áudio e as mesmas configurações, foi bem. Em uma das execuções, uma única legenda tinha isto, em 0,12 segundo de áudio:

[58.26 -> 58.38]  bir level oldu bir level oldu bir level oldu bir level oldu
                  bir level oldu bir level oldu bir level oldu bir level oldu

A pontuação ausente importa tanto quanto as repetições. As ferramentas de legenda cortam uma transcrição em legendas nas fronteiras entre frases, e uma transcrição sem pontos finais não dá a elas onde cortar: saem legendas gigantes ou, com um divisor de linhas descuidado, legendas de uma palavra só. Desativar o contexto anterior restaurou a pontuação sem trocar o modelo.

Um clipe não é um benchmark. Ele mostra, ainda assim, duas coisas: o tamanho do modelo não protege, e a correção mais barata é uma configuração.

Desativar o contexto anterior tem algum custo?

Sim. Toda correção para alucinações tem um custo, e vale conhecer esses custos antes de aplicá-las:

  1. Coerência entre janelas. Sem o texto anterior como contexto, a grafia e o estilo de pontuação podem variar; a documentação avisa que desativá-lo “pode deixar o texto inconsistente entre janelas”. Na prática: um nome escrito de duas maneiras em um arquivo longo.
  2. Seu initial prompt (instrução inicial) fica só na primeira janela. As ferramentas passam ao Whisper uma lista de vocabulário (nomes, marcas, jargões) como initial prompt e, com o contexto anterior desativado, esse prompt só molda a primeira janela. O --carry_initial_prompt True do openai-whisper e o --carry-initial-prompt do whisper.cpp o reenviam em todas as janelas; no faster-whisper, é a opção hotwords que faz esse trabalho.
  3. As penalidades de repetição apagam repetição de verdade. O repetition_penalty e o no_repeat_ngram_size suprimiriam um loop, mas não distinguem um loop de um falante que se repete. Nosso clipe de teste tem exatamente isso: uma frase dita duas vezes seguidas, de propósito. Uma penalidade que a remove está apagando diálogo.
  4. Um filtro de detecção de atividade de voz pode cortar fala baixa. O VAD decide o que conta como fala antes de o Whisper ouvi-la, e inícios suaves e áudio de banda estreita, como ligações telefônicas, são onde ele perde palavras. O AutoSubs acrescentou em setembro de 2026 uma chave para desligar a opção de pular silêncios justamente para esse caso.
  5. O hallucination_silence_threshold precisa de marcas de tempo por palavra, e não é uma cura. Ele pula silêncios longos em torno de uma suspeita de alucinação. No nosso clipe, não fez diferença mensurável: a linha que suspeitávamos ser inventada se revelou fala real.

Nenhum desses custos chega perto do custo de um loop. Um nome escrito errado se resolve com um localizar e substituir; um loop de repetição é uma passagem que você transcreve de novo.

Como impedir as alucinações do Whisper, ferramenta por ferramenta

openai-whisperfaster-whisperwhisper.cppSablate
Filtro de detecção de atividade de vozNenhum integradovad_filter=True, ativado por padrão só no pipeline em lote--vad com um modelo SileroSempre ativado
Deixar de usar o texto anterior como contexto--condition_on_previous_text Falsecondition_on_previous_text=False-mc 0Sempre desativado
Pular o silêncio depois de uma suspeita de alucinação--hallucination_silence_thresholdhallucination_silence_thresholdSem equivalenteNão
Reenviar o prompt em todas as janelas--carry_initial_prompt Truehotwords--carry-initial-promptNão
Permite alterar essas configuraçõesSimSimSimNão

As três últimas linhas são o ponto fraco do Sablate, ditas com franqueza: as duas correções estão sempre ativadas e nenhuma dessas configurações é exposta. Se você quiser ajustar o filtro ou levar um prompt de janela em janela, as ferramentas de código aberto permitem. As mesmas duas configurações valem sempre que o Whisper alimenta outro programa, por exemplo quando você cria legendas para o DaVinci Resolve pela linha de comando ou por um plugin.

Para o openai-whisper em um arquivo de entrevista:

whisper talk.mp4 --model turbo --output_format srt --condition_on_previous_text False

O openai-whisper não tem filtro de detecção de atividade de voz próprio, então esse comando corrige o loop, não as frases-fantasma; o --hallucination_silence_threshold com --word_timestamps True é a resposta parcial dele a essas. O whisper.cpp tem as duas correções, e a ferramenta de linha de comando dele espera WAV de 16 bits:

ffmpeg -i talk.mp4 -ar 16000 -ac 1 -c:a pcm_s16le talk.wav
./build/bin/whisper-cli -m models/ggml-large-v3-turbo.bin -f talk.wav -osrt -mc 0 --vad -vm models/ggml-silero-v6.2.0.bin

O -mc 0 não guarda contexto de texto entre janelas, e o modelo Silero vem do script download-vad-model.sh do repositório. Em Python, o faster-whisper aceita ambos como argumentos:

from faster_whisper import WhisperModel

model = WhisperModel("large-v3-turbo")
segments, info = model.transcribe("talk.mp4", vad_filter=True, condition_on_previous_text=False)

Como encontrar as alucinações em um SRT já pronto?

Nenhuma configuração elimina todas as alucinações, então confira o arquivo. Três comandos pegam a maioria das que sobrevivem, no macOS e no Linux ou no Git Bash e no WSL do Windows:

grep -n -i -E "thank(s| you) for watching|amara\.org|subtitles by" talk.srt
awk '{ sub(/\r$/, "") } NF && !/-->/ && !/^[0-9]+$/ { if ($0 == prev) print NR": "$0; prev = $0 }' talk.srt
perl -ne 'print "$.: $_" if /(\S+(?: \S+){1,4}) \1 \1/' talk.srt

O primeiro encontra despedidas comuns e créditos de legendas. O segundo imprime qualquer linha de legenda idêntica à anterior, que é a aparência habitual de um loop depois de cortado em legendas. O terceiro pega uma expressão de duas a cinco palavras repetida três vezes dentro de uma única linha.

Trate cada resultado como uma pergunta, não como um veredicto. As pessoas dizem “thank you” de verdade e também se repetem. Compare a legenda com o áudio e depois mantenha-a ou apague-a. As frases-fantasma sobre pausas longas e música não seguem nenhum padrão; a única verificação possível é ler as legendas que ficam sobre os trechos sem fala.

Quando usar cada correção

“Estou legendando palestras, entrevistas ou aulas.” Ative o filtro de detecção de atividade de voz e desative o contexto anterior. Esse par é o padrão sensato para qualquer fala que você pretenda legendar.

“A gravação tem silêncios longos ou música de fundo.” O filtro é o que mais importa aqui. Leia mesmo assim as legendas que ficam sobre a música.

“É uma ligação telefônica ou uma gravação baixa e de banda estreita.” Rode uma vez com o filtro e outra sem ele, e compare o que falta. Um filtro que perde palavras baixas é pior que um “thank you” solto.

“Dependo de um initial prompt para os nomes.” Desative o contexto anterior e reenvie o prompt em todas as janelas com as opções acima, ou corrija os nomes depois com localizar e substituir.

“As linhas continuam se repetindo depois das duas correções.” Teste outro modelo no mesmo arquivo antes de recorrer a uma penalidade de repetição; nosso clipe entrou em loop no large-v3 e não no medium. Se você ainda precisar do no_repeat_ngram_size, ouça tudo à procura de linhas que ele possa ter removido.

Como o Sablate lida com isso

No Sablate, as duas correções estão sempre ativadas: um filtro de detecção de atividade de voz na frente do modelo e nenhum uso do texto anterior como contexto. O Sablate roda o Whisper na sua própria máquina, e desligamos o contexto anterior depois da medição acima. Também corrigimos o divisor de linhas que transformava uma transcrição sem pontuação em legendas de uma palavra só.

Há duas consequências que vale conhecer. O vocabulário personalizado em Defaults → Custom vocabulary chega ao Whisper como initial prompt, então, com o contexto anterior desativado, molda apenas a primeira janela, aproximadamente os primeiros 30 segundos de fala; os nomes mais adiante em uma gravação longa ficam para o Find & replace do editor, que funciona em um idioma de cada vez. E, como as configurações são fixas, não há nada para ajustar. Se uma gravação precisar do filtro desligado, use uma das ferramentas de código aberto acima.

No editor, você pode percorrer as legendas com o vídeo tocando, que é a forma mais rápida de avaliar as ocorrências encontradas pelos comandos acima, e a exportação grava as legendas corrigidas como .srt, .vtt ou um vídeo com as legendas embutidas. O Fast e o Balanced rodam no plano gratuito; o Accurate e o Best fazem parte do Pro. Baixe o Sablate para Windows ou Mac e experimente nas suas próprias gravações, ou veja como ele se compara às outras ferramentas locais na comparação de geradores de legendas offline.

Resumindo

O Whisper tem alucinações de duas formas: escreve frases prontas sobre áudio sem fala e entra em loop quando uma janela ruim alimenta a seguinte. Um filtro de detecção de atividade de voz resolve a primeira, desativar condition_on_previous_text resolve a segunda, e as ferramentas comuns não trazem nenhuma ativada. As duas correções custam pouco perto de um loop. Um modelo maior não é um modelo mais seguro. E, mude o que mudar, leia o arquivo de legendas final antes de qualquer outra pessoa — o guia para criar arquivos SRT tem as verificações do próprio formato.

Perguntas frequentes

O que são as alucinações do Whisper?

Texto que o Whisper escreve sem que ninguém o tenha dito. As duas formas mais comuns são as frases prontas sobre silêncio ou música, como “Thank you for watching” ou um crédito de legendas, e os loops de repetição, em que a mesma linha é escrita sem parar. As duas parecem resultados válidos, então chegam às legendas se ninguém conferir o arquivo.

Por que o Whisper escreve “Thank you for watching”?

Porque áudio sem fala tende a sair como texto mesmo assim. O Whisper decodifica janelas de 30 segundos e, quando uma só tem música ou ruído de ambiente, muitas vezes recorre a frases comuns nas transcrições com as quais foi treinado. Um estudo de 2025 constatou que o large-v3 produziu texto em 40,3% dos clipes sem fala, com “thank you” e “thanks for watching” na frente.

Por que o Whisper repete a mesma linha sem parar?

Porque, por padrão, cada janela é decodificada com o resultado anterior do próprio modelo como contexto. Quando uma janela dá errado, a seguinte parte desse erro e o repete. Desativar condition_on_previous_text quebra a cadeia. No nosso clipe de teste de 101 segundos, isso levou o large-v3 de nove frases repetidas e nenhuma pontuação de fim de frase a nenhuma repetição e trinta marcas de fim de frase.

Como impeço o Whisper de ter alucinações?

Filtre o áudio sem fala e impeça o modelo de se alimentar do próprio resultado. No faster-whisper, isso significa vad_filter=True e condition_on_previous_text=False; no whisper.cpp, --vad com um modelo Silero e -mc 0; na linha de comando do openai-whisper, --condition_on_previous_text False. Depois confira o arquivo final, porque nenhuma configuração elimina todas as alucinações.

Desativar condition_on_previous_text piora as transcrições?

Um pouco, e de formas concretas. Sem o texto anterior como contexto, a grafia pode variar entre janelas, e um initial prompt (instrução inicial) com nomes ou jargões só molda a primeira janela, a menos que a ferramenta o reenvie sempre. Isso custa algumas edições de localizar e substituir. Um loop de repetição custa a passagem inteira, então desativar compensa.

Um modelo Whisper maior tem menos chance de ter alucinações?

Não. No nosso teste com um clipe turco de 101 segundos, o large-v3 caiu em um loop de repetição com as configurações padrão, enquanto o medium, com o mesmo áudio e as mesmas configurações, não. Os modelos maiores costumam ser mais precisos em fala clara, mas o tamanho não protege de loops nem de frases-fantasma, então aplique as mesmas correções a todos os modelos.