Por que o Whisper Ignora Palavras de Preenchimento
As palavras de preenchimento somem no Whisper de propósito. Medimos com que frequência ele escreve um e uh, com e sem instrução, e quanto os tempos deles erram.
O Whisper ignora as palavras de preenchimento porque aprendeu com transcrições escritas para leitura, e elas deixam de fora o “um”, o “uh” e o “äh”. Peça-as com uma instrução inicial cheia de preenchimentos e ele atende na maior parte: em 425 preenchimentos anotados à mão, o Whisper escreveu de 0 a 4 por cento sem instrução e de 78 a 85 por cento com ela.
Para legendas, esse padrão é uma qualidade. Legenda não é transcrição, e deixar as hesitações de fora é o que um legendador faria de qualquer forma. Vira problema no momento em que você precisa saber onde os preenchimentos estão: para cortá-los de um vídeo, para produzir uma transcrição literal para pesquisa ou trabalho jurídico ou para estudar como alguém fala. Esta página mostra com que frequência cada modelo do Whisper escreve preenchimentos, como trazê-los de volta e por que os tempos deles não devem ser usados para cortar.
Com que frequência o Whisper escreve palavras de preenchimento
Rodamos quatro modelos do Whisper sobre 129 minutos de fala de reuniões em inglês e contamos quantas palavras de preenchimento dos falantes voltaram na transcrição, com três instruções.
| Modelo | Sem instrução | Instrução curta com alguns preenchimentos | Instrução densa de preenchimentos | Precisão, instrução densa |
|---|---|---|---|---|
small | 0% | 54% | 78% | 86% |
medium | 0% | 59% | 85% | 83% |
large-v3-turbo | 2% | 48% | 79% | 86% |
large-v3 | 4% | 55% | 82% | 86% |
Método. O áudio vem de quatro canais de headset de microfone próximo, de três reuniões do AMI Meeting Corpus (ES2002a, TS3003b e IS1009b), liberado sob a licença CC BY 4.0, cujas palavras foram alinhadas à mão. Contamos os 425 preenchimentos (“um”, “uh”, “er”, “hmm” e suas grafias) falados por quem usava cada headset e não sobrepostos por mais ninguém. Um preenchimento conta como escrito se o Whisper produziu um token de preenchimento até 0,25 segundo dele; a precisão é a parcela dos tokens de preenchimento do Whisper que caíram sobre um preenchimento real. Todas as execuções usaram o faster-whisper 1.2.1, em lotes, com beam size 5 e o filtro de detecção de atividade de voz ligado, em float16 em uma RTX 3060 Ti. As instruções estão abaixo. Um corpus de reuniões, muitas delas entre falantes não nativos de inglês, não representa toda gravação, então leia as colunas como uma faixa, não como um ranking.
A linha que quebra o padrão é a primeira coluna. Nenhum modelo escreveu mais de um preenchimento em 25, e o small e o medium não escreveram praticamente nenhum: 0 e 2 de 425. Isso não é um problema de audição, porque os mesmos modelos com uma instrução escreveram a maior parte.
Por que o Whisper deixa as palavras de preenchimento de fora?
O Whisper foi treinado com uma quantidade enorme de áudio pareado com transcrições encontradas na internet, e a maioria das transcrições feitas por pessoas é limpa para leitura. O modelo aprendeu o estilo junto com as palavras. O próprio guia de prompts do Whisper, da OpenAI, diz a consequência sem rodeios: “O Whisper tem menos probabilidade de seguir estilos raros ou estranhos que são atípicos para uma transcrição.” Uma transcrição cheia de hesitações é um desses estilos.
O lado da avaliação aponta na mesma direção. O normalizador de texto em inglês do Whisper, que a OpenAI usa para comparar a saída de um modelo com uma referência antes de calcular a taxa de erro de palavras, apaga essas palavras de uma vez: o padrão dele é \b(hmm|mm|mhm|mmm|uh|um)\b (whisper/normalizers/english.py). Esse código só roda na avaliação, não na transcrição, mas significa que os números de precisão pelos quais o Whisper é conhecido não premiam nem punem os preenchimentos. Nada nos testes habituais empurra um modelo a escrevê-los.
O que o modelo escreve no lugar é a parte interessante. Sem instrução, entre 43 e 67 por cento dos preenchimentos que ele pulou ficavam dentro do intervalo de tempo de uma palavra vizinha: a hesitação não foi descartada, foi absorvida. Em uma gravação de tela em turco de 142 segundos vimos o mesmo, com um “eee” longo e a palavra ao redor devolvidos como uma única palavra com mais de dois segundos.
Como trazer as palavras de preenchimento de volta com uma instrução
A instrução inicial (initial prompt) é um texto que o Whisper trata como se viesse logo antes do áudio, então ele continua no mesmo estilo. Uma instrução que contém preenchimentos diz ao modelo que essa transcrição os mantém. O guia de fala para texto da OpenAI lista “Preserving punctuation, capitalization, and filler words” entre as finalidades de uma instrução.
Quantos preenchimentos a instrução tem importa mais do que você imagina. Estas são as duas instruções da tabela:
Short prompt: Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt: Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.
A curta, com um punhado de preenchimentos, levou os modelos de quase nada a cerca de metade. A densa, em que quase toda outra palavra é uma hesitação, levou todos os modelos a cerca de quatro em cada cinco.
Duas regras fazem a instrução funcionar em arquivos reais.
Escreva a instrução no idioma falado. Um “um” em inglês não ensina o modelo a escrever o “äh” alemão nem o “ııı” turco. No clipe em turco, uma instrução em turco resolveu:
Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.
Com ela, small, medium e large-v3-turbo escreveram três dos quatro preenchimentos do clipe cada um; sem ela, medium, large-v3-turbo e large-v3 não escreveram nenhum. Palavras de preenchimento em outros idiomas lista os sons de hesitação de 13 idiomas para montar uma instrução assim.
Envie a instrução a cada janela. O Whisper percorre o áudio de 30 em 30 segundos e, na maioria das configurações, a instrução inicial só molda o começo: com o uso do texto anterior como contexto, a transcrição a empurra para fora e, sem ele, a instrução chega só à primeira janela. No pipeline em lotes do faster-whisper, ela é enviada com cada trecho:
from faster_whisper import WhisperModel, BatchedInferencePipeline
model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
"meeting.wav",
language="en",
initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
word_timestamps=True,
batch_size=8,
)
for segment in segments:
for word in segment.words:
print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")
No whisper.cpp, o --carry-initial-prompt faz o mesmo. Uma armadilha ali: o -mc 0, a correção habitual para loops de repetição, também não deixa espaço para a instrução carregada. No nosso clipe em turco ele não escreveu nenhum preenchimento com -mc 0 e escreveu cinco com um contexto pequeno de 64 tokens:
whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."
O openai-whisper tem uma configuração carry_initial_prompt com o mesmo objetivo. Por que o Whisper alucina cobre como esses ajustes interagem com o filtro de detecção de atividade de voz e com o uso do texto anterior como contexto.
Dá para cortar vídeo pelos tempos de preenchimento do Whisper?
Não, não diretamente. Com a instrução densa, a diferença mediana entre o fim que o Whisper dava a um preenchimento e o fim real do som foi de 0,13 segundo para o medium e de até 0,43 segundo para o large-v3. Entre 26 e 42 por cento dos preenchimentos que ele achou começavam a mais de 0,2 segundo de onde realmente começavam.
| Modelo, instrução densa | Desvio mediano do início | Desvio mediano do fim | Início com mais de 0,2 s de desvio |
|---|---|---|---|
small | 0,10 s | 0,27 s | 26% |
medium | 0,11 s | 0,13 s | 35% |
large-v3-turbo | 0,11 s | 0,36 s | 29% |
large-v3 | 0,16 s | 0,43 s | 42% |
Um quinto de segundo parece pouco, mas um corte que termina 0,3 segundo atrasado leva a primeira sílaba da palavra seguinte, e um que termina cedo deixa um toco de “hum” para trás. Os tempos do Whisper servem para encontrar um preenchimento, não para posicionar o corte. As bordas têm de vir do áudio: o ponto em que o nível do som sustentado começa a cair e o silêncio logo antes de ele começar.
A precisão merece a mesma cautela. Entre 14 e 17 por cento dos preenchimentos que o Whisper escreveu com a instrução não coincidiam com um preenchimento anotado dentro de um quarto de segundo. Alguns estão fora do lugar, alguns são respirações ou recomeços escritos como “uh” e alguns são inventados. Tudo que corta automaticamente deveria deixar você revisar a lista antes.
Qual modelo do Whisper usar para palavras de preenchimento?
Qualquer um, com instrução. Em inglês, o medium pegou mais, 85 por cento, e o small menos, 78, uma diferença pequena a ponto de a velocidade dever decidir; a comparação de modelos do Whisper tem os números de tamanho e velocidade. O large-v3-turbo é o padrão sensato em uma placa de vídeo.
A exceção veio do clipe em turco, em que o large-v3 com a mesma instrução escreveu só um dos quatro preenchimentos, enquanto os modelos menores acharam três cada um. É o mesmo modelo que pulou interjeições curtas nos nossos testes anteriores em turco, então, se os preenchimentos importam em um idioma que não seja o inglês, teste o large-v3 contra o turbo antes de confiar nele.
Quando as palavras de preenchimento devem ficar de fora?
“Estou fazendo legendas.” Deixe-as de fora, que é o padrão do Whisper. Hesitações custam tempo de leitura e não carregam significado; condensá-las é prática comum, como explica o guia de velocidade de leitura.
“Quero cortar os preenchimentos do vídeo.” Traga-os de volta com a instrução em uma passada separada, use a transcrição só para encontrá-los e tire as bordas do corte do áudio.
“Preciso de uma transcrição literal.” Traga-os de volta com a instrução e depois revise de ouvido. Com 78 a 85 por cento, a instrução resolve a maior parte, não tudo.
“Estou estudando a fala.” Use uma instrução e confira uma amostra à mão. Mesmo com a instrução densa, cerca de um preenchimento em cinco ainda faltava no nosso teste.
Como o Sablate encontra palavras de preenchimento
O Sablate faz as duas passadas. A transcrição que você edita e embute é o padrão limpo do Whisper, porque é isso que legendas devem ser. Quando você procura sons de preenchimento no modo Cuts, ele transcreve a fala uma segunda vez com uma instrução densa de preenchimentos no idioma falado, enviada a cada janela, em 13 idiomas.
Ele usa essa segunda transcrição só para achar preenchimentos. As bordas do corte vêm do som, onde o nível da vogal sustentada cai, e uma verificação separada procura sons de hesitação longos e estáveis que o Whisper nunca escreveu, em qualquer idioma. No clipe em turco, essa verificação achou o quarto preenchimento, uma hesitação de 0,65 segundo que nenhum modelo transcreveu. Preenchimentos colados em uma palavra são deixados de lado, e os de que ele não tem certeza aparecem na lista desativados até você ouvir. Como remover palavras de preenchimento e silêncios de um vídeo mostra o fluxo completo.
Resumindo
O Whisper ouve as palavras de preenchimento e as deixa de fora de propósito, porque as transcrições de treino faziam isso. Uma instrução densa no idioma falado, enviada a cada janela, traz de volta cerca de quatro em cada cinco. Use essa transcrição para encontrar os preenchimentos, não para cortá-los: os tempos erram em um quinto de segundo com frequência suficiente para cortar palavras. Para legendas, mantenha o padrão limpo do Whisper; para encontrar e cortar preenchimentos na sua própria máquina, baixe o Sablate.
Perguntas frequentes
O Whisper transcreve palavras de preenchimento como um e uh?
Quase nunca, por padrão. Em 425 palavras de preenchimento anotadas à mão em gravações de reuniões em inglês, o Whisper escreveu entre 0 e 4 por cento delas sem instrução, conforme o modelo. Com uma instrução inicial cheia de preenchimentos, escreveu de 78 a 85 por cento. O áudio é ouvido de qualquer jeito; o modelo apenas prefere um texto de transcrição limpo.
Como fazer o Whisper manter as palavras de preenchimento?
Dê a ele uma instrução inicial que seja ela mesma cheia de preenchimentos, escrita no idioma falado, e garanta que ela chegue a cada janela de 30 segundos, não só à primeira. No faster-whisper, o pipeline em lotes faz isso sozinho; o whisper.cpp precisa da opção carry-initial-prompt, e o openai-whisper, da configuração carry_initial_prompt.
Por que o Whisper remove as palavras de preenchimento?
Porque aprendeu com transcrições escritas para leitura, que em geral deixam as hesitações de fora. O guia de prompts da OpenAI observa que o Whisper tem menos probabilidade de seguir estilos atípicos para uma transcrição, e o normalizador de texto em inglês do próprio Whisper, usado para medir a precisão, apaga um, uh, hmm e mm antes de comparar, então as notas dos testes nunca premiam quem os escreve.
Os tempos do Whisper para palavras de preenchimento são precisos?
Não o bastante para cortar vídeo com base neles. No nosso teste, com os preenchimentos recuperados pela instrução, o fim mediano errava por 0,13 a 0,43 segundo, conforme o modelo, e entre um quarto e dois quintos dos preenchimentos começavam a mais de 0,2 segundo do som real. Sem instrução, a maioria dos preenchimentos era absorvida pelo tempo de uma palavra vizinha.
Qual modelo do Whisper é melhor para escrever palavras de preenchimento?
Com uma instrução densa de preenchimentos, o medium escreveu mais, 85 por cento, depois o large-v3 com 82, o turbo com 79 e o small com 78, todos com precisão parecida, em torno de 83 a 86 por cento. A diferença é pequena a ponto de a velocidade dever decidir. Em um clipe curto em turco, o large-v3 achou só um de quatro preenchimentos, enquanto o small, o medium e o turbo acharam três cada um.