Comparação de Modelos Whisper para Legendas: Tiny, Small, Turbo e Large-v3

O Whisper existe em seis tamanhos. Segundo os números da própria OpenAI, o tiny tem 39 milhões de parâmetros, o base 74 milhões, o small 244 milhões, o medium 769 milhões, o large 1,55 bilhão e o turbo 809 milhões, e os quatro primeiros também existem em versões .en, só para inglês. Nas builds do faster-whisper que os programas para desktop baixam, vão de cerca de 78 MB no tiny a cerca de 3,1 GB no large-v3.

O maior modelo não é, ainda assim, automaticamente o melhor para legendas. O large-v3-turbo tem cerca de metade dos parâmetros do large-v3 e roda cerca de oito vezes mais rápido, e em gravações normais a diferença no arquivo de legendas final é pequena o bastante para que a velocidade decida a escolha. Há também casos reais em que um modelo menor produz uma transcrição melhor do que um maior.

Aqui estão os números, o que eles significam especificamente para o trabalho de legendagem e os modos de falha que fazem um modelo parecer pior do que realmente é.

Os modelos, lado a lado

Os parâmetros e a velocidade relativa vêm do README do Whisper da OpenAI; os tamanhos são os totais reais das builds do faster-whisper (CTranslate2) no Hugging Face, as mesmas que o Sablate baixa para seus níveis, não estimativas arredondadas.

A linha que quebra o padrão é a do turbo. Ele tem mais parâmetros do que o medium e, ainda assim, roda cerca de quatro vezes mais rápido, o que não é o que o número de parâmetros sozinho faria prever. Os quatro níveis do Sablate usam os modelos multilíngues; o base e as versões .en estão na tabela para comparação.

Você deve usar os modelos .en, só para inglês?

A OpenAI publica versões só para inglês do tiny, do base, do small e do medium. O README informa que elas tendem a dar resultados melhores em inglês, sobretudo o tiny.en e o base.en, e que a diferença fica menos significativa no small.en e no medium.en. Não existe versão .en do large nem do turbo.

Para legendas, isso dá uma regra simples. Se o áudio for em inglês e você estiver limitado a um modelo pequeno — um notebook mais antigo, só CPU, um rascunho rápido —, a versão .en é a melhor escolha, com o mesmo tamanho e a mesma velocidade. Se qualquer parte do áudio estiver em outro idioma, use o modelo multilíngue, porque um modelo .en só conhece inglês. A partir do large-v3-turbo a questão deixa de existir, porque só há versões multilíngues.

Por que o turbo muda a recomendação

O turbo não é um modelo menor treinado do zero. É o large-v3 com o decodificador reduzido de 32 para 4 camadas, seguido de mais duas épocas de fine-tuning sobre os mesmos dados de transcrição multilíngue. O Whisper passa a maior parte do tempo no decodificador, então um corte tão drástico traz um ganho de velocidade enorme enquanto o codificador — a parte que de fato ouve — fica intocado.

Isso traz duas ressalvas, e ambas estão documentadas pela OpenAI, não são lenda popular:

• Foi ajustado sem dados de tradução. O turbo é um modelo de transcrição. Se você quer a tarefa do Whisper de tradução de fala para inglês, o turbo é a ferramenta errada; transcreva no idioma de origem e traduza o texto depois, que de qualquer forma é o melhor fluxo de trabalho.
• Alguns idiomas se degradam mais do que outros. O turbo acompanha o large-v2 na maioria dos idiomas, mas perde visivelmente mais em tailandês e cantonês. Se você trabalha com esses idiomas, faça um teste antes de se comprometer.

Para todo o resto, o turbo é a escolha sensata para legendas: qualidade quase no nível do large-v3, em uma velocidade que torna uma gravação de duas horas uma tarefa viável.

O modelo maior sempre dá as melhores legendas?

Nem sempre, e vale a pena conhecer a exceção porque, quando acontece, parece um erro do software.

Medimos isso em um clipe turco de 101 segundos, em uma RTX 3060 Ti com float16, pelo próprio caminho de transcrição do programa. Ordenados por quanto da fala cada modelo de fato captou, o medium ficou em primeiro lugar. O large-v3 pulou falas que o medium transcreveu corretamente — as palavras iniciais do clipe e várias interjeições curtas simplesmente não apareceram. Nenhuma das alavancas habituais as trouxe de volta: desativar o filtro de atividade de voz, subir o limiar de não-fala, remover o limiar de log-probabilidade, fixar a temperatura. Remover o limiar de log-probabilidade piorou tudo drasticamente, reduzindo a transcrição de cerca de 1.110 caracteres para 429.

Também testamos o conselho, muito repetido pela comunidade, de usar o large-v2 em vez do large-v3. Nesse clipe, ele foi o pior de todos: omitiu por completo um trecho contínuo de 30 segundos de fala, dos 28,7s aos 58,7s, produzindo 106 palavras onde o medium produziu 178.

Um clipe não é um benchmark, e este era curto, turco e conversacional. Fique com o método, não com o ranking: transcreva o mesmo arquivo com dois modelos, procure o que falta em vez do que está escrito errado, e escolha o que ouviu tudo. Omissões custam muito mais caro em legendas do que erros de grafia, porque um espectador consegue ler uma palavra errada e seguir em frente, mas não consegue ler uma linha que não existe.

Quando um bom modelo parece ruim

Há três modos de falha que geram reclamações do tipo “o modelo grande é pior” e que não têm nada a ver com o modelo.

1. Empates nos timestamps por palavra quebram a divisão das linhas. O Whisper emite timestamps por palavra, e palavras adjacentes frequentemente compartilham um limite exatamente igual — no clipe que examinamos, 172 de 177 intervalos entre palavras eram exatamente 0,000 s. Um divisor que corta uma legenda longa no maior intervalo encontra, portanto, todos os candidatos empatados, escolhe o primeiro e repete o processo recursivamente — arrancando uma palavra de cada vez. O sintoma é uma transcrição desfeita em legendas de uma só palavra, e piora com o modelo que produz mais palavras. Corrigir o critério de desempate para favorecer o ponto médio temporal fez um clipe passar de 90 legendas (78 delas de uma só palavra) para 28 legendas, com uma única linha de uma palavra. O modelo nunca mudou.

2. O modelo que você selecionou não é o modelo que rodou. Os repositórios de modelos têm nomes inconsistentes entre os registros de download e as bibliotecas de inferência. Um modelo já baixado, salvo no disco com o nome de um repositório, enquanto o carregador procura outro, gera um fallback silencioso para outro modelo ou um erro que parece problema de rede — com 1,6 GB do modelo correto já presentes no disco.

3. Uma nova transcrição que falha deixa a transcrição antiga na tela. Se uma nova execução falha e o programa reverte a tarefa mas mantém o nome do modelo pedido, você está olhando o resultado do modelo anterior com a etiqueta do novo. Qualquer comparação feita a partir desse estado está errada. Se você está fazendo um benchmark, confirme que o texto realmente mudou antes de tirar conclusões — um resultado idêntico entre dois modelos diferentes é um sinal de alerta, não uma descoberta.

VRAM, disco e o que sua máquina consegue rodar

O README da OpenAI indica a VRAM aproximada da implementação em PyTorch deles: cerca de 1 GB para o tiny e o base, 2 GB para o small, 5 GB para o medium, 6 GB para o turbo e 10 GB para o large. As builds do faster-whisper precisam de menos do que isso, e os tamanhos de download da tabela acima são um bom indicador da pressão sobre a memória que você vai realmente ver. Um guia prático:

• 4 GB de VRAM ou menos, ou sem GPU dedicada — o small é o ponto ideal. O tiny serve para rascunhos e verificações de tempos, não para entrega final.
• 6–8 GB de VRAM — o large-v3-turbo sem dificuldade. É a configuração em que a maioria das pessoas deveria estar.
• 10 GB de VRAM ou mais — o large-v3, se o áudio realmente precisar: sotaques fortes, falantes que se sobrepõem, microfones ruins.
• Só CPU — o small para o que você precisa de hoje para hoje, o turbo se puder deixá-lo rodando sem pressa.

A precisão importa aqui tanto quanto o tamanho do modelo. As builds CTranslate2 sobre as quais o Whisper roda suportam float16 e int8, e reduzir a precisão diminui bastante a memória usada, a um custo de qualidade que é pequeno em int8 e normalmente imperceptível em float16 em uma GPU.

Em uma GPU, espere um ganho de velocidade de aproximadamente cinco a dez vezes em relação à mesma máquina na CPU. No Sablate para Windows, o runtime NVIDIA CUDA é baixado na primeira vez que ele roda em uma GPU, em vez de vir incluído no instalador, o que mantém o download pequeno para quem nunca vai usar esse caminho.

Que modelo você deve escolher de fato?

Essa última linha é a que muda as contas. Quando uma transcrição é a entrada para oito traduções, um erro não é um erro — são oito. O fluxo de trabalho multilíngue explica por que a transcrição de origem merece o modelo mais lento e uma revisão cuidadosa.

No Sablate, o Fast e o Balanced (tiny e small) rodam no plano Gratuito; o Accurate e o Best fazem parte do Pro, um único pagamento de $29 detalhado na página de preços. Seja qual for o modelo que você usar, o resultado chega ao mesmo editor e exporta para os mesmos formatos — SRT, VTT e ASS — então a escolha do modelo é sobre quanto você vai corrigir depois, não sobre o que consegue produzir.

Se você prefere não gerenciar os modelos na mão, a comparação de geradores de legendas offline lista os programas para desktop que escolhem e baixam os modelos por você. As alternativas ao MacWhisper para Windows e as alternativas ao TurboScribe olham para a mesma escolha do lado do aplicativo.

Como testar isso nas suas próprias gravações

Cinco minutos de método valem mais do que qualquer benchmark publicado, incluindo este:

1. Escolha um clipe de 60 a 120 segundos que seja representativo — seu pior microfone, os sotaques de sempre, a sala real onde você grava.
2. Transcreva-o com dois modelos candidatos, sem mudar mais nada.
3. Compare primeiro as omissões, só depois os erros de grafia.
4. Conte as legendas de uma só palavra. Muitas delas apontam para a segmentação, não para o modelo.
5. Só depois compare o tempo real que cada um levou, e decida quanto esse tempo vale para você.

O modelo que ouve tudo no seu material é o melhor modelo para você, e não será necessariamente o maior.

Perguntas frequentes

Quais são os tamanhos dos modelos Whisper?

Seis, segundo os números da OpenAI: tiny (39 milhões de parâmetros), base (74 milhões), small (244 milhões), medium (769 milhões), large (1,55 bilhão) e turbo (809 milhões). O tiny, o base, o small e o medium também existem em versões .en, só para inglês. Como downloads do faster-whisper, ocupam cerca de 78 MB, 148 MB, 486 MB, 1,53 GB, 3,09 GB (large-v3) e 1,62 GB (turbo).

Qual é o melhor modelo Whisper para legendas?

Para a maioria das gravações, o large-v3-turbo. Ele tem 809 milhões de parâmetros contra 1,55 bilhão do large-v3, mas roda cerca de oito vezes mais rápido porque seu decodificador foi reduzido de 32 para 4 camadas, e a precisão é parecida o bastante para que a diferença de tempo decida a escolha. Use o large-v3 completo para áudio difícil, e o small quando estiver fazendo um rascunho.

O large-v3 é sempre mais preciso do que o medium ou o turbo?

Não. Na maior parte do material é, mas não em todo. Nos nossos próprios testes, em um clipe curto em turco, o large-v3 pulou falas que o medium transcreveu corretamente, incluindo interjeições e as palavras iniciais. Vale a pena testar a escolha do modelo nas suas próprias gravações, em vez de presumir que mais parâmetros sempre ganha.

De quanto espaço em disco cada modelo Whisper precisa?

Medido a partir das builds CTranslate2 realmente baixadas: o tiny ocupa cerca de 78 MB, o base cerca de 148 MB, o small cerca de 486 MB, o medium cerca de 1,53 GB, o large-v3-turbo cerca de 1,62 GB e o large-v3 cerca de 3,09 GB. As versões .en, só para inglês, têm o mesmo tamanho. O uso de VRAM durante a transcrição segue aproximadamente a mesma ordem, e a precisão float16 ou int8 reduz isso de forma considerável.

Qual é a diferença entre o large-v3 e o large-v3-turbo?

O turbo é um large-v3 reduzido e ajustado, com as camadas do decodificador cortadas de 32 para 4. Isso o torna muito mais rápido, com qualidade de transcrição semelhante. Duas ressalvas: ele foi ajustado sem dados de tradução, então não serve para tradução de fala, e se degrada mais do que o large-v3 em alguns idiomas, sobretudo tailandês e cantonês.

Uma GPU torna o Whisper realmente mais rápido?

Sim, substancialmente — uma GPU NVIDIA costuma transcrever de cinco a dez vezes mais rápido do que a mesma máquina na CPU. A diferença é grande o bastante para mudar qual modelo é viável: o large-v3 em uma gravação longa é uma tarefa para rodar durante a noite na CPU, e uma pausa para o café em uma GPU intermediária.

Por que minha transcrição se divide em legendas de uma só palavra?

Normalmente por causa dos timestamps por palavra, não do modelo. O Whisper pode emitir palavras adjacentes com um intervalo de exatamente zero segundo, e um divisor de linhas que procura o maior intervalo não encontra nenhum intervalo real e corta sempre na primeira posição, de forma recursiva. O modelo está bem; é a lógica de segmentação que precisa de uma regra de desempate.