Whisper em português: idiomas suportados e taxa de erro
O Whisper suporta 100 idiomas, mas não com a mesma qualidade. A lista completa, a taxa de erro da OpenAI em português e por modelo, e onde o turbo fica atrás.
O Whisper suporta 100 idiomas: os 99 códigos da versão original da OpenAI, mais o cantonês, que foi adicionado com o large-v3. Estar na lista não torna um idioma igualmente utilizável. No benchmark FLEURS da própria OpenAI, o large-v3 erra cerca de 3 palavras em 100 em espanhol e cerca de 50 em 100 em bengali, e os modelos menores ampliam essa distância fora do inglês.
A lista em si é a parte fácil. O que decide se o Whisper é bom o bastante para legendas no seu idioma é a quantidade de áudio de treinamento que esse idioma teve, o tamanho do modelo que você roda e se o idioma é um dos poucos em que o turbo, mais rápido, escorrega. A seguir: a lista completa, a taxa de erro que a OpenAI publicou para cada idioma e modelo, e como ler esses números em relação ao seu próprio vídeo.
A lista completa de idiomas do Whisper
São as 100 entradas da tabela LANGUAGES do tokenizer.py do Whisper, em ordem alfabética do nome em inglês e lidas coluna por coluna. O código à esquerda é o que você passa para --language na linha de comando, ou o que um aplicativo de desktop envia quando você escolhe o idioma em um menu.
af Afrikaans fr French lt Lithuanian sd Sindhi
sq Albanian gl Galician lb Luxembourgish si Sinhala
am Amharic ka Georgian mk Macedonian sk Slovak
ar Arabic de German mg Malagasy sl Slovenian
hy Armenian el Greek ms Malay so Somali
as Assamese gu Gujarati ml Malayalam es Spanish
az Azerbaijani ht Haitian Creole mt Maltese su Sundanese
ba Bashkir ha Hausa mi Maori sw Swahili
eu Basque haw Hawaiian mr Marathi sv Swedish
be Belarusian he Hebrew mn Mongolian tl Tagalog
bn Bengali hi Hindi my Myanmar tg Tajik
bs Bosnian hu Hungarian ne Nepali ta Tamil
br Breton is Icelandic no Norwegian tt Tatar
bg Bulgarian id Indonesian nn Nynorsk te Telugu
yue Cantonese it Italian oc Occitan th Thai
ca Catalan ja Japanese ps Pashto bo Tibetan
zh Chinese jw Javanese fa Persian tr Turkish
hr Croatian kn Kannada pl Polish tk Turkmen
cs Czech kk Kazakh pt Portuguese uk Ukrainian
da Danish km Khmer pa Punjabi ur Urdu
nl Dutch ko Korean ro Romanian uz Uzbek
en English lo Lao ru Russian vi Vietnamese
et Estonian la Latin sa Sanskrit cy Welsh
fo Faroese lv Latvian sr Serbian yi Yiddish
fi Finnish ln Lingala sn Shona yo Yoruba
Alguns nomes escondem apelidos. O zh cobre o mandarim, e o tokenizador também aceita “mandarin”; o ca aceita “valencian”, o nl “flemish”, o ro “moldavian” e o es “castilian”. O jw é o código próprio do Whisper para o javanês, onde o padrão ISO diz jv, então uma ferramenta que valida códigos pela ISO precisa fazer a conversão. O cantonês (yue) só existe no large-v3 e no modelo turbo construído a partir dele; os checkpoints mais antigos não têm esse token.
Precisão do Whisper por idioma: os números da própria OpenAI
A OpenAI publica taxas de erro por idioma para o large-v3 no README do Whisper, para o turbo no seu anúncio do turbo e para os modelos menores no apêndice do artigo do Whisper. A tabela abaixo reúne os números do FLEURS dessas três fontes. O FLEURS é um conjunto de frases lidas em voz alta, gravadas em cada idioma, então são números de melhor caso.
| Idioma | large-v3 | turbo | small | tiny |
|---|---|---|---|---|
| Espanhol | 2,8 | 3,1 | 5,6 | 15,9 |
| Italiano | 3,0 | 3,2 | 9,8 | 29,8 |
| Coreano (CER; small e tiny em WER) | 3,1 | 3,2 | 19,6 | 36,1 |
| Português | 4,1 | 4,2 | 7,3 | 20,1 |
| Inglês | 4,1 | 4,4 | 6,1 | 12,4 |
| Polonês | 4,6 | 5,4 | 14,7 | 45,6 |
| Japonês (CER) | 4,9 | 4,7 | 12,0 | 37,0 |
| Alemão | 4,9 | 5,8 | 10,2 | 27,8 |
| Russo | 5,0 | 5,3 | 11,4 | 31,1 |
| Holandês | 5,2 | 5,9 | 16,4 | 49,0 |
| Francês | 5,3 | 5,8 | 15,0 | 41,4 |
| Indonésio | 6,1 | 6,9 | 16,3 | 51,7 |
| Ucraniano | 6,4 | 6,9 | 19,3 | 51,2 |
| Turco | 6,7 | 6,9 | 15,9 | 42,5 |
| Mandarim (CER) | 7,7 | 8,3 | 20,8 | 40,5 |
| Tailandês (CER) | 8,4 | 13,9 | 21,9 | 58,8 |
| Vietnamita | 8,6 | 9,6 | 21,2 | 60,0 |
| Árabe | 9,6 | 10,2 | 30,6 | 63,4 |
| Hindi | 17,0 | 18,5 | 38,4 | 102,3 |
| Hebraico | 26,1 | não publicado | 44,4 | 71,6 |
| Suaíli | 34,1 | não publicado | 73,7 | 100,9 |
| Bengali | 50,0 | não publicado | 104,4 | 101,6 |
Os números são a taxa de erro de palavras (WER, de word error rate) em por cento: a parcela de palavras que o modelo errou, omitiu ou acrescentou. Para japonês, mandarim e tailandês, que não separam as palavras com espaços, as fontes contam caracteres (CER, de character error rate, taxa de erro de caracteres). O coreano é a armadilha da tabela: o README e o gráfico do turbo o dão em CER, enquanto os números do artigo para small e tiny são por palavra, então a linha dele não pode ser lida na horizontal. Uma WER acima de 100 é possível, porque palavras inseridas também contam como erros.
As colunas small e tiny vêm de uma rodada separada, de 2022, e a OpenAI nunca treinou esses dois tamanhos de novo, então são os mesmos modelos que você baixa hoje. Leia a diferença entre colunas como aproximada e a diferença entre linhas como sólida.
Por que alguns idiomas são tão piores
O artigo do Whisper responde isso diretamente. Entre os idiomas, a quantidade de áudio transcrito de treinamento prevê a taxa de erro com uma correlação ao quadrado de 0,83 em escala logarítmica, e a reta ajustada diz que a taxa de erro cai pela metade a cada aumento de 16 vezes nos dados de treinamento. O inglês representa cerca de dois terços das 680.000 horas com que os modelos originais foram treinados; os outros 96 idiomas dividem 117.000 horas, e o artigo conta dados de treinamento de reconhecimento de fala para apenas 75 idiomas.
Os dados de treinamento não explicam tudo. O artigo cita hebraico, telugu, chinês e coreano como idiomas que vão pior do que suas horas fariam prever, e aponta para escritas próprias, a distância das línguas indo-europeias que dominam os dados e um tokenizador em nível de byte que se ajusta mal a essas escritas. A qualidade dos dados também pesa: os autores descobriram que a maior parte dos supostos dados de tradução do galês era áudio em inglês classificado como galês.
O large-v3 foi treinado com muito mais áudio, 1 milhão de horas de fala com rótulos fracos e 4 milhões de horas de fala com pseudorrótulos, e a OpenAI informa de 10 a 20 por cento menos erros do que o large-v2 entre os idiomas. A classificação quase não mudou. Um idioma perto do fim da tabela de 2022 continua perto do fim.
Um modelo menor prejudica mais fora do inglês?
Sim, e muito. Em inglês, passar do large-v3 para o small leva a taxa de erro de 4,1 para 6,1 por cento: perceptível em uma revisão, aceitável para um rascunho. Em francês ela vai de 5,3 para 15,0, em polonês de 4,6 para 14,7, em turco de 6,7 para 15,9. Cerca de uma palavra em sete errada é uma transcrição que você reescreve em vez de corrigir.
O tiny é outra categoria fora de um punhado de idiomas. O espanhol se mantém em 15,9 por cento; francês, polonês, holandês e turco ficam entre 41 e 49 por cento, o que significa que quase toda legenda tem um erro. O padrão é consistente: quanto mais longe um idioma está do topo da tabela, mais cada degrau abaixo no tamanho do modelo custa.
O tamanho do modelo também decide velocidade e memória, então a pergunta prática é quanta precisão você pode sacrificar no seu idioma. A comparação de modelos Whisper trata de tamanhos de download, VRAM e velocidade de cada modelo; leia-a junto com esta tabela, não no lugar dela.
Turbo ou large-v3: onde o turbo escorrega
O turbo é o large-v3 com o decodificador reduzido de 32 para 4 camadas e depois ajustado de novo com a mesma quantidade de dados de transcrição. No FLEURS ele fica a cerca de um ponto do large-v3 na maioria dos idiomas da tabela, e em japonês está um pouco à frente. A observação da própria OpenAI é que ele tem desempenho semelhante ao do large-v2, mas se degrada mais em tailandês e cantonês. O gráfico dele no Common Voice, gravado por voluntários com o próprio microfone, mostra o quanto mais:
| Idioma (Common Voice 15) | large-v3 | turbo |
|---|---|---|
| Cantonês, China (CER) | 10,9 | 46,1 |
| Cantonês, Hong Kong (CER) | 15,9 | 42,9 |
| Tailandês (CER) | 5,8 | 20,8 |
| Sérvio | 15,7 | 36,7 |
| Letão | 16,7 | 35,5 |
| Turco | 12,0 | 17,0 |
| Japonês (CER) | 10,3 | 12,3 |
Sérvio e letão não aparecem no texto do anúncio, só no gráfico, e perdem tanto quanto o tailandês. Se o seu idioma está nesta lista, a velocidade oito vezes maior do turbo não compensa: rode o large-v3. O turbo também não foi treinado em tradução, então a tarefa de traduzir para o inglês embutida no Whisper exige o large-v3 ou o medium, como o guia para traduzir um vídeo explica.
Como é o Whisper em português?
Em português o Whisper vai bem: cerca de 4,1 por cento de erros de palavras para o large-v3 e 4,2 para o turbo no FLEURS, praticamente empatados. No Common Voice, com sua mistura de sotaques e microfones caseiros, o large-v3 sobe para 5,9 por cento e o turbo para 6,9, que é o número mais honesto para um vlog ou uma gravação de chamada.
A escolha do modelo pesa menos em português do que na maioria dos idiomas. O turbo é praticamente igual ao large-v3, e o small fica relativamente perto, com 7,3 no FLEURS, uma das menores perdas do small em toda a tabela. O tiny, com 20,1, ainda é fraco demais para legendas que você vai publicar.
Detecção automática ou escolher o idioma você mesmo?
Quando nenhum idioma é informado, o Whisper escuta os primeiros 30 segundos de fala, escolhe o idioma mais provável e transcreve o arquivo inteiro nele. O faster-whisper, o motor que a maioria dos aplicativos de desktop usa, faz o mesmo por padrão. A detecção é boa, mas não é certa: no artigo, o melhor modelo identificou o idioma corretamente em 80,3 por cento das vezes entre os 82 idiomas do FLEURS para os quais tinha dados de treinamento.
Duas situações a quebram. Um vídeo que abre com música, aplausos ou muito pouca fala dá ao detector quase nada para trabalhar. Um vídeo cujo primeiro meio minuto está em outro idioma, diferente do resto, como uma introdução em inglês em uma entrevista em turco, define o idioma errado para tudo o que vem depois. Se você sabe o idioma, escolha-o.
O Whisper também espera um idioma por arquivo. O arquivo inteiro é decodificado sob um único token de idioma, então trechos em um segundo idioma são transcritos como se estivessem no primeiro, e o resultado nesses trechos não é confiável. Para um vídeo com idiomas misturados, o caminho confiável é transcrevê-lo no idioma principal e corrigir os outros trechos à mão, ou dividir o áudio.
Escolhendo um modelo para o seu idioma
“Meu idioma está perto do topo da tabela.” Espanhol, italiano, português, inglês, alemão, russo e seus vizinhos dão rascunhos limpos até com o small, e o turbo é a escolha sensata para legendas finais.
“Meu idioma está no meio.” Turco, ucraniano, vietnamita, árabe, mandarim: o small produz um rascunho que você vai reescrever, então vá de turbo ou large-v3 para tudo o que for publicar.
“Meu idioma é tailandês, cantonês, sérvio ou letão.” Use o large-v3, não o turbo.
“Meu idioma está perto do fim.” Hindi, hebraico, suaíli, bengali e a maior parte da lista, que não tem nenhum número publicado. Trate a saída do Whisper como uma primeira passada grosseira, confira cada legenda e reserve tempo para isso. Um modelo treinado para um único idioma, quando existe, também vale o teste: o japonês, por exemplo, tem o kotoba-whisper.
“Os falantes mudam de idioma.” Escolha o idioma principal você mesmo e planeje corrigir o resto à mão.
Seja qual for o resultado da tabela, teste antes de se comprometer. Transcreva dois minutos do seu próprio vídeo com dois tamanhos de modelo e compare linha por linha. Os benchmarks são de fala lida; o seu vídeo tem música, falas sobrepostas e nomes. Quando uma transcrição repete linhas ou inventa texto, a causa costuma ser o áudio e as configurações de decodificação, não o idioma.
Idiomas do Whisper no Sablate
O menu de idiomas do Sablate é a lista do Whisper: os mesmos 100 códigos, mais Auto-detect, com cada nome exibido no idioma da interface do app. Os quatro níveis correspondem aos modelos da tabela, Fast ao tiny, Balanced ao small, Accurate ao large-v3-turbo e Best ao large-v3, então as colunas acima são a escolha que você faz no app. O plano Gratuito não exige conta e cobre vídeos de até dez minutos, três tarefas por mês, os modelos Fast e Balanced e uma camada de tradução offline; a renderização embutida leva uma pequena marca no canto. Accurate e Best fazem parte do Pro.
O que o Sablate faz além da transcrição é o que acontece depois. Cada tradução é uma camada sobre a mesma transcrição, e cada camada tem o próprio estilo e uma fonte capaz de desenhar a sua escrita, então legendas em árabe, hindi, japonês ou coreano não viram caixas vazias na renderização embutida. Legendas em vários idiomas a partir de um só vídeo mostra o fluxo de trabalho completo.
Dois limites, sem rodeios. O Sablate roda apenas os checkpoints da própria OpenAI, então um modelo da comunidade ajustado para um idioma não pode ser carregado. E a GPU acelera a transcrição em Macs Apple Silicon e no Windows com uma placa de vídeo NVIDIA; Macs Intel e outros PCs com Windows usam a CPU.
Perguntas frequentes
Quantos idiomas o Whisper suporta?
Cem. O tokenizador da OpenAI lista 99 códigos de idioma da versão original, mais o cantonês, que chegou com o large-v3 em novembro de 2023. Suporte significa que o modelo tem um token para o idioma, não que ele o transcreva bem: no benchmark FLEURS da OpenAI, o large-v3 vai de cerca de 3 por cento de erros em espanhol a cerca de 50 por cento em bengali.
Em quais idiomas o Whisper transcreve melhor?
Espanhol, italiano, coreano, português e inglês, pelos números da própria OpenAI. No benchmark FLEURS, o large-v3 fica em cerca de 4 por cento de erros ou menos nos cinco, com polonês, japonês, alemão, russo, holandês e francês logo atrás. A precisão acompanha a quantidade de áudio de treinamento por idioma, então os idiomas europeus e do leste asiático mais falados lideram a tabela.
Qual é a precisão do Whisper em português?
Alta. No FLEURS, a OpenAI mediu 4,1 por cento de erros de palavras para o large-v3 e 4,2 para o turbo; no Common Voice 15, gravado por voluntários com o próprio microfone, são 5,9 e 6,9. O small chega a 7,3 no FLEURS, uma perda pequena em comparação com outros idiomas, e o tiny sobe para 20,1.
O Whisper turbo é tão bom quanto o large-v3 em todos os idiomas?
Não. O turbo tem os mesmos 100 códigos de idioma e fica perto do large-v3 na maioria deles, mas a OpenAI registra perdas maiores em tailandês e cantonês. No Common Voice, o cantonês sobe de cerca de 11 para 46 por cento de erros de caracteres e o tailandês de cerca de 6 para 21 por cento. Para esses idiomas, use o large-v3 completo.
Devo deixar o Whisper detectar o idioma automaticamente?
Só quando você não souber qual é. O Whisper adivinha o idioma pelos primeiros 30 segundos de fala e depois transcreve o arquivo inteiro nesse único idioma. Uma abertura silenciosa ou cheia de música, ou um vídeo que começa em outro idioma, pode levar a transcrição inteira pelo caminho errado. Escolher o idioma você mesmo elimina esse risco.