Whisper en español: idiomas compatibles y tasa de error
Whisper admite 100 idiomas, pero no todos igual de bien. La lista completa, la precisión en español y la tasa de error de cada idioma y modelo según OpenAI.
Whisper admite 100 idiomas: los 99 códigos de la versión original de OpenAI, más el cantonés, que se añadió con large-v3. Estar en la lista no hace que un idioma sea igual de utilizable. En el benchmark FLEURS de la propia OpenAI, large-v3 se equivoca en unas 3 palabras de cada 100 en español y en unas 50 de cada 100 en bengalí, y los modelos más pequeños amplían esa brecha fuera del inglés.
La lista en sí es la parte fácil. Lo que decide si Whisper es lo bastante bueno para subtitular en tu idioma es cuánto audio de entrenamiento tuvo ese idioma, qué tamaño de modelo ejecutas y si el idioma es uno de los pocos en los que el modelo turbo, más rápido, flaquea. A continuación: la lista completa, la tasa de error que OpenAI publicó para cada idioma y modelo, y cómo leer esas cifras frente a tu propio vídeo.
La lista completa de idiomas de Whisper
Son las 100 entradas de la tabla LANGUAGES del tokenizer.py de Whisper, ordenadas por nombre en inglés y leídas por columnas, de arriba abajo. El código de la izquierda es lo que pasas a --language en la línea de comandos, o lo que envía una aplicación de escritorio cuando eliges el idioma en un menú.
af Afrikaans fr French lt Lithuanian sd Sindhi
sq Albanian gl Galician lb Luxembourgish si Sinhala
am Amharic ka Georgian mk Macedonian sk Slovak
ar Arabic de German mg Malagasy sl Slovenian
hy Armenian el Greek ms Malay so Somali
as Assamese gu Gujarati ml Malayalam es Spanish
az Azerbaijani ht Haitian Creole mt Maltese su Sundanese
ba Bashkir ha Hausa mi Maori sw Swahili
eu Basque haw Hawaiian mr Marathi sv Swedish
be Belarusian he Hebrew mn Mongolian tl Tagalog
bn Bengali hi Hindi my Myanmar tg Tajik
bs Bosnian hu Hungarian ne Nepali ta Tamil
br Breton is Icelandic no Norwegian tt Tatar
bg Bulgarian id Indonesian nn Nynorsk te Telugu
yue Cantonese it Italian oc Occitan th Thai
ca Catalan ja Japanese ps Pashto bo Tibetan
zh Chinese jw Javanese fa Persian tr Turkish
hr Croatian kn Kannada pl Polish tk Turkmen
cs Czech kk Kazakh pt Portuguese uk Ukrainian
da Danish km Khmer pa Punjabi ur Urdu
nl Dutch ko Korean ro Romanian uz Uzbek
en English lo Lao ru Russian vi Vietnamese
et Estonian la Latin sa Sanskrit cy Welsh
fo Faroese lv Latvian sr Serbian yi Yiddish
fi Finnish ln Lingala sn Shona yo Yoruba
Algunos nombres esconden alias. zh cubre el mandarín, y el tokenizador también acepta «mandarin»; ca acepta «valencian», nl «flemish», ro «moldavian» y es «castilian». jw es el código propio de Whisper para el javanés, donde el estándar ISO dice jv, así que una herramienta que valide códigos con ISO tiene que hacer la correspondencia. El cantonés (yue) solo existe en large-v3 y en el modelo turbo construido a partir de él; los puntos de control anteriores no tienen ese token.
Precisión de Whisper por idioma: las cifras de OpenAI
OpenAI publica tasas de error por idioma para large-v3 en el README de Whisper, para turbo en su anuncio de turbo y para los modelos más pequeños en el apéndice del artículo de Whisper. La tabla siguiente toma las cifras de FLEURS de esas tres fuentes. FLEURS es un conjunto de frases leídas en voz alta y grabadas en cada idioma, así que son cifras del mejor caso.
| Idioma | large-v3 | turbo | small | tiny |
|---|---|---|---|---|
| Español | 2,8 | 3,1 | 5,6 | 15,9 |
| Italiano | 3,0 | 3,2 | 9,8 | 29,8 |
| Coreano (CER; small y tiny en WER) | 3,1 | 3,2 | 19,6 | 36,1 |
| Portugués | 4,1 | 4,2 | 7,3 | 20,1 |
| Inglés | 4,1 | 4,4 | 6,1 | 12,4 |
| Polaco | 4,6 | 5,4 | 14,7 | 45,6 |
| Japonés (CER) | 4,9 | 4,7 | 12,0 | 37,0 |
| Alemán | 4,9 | 5,8 | 10,2 | 27,8 |
| Ruso | 5,0 | 5,3 | 11,4 | 31,1 |
| Neerlandés | 5,2 | 5,9 | 16,4 | 49,0 |
| Francés | 5,3 | 5,8 | 15,0 | 41,4 |
| Indonesio | 6,1 | 6,9 | 16,3 | 51,7 |
| Ucraniano | 6,4 | 6,9 | 19,3 | 51,2 |
| Turco | 6,7 | 6,9 | 15,9 | 42,5 |
| Mandarín (CER) | 7,7 | 8,3 | 20,8 | 40,5 |
| Tailandés (CER) | 8,4 | 13,9 | 21,9 | 58,8 |
| Vietnamita | 8,6 | 9,6 | 21,2 | 60,0 |
| Árabe | 9,6 | 10,2 | 30,6 | 63,4 |
| Hindi | 17,0 | 18,5 | 38,4 | 102,3 |
| Hebreo | 26,1 | no publicado | 44,4 | 71,6 |
| Suajili | 34,1 | no publicado | 73,7 | 100,9 |
| Bengalí | 50,0 | no publicado | 104,4 | 101,6 |
Las cifras son la tasa de error de palabras (WER, por word error rate) en porcentaje: la proporción de palabras que el modelo transcribió mal, omitió o añadió. Para el japonés, el mandarín y el tailandés, que no separan las palabras con espacios, las fuentes cuentan caracteres (CER, por character error rate). El coreano es la trampa de la tabla: el README y el gráfico de turbo lo dan en CER, mientras que las cifras del artículo para small y tiny son por palabras, así que su fila no se puede leer de forma directa. Una WER superior a 100 es posible, porque las palabras insertadas también cuentan como errores.
Las columnas small y tiny proceden de una ejecución aparte de 2022, y OpenAI nunca reentrenó esos dos tamaños, así que son los mismos modelos que te descargas hoy. Lee la diferencia entre columnas como aproximada y la diferencia entre filas como sólida.
Por qué algunos idiomas son mucho peores
El artículo de Whisper lo responde de forma directa. Entre idiomas, la cantidad de audio de entrenamiento transcrito predice la tasa de error con una correlación al cuadrado de 0,83 en escala logarítmica, y la recta ajustada dice que la tasa de error se reduce a la mitad por cada multiplicación por 16 de los datos de entrenamiento. El inglés supone aproximadamente dos tercios de las 680.000 horas con las que se entrenaron los modelos originales; los otros 96 idiomas se reparten 117.000 horas, y el artículo cuenta datos de entrenamiento de reconocimiento de voz para solo 75 idiomas.
Los datos de entrenamiento no lo explican todo. El artículo cita el hebreo, el telugu, el chino y el coreano como idiomas que rinden peor de lo que sus horas predicen, y señala escrituras propias, la distancia respecto a las lenguas indoeuropeas que dominan los datos y un tokenizador a nivel de bytes que encaja mal con esas escrituras. La calidad de los datos también cuenta: los autores descubrieron que la mayor parte de los supuestos datos de traducción del galés eran audio en inglés archivado por error como galés.
large-v3 se entrenó con muchísimo más audio, 1 millón de horas de habla con etiquetado débil y 4 millones de horas de habla con pseudoetiquetas, y OpenAI informa de entre un 10 y un 20 por ciento menos de errores que large-v2 en todos los idiomas. La clasificación apenas se movió. Un idioma que estaba en la parte baja de la tabla de 2022 sigue en la parte baja.
¿Un modelo más pequeño perjudica más fuera del inglés?
Sí, y mucho. En inglés, pasar de large-v3 a small lleva la tasa de error del 4,1 al 6,1 por ciento: se nota al revisar, pero sirve para un borrador. En francés pasa de 5,3 a 15,0, en polaco de 4,6 a 14,7, en turco de 6,7 a 15,9. Más o menos una palabra de cada siete mal es una transcripción que se reescribe en lugar de corregirse.
tiny es otra categoría fuera de un puñado de idiomas. El español aguanta con un 15,9 por ciento; el francés, el polaco, el neerlandés y el turco quedan entre el 41 y el 49 por ciento, lo que significa que casi todos los subtítulos tienen un error. El patrón es constante: cuanto más lejos está un idioma de lo alto de la tabla, más cuesta cada paso hacia abajo en el tamaño del modelo.
El tamaño del modelo también decide la velocidad y la memoria, así que la pregunta práctica es cuánta precisión puedes permitirte perder en tu idioma. La comparativa de modelos de Whisper cubre los tamaños de descarga, la VRAM y la velocidad de cada modelo; léela junto a esta tabla, no en lugar de ella.
Turbo o large-v3: dónde flaquea turbo
turbo es large-v3 con su decodificador recortado de 32 capas a 4 y vuelto a ajustar con la misma cantidad de datos de transcripción. En FLEURS se queda a menos de un punto de large-v3 en la mayoría de los idiomas de la tabla, y en japonés va ligeramente por delante. La nota de OpenAI es que rinde de forma parecida a large-v2, pero empeora más en tailandés y cantonés. Su gráfico de Common Voice, grabado por voluntarios con sus propios micrófonos, muestra cuánto más:
| Idioma (Common Voice 15) | large-v3 | turbo |
|---|---|---|
| Cantonés, China (CER) | 10,9 | 46,1 |
| Cantonés, Hong Kong (CER) | 15,9 | 42,9 |
| Tailandés (CER) | 5,8 | 20,8 |
| Serbio | 15,7 | 36,7 |
| Letón | 16,7 | 35,5 |
| Turco | 12,0 | 17,0 |
| Japonés (CER) | 10,3 | 12,3 |
El serbio y el letón no aparecen en el texto del anuncio, solo en su gráfico, y pierden tanto como el tailandés. Si tu idioma está en esta lista, la velocidad ocho veces mayor de turbo no compensa: ejecuta large-v3. Además, turbo no se entrenó para traducir, así que la tarea de traducción al inglés integrada en Whisper necesita large-v3 o medium, como explica la guía para traducir un vídeo.
¿Qué tal funciona Whisper en español?
El español es el idioma en el que Whisper obtiene el mejor resultado en FLEURS, por delante del inglés: un 2,8 por ciento de errores de palabra con large-v3 y un 3,1 con turbo. En Common Voice 15, con su mezcla de acentos y micrófonos de casa, large-v3 sube al 4,7 por ciento y turbo al 5,5, que es la cifra más cercana a un vídeo real.
La consecuencia práctica es que en español incluso small se queda en torno al 5,6, así que Balanced da un borrador utilizable que solo hay que repasar. tiny sigue siendo flojo, con un 15,9: para subtítulos que vayas a publicar, usa turbo o large-v3.
¿Detección automática o elegir el idioma tú mismo?
Cuando no se indica ningún idioma, Whisper escucha los primeros 30 segundos de habla, elige el idioma más probable y transcribe todo el archivo en él. faster-whisper, el motor que usan la mayoría de las aplicaciones de escritorio, hace lo mismo por defecto. La detección es buena, pero no infalible: en el artículo, el mejor modelo identificó el idioma correctamente el 80,3 por ciento de las veces en los 82 idiomas de FLEURS para los que tenía datos de entrenamiento.
Hay dos situaciones que la rompen. Un vídeo que empieza con música, aplausos o muy poca habla deja al detector casi sin nada con lo que trabajar. Un vídeo cuyo primer medio minuto está en un idioma distinto del resto, como una introducción en inglés en una entrevista en turco, fija el idioma equivocado para todo lo que viene después. Si conoces el idioma, elígelo.
Whisper también espera un solo idioma por archivo. Todo el archivo se decodifica con un único token de idioma, así que los pasajes en un segundo idioma se transcriben como si estuvieran en el primero, y el resultado en esos pasajes no es fiable. Para un vídeo con varios idiomas, la vía fiable es transcribirlo en el idioma principal y corregir a mano los demás pasajes, o dividir el audio.
Elegir un modelo para tu idioma
«Mi idioma está cerca de lo alto de la tabla». El español, el italiano, el portugués, el inglés, el alemán, el ruso y sus vecinos dan borradores limpios incluso con small, y turbo es la opción razonable por defecto para los subtítulos finales.
«Mi idioma está en la zona media». Turco, ucraniano, vietnamita, árabe, mandarín: small produce un borrador que reescribirás, así que pasa a turbo o large-v3 para todo lo que publiques.
«Mi idioma es tailandés, cantonés, serbio o letón». Usa large-v3, no turbo.
«Mi idioma está cerca de lo bajo de la tabla». Hindi, hebreo, suajili, bengalí y la mayor parte de la lista, que no tiene ninguna cifra publicada. Trata el resultado de Whisper como una primera pasada aproximada, revisa cada subtítulo y cuenta con ese trabajo. También merece la pena probar un modelo entrenado para un único idioma, cuando existe: el japonés, por ejemplo, tiene kotoba-whisper.
«Los hablantes cambian de idioma». Elige tú el idioma principal y prepárate para corregir el resto a mano.
Diga lo que diga la tabla, prueba antes de comprometerte. Transcribe dos minutos de tu propio vídeo con dos tamaños de modelo y compáralos línea por línea. Los benchmarks son habla leída; tu vídeo tiene música, gente que se pisa al hablar y nombres propios. Cuando una transcripción repite líneas o se inventa texto (alucinaciones de Whisper), la causa suele ser el audio y los ajustes de decodificación, no el idioma.
Los idiomas de Whisper en Sablate
El menú de idiomas de Sablate es la lista de Whisper: los mismos 100 códigos, más Auto-detect, con cada nombre mostrado en el idioma de la interfaz de la aplicación. Los cuatro niveles se corresponden con los modelos de la tabla: Fast con tiny, Balanced con small, Accurate con large-v3-turbo y Best con large-v3, de modo que las columnas de arriba son la elección que haces en la aplicación. El plan Gratis no necesita cuenta y cubre vídeos de hasta diez minutos, tres trabajos al mes, los modelos Fast y Balanced y una capa de traducción sin conexión; su vídeo incrustado lleva una pequeña marca en la esquina. Accurate y Best forman parte de Pro.
Donde Sablate va más allá de la transcripción es en lo que pasa después. Cada traducción es una capa sobre la misma transcripción, y cada capa lleva su propio estilo y una fuente que realmente sabe dibujar su escritura, de modo que los subtítulos en árabe, hindi, japonés o coreano no se convierten en cuadros vacíos en el vídeo incrustado. Subtítulos en varios idiomas a partir de un solo vídeo muestra el flujo de trabajo completo.
Dos límites, con claridad. Sablate ejecuta solo los puntos de control propios de OpenAI, así que no se puede cargar un modelo de la comunidad ajustado para un idioma. Y la GPU acelera la transcripción en los Mac con Apple Silicon y en Windows con una tarjeta gráfica NVIDIA; los Mac con Intel y los demás PC con Windows usan la CPU.
Preguntas frecuentes
¿Cuántos idiomas admite Whisper?
Cien. El tokenizador de OpenAI lista 99 códigos de idioma de la versión original, más el cantonés, que llegó con large-v3 en noviembre de 2023. Admitir un idioma significa que el modelo tiene un token para él, no que lo transcriba bien: en el benchmark FLEURS de OpenAI, large-v3 va de un 3 por ciento de errores en español a un 50 por ciento en bengalí.
¿Qué idiomas transcribe mejor Whisper?
Español, italiano, coreano, portugués e inglés, según las cifras de la propia OpenAI. En el benchmark FLEURS, large-v3 se queda en un 4 por ciento de errores o menos en los cinco, con polaco, japonés, alemán, ruso, neerlandés y francés pisándole los talones. La precisión sigue la cantidad de audio de entrenamiento por idioma, así que los idiomas europeos y de Asia oriental más hablados encabezan la tabla.
¿Qué precisión tiene Whisper en español?
Muy alta: es el idioma con mejor resultado en FLEURS. OpenAI midió un 2,8 por ciento de errores de palabra con large-v3 y un 3,1 con turbo. En Common Voice 15, con grabaciones de voluntarios, suben a 4,7 y 5,5. Incluso small se queda en 5,6 en FLEURS, lo bastante bien para un borrador, mientras que tiny llega a 15,9.
¿Es Whisper turbo tan bueno como large-v3 en todos los idiomas?
No. Turbo tiene los mismos 100 códigos de idioma y se mantiene cerca de large-v3 en la mayoría, pero OpenAI señala pérdidas mayores en tailandés y cantonés. En Common Voice, el cantonés pasa de un 11 a un 46 por ciento de errores de carácter y el tailandés de un 6 a un 21 por ciento. Para esos idiomas, usa el modelo large-v3 completo.
¿Debo dejar que Whisper detecte el idioma automáticamente?
Solo cuando no lo conozcas. Whisper deduce el idioma a partir de los primeros 30 segundos de habla y luego transcribe todo el archivo en ese único idioma. Un comienzo silencioso o lleno de música, o un vídeo que arranca en otro idioma, puede llevar toda la transcripción por el camino equivocado. Elegir tú el idioma elimina ese riesgo.