Comparativa de Modelos de Whisper para Subtítulos: Tiny, Small, Turbo y Large-v3

Whisper viene en seis tamaños. Según las cifras de la propia OpenAI, tiny tiene 39 millones de parámetros, base 74 millones, small 244 millones, medium 769 millones, large 1550 millones y turbo 809 millones, y los cuatro primeros también existen en versiones .en, solo para inglés. En las compilaciones de faster-whisper que descargan las aplicaciones de escritorio, van de unos 78 MB para tiny a unos 3,1 GB para large-v3.

Aun así, el modelo más grande no es automáticamente el mejor para subtítulos. large-v3-turbo tiene aproximadamente la mitad de los parámetros de large-v3 y funciona unas ocho veces más rápido, y en material corriente la diferencia en el archivo de subtítulos terminado es tan pequeña que la velocidad decide. También hay casos reales en los que un modelo más pequeño produce una mejor transcripción que uno más grande.

Aquí tienes las cifras, lo que significan concretamente para el trabajo de subtitulado, y los modos de fallo que hacen que un modelo parezca peor de lo que es.

Los modelos, uno junto a otro

Los parámetros y la velocidad relativa vienen del README de Whisper publicado por OpenAI; los tamaños son los totales reales de las compilaciones de faster-whisper (CTranslate2) alojadas en Hugging Face, las mismas que Sablate descarga para sus niveles, no estimaciones redondeadas.

La fila que rompe el patrón es turbo. Tiene más parámetros que medium y aun así funciona unas cuatro veces más rápido, algo que el número de parámetros por sí solo no permite predecir. Los cuatro niveles de Sablate usan los modelos multilingües; base y las versiones .en aparecen en la tabla a modo de comparación.

¿Conviene usar los modelos .en, solo para inglés?

OpenAI publica versiones solo para inglés de tiny, base, small y medium. Su README señala que tienden a rendir mejor en inglés, sobre todo tiny.en y base.en, y que la diferencia se reduce en small.en y medium.en. No existe versión .en de large ni de turbo.

Para subtítulos, eso deja una regla sencilla. Si el audio está en inglés y te limitas a un modelo pequeño (un portátil antiguo, solo CPU, un borrador rápido), la versión .en es la mejor opción con el mismo tamaño y la misma velocidad. Si parte del audio está en otro idioma, usa el modelo multilingüe, porque un modelo .en solo conoce el inglés. A partir de large-v3-turbo la duda desaparece, ya que solo existen versiones multilingües.

Por qué turbo cambia la recomendación

Turbo no es un modelo más pequeño entrenado desde cero. Es large-v3 con su decodificador reducido de 32 capas a 4, y después reentrenado durante dos épocas más sobre los mismos datos de transcripción multilingüe. Whisper pasa la mayor parte de su tiempo en el decodificador, así que recortarlo tanto compra una ganancia de velocidad muy grande mientras el codificador (la parte que realmente escucha) se queda intacto.

Vienen con dos advertencias, y las dos están documentadas por OpenAI, no son leyenda urbana:

• Se reentrenó sin datos de traducción. Turbo es un modelo de transcripción. Si quieres la tarea de Whisper de traducir voz al inglés, turbo es la herramienta equivocada; transcribe en el idioma original y traduce el texto después, que de todos modos es el mejor flujo de trabajo.
• Algunos idiomas pierden más precisión que otros. Turbo sigue de cerca a large-v2 en la mayoría de los idiomas, pero pierde notablemente más en tailandés y cantonés. Si trabajas con esos idiomas, haz una prueba antes de decidirte.

Para todo lo demás, turbo es la opción por defecto sensata para subtítulos: una calidad casi igual a la de large a una velocidad que convierte una grabación de dos horas en un trabajo manejable.

¿Da el modelo más grande los mejores subtítulos?

No siempre, y merece la pena conocer la excepción porque, cuando te topas con ella, parece un fallo del programa.

Medimos esto con un clip en turco de 101 segundos, en una RTX 3060 Ti con float16, usando el propio proceso de transcripción de la aplicación. Clasificados por cuánto del habla captó realmente cada modelo, medium quedó primero. large-v3 se saltó habla que medium transcribió correctamente: las primeras palabras del clip y varias interjecciones cortas simplemente no aparecían. Ninguna de las palancas habituales las recuperó: desactivar el filtro de actividad de voz, subir el umbral de no-habla, quitar el umbral de log-probabilidad, fijar la temperatura. Quitar el umbral de log-probabilidad lo empeoró de forma drástica, reduciendo la transcripción de unos 1110 caracteres a 429.

También probamos el consejo muy repetido en la comunidad de usar large-v2 en lugar de large-v3. En este clip fue el peor de todos: perdió por completo un tramo continuo de habla de 30 segundos, del segundo 28,7 al 58,7, y produjo 106 palabras frente a las 178 de medium.

Un solo clip no es un benchmark, y este además era corto, en turco y conversacional. Quédate con el método, no con la clasificación: transcribe el mismo archivo con dos modelos, fíjate en lo que falta antes que en lo que está mal escrito, y elige el que lo haya oído todo. Las omisiones cuestan mucho más en subtítulos que las faltas de ortografía, porque el espectador puede pasar por encima de una palabra equivocada, pero no puede leer una línea que no existe.

Cuando un buen modelo parece uno malo

Hay tres modos de fallo que provocan quejas del tipo «el modelo grande es peor» y que no tienen nada que ver con el modelo.

1. Los empates en las marcas de tiempo por palabra rompen la división en líneas. Whisper genera una marca de tiempo por cada palabra, y las palabras seguidas comparten con frecuencia un límite exactamente igual: en el clip que examinamos, 172 de los 177 huecos entre palabras eran exactamente 0,000 segundos. Un divisor que corta una línea larga en el hueco más grande se encuentra entonces con todos los candidatos empatados, toma el primero y repite el mismo proceso una y otra vez, quitando una palabra cada vez. El síntoma es una transcripción hecha trizas en subtítulos de una sola palabra, y empeora con el modelo que produce más palabras. Corregir el desempate para que favorezca el punto medio temporal llevó un clip de 90 líneas (78 de ellas de una sola palabra) a 28 líneas con una única línea de una sola palabra. El modelo nunca cambió.

2. El modelo que seleccionaste no es el modelo que se ejecutó. Los repositorios de modelos se nombran de forma distinta según el registro de descarga y la librería de inferencia. Un modelo ya descargado en el disco bajo el nombre de un repositorio, mientras el cargador busca otro, produce o bien un cambio silencioso a otro modelo, o bien un error que parece un problema de red, aunque 1,6 GB del modelo correcto ya estén ahí.

3. Una retranscripción fallida deja en pantalla la transcripción anterior. Si una nueva ejecución falla y la aplicación revierte el trabajo pero conserva el nombre del modelo solicitado, lo que tienes delante es el resultado del modelo anterior etiquetado como si fuera el nuevo. Cualquier comparación hecha desde ese estado es errónea. Si estás haciendo un benchmark, comprueba que el texto realmente cambió antes de sacar conclusiones: un resultado idéntico entre dos modelos distintos es una señal de alarma, no un hallazgo.

VRAM, disco y qué puede ejecutar tu equipo

El README de OpenAI da la VRAM aproximada de su propia implementación en PyTorch: unos 1 GB para tiny y base, 2 GB para small, 5 GB para medium, 6 GB para turbo y 10 GB para large. Las compilaciones de faster-whisper necesitan menos, y los tamaños de descarga de la tabla anterior son un buen indicador de la presión de memoria que notarás en la práctica. Guía práctica:

• 4 GB de VRAM o menos, o sin GPU dedicada — small es el punto óptimo. tiny sirve para borradores y comprobaciones de tiempos, no para la entrega final.
• 6-8 GB de VRAM — large-v3-turbo sin ningún problema. Esta es la configuración en la que debería estar la mayoría de la gente.
• 10 GB de VRAM o más — large-v3 si el audio realmente lo necesita: acentos marcados, hablantes que se solapan, micrófonos de mala calidad.
• Solo CPU — small para cualquier cosa que necesites hoy, turbo si puedes dejarlo trabajando.

Aquí la precisión importa tanto como el tamaño del modelo. Las compilaciones de CTranslate2 sobre las que funciona Whisper admiten float16 e int8, y reducir la precisión rebaja mucho la memoria necesaria, con un coste de calidad que es pequeño en int8 y normalmente imperceptible con float16 en una GPU.

En GPU, espera una mejora de velocidad de entre cinco y diez veces frente al mismo equipo usando solo la CPU. En Sablate para Windows, el entorno de ejecución NVIDIA CUDA se descarga la primera vez que se ejecuta un trabajo con GPU, en lugar de venir incluido en el instalador, lo que mantiene la descarga pequeña para quienes nunca lo van a usar.

¿Qué modelo deberías elegir en la práctica?

Esa última fila es la que cambia el cálculo. Cuando una transcripción es la entrada de ocho traducciones, un error no es un solo error, son ocho. El flujo de trabajo multilingüe explica por qué la transcripción de origen merece el modelo lento y una corrección cuidadosa.

En Sablate, Fast y Balanced (tiny y small) funcionan en el plan gratis; Accurate y Best forman parte de Pro, un único pago de $29 que se detalla en la página de precios. Sea cual sea el modelo que ejecutes, el resultado llega al mismo editor y se exporta a los mismos formatos (SRT, VTT y ASS), así que elegir modelo va de cuánto vas a corregir después, no de lo que puedes producir.

Si prefieres no gestionar los modelos a mano, la comparativa de generadores de subtítulos sin conexión recoge las aplicaciones de escritorio que los eligen y los descargan por ti. Las alternativas a MacWhisper para Windows y las alternativas a TurboScribe analizan la misma elección desde el lado de la aplicación.

Cómo probar esto con tu propio material

Cinco minutos de método ganan a cualquier benchmark publicado, incluido este:

1. Coge un clip de entre 60 y 120 segundos que sea representativo: tu peor micrófono, tus acentos habituales, tu habitación real.
2. Transcríbelo con dos modelos candidatos, sin cambiar nada más.
3. Compara primero las omisiones, y las faltas de ortografía en segundo lugar.
4. Cuenta las líneas de una sola palabra. Si hay muchas, el problema es la segmentación, no el modelo.
5. Solo entonces compara el tiempo real que tarda cada uno, y decide cuánto vale ese tiempo para ti.

El modelo que oye todo en tu material es el mejor modelo para ti, y no tiene por qué ser el más grande.

Preguntas frecuentes

¿Qué tamaños de modelo tiene Whisper?

Seis, según las cifras de OpenAI: tiny (39 millones de parámetros), base (74 millones), small (244 millones), medium (769 millones), large (1550 millones) y turbo (809 millones). Tiny, base, small y medium también existen en versiones .en, solo para inglés. En las descargas de faster-whisper ocupan unos 78 MB, 148 MB, 486 MB y 1,53 GB; large-v3 ocupa 3,09 GB y turbo, 1,62 GB.

¿Qué modelo de Whisper es mejor para subtítulos?

Para la mayoría del material, large-v3-turbo. Tiene 809 millones de parámetros frente a los 1550 millones de large-v3, pero funciona unas ocho veces más rápido porque su decodificador se redujo de 32 capas a 4, y su precisión es lo bastante parecida como para que la diferencia de tiempo decida. Usa large-v3 completo para audio difícil, y small cuando estés haciendo un borrador.

¿Es large-v3 siempre más preciso que medium o turbo?

No. En la mayoría del material sí lo es, pero no en todo. En nuestras propias pruebas con un clip corto en turco, large-v3 se saltó fragmentos de habla que medium transcribió correctamente, incluidas interjecciones y las primeras palabras. Merece la pena probar el modelo con tu propio material en vez de asumir que más parámetros siempre gana.

¿Cuánto espacio en disco necesita cada modelo de Whisper?

Medido a partir de las compilaciones de CTranslate2 que realmente se descargan: tiny ocupa unos 78 MB, base unos 148 MB, small unos 486 MB, medium unos 1,53 GB, large-v3-turbo unos 1,62 GB y large-v3 unos 3,09 GB. Las versiones .en, solo para inglés, pesan lo mismo. El uso de VRAM durante la transcripción sigue más o menos el mismo orden, y la precisión float16 o int8 lo reduce de forma considerable.

¿Cuál es la diferencia entre large-v3 y large-v3-turbo?

Turbo es una versión de large-v3 podada y reentrenada, cuyas capas de decodificación se redujeron de 32 a 4. Eso lo hace mucho más rápido con una calidad similar para transcripción. Dos advertencias: se reentrenó sin datos de traducción, así que no está pensado para traducir voz, y pierde más precisión que large-v3 en algunos idiomas, sobre todo en tailandés y cantonés.

¿Una GPU hace que Whisper vaya realmente más rápido?

Sí, y de forma notable: una GPU NVIDIA suele transcribir entre cinco y diez veces más rápido que el mismo equipo usando solo la CPU. La diferencia es tan grande que cambia qué modelo resulta práctico: large-v3 sobre una grabación larga es un trabajo de toda la noche en CPU y un descanso para un café en una GPU de gama media.

¿Por qué mi transcripción se divide en subtítulos de una sola palabra?

Normalmente por las marcas de tiempo de las palabras, no por el modelo. Whisper puede generar palabras seguidas con un hueco de exactamente cero segundos, y un divisor de líneas que busca el hueco más grande no encuentra ninguno real, así que corta siempre en la primera posición, de forma recursiva. El modelo funciona bien; lo que necesita es una regla de desempate en la segmentación.