Por qué Whisper omite las muletillas y cómo recuperarlas
Las muletillas de Whisper desaparecen a propósito. Medimos con qué frecuencia escribe um y uh con y sin prompt, y cuánto se desvían sus marcas de tiempo.
Whisper omite las muletillas porque aprendió de transcripciones escritas para leerse, y esas dejan fuera el «um», el «uh» y el «äh». Si se las pides con un initial prompt (el texto previo que guía la transcripción) lleno de muletillas, casi siempre obedece: en 425 muletillas anotadas a mano, Whisper escribió entre el 0 y el 4 por ciento sin prompt y entre el 78 y el 85 por ciento con uno.
Para los subtítulos, ese comportamiento es una ventaja. Los subtítulos no son transcripciones, y dejar fuera las dudas es lo que haría cualquier subtitulador. Se convierte en un problema en cuanto necesitas saber dónde están las muletillas: para cortarlas de un vídeo, para producir una transcripción literal para investigación o uso legal, o para estudiar cómo habla alguien. Esta página muestra con qué frecuencia escribe muletillas cada modelo de Whisper, cómo recuperarlas y por qué no conviene fiarse de sus marcas de tiempo para cortar.
Con qué frecuencia escribe Whisper las muletillas
Pasamos cuatro modelos de Whisper por 129 minutos de habla de reuniones en inglés y contamos cuántas de las muletillas de los hablantes volvían en la transcripción, con tres prompts.
| Modelo | Sin prompt | Prompt corto con unas pocas muletillas | Prompt denso de muletillas | Precisión, prompt denso |
|---|---|---|---|---|
small | 0% | 54% | 78% | 86% |
medium | 0% | 59% | 85% | 83% |
large-v3-turbo | 2% | 48% | 79% | 86% |
large-v3 | 4% | 55% | 82% | 86% |
Método. El audio son cuatro canales de auriculares con micrófono de cercanía de tres reuniones del AMI Meeting Corpus (ES2002a, TS3003b e IS1009b), publicado bajo CC BY 4.0, cuyas palabras están alineadas a mano. Contamos las 425 muletillas («um», «uh», «er», «hmm» y sus grafías) pronunciadas por quien lleva cada auricular y no solapadas por nadie más. Una muletilla cuenta como escrita si Whisper produjo un token de muletilla a menos de 0,25 segundos de ella; la precisión es la proporción de los tokens de muletilla de Whisper que cayeron sobre una real. Todas las ejecuciones usaron faster-whisper 1.2.1, por lotes, con beam size 5, con su filtro de detección de actividad de voz (VAD) activado, en float16 sobre una RTX 3060 Ti. Los prompts están más abajo. Un solo corpus de reuniones, muchas de ellas entre hablantes no nativos de inglés, no es todas las grabaciones, así que lee las columnas como un rango, no como una clasificación.
La fila que rompe el patrón es la primera columna. Ningún modelo escribió más de una muletilla de cada 25, y small y medium no escribieron prácticamente ninguna: 0 y 2 de 425. No es un problema de oído, porque los mismos modelos con un prompt escribieron la mayoría.
¿Por qué Whisper deja fuera las muletillas?
Whisper se entrenó con una enorme cantidad de audio emparejado con transcripciones encontradas en internet, y la mayoría de las transcripciones hechas por personas están limpiadas para leerse. El modelo aprendió el estilo junto con las palabras. La propia guía de prompts de Whisper de OpenAI expone la consecuencia sin rodeos: «Whisper is less likely to follow rare or odd styles that are atypical for a transcript» (Whisper tiene menos probabilidad de seguir estilos raros o extraños que no son típicos de una transcripción). Una transcripción llena de dudas es uno de esos estilos.
La parte de la evaluación apunta en la misma dirección. El normalizador de texto en inglés de Whisper, que OpenAI usa para comparar la salida de un modelo con una referencia antes de calcular la tasa de error de palabras, borra estas palabras sin más: su patrón es \b(hmm|mm|mhm|mmm|uh|um)\b (whisper/normalizers/english.py). Ese código solo se ejecuta al puntuar, no al transcribir, pero significa que las cifras de precisión por las que Whisper es conocido ni premian ni penalizan las muletillas. Nada en los benchmarks habituales empuja a un modelo a escribirlas.
Lo que el modelo escribe en su lugar es lo interesante. Sin prompt, entre el 43 y el 67 por ciento de las muletillas que se saltó estaban dentro del intervalo de tiempo de una palabra vecina: la duda no se descartó, se absorbió. En una grabación de pantalla de 142 segundos en turco vimos lo mismo, con una «eee» larga y la palabra que la rodeaba devueltas como una sola palabra de más de dos segundos.
Cómo recuperar las muletillas con un prompt
El initial prompt es un texto que Whisper trata como si viniera justo antes del audio, así que continúa con el mismo estilo. Un prompt que contiene muletillas le dice al modelo que esta transcripción las conserva. La guía de voz a texto de OpenAI incluye «Preserving punctuation, capitalization, and filler words» (conservar la puntuación, las mayúsculas y las muletillas) entre las funciones de un prompt.
Cuántas muletillas contiene el prompt importa más de lo que cabría esperar. Estos son los dos prompts de la tabla:
Short prompt: Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt: Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.
El corto, con un puñado de muletillas, llevó a los modelos de casi nada a cerca de la mitad. El denso, en el que casi una palabra de cada dos es una duda, llevó a todos los modelos a unas cuatro de cada cinco.
Dos reglas hacen que el prompt funcione con archivos reales.
Escribe el prompt en el idioma que se habla. Un «um» en inglés no enseña al modelo a escribir el «äh» alemán ni la «ııı» turca. En el clip en turco, un prompt en turco hizo el trabajo:
Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.
Con él, small, medium y large-v3-turbo escribieron tres de las cuatro muletillas del clip cada uno; sin él, medium, large-v3-turbo y large-v3 no escribieron ninguna. Muletillas en otros idiomas lista los sonidos de duda de 13 idiomas para construir un prompt así.
Envía el prompt con cada ventana. Whisper recorre el audio de 30 segundos en 30 segundos, y en la mayoría de las configuraciones el initial prompt solo influye en el comienzo: con usar el texto anterior como contexto, la transcripción lo desplaza, y sin él, el prompt solo llega a la primera ventana. En el pipeline por lotes de faster-whisper se envía con cada fragmento:
from faster_whisper import WhisperModel, BatchedInferencePipeline
model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
"meeting.wav",
language="en",
initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
word_timestamps=True,
batch_size=8,
)
for segment in segments:
for word in segment.words:
print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")
En whisper.cpp, --carry-initial-prompt hace lo mismo. Una trampa ahí: -mc 0, el arreglo habitual para los bucles de repetición, tampoco deja sitio para el prompt arrastrado. En nuestro clip en turco no escribió ninguna muletilla con -mc 0, y cinco con un contexto pequeño de 64 tokens:
whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."
openai-whisper tiene un ajuste carry_initial_prompt con el mismo fin. Por qué Whisper alucina explica cómo interactúan estos ajustes con el filtro de detección de actividad de voz (VAD) y con usar el texto anterior como contexto.
¿Se puede cortar vídeo con las marcas de tiempo de las muletillas de Whisper?
No, no directamente. Con el prompt denso, la mediana de la diferencia entre el final que Whisper daba a una muletilla y el final real del sonido fue de 0,13 segundos para medium y de hasta 0,43 segundos para large-v3. Entre el 26 y el 42 por ciento de las muletillas que encontró empezaban a más de 0,2 segundos de donde empezaban en realidad.
| Modelo, prompt denso | Desvío mediano del inicio | Desvío mediano del final | Inicio a más de 0,2 s |
|---|---|---|---|
small | 0,10 s | 0,27 s | 26% |
medium | 0,11 s | 0,13 s | 35% |
large-v3-turbo | 0,11 s | 0,36 s | 29% |
large-v3 | 0,16 s | 0,43 s | 42% |
Una quinta parte de segundo parece poco, pero un corte que termina 0,3 segundos tarde se lleva la primera sílaba de la palabra siguiente, y uno que termina pronto deja un trozo de «um» atrás. Las marcas de tiempo de Whisper sirven para encontrar una muletilla, no para colocar el corte. Los bordes tienen que salir del audio: el punto donde empieza a caer el nivel del sonido sostenido, y el silencio justo antes de que empiece.
La precisión merece la misma cautela. Entre el 14 y el 17 por ciento de las muletillas que Whisper escribió con el prompt no coincidían con ninguna muletilla anotada a menos de un cuarto de segundo. Algunas están mal colocadas, otras son respiraciones o falsos comienzos escritos como «uh», y unas pocas son inventadas. Todo lo que corte automáticamente debería dejarte revisar la lista antes.
¿Qué modelo de Whisper usar para las muletillas?
Cualquiera, con prompt. En inglés, medium captó más, un 85 por ciento, y small menos, un 78, una diferencia tan pequeña que debería decidir la velocidad; la comparativa de modelos de Whisper tiene las cifras de tamaño y velocidad. large-v3-turbo es la opción sensata por defecto con una tarjeta gráfica.
La excepción vino del clip en turco, donde large-v3 con el mismo prompt escribió solo una de las cuatro muletillas, mientras que cada uno de los modelos más pequeños encontró tres. Es el mismo modelo que se saltaba interjecciones cortas en nuestras pruebas anteriores con turco, así que si las muletillas importan en un idioma distinto del inglés, prueba large-v3 frente a turbo antes de fiarte de él.
¿Cuándo conviene dejar fuera las muletillas?
«Estoy haciendo subtítulos». Déjalas fuera, que es lo que hace Whisper por defecto. Las dudas cuestan tiempo de lectura y no aportan significado; condensarlas es práctica habitual, como explica la guía de velocidad de lectura.
«Quiero cortar las muletillas del vídeo». Recupéralas con prompt en una pasada aparte, usa la transcripción solo para encontrarlas y toma los bordes del corte del audio.
«Necesito una transcripción literal». Recupéralas con prompt y luego revisa de oído. Con entre el 78 y el 85 por ciento, el prompt llega casi hasta el final, no del todo.
«Estoy estudiando el habla». Usa un prompt y comprueba una muestra a mano. Incluso con el prompt denso, en nuestra prueba seguía faltando alrededor de una muletilla de cada cinco.
Cómo encuentra Sablate las muletillas
Sablate hace las dos pasadas. La transcripción que editas e incrustas es la versión limpia por defecto de Whisper, porque eso es lo que deben ser los subtítulos. Cuando buscas muletillas sonoras en su modo Cuts, transcribe el habla una segunda vez con un prompt denso de muletillas en el idioma hablado, enviado con cada ventana, en 13 idiomas.
Usa esa segunda transcripción solo para encontrar muletillas. Los bordes del corte salen del sonido, de donde cae el nivel de la vocal sostenida, y una comprobación aparte busca sonidos de duda largos y estables que Whisper nunca escribió, en cualquier idioma. En el clip en turco, esa comprobación encontró la cuarta muletilla, una duda de 0,65 segundos que ningún modelo transcribió. Las muletillas pegadas a una palabra se dejan en paz, y las que no tiene claras aparecen en la lista desactivadas hasta que las escuches. Quitar muletillas y silencios de un vídeo muestra el flujo completo.
En resumen
Whisper oye las muletillas y las deja fuera a propósito, porque sus transcripciones de entrenamiento lo hacían. Un prompt denso en el idioma hablado, enviado con cada ventana, recupera cerca de cuatro de cada cinco. Usa esa transcripción para encontrar muletillas, no para cortarlas: las marcas de tiempo se desvían una quinta parte de segundo con la frecuencia suficiente como para recortar palabras. Para subtítulos, quédate con la versión limpia por defecto de Whisper; para encontrar y cortar muletillas en tu propio equipo, descarga Sablate.
Preguntas frecuentes
¿Whisper transcribe muletillas como um y uh?
Casi nunca por defecto. En 425 muletillas anotadas a mano en reuniones en inglés, Whisper escribió entre el 0 y el 4 por ciento sin prompt, según el modelo. Con un initial prompt lleno de muletillas escribió del 78 al 85 por ciento. El audio lo oye igualmente; el modelo simplemente prefiere un texto de transcripción limpio.
¿Cómo hago que Whisper conserve las muletillas?
Dale un initial prompt lleno de muletillas, escrito en el idioma que se habla, y asegúrate de que llegue a cada ventana de 30 segundos, no solo a la primera. En faster-whisper, el pipeline por lotes lo hace solo; whisper.cpp necesita su opción carry-initial-prompt, y openai-whisper su ajuste carry_initial_prompt.
¿Por qué Whisper elimina las muletillas?
Porque aprendió de transcripciones escritas para leerse, que casi siempre omiten las dudas. La guía de prompts de OpenAI señala que Whisper es menos propenso a seguir estilos atípicos en una transcripción, y el normalizador de texto en inglés de Whisper, que se usa al medir la precisión, borra um, uh, hmm y mm antes de comparar, así que las puntuaciones nunca premian escribirlas.
¿Son precisas las marcas de tiempo de Whisper para las muletillas?
No lo bastante como para cortar vídeo con ellas. En nuestra prueba, con las muletillas recuperadas mediante prompt, la mediana del final se desviaba entre 0,13 y 0,43 segundos según el modelo, y entre una cuarta parte y dos quintos de las muletillas empezaban a más de 0,2 segundos del sonido real. Sin prompt, la mayoría quedaban absorbidas en el tiempo de una palabra vecina.
¿Qué modelo de Whisper escribe mejor las muletillas?
Con un prompt denso de muletillas, medium escribió más, el 85 por ciento, luego large-v3 con el 82, turbo con el 79 y small con el 78, todos con una precisión parecida, de entre el 83 y el 86 por ciento. Decide la velocidad. En un clip breve en turco, large-v3 encontró solo una de cuatro muletillas; small, medium y turbo, tres cada uno.