Retour au blog

Pourquoi Whisper ignore les euh et comment les récupérer

Whisper omet les mots de remplissage exprès. Nous avons mesuré la fréquence d’écriture de um et uh avec ou sans prompt, et la dérive de leurs horodatages.

17 novembre 2026
Sablate Team

Whisper ignore les mots de remplissage parce qu’il a appris sur des transcriptions écrites pour être lues, qui laissent de côté les « um », les « uh » et les « äh ». Demandez-les avec une invite initiale (initial prompt) pleine d’hésitations et il obéit en grande partie : sur 425 mots de remplissage annotés à la main, Whisper en a écrit 0 à 4 % sans prompt et 78 à 85 % avec un prompt.

Pour les sous-titres, ce comportement par défaut est un atout. Les sous-titres ne sont pas des transcriptions, et laisser de côté les hésitations est ce que ferait de toute façon un sous-titreur. Cela devient un problème dès qu’il faut savoir où sont les hésitations : pour les couper d’une vidéo, produire une transcription verbatim pour la recherche ou le juridique, ou étudier la façon de parler de quelqu’un. Cette page montre à quelle fréquence chaque modèle Whisper écrit les hésitations, comment les récupérer, et pourquoi leurs horodatages ne sont pas fiables pour couper.

À quelle fréquence Whisper écrit-il les mots de remplissage

Nous avons fait tourner quatre modèles Whisper sur 129 minutes de parole de réunions en anglais et compté combien des mots de remplissage des locuteurs revenaient dans la transcription, avec trois invites.

ModèleSans inviteInvite courte avec quelques hésitationsInvite dense en hésitationsPrécision, invite dense
small0 %54 %78 %86 %
medium0 %59 %85 %83 %
large-v3-turbo2 %48 %79 %86 %
large-v34 %55 %82 %86 %

Méthode. L’audio provient de quatre canaux de casques-micros rapprochés, issus de trois réunions de l’AMI Meeting Corpus (ES2002a, TS3003b et IS1009b), publié sous licence CC BY 4.0, dont les mots ont été alignés à la main. Nous avons compté les 425 mots de remplissage (« um », « uh », « er », « hmm » et leurs graphies) prononcés par la personne qui porte chaque casque et non chevauchés par quelqu’un d’autre. Un mot de remplissage compte comme écrit si Whisper a produit un jeton d’hésitation à moins de 0,25 seconde de lui ; la précision est la part des jetons d’hésitation de Whisper tombés sur un vrai. Toutes les exécutions ont utilisé faster-whisper 1.2.1, par lots, avec une taille de faisceau de 5 et son filtre de détection d’activité vocale (VAD) activé, en float16 sur une RTX 3060 Ti. Les invites figurent plus bas. Un seul corpus de réunions, souvent entre locuteurs non natifs de l’anglais, ne couvre pas tous les enregistrements : lisez les colonnes comme une fourchette, pas comme un classement.

La ligne qui casse le schéma est la première colonne. Aucun modèle n’a écrit plus d’un mot de remplissage sur 25, et small et medium n’en ont écrit pratiquement aucun : 0 et 2 sur 425. Ce n’est pas un problème d’écoute, puisque les mêmes modèles avec une invite en ont écrit la plupart.

Pourquoi Whisper laisse-t-il de côté les mots de remplissage ?

Whisper a été entraîné sur une très grande quantité d’audio associé à des transcriptions trouvées sur internet, et la plupart des transcriptions faites par des humains sont nettoyées pour la lecture. Le modèle a appris le style en même temps que les mots. Le guide de prompting de Whisper d’OpenAI en tire la conséquence sans détour : « Whisper est moins susceptible de suivre des styles rares ou étranges, atypiques pour une transcription. » Une transcription pleine d’hésitations est l’un de ces styles.

Du côté de l’évaluation, tout va dans le même sens. Le normaliseur de texte anglais de Whisper, qu’OpenAI utilise pour comparer la sortie d’un modèle à une référence avant de calculer le taux d’erreur sur les mots, supprime purement et simplement ces mots : son motif est \b(hmm|mm|mhm|mmm|uh|um)\b (whisper/normalizers/english.py). Ce code ne s’exécute qu’au moment de l’évaluation, pas de la transcription, mais cela signifie que les chiffres de précision qui font la réputation de Whisper ne récompensent ni ne pénalisent les hésitations. Rien dans les benchmarks habituels ne pousse un modèle à les écrire.

Ce que le modèle écrit à la place est la partie intéressante. Sans invite, entre 43 et 67 % des mots de remplissage qu’il a laissés de côté se trouvaient dans l’intervalle de temps d’un mot voisin : l’hésitation n’était pas supprimée, elle était absorbée. Sur un enregistrement d’écran turc de 142 secondes, nous avons vu la même chose, avec un long « eee » et le mot qui l’entoure renvoyés comme un seul mot de plus de deux secondes.

Comment récupérer les mots de remplissage avec une invite

L’invite initiale est un texte que Whisper traite comme s’il venait juste avant l’audio, et il continue donc dans le même style. Une invite qui contient des hésitations dit au modèle que cette transcription les garde. Le guide speech-to-text d’OpenAI cite « Preserving punctuation, capitalization, and filler words » (conserver la ponctuation, les majuscules et les mots de remplissage) parmi les usages d’une invite.

Le nombre d’hésitations dans l’invite compte plus qu’on ne le croit. Voici les deux invites du tableau :

Short prompt:  Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt:  Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.

La courte, avec une poignée d’hésitations, a fait passer les modèles de presque rien à environ la moitié. La dense, où presque un mot sur deux est une hésitation, a amené chaque modèle à environ quatre sur cinq.

Deux règles font fonctionner l’invite sur de vrais fichiers.

Écrivez l’invite dans la langue parlée. Un « um » anglais n’apprend pas au modèle à écrire le « äh » allemand ou le « ııı » turc. Sur l’extrait turc, une invite en turc a fait le travail :

Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.

Avec elle, small, medium et large-v3-turbo ont chacun écrit trois des quatre mots de remplissage de l’extrait ; sans elle, medium, large-v3-turbo et large-v3 n’en ont écrit aucun. Les mots de remplissage dans d’autres langues liste les sons d’hésitation de 13 langues pour construire une telle invite.

Envoyez l’invite avec chaque fenêtre. Whisper traite l’audio par tranches de 30 secondes, et dans la plupart des configurations l’invite initiale n’influence que le début : avec la réutilisation de sa propre sortie comme contexte, la transcription la repousse, et sans elle, l’invite n’atteint que la première fenêtre. Dans le pipeline par lots de faster-whisper, elle est envoyée avec chaque segment :

from faster_whisper import WhisperModel, BatchedInferencePipeline

model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
    "meeting.wav",
    language="en",
    initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
    word_timestamps=True,
    batch_size=8,
)
for segment in segments:
    for word in segment.words:
        print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")

Dans whisper.cpp, --carry-initial-prompt fait la même chose. Un piège à cet endroit : -mc 0, le correctif habituel des boucles de répétition, ne laisse pas non plus de place à l’invite reportée. Sur notre extrait turc, il n’a écrit aucun mot de remplissage avec -mc 0, et cinq avec un petit contexte de 64 jetons :

whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."

openai-whisper a un réglage carry_initial_prompt dans le même but. Pourquoi Whisper hallucine explique comment ces réglages interagissent avec le filtre de détection d’activité vocale et la réutilisation de sa propre sortie comme contexte.

Peut-on couper une vidéo sur les horodatages de Whisper ?

Non, pas directement. Avec l’invite dense, l’écart médian entre la fin donnée par Whisper pour un mot de remplissage et la vraie fin du son était de 0,13 seconde pour medium et allait jusqu’à 0,43 seconde pour large-v3. Entre 26 et 42 % des mots de remplissage trouvés commençaient à plus de 0,2 seconde de leur vrai début.

Modèle, invite denseDécalage médian du débutDécalage médian de la finDébuts à plus de 0,2 s d’écart
small0,10 s0,27 s26 %
medium0,11 s0,13 s35 %
large-v3-turbo0,11 s0,36 s29 %
large-v30,16 s0,43 s42 %

Un cinquième de seconde semble peu, mais une coupe qui se termine 0,3 seconde trop tard emporte la première syllabe du mot suivant, et une coupe qui finit trop tôt laisse un bout de « um » derrière elle. Les horodatages de Whisper servent à trouver un mot de remplissage, pas à placer la coupe. Les bords doivent venir de l’audio : le point où le niveau du son tenu commence à baisser, et le calme juste avant son début.

La précision demande la même prudence. Entre 14 et 17 % des mots de remplissage écrits par Whisper avec l’invite ne correspondaient à aucun mot de remplissage annoté dans un quart de seconde. Certains sont mal placés, d’autres sont des respirations ou des faux départs écrits « uh », et quelques-uns sont inventés. Tout ce qui coupe automatiquement doit vous laisser vérifier la liste d’abord.

Quel modèle Whisper choisir pour les mots de remplissage ?

N’importe lequel, avec une invite. En anglais, medium en a attrapé le plus, 85 %, et small le moins, 78 : un écart assez faible pour que la vitesse tranche ; la comparaison des modèles Whisper donne les chiffres de taille et de vitesse. large-v3-turbo est le choix raisonnable par défaut sur une carte graphique.

L’exception est venue de l’extrait turc, où large-v3 avec la même invite n’a écrit qu’un seul des quatre mots de remplissage que les modèles plus petits trouvaient chacun trois fois. C’est le même modèle qui avait laissé de côté les interjections brèves dans nos précédents tests en turc : si les mots de remplissage comptent dans une autre langue que l’anglais, testez large-v3 contre turbo avant de vous y fier.

Quand faut-il laisser les mots de remplissage de côté ?

« Je fais des sous-titres. » Laissez-les de côté, ce qui est le comportement par défaut de Whisper. Les hésitations coûtent du temps de lecture et ne portent aucun sens ; les condenser est la pratique courante, comme l’explique le guide de la vitesse de lecture.

« Je veux couper les mots de remplissage de la vidéo. » Faites-les revenir par invite dans une passe séparée, servez-vous de la transcription uniquement pour les trouver, et prenez les bords de coupe dans l’audio.

« Il me faut une transcription verbatim. » Faites-les revenir par invite, puis vérifiez à l’oreille. À 78 à 85 %, l’invite fait l’essentiel du chemin, pas tout.

« J’étudie la parole. » Utilisez une invite et vérifiez un échantillon à la main. Même avec l’invite dense, environ un mot de remplissage sur cinq manquait encore dans notre test.

Comment Sablate trouve les mots de remplissage

Sablate fait les deux passes. La transcription que vous modifiez et incrustez est celle, propre, que Whisper produit par défaut, parce que c’est ce que doivent être des sous-titres. Quand vous cherchez des sons de remplissage dans son mode Cuts, il transcrit la parole une seconde fois avec une invite dense en hésitations dans la langue parlée, envoyée avec chaque fenêtre, dans 13 langues.

Il n’utilise cette seconde transcription que pour trouver les mots de remplissage. Les bords de coupe viennent du son, là où le niveau de la voyelle tenue baisse, et une vérification séparée cherche les sons d’hésitation longs et stables que Whisper n’a jamais écrits, dans n’importe quelle langue. Sur l’extrait turc, cette vérification a trouvé le quatrième mot de remplissage, une hésitation de 0,65 seconde qu’aucun modèle n’avait transcrite. Les mots de remplissage collés à un mot sont laissés de côté, et ceux dont il n’est pas sûr sont listés désactivés tant que vous ne les avez pas écoutés. Supprimer les mots de remplissage et les silences d’une vidéo présente le flux de travail complet.

En bref

Whisper entend les mots de remplissage et les laisse de côté exprès, parce que ses transcriptions d’entraînement le faisaient. Une invite dense dans la langue parlée, envoyée avec chaque fenêtre, en ramène environ quatre sur cinq. Servez-vous de cette transcription pour trouver les mots de remplissage, pas pour les couper : les horodatages sont décalés d’un cinquième de seconde assez souvent pour abîmer des mots. Pour les sous-titres, gardez le résultat propre par défaut de Whisper ; pour trouver et couper les mots de remplissage sur votre propre machine, téléchargez Sablate.

Questions fréquentes

Whisper transcrit-il les mots de remplissage comme um et uh ?

Presque jamais par défaut. Sur 425 mots de remplissage annotés à la main dans des réunions en anglais, Whisper en a écrit entre 0 et 4 % sans prompt, selon le modèle. Avec une invite initiale pleine d’hésitations, il en a écrit 78 à 85 %. L’audio est entendu dans les deux cas ; le modèle préfère simplement un texte de transcription propre.

Comment faire garder les mots de remplissage à Whisper ?

Donnez-lui une invite initiale elle-même pleine d’hésitations, écrite dans la langue parlée, et veillez à ce qu’elle atteigne chaque fenêtre de 30 secondes, pas seulement la première. Dans faster-whisper, le pipeline par lots s’en charge tout seul ; whisper.cpp demande son option carry-initial-prompt, et openai-whisper son réglage carry_initial_prompt.

Pourquoi Whisper supprime-t-il les mots de remplissage ?

Parce qu’il a appris sur des transcriptions écrites pour être lues, qui laissent le plus souvent les hésitations de côté. Le guide de prompting d’OpenAI note que Whisper suit moins volontiers les styles atypiques pour une transcription, et le normaliseur de texte anglais de Whisper, utilisé pour mesurer la précision, supprime um, uh, hmm et mm avant de comparer : les scores des benchmarks ne récompensent donc jamais leur écriture.

Les horodatages de Whisper pour les mots de remplissage sont-ils précis ?

Pas assez pour couper une vidéo. Dans notre test, avec les hésitations ramenées par l’invite, la fin médiane était décalée de 0,13 à 0,43 seconde selon le modèle, et entre un quart et deux cinquièmes des mots de remplissage commençaient à plus de 0,2 seconde du vrai son. Sans invite, la plupart étaient absorbés dans le temps d’un mot voisin.

Quel modèle Whisper écrit le mieux les mots de remplissage ?

Avec une invite dense en hésitations, medium en a écrit le plus, 85 %, puis large-v3 avec 82, turbo avec 79 et small avec 78, avec une précision voisine de 83 à 86 %. Les écarts sont assez faibles pour que la vitesse tranche. Sur un court extrait turc, large-v3 n’a trouvé qu’un mot de remplissage sur quatre, là où small, medium et turbo en trouvaient trois chacun.