Torna al blog

Perché Whisper salta gli intercalari e come riaverli

Gli intercalari di Whisper spariscono per progetto. Abbiamo misurato quanto spesso scrive um e uh con e senza prompt e di quanto sbagliano i timestamp.

17 novembre 2026
Sablate Team

Whisper salta gli intercalari perché ha imparato da trascrizioni scritte per essere lette, e quelle lasciano fuori «um», «uh» e «äh». Se glieli chiedi con un initial prompt (il testo iniziale che guida la trascrizione) pieno di intercalari, nella maggior parte dei casi obbedisce: su 425 intercalari annotati a mano, Whisper ne ha scritti tra lo 0 e il 4% senza prompt e tra il 78 e l'85% con un prompt.

Per i sottotitoli, quel comportamento predefinito è un pregio. I sottotitoli non sono trascrizioni, e lasciare fuori le esitazioni è quello che farebbe comunque un sottotitolatore. Diventa un problema nel momento in cui ti serve sapere dove stanno gli intercalari: per tagliarli da un video, per produrre una trascrizione letterale per una ricerca o un uso legale, o per studiare come parla qualcuno. Questa pagina mostra quanto spesso ogni modello Whisper scrive gli intercalari, come riaverli e perché i loro timestamp non vanno usati per tagliare.

Quanto spesso Whisper scrive gli intercalari

Abbiamo fatto girare quattro modelli Whisper su 129 minuti di parlato di riunioni in inglese e contato quanti intercalari dei partecipanti tornavano nella trascrizione, con tre prompt.

ModelloNessun promptPrompt breve con pochi intercalariPrompt denso di intercalariPrecisione, prompt denso
small0%54%78%86%
medium0%59%85%83%
large-v3-turbo2%48%79%86%
large-v34%55%82%86%

Metodo. L'audio è composto da quattro canali di cuffie a microfono ravvicinato di tre riunioni dell'AMI Meeting Corpus (ES2002a, TS3003b e IS1009b), rilasciato con licenza CC BY 4.0, le cui parole sono state allineate a mano. Abbiamo contato i 425 intercalari («um», «uh», «er», «hmm» e le loro grafie) pronunciati da chi indossava ciascuna cuffia e non sovrapposti a nessun altro. Un intercalare conta come scritto se Whisper ha prodotto un token di intercalare entro 0,25 secondi da esso; la precisione è la quota di token di intercalare di Whisper che è finita su uno reale. Tutte le prove hanno usato faster-whisper 1.2.1, batched, beam size 5, con il filtro di rilevamento dell'attività vocale (VAD) attivo, in float16 su una RTX 3060 Ti. I prompt sono più sotto. Un solo corpus di riunioni, molte delle quali tra parlanti non madrelingua inglesi, non è ogni registrazione, quindi leggi le colonne come un intervallo, non come una classifica.

La colonna che rompe lo schema è la prima. Nessun modello ha scritto più di un intercalare su 25, e small e medium non ne hanno scritti praticamente nessuno: 0 e 2 su 425. Non è un problema di ascolto, perché gli stessi modelli con un prompt ne hanno scritti la maggior parte.

Perché Whisper lascia fuori gli intercalari?

Whisper è stato addestrato su una quantità enorme di audio abbinato a trascrizioni trovate su internet, e la maggior parte delle trascrizioni fatte da persone è ripulita per la lettura. Il modello ha imparato lo stile insieme alle parole. La stessa guida ai prompt di Whisper di OpenAI ne dice la conseguenza senza giri di parole: «Whisper è meno propenso a seguire stili rari o strani, atipici per una trascrizione». Una trascrizione piena di esitazioni è uno di quegli stili.

Anche il lato della valutazione va nella stessa direzione. Il normalizzatore di testo inglese di Whisper, che OpenAI usa per confrontare l'output di un modello con un riferimento prima di calcolare il word error rate, elimina queste parole del tutto: il suo pattern è \b(hmm|mm|mhm|mmm|uh|um)\b (whisper/normalizers/english.py). Quel codice gira solo quando si valuta, non quando si trascrive, ma significa che i numeri di accuratezza per cui Whisper è noto non premiano né puniscono gli intercalari. Nei benchmark più comuni niente spinge un modello a scriverli.

Quello che il modello scrive al loro posto è la parte interessante. Senza prompt, tra il 43 e il 67% degli intercalari saltati cadeva nell'intervallo di tempo di una parola vicina: l'esitazione non veniva scartata, veniva assorbita. Su una registrazione dello schermo in turco di 142 secondi abbiamo visto la stessa cosa, con una lunga «eee» e la parola intorno restituite come un'unica parola lunga più di due secondi.

Come riavere gli intercalari con un prompt

L'initial prompt è testo che Whisper tratta come se venisse subito prima dell'audio, così prosegue nello stesso stile. Un prompt che contiene intercalari dice al modello che questa trascrizione li tiene. La guida speech-to-text di OpenAI elenca «Preserving punctuation, capitalization, and filler words» (conservare punteggiatura, maiuscole e intercalari) tra gli scopi di un prompt.

Quanti intercalari contiene il prompt conta più di quanto ti aspetteresti. Questi sono i due prompt della tabella:

Short prompt:  Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt:  Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.

Quello breve, con una manciata di intercalari, ha portato i modelli da quasi niente a circa la metà. Quello denso, in cui quasi una parola su due è un'esitazione, ha portato ogni modello a circa quattro su cinque.

Due regole fanno funzionare il prompt sui file reali.

Scrivi il prompt nella lingua parlata. Un «um» inglese non insegna al modello a scrivere l'«äh» tedesco o la «ııı» turca. Sulla clip turca, un prompt in turco ha fatto il suo lavoro:

Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.

Con esso, small, medium e large-v3-turbo hanno scritto ciascuno tre dei quattro intercalari della clip; senza, medium, large-v3-turbo e large-v3 non ne hanno scritto nessuno. Gli intercalari in altre lingue elenca i suoni di esitazione di 13 lingue con cui costruire un prompt del genere.

Manda il prompt a ogni finestra. Whisper lavora sull'audio 30 secondi alla volta, e nella maggior parte delle configurazioni l'initial prompt influenza solo l'inizio: con l'uso del proprio output precedente come contesto (conditioning on previous text), la trascrizione lo spinge fuori, e senza, il prompt arriva solo alla prima finestra. Nella pipeline batched di faster-whisper viene inviato a ogni blocco di audio:

from faster_whisper import WhisperModel, BatchedInferencePipeline

model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
    "meeting.wav",
    language="en",
    initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
    word_timestamps=True,
    batch_size=8,
)
for segment in segments:
    for word in segment.words:
        print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")

In whisper.cpp, --carry-initial-prompt fa lo stesso. Una trappola: -mc 0, il rimedio abituale ai cicli di ripetizione, non lascia spazio nemmeno al prompt portato avanti. Sulla nostra clip turca non ha scritto nessun intercalare con -mc 0, e cinque con un piccolo contesto di 64 token:

whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."

openai-whisper ha un'impostazione carry_initial_prompt per lo stesso scopo. Perché Whisper ha allucinazioni spiega come queste impostazioni interagiscono con il filtro di rilevamento dell'attività vocale e con l'uso del proprio output precedente come contesto.

Si può tagliare il video sui timestamp degli intercalari di Whisper?

No, non direttamente. Con il prompt denso, lo scarto mediano tra il tempo di fine di Whisper per un intercalare e la fine reale del suono era di 0,13 secondi per medium e fino a 0,43 secondi per large-v3. Tra il 26 e il 42% degli intercalari trovati iniziava a più di 0,2 secondi da dove iniziava davvero.

Modello, prompt densoScarto mediano di inizioScarto mediano di fineInizio sfasato di oltre 0,2 s
small0,10 s0,27 s26%
medium0,11 s0,13 s35%
large-v3-turbo0,11 s0,36 s29%
large-v30,16 s0,43 s42%

Un quinto di secondo sembra poco, ma un taglio che finisce 0,3 secondi in ritardo si porta via la prima sillaba della parola dopo, e uno che finisce troppo presto lascia un moncone di «um». I timestamp di Whisper vanno bene per trovare un intercalare, non per piazzare il taglio. I bordi devono venire dall'audio: il punto in cui il livello del suono tenuto comincia a scendere, e il silenzio subito prima che inizi.

Anche la precisione merita la stessa cautela. Tra il 14 e il 17% degli intercalari che Whisper ha scritto con il prompt non corrispondeva a un intercalare annotato entro un quarto di secondo. Alcuni sono fuori posto, altri sono respiri o false partenze scritti come «uh», e qualcuno è inventato. Qualsiasi strumento che taglia in automatico dovrebbe lasciarti controllare prima l'elenco.

Quale modello Whisper usare per gli intercalari?

Uno qualsiasi, con il prompt. In inglese, medium ne ha presi di più, l'85%, e small meno, il 78%, una differenza abbastanza piccola da far decidere la velocità; il confronto tra i modelli Whisper ha i dati su dimensioni e velocità. large-v3-turbo è la scelta ragionevole su una scheda grafica.

L'eccezione è venuta dalla clip turca, dove large-v3 con lo stesso prompt ha scritto solo uno dei quattro intercalari che i modelli più piccoli hanno trovato ciascuno in tre. È lo stesso modello che nei nostri test precedenti sul turco saltava le interiezioni brevi, quindi se gli intercalari ti servono in una lingua diversa dall'inglese, prova large-v3 contro turbo prima di fidarti.

Quando gli intercalari devono restare fuori?

«Sto facendo dei sottotitoli.» Lasciali fuori, che è il comportamento predefinito di Whisper. Le esitazioni costano tempo di lettura e non hanno significato; condensarle è prassi corrente, come spiega la guida alla velocità di lettura.

«Voglio tagliare gli intercalari dal video.» Riportali con il prompt in un passaggio separato, usa la trascrizione solo per trovarli e prendi i bordi del taglio dall'audio.

«Mi serve una trascrizione letterale.» Riportali con il prompt, poi controlla a orecchio. Con il 78-85%, il prompt fa la maggior parte del lavoro, non tutto.

«Sto studiando il parlato.» Usa un prompt e controlla un campione a mano. Anche con il prompt denso, nel nostro test mancava ancora circa un intercalare su cinque.

Come Sablate trova gli intercalari

Sablate esegue entrambi i passaggi. La trascrizione che modifichi e imprimi è quella pulita di default di Whisper, perché è questo che i sottotitoli devono essere. Quando cerchi i suoni di esitazione nella sua modalità Cuts, trascrive il parlato una seconda volta con un prompt denso di intercalari nella lingua parlata, inviato a ogni finestra, in 13 lingue.

Usa quella seconda trascrizione solo per trovare gli intercalari. I bordi del taglio vengono dal suono, da dove scende il livello della vocale tenuta, e un controllo separato cerca i suoni di esitazione lunghi e costanti che Whisper non ha mai scritto, in qualsiasi lingua. Sulla clip turca quel controllo ha trovato il quarto intercalare, un'esitazione di 0,65 secondi che nessun modello ha trascritto. Gli intercalari attaccati a una parola vengono lasciati stare, e quelli di cui non è sicuro compaiono nell'elenco disattivati finché non li ascolti. Rimuovere intercalari e silenzi da un video mostra il flusso di lavoro completo.

In breve

Whisper sente gli intercalari e li lascia fuori di proposito, perché lo facevano le trascrizioni su cui è stato addestrato. Un prompt denso nella lingua parlata, inviato a ogni finestra, ne riporta circa quattro su cinque. Usa quella trascrizione per trovare gli intercalari, non per tagliarli: i timestamp sono sfasati di un quinto di secondo abbastanza spesso da tagliare le parole. Per i sottotitoli, tieni il comportamento pulito di default di Whisper; per trovare e tagliare gli intercalari sul tuo computer, scarica Sablate.

Domande frequenti

Whisper trascrive gli intercalari come um e uh?

Quasi mai di default. Su 425 intercalari annotati a mano in registrazioni di riunioni in inglese, Whisper ne ha scritti tra lo 0 e il 4% senza prompt, a seconda del modello. Con un initial prompt pieno di intercalari ne ha scritti dal 78 all'85%. L'audio lo sente comunque; il modello preferisce semplicemente un testo di trascrizione pulito.

Come faccio a far tenere gli intercalari a Whisper?

Dagli un initial prompt che sia a sua volta pieno di intercalari, scritto nella lingua parlata, e assicurati che il prompt arrivi a ogni finestra di 30 secondi, non solo alla prima. In faster-whisper la pipeline batched lo fa da sola; whisper.cpp richiede l'opzione carry-initial-prompt e openai-whisper l'impostazione carry_initial_prompt.

Perché Whisper toglie gli intercalari?

Perché ha imparato da trascrizioni scritte per essere lette, che le esitazioni per lo più le omettono. La guida ai prompt di OpenAI osserva che Whisper segue meno volentieri stili atipici per una trascrizione, e il normalizzatore di testo inglese di Whisper, usato per misurare l'accuratezza, elimina um, uh, hmm e mm prima del confronto, quindi i punteggi dei benchmark non premiano mai chi li scrive.

I timestamp di Whisper per gli intercalari sono precisi?

Non abbastanza da tagliarci sopra un video. Nel nostro test, con gli intercalari riportati dal prompt, la fine mediana era sfasata di 0,13-0,43 secondi a seconda del modello, e tra un quarto e due quinti degli intercalari iniziavano a più di 0,2 secondi dal suono reale. Senza prompt, la maggior parte degli intercalari veniva assorbita nel tempo di una parola vicina.

Quale modello Whisper scrive meglio gli intercalari?

Con un prompt denso di intercalari, medium ne ha scritti di più, l'85%, poi large-v3 con l'82, turbo con il 79 e small con il 78, tutti con una precisione simile, intorno all'83-86%. Le differenze sono abbastanza piccole da far decidere la velocità. Su una breve clip turca, large-v3 ha trovato un solo intercalare su quattro, contro i tre trovati da small, medium e turbo.