Confronto tra i modelli Whisper per i sottotitoli: Tiny, Small, Turbo e Large-v3

Whisper esiste in sei dimensioni. Secondo i dati di OpenAI, tiny ha 39 milioni di parametri, base 74 milioni, small 244 milioni, medium 769 milioni, large 1,55 miliardi e turbo 809 milioni; i primi quattro esistono anche in versioni .en solo inglese. Nelle build faster-whisper che le app desktop scaricano, si va da circa 78 MB per tiny a circa 3,1 GB per large-v3.

Il modello più grande, però, non è automaticamente il migliore per i sottotitoli. large-v3-turbo ha circa la metà dei parametri di large-v3 ed è circa otto volte più rapido, e su un girato ordinario la differenza nel file di sottotitoli finito è così piccola che a decidere è la velocità. Esistono anche casi concreti in cui un modello più piccolo produce una trascrizione migliore di uno più grande.

Ecco i numeri, cosa significano in concreto per il lavoro sui sottotitoli, e le modalità di errore che fanno sembrare un modello peggiore di quanto sia.

I modelli a confronto

Parametri e velocità relativa vengono dal README di Whisper pubblicato da OpenAI; le dimensioni sono i totali reali delle build faster-whisper (CTranslate2) su Hugging Face, le stesse che Sablate scarica per i suoi livelli, non stime arrotondate.

La riga che rompe lo schema è turbo. Ha più parametri di medium ma è comunque circa quattro volte più rapido, il che non è quello che il solo conteggio dei parametri farebbe prevedere. I quattro livelli di Sablate usano i modelli multilingue; base e le versioni .en sono nella tabella per confronto.

Conviene usare i modelli .en solo inglese?

OpenAI pubblica versioni solo inglese di tiny, base, small e medium. Nel suo README si legge che tendono a funzionare meglio sull'inglese, soprattutto tiny.en e base.en, e che il divario si fa meno significativo con small.en e medium.en. Non esiste una versione .en di large né di turbo.

Per i sottotitoli ne esce una regola semplice. Se l'audio è in inglese e sei limitato a un modello piccolo — un portatile datato, solo CPU, una bozza veloce — la versione .en è la scelta migliore a parità di dimensioni e velocità. Se anche solo una parte dell'audio è in un'altra lingua, usa il modello multilingue, perché un modello .en conosce solo l'inglese. Da large-v3-turbo in su la questione non si pone, dato che esistono solo versioni multilingue.

Perché turbo cambia il consiglio

Turbo non è un modello più piccolo addestrato da zero. È large-v3 con il decoder ridotto da 32 livelli a 4, poi ri-addestrato per altre due epoche sui medesimi dati di trascrizione multilingue. Whisper passa la maggior parte del suo tempo nel decoder, quindi tagliarlo così drasticamente porta un guadagno di velocità molto grande, mentre l'encoder — la parte che ascolta davvero — resta intatto.

Vengono con due avvertenze, entrambe documentate da OpenAI e non semplice sentito dire:

• È stato ri-addestrato senza dati di traduzione. Turbo è un modello di trascrizione. Se ti serve il compito di traduzione vocale verso l'inglese di Whisper, turbo è lo strumento sbagliato; trascrivi nella lingua di partenza e traduci il testo in un secondo momento, che è comunque il flusso di lavoro migliore.
• Alcune lingue perdono più di altre. Turbo segue large-v2 nella maggior parte delle lingue, ma perde qualità in modo più marcato su thai e cantonese. Se lavori con queste lingue, testalo prima di impegnarti.

Per tutto il resto, turbo è la scelta predefinita sensata per i sottotitoli: una qualità vicina a large con una velocità che rende praticabile anche una registrazione di due ore.

Il modello più grande dà sempre i sottotitoli migliori?

Non sempre, e l'eccezione vale la pena di conoscerla perché, quando ci si imbatte, sembra un bug.

Lo abbiamo misurato su una clip turca di 101 secondi, su una RTX 3060 Ti con float16, attraverso lo stesso percorso di trascrizione dell'app. In classifica per quanto parlato ha effettivamente colto ciascun modello, medium è arrivato primo. large-v3 ha saltato parlato che medium ha trascritto correttamente — le prime parole della clip e diverse brevi interiezioni semplicemente non sono apparse. Nessuna delle leve abituali le ha fatte tornare: disattivare il filtro di rilevamento vocale, alzare la soglia no-speech, rimuovere la soglia di log-probability, fissare la temperatura. Rimuovere la soglia di log-probability ha peggiorato la situazione in modo drastico, facendo scendere la trascrizione da circa 1.110 a 429 caratteri.

Abbiamo testato anche il consiglio, molto diffuso nella community, di usare large-v2 invece di large-v3. Su questa clip è risultato il peggiore del gruppo: ha perso del tutto un tratto continuo di 30 secondi di parlato, da 28,7 a 58,7 secondi, producendo 106 parole contro le 178 di medium.

Una sola clip non è un benchmark, e questa era breve, turca e colloquiale. Prendi il metodo, non la classifica: trascrivi lo stesso file con due modelli, guarda cosa manca piuttosto che cosa è scritto male, e scegli quello che ha sentito tutto. Nei sottotitoli le omissioni costano molto più dei typo, perché uno spettatore può leggere oltre una parola sbagliata, ma non può leggere una riga che non c'è.

Quando un buon modello sembra scadente

Tre modalità di errore producono lamentele del tipo «il modello grande è peggiore» che non hanno nulla a che fare con il modello.

1. I pareggi tra i timestamp delle parole rompono la divisione delle righe. Whisper emette timestamp per singola parola, e le parole adiacenti condividono spesso un confine esattamente identico — nella clip esaminata, 172 intervalli su 177 erano esattamente 0,000 secondi. Un divisore che spezza una battuta lunga nell'intervallo più ampio trova quindi ogni candidato in parità, prende il primo e procede in modo ricorsivo — staccando una parola alla volta. Il sintomo è una trascrizione fatta a pezzi in sottotitoli di una sola parola, e peggiora con il modello che produce più parole. Correggere il pareggio per favorire il punto medio temporale ha portato una clip da 90 battute (78 delle quali di una sola parola) a 28 battute con una sola riga di una parola. Il modello non è mai cambiato.

2. Il modello che hai selezionato non è il modello che è stato eseguito. I repository dei modelli hanno nomi incoerenti tra i registri di download e le librerie di inferenza. Un modello scaricato e presente sul disco sotto un nome di repository, mentre il loader ne cerca un altro, produce un fallback silenzioso oppure un errore che sembra un problema di rete — mentre 1,6 GB del modello corretto sono già lì.

3. Una ri-trascrizione fallita lascia a schermo la vecchia trascrizione. Se un nuovo tentativo fallisce e l'applicazione riporta indietro il lavoro ma mantiene il nome del modello richiesto, quello che stai guardando è l'output del modello precedente etichettato come il nuovo. Ogni confronto fatto in questo stato è sbagliato. Se stai facendo un benchmark, verifica che il testo sia davvero cambiato prima di tirare conclusioni — un output identico da due modelli diversi è un campanello d'allarme, non un risultato.

VRAM, disco e cosa può eseguire il tuo computer

Il README di OpenAI indica la VRAM approssimativa per la sua implementazione PyTorch: circa 1 GB per tiny e base, 2 GB per small, 5 GB per medium, 6 GB per turbo e 10 GB per large. Le build faster-whisper richiedono meno, e le dimensioni di download nella tabella sopra sono un buon indicatore della pressione sulla memoria che vedrai davvero. Indicazioni pratiche:

• 4 GB di VRAM o meno, oppure nessuna GPU dedicata — small è il punto di equilibrio. tiny serve per le bozze e i controlli di tempistica, non per la consegna finale.
• 6–8 GB di VRAM — large-v3-turbo senza problemi. È la configurazione su cui dovrebbe stare la maggior parte delle persone.
• 10 GB di VRAM o più — large-v3, se l'audio ne ha davvero bisogno: accenti marcati, parlanti che si sovrappongono, microfoni scarsi.
• Solo CPU — small per qualsiasi cosa ti serva oggi, turbo se puoi lasciarlo lavorare senza fretta.

Qui la precisione conta quanto le dimensioni del modello. Le build CTranslate2 su cui gira Whisper supportano float16 e int8, e abbassare la precisione riduce sensibilmente la memoria a un costo di qualità che è piccolo per int8 e di solito impercettibile per float16 su una GPU.

Su GPU, aspettati un'accelerazione di circa 5–10 volte rispetto alla stessa macchina su CPU. In Sablate su Windows, il runtime NVIDIA CUDA viene scaricato la prima volta che parte un lavoro su GPU, invece di essere incluso nell'installer, il che mantiene piccolo il download per chi non lo userà mai.

Quale modello dovresti davvero scegliere?

È l'ultima riga quella che cambia i calcoli. Quando una trascrizione è l'input per otto traduzioni, un errore non è un errore — sono otto. Il flusso di lavoro multilingue spiega perché la trascrizione di partenza merita il modello più lento e una revisione attenta.

In Sablate, Fast e Balanced (tiny e small) girano sul piano gratuito; Accurate e Best fanno parte di Pro, un unico pagamento di $29 descritto nella pagina dei prezzi. Qualunque modello tu esegua, il risultato finisce nello stesso editor e si esporta negli stessi formati — SRT, VTT e ASS — quindi la scelta del modello riguarda quanto dovrai correggere dopo, non quello che puoi produrre.

Se preferisci non gestire i modelli a mano, il confronto dei generatori di sottotitoli offline elenca le app desktop che li scelgono e li scaricano per te. Le alternative a MacWhisper per Windows e le alternative a TurboScribe guardano alla stessa scelta dal lato delle app.

Come testarlo sul tuo girato

Cinque minuti di metodo valgono più di qualsiasi benchmark pubblicato, incluso questo:

1. Prendi una clip di 60-120 secondi che sia rappresentativa — il tuo microfono peggiore, i tuoi accenti abituali, la stanza che usi davvero.
2. Trascrivila con due modelli candidati, senza cambiare altro.
3. Confronta prima le omissioni, poi gli errori di ortografia.
4. Conta le battute di una sola parola. Se sono tante, il problema è la segmentazione, non il modello.
5. Solo a questo punto confronta il tempo di esecuzione reale, e decidi quanto vale per te quel tempo.

Il modello migliore per te è quello che sente tutto nel tuo materiale, e non è necessariamente il più grande.

Domande frequenti

Quali sono le dimensioni dei modelli Whisper?

Sono sei, secondo i dati di OpenAI: tiny (39 milioni di parametri), base (74 milioni), small (244 milioni), medium (769 milioni), large (1,55 miliardi) e turbo (809 milioni). Tiny, base, small e medium esistono anche in versioni .en solo inglese. Nelle build faster-whisper da scaricare pesano circa 78 MB, 148 MB, 486 MB e 1,53 GB per i primi quattro, 3,09 GB per large-v3 e 1,62 GB per turbo.

Qual è il modello Whisper migliore per i sottotitoli?

Per la maggior parte dei girati, large-v3-turbo. Ha 809 milioni di parametri contro gli 1,55 miliardi di large-v3, ma è circa otto volte più rapido perché il suo decoder è stato ridotto da 32 a 4 livelli, e la sua precisione è così vicina che a decidere è la differenza di tempo. Usa large-v3 completo per audio difficili, e small quando stai facendo una bozza.

large-v3 è sempre più preciso di medium o turbo?

No. Sulla maggior parte del materiale sì, ma non su tutto. Nei nostri test su una breve clip turca, large-v3 ha saltato parti di parlato che medium ha trascritto correttamente, incluse interiezioni e le prime parole. Conviene testare la scelta del modello sul proprio girato, invece di assumere che più parametri vincano sempre.

Quanto spazio su disco richiede ciascun modello Whisper?

Misurato sulle build CTranslate2 effettivamente scaricate: tiny pesa circa 78 MB, base circa 148 MB, small circa 486 MB, medium circa 1,53 GB, large-v3-turbo circa 1,62 GB e large-v3 circa 3,09 GB. Le versioni .en solo inglese hanno le stesse dimensioni. L'uso di VRAM durante la trascrizione segue più o meno lo stesso ordine, e la precisione float16 o int8 lo riduce notevolmente.

Qual è la differenza tra large-v3 e large-v3-turbo?

Turbo è una versione di large-v3 ridotta e ri-addestrata, i cui livelli di decodifica sono stati tagliati da 32 a 4. Questo lo rende molto più rapido, a parità di qualità di trascrizione. Due avvertenze: è stato ri-addestrato senza dati di traduzione, quindi non è pensato per la traduzione vocale, e perde più qualità di large-v3 in alcune lingue, in particolare thai e cantonese.

Una GPU rende davvero Whisper più veloce?

Sì, in modo sostanziale — una GPU NVIDIA trascrive in genere da 5 a 10 volte più rapida della stessa macchina su CPU. Il divario è abbastanza ampio da cambiare quale modello sia praticabile: large-v3 su una registrazione lunga è un lavoro da lasciare tutta la notte su CPU, e una pausa caffè su una GPU di fascia media.

Perché la mia trascrizione si spezza in sottotitoli di una sola parola?

Di solito per via dei timestamp delle singole parole, non del modello. Whisper può emettere parole adiacenti con un intervallo di esattamente zero secondi, e un divisore di righe che cerca l'intervallo più ampio non trova nessun intervallo reale, quindi divide sempre nella prima posizione, in modo ricorsivo. Il modello va bene; è la logica di segmentazione che ha bisogno di una regola per rompere i pareggi.