Porównanie modeli Whisper do napisów: Tiny, Small, Turbo i Large-v3

Whisper występuje w sześciu rozmiarach. Według danych samego OpenAI tiny ma 39 milionów parametrów, base 74 miliony, small 244 miliony, medium 769 milionów, large 1,55 miliarda, a turbo 809 milionów, przy czym pierwsze cztery mają też wersje .en, tylko dla angielskiego. W wersjach faster-whisper, które pobierają aplikacje desktopowe, zajmują od około 78 MB w przypadku tiny do około 3,1 GB w przypadku large-v3.

Największy model nie jest jednak automatycznie najlepszym wyborem do napisów. large-v3-turbo ma około połowy parametrów large-v3 i działa około osiem razy szybciej, a w zwyczajnym materiale różnica w gotowym pliku z napisami jest tak niewielka, że o wyborze decyduje szybkość. Zdarzają się też realne przypadki, w których mniejszy model daje lepszy transkrypt niż większy.

Poniżej liczby, co znaczą konkretnie dla pracy z napisami, oraz błędy, które sprawiają, że model wygląda gorzej, niż jest w rzeczywistości.

Modele w jednym zestawieniu

Parametry i względna szybkość pochodzą z README Whisper od OpenAI; rozmiary to rzeczywiste wielkości wersji faster-whisper (CTranslate2) z Hugging Face — tych samych, które Sablate pobiera dla swoich poziomów — nie zaokrąglone szacunki.

Wiersz, który wymyka się temu wzorcowi, to turbo. Ma więcej parametrów niż medium, a mimo to działa około cztery razy szybciej, czego sama liczba parametrów by nie przewidziała. Cztery poziomy Sablate korzystają z modeli wielojęzycznych; base i wersje .en są w tabeli dla porównania.

Czy warto używać modeli .en, tylko dla angielskiego?

OpenAI publikuje wersje tiny, base, small i medium przeznaczone wyłącznie dla angielskiego. W jego README czytamy, że zwykle radzą sobie one z angielskim lepiej, zwłaszcza tiny.en i base.en, a przy small.en i medium.en różnica staje się mniej istotna. Wersji .en dla large ani turbo nie ma.

Dla napisów wynika z tego prosta reguła. Jeśli nagranie jest po angielsku, a jesteś zdany na mały model — starszy laptop, sam CPU, szybki szkic — wersja .en jest lepszym wyborem przy tym samym rozmiarze i szybkości. Jeśli choć część nagrania jest w innym języku, użyj modelu wielojęzycznego, bo model .en zna tylko angielski. Od large-v3-turbo wzwyż pytanie znika, bo istnieją wyłącznie wersje wielojęzyczne.

Dlaczego turbo zmienia rekomendację

Turbo to nie mniejszy model wytrenowany od zera. To large-v3, w którym dekoder przycięto z 32 warstw do 4, a potem douczono go przez kolejne dwie epoki na tych samych wielojęzycznych danych transkrypcyjnych. Whisper spędza większość czasu właśnie w dekoderze, więc takie drastyczne przycięcie daje bardzo duży zysk szybkości, podczas gdy enkoder — część, która faktycznie słucha — zostaje nietknięty.

Towarzyszą mu dwa zastrzeżenia, i oba są opisane przez OpenAI, a nie są tylko plotką ze społeczności:

• Douczono go bez danych do tłumaczenia. Turbo to model transkrypcyjny. Jeśli chcesz zadania Whisper polegającego na tłumaczeniu mowy na angielski, turbo jest niewłaściwym narzędziem — transkrybuj w języku źródłowym i przetłumacz tekst później, co i tak jest lepszym procesem.
• Niektóre języki tracą więcej niż inne. Turbo trzyma poziom large-v2 w większości języków, ale zauważalnie więcej gubi w tajskim i kantońskim. Jeśli pracujesz w tych językach, przetestuj to, zanim się zdecydujesz.

Poza tym turbo jest rozsądnym domyślnym wyborem do napisów: jakość bliska large przy szybkości, która sprawia, że dwugodzinne nagranie staje się realnym zadaniem.

Czy największy model daje najlepsze napisy?

Nie zawsze, a wyjątek warto znać, bo kiedy się na niego trafi, wygląda jak błąd.

Zmierzyliśmy to na 101-sekundowym tureckim klipie, na RTX 3060 Ti z float16, przechodząc przez własną ścieżkę transkrypcji aplikacji. Licząc, jak dużą część mowy każdy model faktycznie wychwycił, na czele był medium. large-v3 pomijał fragmenty mowy, które medium rozpoznał poprawnie — pierwsze słowa klipu i kilka krótkich wykrzyknień po prostu się nie pojawiły. Żaden ze standardowych przełączników nie przywrócił ich: wyłączenie filtra aktywności głosowej, podniesienie progu braku mowy, usunięcie progu log-probability, ustawienie na sztywno temperatury. Usunięcie progu log-probability pogorszyło sytuację drastycznie, skracając transkrypt z około 1110 znaków do 429.

Przetestowaliśmy też szeroko powtarzaną w społeczności radę, by używać large-v2 zamiast large-v3. Na tym klipie wypadł najgorzej z całego zestawu: całkowicie zgubił nieprzerwany 30-sekundowy fragment mowy, od 28,7 do 58,7 sekundy, produkując 106 słów, gdzie medium wyprodukował 178.

Jeden klip to nie benchmark, a ten był krótki, turecki i konwersacyjny. Weź z tego metodę, nie ranking: transkrybuj ten sam plik dwoma modelami, sprawdzaj, czego brakuje, a nie co jest błędnie zapisane, i wybierz ten, który usłyszał wszystko. Braki kosztują w napisach znacznie więcej niż literówki, bo widz przeczyta błędne słowo dalej, ale nie przeczyta linijki, której nie ma.

Kiedy dobry model wygląda jak zły

Trzy rodzaje błędów wywołują narzekania „duży model jest gorszy”, które nie mają nic wspólnego z samym modelem.

1. Remisy w znacznikach czasu słów rozbijają podział na linijki. Whisper zwraca znaczniki czasu dla każdego słowa, a sąsiadujące słowa często mają dokładnie tę samą granicę — w klipie, który sprawdzaliśmy, 172 z 177 odstępów między słowami wynosiło równo 0,000 sekundy. Mechanizm dzielący długi napis w miejscu największego odstępu w takiej sytuacji trafia na remis wszystkich kandydatów, bierze pierwszy z nich i powtarza to rekurencyjnie — odrywając po jednym słowie na raz. Objawem jest transkrypt rozdrobniony na jednowyrazowe napisy, a problem narasta z modelem, który produkuje najwięcej słów. Poprawienie rozstrzygania remisu na korzyść środka czasowego odstępu sprowadziło jeden klip z 90 napisów (78 z nich jednowyrazowych) do 28 napisów z jedną jednowyrazową linijką. Model się nie zmienił.

2. Wybrany model to nie ten model, który faktycznie się uruchomił. Repozytoria modeli mają niekonsekwentne nazwy między rejestrami do pobierania a bibliotekami wnioskowania. Pobrany model leżący na dysku pod jedną nazwą repozytorium, podczas gdy loader szuka innej, kończy się albo cichym powrotem do innego modelu, albo błędem, który wygląda jak problem z siecią — mimo że 1,6 GB właściwego modelu już tam jest.

3. Nieudana ponowna transkrypcja zostawia na ekranie stary transkrypt. Jeśli ponowne uruchomienie się nie powiedzie, a aplikacja wycofa zadanie, ale zachowa nazwę żądanego modelu, patrzysz teraz na wynik poprzedniego modelu oznaczony jako nowy. Każde porównanie zrobione w tym stanie jest błędne. Jeśli robisz benchmark, sprawdź, czy tekst faktycznie się zmienił, zanim wyciągniesz wnioski — identyczny wynik z dwóch różnych modeli to sygnał ostrzegawczy, nie odkrycie.

VRAM, dysk i możliwości twojego komputera

README OpenAI podaje przybliżone zapotrzebowanie na VRAM dla jego własnej implementacji w PyTorch: około 1 GB dla tiny i base, 2 GB dla small, 5 GB dla medium, 6 GB dla turbo i 10 GB dla large. Wersje faster-whisper potrzebują mniej, a rozmiary pobierania z tabeli powyżej są dobrym wskaźnikiem obciążenia pamięci, które faktycznie zobaczysz. Praktyczne wskazówki:

• 4 GB VRAM lub mniej, albo brak dedykowanego GPU — small to złoty środek. tiny jest do szkiców i sprawdzania czasowania, nie do finalnej dostawy.
• 6–8 GB VRAM — large-v3-turbo bez problemu. To konfiguracja, na której powinna być większość ludzi.
• 10 GB VRAM lub więcej — large-v3, jeśli audio tego naprawdę wymaga: silny akcent, nakładający się mówcy, słabe mikrofony.
• Tylko CPU — small do wszystkiego, co potrzebujesz od razu, turbo, jeśli możesz zostawić je do działania na dłużej.

Precyzja ma tu równie duże znaczenie, co rozmiar modelu. Wersje CTranslate2, na których działa Whisper, wspierają float16 i int8, a zmniejszenie precyzji znacznie redukuje zużycie pamięci przy koszcie jakości, który jest niewielki dla int8 i zwykle niezauważalny dla float16 na GPU.

Na GPU licz na przyspieszenie o pięć do dziesięciu razy względem tego samego komputera na CPU. W Sablate na Windows środowisko NVIDIA CUDA pobiera się przy pierwszym zadaniu na GPU, a nie jest dołączone do instalatora, co utrzymuje mały rozmiar pobierania dla osób, które nigdy go nie użyją.

Który model naprawdę wybrać?

Ten ostatni wiersz zmienia całe wyliczenie. Kiedy transkrypt jest wejściem dla ośmiu tłumaczeń, błąd to nie jeden błąd — to osiem błędów. Proces pracy z wieloma językami wyjaśnia, czemu transkrypt źródłowy zasługuje na wolny model i uważną korektę.

W Sablate Fast i Balanced (tiny i small) działają w planie Darmowym; Accurate i Best są częścią Pro — jednej płatności $29, opisanej na stronie cennika. Niezależnie od tego, który model uruchomisz, wynik trafia do tego samego edytora i eksportuje się do tych samych formatów — SRT, VTT i ASS — więc wybór modelu decyduje o tym, ile potem poprawiasz, a nie o tym, co jesteś w stanie stworzyć.

Jeśli wolisz nie zarządzać modelami ręcznie, porównanie generatorów napisów offline wymienia aplikacje desktopowe, które wybierają je i pobierają za ciebie. Alternatywy dla MacWhisper na Windows i alternatywy dla TurboScribe patrzą na ten sam wybór od strony aplikacji.

Jak to przetestować na własnym materiale

Pięć minut metody bije każdy opublikowany benchmark, także ten:

1. Weź klip długości 60 do 120 sekund, który jest reprezentatywny — twój najgorszy mikrofon, twoje typowe akcenty, twój prawdziwy pokój.
2. Transkrybuj go dwoma kandydującymi modelami, nie zmieniając niczego innego.
3. Porównaj najpierw pod kątem braków, potem błędnie zapisanych słów.
4. Policz jednowyrazowe napisy. Ich duża liczba wskazuje na segmentację, nie na model.
5. Tylko wtedy porównaj rzeczywisty czas działania i zdecyduj, ile ten czas dla ciebie znaczy.

Model, który usłyszy wszystko w twoim materiale, jest dla ciebie najlepszym modelem — i niekoniecznie będzie tym największym.

Najczęściej zadawane pytania

Jakie są rozmiary modeli Whisper?

Sześć, według danych OpenAI: tiny (39 milionów parametrów), base (74 miliony), small (244 miliony), medium (769 milionów), large (1,55 miliarda) i turbo (809 milionów). Tiny, base, small i medium występują też w wersjach .en, tylko dla angielskiego. Jako pliki faster-whisper zajmują odpowiednio około 78 MB, 148 MB, 486 MB, 1,53 GB, 3,09 GB (large-v3) i 1,62 GB (turbo).

Który model Whisper jest najlepszy do napisów?

Dla większości materiałów large-v3-turbo. Ma 809 milionów parametrów wobec 1,55 miliarda w large-v3, ale działa około ośmiu razy szybciej, bo jego dekoder skrócono z 32 warstw do 4, a dokładność jest wystarczająco bliska, żeby o wyborze zdecydowała szybkość. Do trudnego audio użyj pełnego large-v3, a do szkiców — small.

Czy large-v3 jest zawsze dokładniejszy niż medium albo turbo?

Nie. W większości materiałów tak, ale nie we wszystkich. W naszych własnych testach na krótkim tureckim klipie large-v3 pomijał fragmenty mowy, które medium rozpoznał poprawnie, w tym wykrzyknienia i pierwsze słowa nagrania. Wybór modelu warto sprawdzić na własnym materiale, a nie zakładać, że więcej parametrów zawsze wygrywa.

Ile miejsca na dysku zajmuje każdy model Whisper?

Licząc rzeczywiste rozmiary pobieranych wersji CTranslate2: tiny to około 78 MB, base około 148 MB, small około 486 MB, medium około 1,53 GB, large-v3-turbo około 1,62 GB, a large-v3 około 3,09 GB. Wersje .en, tylko dla angielskiego, mają taki sam rozmiar. Zużycie VRAM podczas transkrypcji jest w podobnej kolejności, a precyzja float16 albo int8 znacznie je zmniejsza.

Jaka jest różnica między large-v3 i large-v3-turbo?

Turbo to przycięty i douczony large-v3, w którym warstwy dekodera skrócono z 32 do 4. Dzięki temu jest znacznie szybszy przy podobnej jakości transkrypcji. Dwa zastrzeżenia: douczono go bez danych do tłumaczenia, więc nie nadaje się do tłumaczenia mowy, i traci więcej niż large-v3 w niektórych językach, zwłaszcza w tajskim i kantońskim.

Czy GPU faktycznie przyspiesza Whisper?

Tak, znacząco — GPU NVIDIA zwykle transkrybuje pięć do dziesięciu razy szybciej niż ten sam komputer na CPU. Różnica jest tak duża, że zmienia, który model jest praktyczny: large-v3 przy długim nagraniu to zadanie na całą noc na CPU, a na średniej klasy GPU — tyle, co przerwa na kawę.

Czemu mój transkrypt rozpada się na jednowyrazowe napisy?

Zwykle przez znaczniki czasu słów, nie przez model. Whisper może zwrócić sąsiadujące słowa z odstępem równym dokładnie zero sekund, a mechanizm dzielący linijki, który szuka największego odstępu, nie znajduje wtedy żadnego prawdziwego odstępu i za każdym razem dzieli w pierwszym możliwym miejscu, rekurencyjnie. Model działa dobrze — to logika segmentacji potrzebuje reguły rozstrzygającej remis.