Whisper pomija yyy i um: jak odzyskać słowa-wypełniacze
Whisper pomija wtrącenia i przerywniki z założenia. Zmierzyliśmy, jak często zapisuje um i uh z promptem i bez oraz jak bardzo mylą się jego znaczniki czasu.
Whisper pomija słowa-wypełniacze, bo uczył się na transkrypcjach pisanych do czytania, a te nie zawierają „um”, „uh” ani „äh”. Poproś o nie początkowym promptem pełnym wypełniaczy, a w większości się zastosuje: na 425 ręcznie oznaczonych wypełniaczach Whisper zapisał od 0 do 4% bez promptu i od 78 do 85% z nim.
W napisach to ustawienie domyślne jest zaletą. Napisy to nie transkrypcje, a pomijanie wahań to dokładnie to, co zrobiłby i tak każdy autor napisów. Staje się problemem w chwili, gdy musisz wiedzieć, gdzie są wypełniacze: żeby wyciąć je z wideo, przygotować transkrypcję dosłowną do badań lub spraw prawnych albo zbadać, jak ktoś mówi. Ta strona pokazuje, jak często każdy model Whisper zapisuje wypełniacze, jak je odzyskać i dlaczego ich znaczniki czasu nie nadają się do cięcia.
Jak często Whisper zapisuje słowa-wypełniacze
Przepuściliśmy cztery modele Whisper przez 129 minut angielskiej mowy ze spotkań i policzyliśmy, ile wypełniaczy mówców wróciło do transkrypcji przy trzech promptach.
| Model | Bez promptu | Krótki prompt z kilkoma wypełniaczami | Gęsty prompt z wypełniaczami | Precyzja, gęsty prompt |
|---|---|---|---|---|
small | 0% | 54% | 78% | 86% |
medium | 0% | 59% | 85% | 83% |
large-v3-turbo | 2% | 48% | 79% | 86% |
large-v3 | 4% | 55% | 82% | 86% |
Metoda. Dźwięk to cztery kanały z mikrofonów nagłownych z trzech spotkań AMI Meeting Corpus (ES2002a, TS3003b i IS1009b), udostępnionego na licencji CC BY 4.0, w którym słowa zostały wyrównane ręcznie. Policzyliśmy 425 wypełniaczy („um”, „uh”, „er”, „hmm” i ich warianty zapisu) wypowiedzianych przez osobę noszącą dany mikrofon i niezakłóconych przez nikogo innego. Wypełniacz liczy się jako zapisany, jeśli Whisper wygenerował token wypełniacza w odległości 0,25 sekundy od niego; precyzja to odsetek tokenów wypełniaczy Whispera, które trafiły na prawdziwy. Wszystkie przebiegi używały faster-whisper 1.2.1 w trybie wsadowym, z beam size 5 i włączonym filtrem aktywności głosowej (VAD), w float16 na RTX 3060 Ti. Prompty są poniżej. Jeden korpus spotkań, w wielu z nich między osobami niebędącymi rodzimymi użytkownikami angielskiego, to nie każde nagranie, więc czytaj kolumny jako zakres, a nie ranking.
Wiersz, który łamie wzór, to pierwsza kolumna. Żaden model nie zapisał więcej niż jednego wypełniacza na 25, a small i medium nie zapisały praktycznie żadnego: 0 i 2 na 425. To nie jest problem ze słuchem, bo te same modele z promptem zapisały większość.
Dlaczego Whisper pomija słowa-wypełniacze?
Whisper uczył się na bardzo dużej ilości nagrań sparowanych z transkrypcjami znalezionymi w internecie, a większość transkrypcji robionych przez ludzi jest oczyszczona do czytania. Model nauczył się stylu razem ze słowami. Poradnik OpenAI o promptach do Whisper mówi o konsekwencji wprost: „Whisper rzadziej trzyma się rzadkich lub dziwnych stylów, które są nietypowe dla transkrypcji”. Transkrypcja pełna wahań jest jednym z takich stylów.
Strona oceny wskazuje ten sam kierunek. Angielski normalizator tekstu Whispera, którego OpenAI używa do porównania wyniku modelu z wzorcem przed policzeniem współczynnika błędów słów, usuwa te słowa bez śladu: jego wzorzec to \b(hmm|mm|mhm|mmm|uh|um)\b (whisper/normalizers/english.py). Ten kod działa tylko przy ocenie, nie przy transkrypcji, ale oznacza, że liczby dokładności, z których Whisper słynie, nie nagradzają wypełniaczy ani ich nie karzą. Nic w zwykłych testach nie zachęca modelu do ich zapisywania.
Ciekawsze jest to, co model pisze zamiast nich. Bez promptu od 43 do 67% pominiętych wypełniaczy leżało w przedziale czasu sąsiedniego słowa: wahanie nie zostało odrzucone, tylko wchłonięte. Na 142-sekundowym tureckim nagraniu ekranu zobaczyliśmy to samo: długie „eee” razem ze słowem wokół niego wróciło jako jedno słowo dłuższe niż dwie sekundy.
Jak odzyskać słowa-wypełniacze promptem
Początkowy prompt (initial prompt) to tekst, który Whisper traktuje tak, jakby stał tuż przed nagraniem, więc kontynuuje w tym samym stylu. Prompt zawierający wypełniacze mówi modelowi, że ta transkrypcja je zachowuje. Poradnik OpenAI o zamianie mowy na tekst wymienia „zachowanie interpunkcji, wielkich liter i słów-wypełniaczy” wśród zadań promptu.
Liczy się, ile wypełniaczy zawiera prompt, bardziej, niż można by się spodziewać. Oto dwa prompty z tabeli:
Short prompt: Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt: Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.
Krótki, z garstką wypełniaczy, podniósł modele z prawie zera do mniej więcej połowy. Gęsty, w którym co drugie słowo to wahanie, doprowadził każdy model do około czterech na pięć.
Dwie zasady sprawiają, że prompt działa na prawdziwych plikach.
Pisz prompt w języku, w którym mówi nagranie. Angielskie „um” nie uczy modelu zapisywać niemieckiego „äh” ani tureckiego „ııı”. Na tureckim klipie zadziałał prompt po turecku:
Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.
Dzięki niemu small, medium i large-v3-turbo zapisały po trzy z czterech wypełniaczy klipu; bez niego medium, large-v3-turbo i large-v3 nie zapisały żadnego. Słowa-wypełniacze w innych językach wymienia dźwięki wahania w 13 językach, z których można zbudować taki prompt.
Wysyłaj prompt z każdym oknem. Whisper przetwarza dźwięk po 30 sekund, a w większości konfiguracji początkowy prompt kształtuje tylko początek: przy kontekście poprzedniego tekstu transkrypcja go wypycha, a bez niego prompt dociera tylko do pierwszego okna. W potoku wsadowym faster-whisper jest wysyłany z każdym fragmentem:
from faster_whisper import WhisperModel, BatchedInferencePipeline
model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
"meeting.wav",
language="en",
initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
word_timestamps=True,
batch_size=8,
)
for segment in segments:
for word in segment.words:
print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")
W whisper.cpp to samo robi --carry-initial-prompt. Jedna pułapka: -mc 0, zwykła poprawka na pętle powtórzeń, nie zostawia też miejsca na przenoszony prompt. Na naszym tureckim klipie z -mc 0 nie zapisał żadnych wypełniaczy, a z małym kontekstem 64 tokenów zapisał pięć:
whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."
openai-whisper ma do tego samego celu ustawienie carry_initial_prompt. Dlaczego Whisper halucynuje opisuje, jak te ustawienia współgrają z filtrem aktywności głosowej i kontekstem poprzedniego tekstu.
Czy można ciąć wideo według znaczników czasu wypełniaczy z Whisper?
Nie, nie bezpośrednio. Przy gęstym prompcie mediana różnicy między czasem końca wypełniacza podanym przez Whisper a prawdziwym końcem dźwięku wynosiła 0,13 sekundy dla medium i do 0,43 sekundy dla large-v3. Od 26 do 42% znalezionych wypełniaczy zaczynało się ponad 0,2 sekundy od miejsca, w którym naprawdę się zaczęły.
| Model, gęsty prompt | Mediana przesunięcia początku | Mediana przesunięcia końca | Początek dalej niż 0,2 s |
|---|---|---|---|
small | 0,10 s | 0,27 s | 26% |
medium | 0,11 s | 0,13 s | 35% |
large-v3-turbo | 0,11 s | 0,36 s | 29% |
large-v3 | 0,16 s | 0,43 s | 42% |
Piąta część sekundy brzmi niewiele, ale cięcie kończące się 0,3 sekundy za późno zabiera pierwszą sylabę następnego słowa, a kończące się za wcześnie zostawia kawałek „um”. Znaczniki czasu Whisper nadają się do znalezienia wypełniacza, nie do ustawienia cięcia. Brzegi muszą pochodzić z dźwięku: z miejsca, w którym poziom przeciągniętego dźwięku zaczyna opadać, i z ciszy tuż przed jego początkiem.
Precyzja wymaga tej samej ostrożności. Od 14 do 17% wypełniaczy, które Whisper zapisał z promptem, nie pokrywało się z żadnym oznaczonym wypełniaczem w promieniu ćwierć sekundy. Część jest źle umiejscowiona, część to oddechy lub fałszywe starty zapisane jako „uh”, a kilka jest wymyślonych. Wszystko, co tnie automatycznie, powinno pozwalać najpierw przejrzeć listę.
Którego modelu Whisper użyć do słów-wypełniaczy?
Któregokolwiek, z promptem. Na angielskim medium wyłapał najwięcej, 85%, a small najmniej, 78%, a rozrzut jest na tyle mały, że o wyborze powinna decydować szybkość; porównanie modeli Whisper podaje rozmiary i prędkości. large-v3-turbo to rozsądny wybór domyślny na karcie graficznej.
Wyjątek pojawił się na tureckim klipie, gdzie large-v3 z tym samym promptem zapisał tylko jeden z czterech wypełniaczy, które mniejsze modele znalazły po trzy. To ten sam model, który w naszych wcześniejszych testach tureckiego pomijał krótkie wtrącenia, więc jeśli wypełniacze mają znaczenie w języku innym niż angielski, przetestuj large-v3 na tle turbo, zanim mu zaufasz.
Kiedy słowa-wypełniacze powinny zostać pominięte?
„Robię napisy”. Pomiń je, czyli zostaw ustawienie domyślne Whisper. Wahania kosztują czas czytania i nie niosą znaczenia; ich skracanie to standardowa praktyka, jak wyjaśnia poradnik o szybkości czytania.
„Chcę wyciąć wypełniacze z wideo”. Przywróć je promptem w osobnym przebiegu, użyj transkrypcji tylko do ich znalezienia, a brzegi cięć weź z dźwięku.
„Potrzebuję transkrypcji dosłownej”. Przywróć je promptem, a potem przejrzyj na słuch. Przy 78 do 85% prompt załatwia większość, nie całość.
„Badam mowę”. Użyj promptu i sprawdź próbkę ręcznie. Nawet z gęstym promptem w naszym teście wciąż brakowało mniej więcej jednego wypełniacza na pięć.
Jak Sablate znajduje słowa-wypełniacze
Sablate wykonuje oba przebiegi. Transkrypcja, którą edytujesz i wypalasz, to czysty domyślny wynik Whisper, bo takie powinny być napisy. Gdy w trybie Cuts szukasz dźwięków-wypełniaczy, transkrybuje mowę drugi raz z gęstym promptem wypełniaczy w języku mowy, wysyłanym z każdym oknem, w 13 językach.
Tej drugiej transkrypcji używa tylko do znalezienia wypełniaczy. Brzegi cięć biorą się z dźwięku, z miejsca, w którym opada poziom przeciągniętej samogłoski, a osobna kontrola szuka długich, równych dźwięków wahania, których Whisper nigdy nie zapisał, w dowolnym języku. Na tureckim klipie ta kontrola znalazła czwarty wypełniacz, 0,65-sekundowe wahanie, którego żaden model nie transkrybował. Wypełniacze zlane ze słowem zostają nietknięte, a te, których nie jest pewny, są wypisane jako wyłączone, dopóki ich nie posłuchasz. Usuwanie słów-wypełniaczy i ciszy z wideo pokazuje cały przebieg pracy.
Krótko
Whisper słyszy słowa-wypełniacze i celowo je pomija, bo tak robiły transkrypcje, na których się uczył. Gęsty prompt w języku mowy, wysyłany z każdym oknem, przywraca około czterech na pięć. Użyj takiej transkrypcji do znalezienia wypełniaczy, nie do ich cięcia: znaczniki czasu mylą się o piątą część sekundy na tyle często, że ucinają słowa. Do napisów zostaw czysty domyślny wynik Whisper; żeby znaleźć i wyciąć wypełniacze na własnym komputerze, pobierz Sablate.
Najczęściej zadawane pytania
Czy Whisper transkrybuje słowa-wypełniacze, takie jak um i uh?
Prawie nigdy domyślnie. Na 425 ręcznie oznaczonych wypełniaczach z angielskich nagrań spotkań Whisper zapisał bez promptu od 0 do 4%, zależnie od modelu. Z początkowym promptem pełnym wypełniaczy zapisał od 78 do 85%. Dźwięk słyszy w obu przypadkach; model po prostu woli czysty tekst transkrypcji.
Jak sprawić, żeby Whisper zachował słowa-wypełniacze?
Daj mu początkowy prompt, który sam jest pełen wypełniaczy, napisany w języku, w którym mówi nagranie, i upewnij się, że prompt trafia do każdego 30-sekundowego okna, a nie tylko do pierwszego. W faster-whisper robi to samo z siebie potok wsadowy; whisper.cpp wymaga opcji carry-initial-prompt, a openai-whisper ustawienia carry_initial_prompt.
Dlaczego Whisper usuwa słowa-wypełniacze?
Bo uczył się na transkrypcjach pisanych do czytania, które zwykle pomijają wahania. Poradnik OpenAI o promptach zauważa, że Whisper rzadziej trzyma się stylów nietypowych dla transkrypcji, a angielski normalizator tekstu Whispera, używany przy ocenie dokładności, usuwa um, uh, hmm i mm przed porównaniem, więc wyniki testów nigdy nie nagradzają ich zapisywania.
Czy znaczniki czasu Whisper dla słów-wypełniaczy są dokładne?
Nie na tyle, żeby na nich ciąć wideo. W naszym teście, przy wypełniaczach przywróconych promptem, mediana błędu czasu końca wynosiła od 0,13 do 0,43 sekundy zależnie od modelu, a od jednej czwartej do dwóch piątych wypełniaczy zaczynało się ponad 0,2 sekundy od prawdziwego dźwięku. Bez promptu większość wypełniaczy wchłaniał czas sąsiedniego słowa.
Który model Whisper najlepiej zapisuje słowa-wypełniacze?
Przy gęstym prompcie z wypełniaczami medium zapisał najwięcej, 85%, potem large-v3 z 82%, turbo z 79% i small z 78%, przy podobnej precyzji około 83 do 86%. Różnice są na tyle małe, że o wyborze powinna decydować szybkość. Na krótkim tureckim klipie large-v3 znalazł tylko jeden z czterech wypełniaczy, które small, medium i turbo znalazły po trzy.