Bloga dön

Whisper Dolgu Seslerini Neden Yazmaz, Nasıl Geri Gelir

Whisper dolgu sesleri yazmaz, bu bilerek böyle. Whisper'ın um ve uh'ı istemle ve istemsiz ne sıklıkla yazdığını, zaman damgalarının ne kadar kaydığını ölçtük.

17 Kasım 2026
Sablate Team

Whisper dolgu seslerini atlar, çünkü okumak için yazılmış transkriptlerden öğrenmiştir ve bunlar "um", "uh" ve "äh"yi dışarıda bırakır. Dolgularla dolu bir başlangıç istemiyle (initial prompt) onları isteyince çoğunlukla uyar: elle işaretlenmiş 425 dolguda Whisper istemsiz %0 ile %4'ünü, istemle %78 ile %85'ini yazdı.

Altyazı için bu varsayılan bir özellik. Altyazılar transkript değildir ve duraksamaları dışarıda bırakmak zaten bir altyazıcının yapacağı şeydir. Dolguların nerede olduğunu bilmen gerektiği anda sorun olur: onları videodan kesmek, araştırma ya da hukuk işi için kelimesi kelimesine bir transkript üretmek ya da birinin nasıl konuştuğunu incelemek için. Bu sayfa her Whisper modelinin dolguları ne sıklıkla yazdığını, onları nasıl geri getireceğini ve zaman damgalarına neden kesim için güvenilmemesi gerektiğini gösteriyor.

Whisper dolgu seslerini ne sıklıkla yazıyor

Dört Whisper modelini 129 dakikalık İngilizce toplantı konuşması üzerinde çalıştırdık ve üç farklı istemle, konuşmacıların dolgularının kaçının transkripte geri döndüğünü saydık.

ModelİstemsizBirkaç dolgulu kısa istemYoğun dolgu istemiKesinlik, yoğun istem
small%0%54%78%86
medium%0%59%85%83
large-v3-turbo%2%48%79%86
large-v3%4%55%82%86

Yöntem. Ses, AMI Meeting Corpus'un (ES2002a, TS3003b ve IS1009b) üç toplantısından dört yakın mikrofonlu kulaklık kanalı; CC BY 4.0 ile yayımlanan korpusun kelimeleri elle hizalanmış. Her kulaklığı takan kişinin söylediği ve başka kimsenin üst üste konuşmadığı 425 dolguyu ("um", "uh", "er", "hmm" ve yazılış biçimleri) saydık. Whisper dolgudan 0,25 saniye içinde bir dolgu belirteci ürettiyse dolgu yazılmış sayıldı; kesinlik (precision), Whisper'ın dolgu belirteçlerinin gerçek bir dolguya denk gelenlerinin payı. Tüm çalıştırmalarda faster-whisper 1.2.1, toplu işlem, beam size 5 ve ses etkinliği filtresi (VAD) açık, RTX 3060 Ti'de float16 kullanıldı. İstemler aşağıda. Çoğu İngilizceyi ana dili olarak konuşmayanlar arasında geçen tek bir toplantı korpusu her kayıt demek değildir; bu yüzden sütunları sıralama olarak değil, aralık olarak oku.

Deseni bozan satır ilk sütun. Hiçbir model 25 dolgudan birinden fazlasını yazmadı; small ve medium neredeyse hiç yazmadı: 425'te 0 ve 2. Bu bir duyma sorunu değil, çünkü aynı modeller istemle çoğunu yazdı.

Whisper dolgu seslerini neden dışarıda bırakıyor?

Whisper, internette bulunan transkriptlerle eşleştirilmiş çok büyük miktarda ses üzerinde eğitildi ve insan yapımı transkriptlerin çoğu okumak için temizlenmiş. Model kelimelerle birlikte üslubu da öğrendi. OpenAI'ın kendi Whisper istem rehberi sonucu açıkça söylüyor: “Whisper, bir transkript için alışılmadık, nadir ya da tuhaf stilleri izlemeye daha az yatkındır.” Duraksamalarla dolu bir transkript bu stillerden biri.

Değerlendirme tarafı da aynı yönü gösteriyor. OpenAI'ın bir modelin çıktısını kelime hata oranını hesaplamadan önce referansla karşılaştırmak için kullandığı Whisper'ın İngilizce metin normalleştiricisi bu kelimeleri doğrudan siliyor: deseni \b(hmm|mm|mhm|mmm|uh|um)\b (whisper/normalizers/english.py). Bu kod yalnızca puanlama sırasında çalışır, yazıya dökerken değil; ama Whisper'ın ünlü doğruluk rakamlarının dolguları ne ödüllendirdiği ne de cezalandırdığı anlamına gelir. Olağan kıyaslarda bir modeli onları yazmaya iten hiçbir şey yok.

Modelin onun yerine ne yazdığı ilginç kısım. İstemsiz, atladığı dolguların %43 ile %67'si komşu bir kelimenin zaman aralığının içinde duruyordu: duraksama atılmadı, yutuldu. 142 saniyelik bir Türkçe ekran kaydında aynı şeyi gördük; uzun bir “eee” ve çevresindeki kelime, iki saniyeden uzun tek bir kelime olarak döndü.

İstemle dolgu sesleri nasıl geri getirilir

Başlangıç istemi (initial prompt), Whisper'ın sesten hemen önce gelmiş gibi ele aldığı metindir; bu yüzden aynı üslupla devam eder. Dolgu içeren bir istem modele bu transkriptin onları tuttuğunu söyler. OpenAI'ın konuşmadan metne rehberi, bir istemin işe yaradığı şeyler arasında “Noktalama, büyük harf ve dolgu kelimelerini korumayı” sayıyor.

İstemin kaç dolgu içerdiği beklediğinden daha çok önem taşıyor. Tablodaki iki istem şunlar:

Short prompt:  Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt:  Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.

Bir avuç dolgulu kısa istem modelleri neredeyse hiçten yarıya yakına çıkardı. Hemen her ikinci kelimesi bir duraksamayla dolu yoğun istem her modeli beşte dörde yakına getirdi.

Gerçek dosyalarda istemin işe yaraması için iki kural var.

İstemi konuşulan dilde yaz. İngilizce bir “um”, modele Almanca “äh” ya da Türkçe “ııı” yazmayı öğretmez. Türkçe klipte Türkçe bir istem işi gördü:

Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.

Onunla small, medium ve large-v3-turbo klibin dört dolgusundan üçer tanesini yazdı; onsuz medium, large-v3-turbo ve large-v3 hiçbirini yazmadı. Diğer dillerde dolgu sesleri, böyle bir istemi kurmak için 13 dilin duraksama seslerini sıralıyor.

İstemi her pencereyle birlikte gönder. Whisper sesi 30 saniyelik parçalar halinde işler ve çoğu kurulumda başlangıç istemi yalnızca açılışı şekillendirir: önceki metni bağlam olarak kullanmayla birlikte transkript onu dışarı iter, onsuz ise istem yalnızca ilk pencereye ulaşır. faster-whisper'ın toplu işlem hattında her parçayla birlikte gönderilir:

from faster_whisper import WhisperModel, BatchedInferencePipeline

model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
    "meeting.wav",
    language="en",
    initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
    word_timestamps=True,
    batch_size=8,
)
for segment in segments:
    for word in segment.words:
        print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")

whisper.cpp'de --carry-initial-prompt aynısını yapar. Orada bir tuzak var: tekrar döngülerinin olağan çaresi -mc 0, taşınan istem için de yer bırakmaz. Türkçe klibimizde -mc 0 ile hiç dolgu yazmadı, 64 belirteçlik küçük bir bağlamla beş tane yazdı:

whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."

openai-whisper'da aynı amaç için bir carry_initial_prompt ayarı var. Whisper neden halüsinasyon görür, bu ayarların ses etkinliği filtresi ve önceki metni bağlam olarak kullanmayla nasıl etkileştiğini anlatıyor.

Whisper'ın dolgu zaman damgalarıyla video kesilebilir mi?

Hayır, doğrudan olmaz. Yoğun istemle, Whisper'ın bir dolgu için verdiği bitiş zamanı ile sesin gerçek bitişi arasındaki ortanca fark medium için 0,13 saniye, large-v3 için 0,43 saniyeye kadar çıktı. Bulduğu dolguların %26 ile %42'si, gerçekte başladıkları yerden 0,2 saniyeden fazla uzakta başladı.

Model, yoğun istemOrtanca başlangıç kaymasıOrtanca bitiş kaymasıBaşlangıcı 0,2 sn'den fazla kayık
small0,10 sn0,27 sn%26
medium0,11 sn0,13 sn%35
large-v3-turbo0,11 sn0,36 sn%29
large-v30,16 sn0,43 sn%42

Saniyenin beşte biri küçük görünür, ama 0,3 saniye geç biten bir kesim sonraki kelimenin ilk hecesini alır, erken biten ise “ııı”dan bir kırıntı bırakır. Whisper'ın zaman damgaları bir dolguyu bulmak için iyi, kesimi yerleştirmek için değil. Kenarlar sesten gelmeli: tutulan sesin seviyesinin düşmeye başladığı nokta ve başlamadan hemen önceki sessizlik.

Kesinlik de aynı dikkati hak ediyor. Whisper'ın istemle yazdığı dolguların %14 ile %17'si, elle işaretlenmiş bir dolguyla çeyrek saniye içinde örtüşmedi. Bazıları yanlış yerde, bazıları “uh” diye yazılmış nefesler ya da yanlış başlangıçlar, birkaçı da uydurma. Otomatik kesen her şey önce listeyi gözden geçirmene izin vermeli.

Dolgu sesleri için hangi Whisper modelini kullanmalısın?

İstemle hangisi olursa. İngilizcede medium %85 ile en çoğunu, small %78 ile en azını yakaladı; hızın belirleyici olması gerekecek kadar küçük bir fark; boyut ve hız rakamları için Whisper model karşılaştırmasına bak. Ekran kartında large-v3-turbo mantıklı varsayılan.

İstisna Türkçe klipten geldi: aynı istemle large-v3, küçük modellerin her birinin üçer tane bulduğu dört dolgudan yalnızca birini yazdı. Daha önceki Türkçe testimizde kısa ünlemleri atlayan model de aynısı; yani İngilizce dışındaki bir dilde dolgular önemliyse large-v3'e güvenmeden önce onu turbo ile karşılaştırarak dene.

Dolgu sesleri ne zaman dışarıda kalmalı?

“Altyazı yapıyorum.” Dışarıda bırak; Whisper'ın varsayılanı bu. Duraksamalar okuma süresine mal olur ve anlam taşımaz; onları sıkıştırmak standart uygulamadır, okuma hızı rehberinin anlattığı gibi.

“Dolguları videodan kesmek istiyorum.” Onları ayrı bir geçişte istemle geri getir, transkripti yalnızca bulmak için kullan ve kesim kenarlarını sesten al.

“Kelimesi kelimesine bir transkriptim gerekiyor.” İstemle geri getir, sonra kulakla gözden geçir. %78 ile %85'te istem yolun çoğunu alır, hepsini değil.

“Konuşmayı inceliyorum.” Bir istem kullan ve bir örneği elle kontrol et. Yoğun istemle bile testimizde her beş dolgudan biri hâlâ eksikti.

Sablate dolgu seslerini nasıl buluyor

Sablate iki geçişi de çalıştırıyor. Düzenlediğin ve videoya gömdüğün transkript Whisper'ın temiz varsayılanı, çünkü altyazı böyle olmalı. Kesim modunda dolgu sesi ararken konuşmayı ikinci kez, konuşulan dilde yoğun bir dolgu istemiyle, her pencereyle birlikte gönderilen şekilde ve 13 dilde yazıya döker.

Bu ikinci transkripti yalnızca dolguları bulmak için kullanıyor. Kesim kenarları sesten, tutulan ünlünün seviyesinin düştüğü yerden geliyor ve ayrı bir kontrol, Whisper'ın hiç yazmadığı uzun, sabit duraksama sesleri her dilde arıyor. Türkçe klipte bu kontrol dördüncü dolguyu, hiçbir modelin yazıya dökmediği 0,65 saniyelik bir duraksamayı buldu. Kelimeye bitişik dolgulara dokunulmuyor ve emin olmadıkları sen dinleyene kadar kapalı olarak listeleniyor. Videodaki sessizlikleri ve dolgu seslerini silme rehberi tüm iş akışını gösteriyor.

Kısaca

Whisper dolgu seslerini duyar ve bilerek dışarıda bırakır, çünkü eğitim transkriptleri öyleydi. Konuşulan dilde, her pencereyle gönderilen yoğun bir istem, beşte dördünü geri getirir. Bu transkripti dolguları bulmak için kullan, kesmek için değil: zaman damgaları kelimeleri kırpacak kadar sık saniyenin beşte biri kayıyor. Altyazı için Whisper'ın temiz varsayılanını koru; dolguları kendi makinende bulup kesmek için Sablate'i indir.

Sık sorulan sorular

Whisper um ve uh gibi dolgu seslerini yazıya döker mi?

Varsayılan olarak neredeyse hiç. İngilizce toplantı kayıtlarında elle işaretlenmiş 425 dolgu sesinde Whisper, modele göre, istemsiz bunların %0 ile %4'ünü yazdı. Dolgularla dolu bir başlangıç istemiyle %78 ile %85'ini yazdı. Ses her iki durumda da duyuluyor; model yalnızca temiz transkript metnini tercih ediyor.

Whisper'a dolgu seslerini nasıl tutturabilirim?

Konuşulan dilde yazılmış, kendisi dolgularla dolu bir başlangıç istemi ver ve istemin yalnızca ilk pencereye değil, her 30 saniyelik pencereye ulaştığından emin ol. faster-whisper'ın toplu işlem hattı bunu kendiliğinden yapar; whisper.cpp'de carry-initial-prompt seçeneği, openai-whisper'da carry_initial_prompt ayarı gerekir. İngilizce bir istem, Almanca äh ya da Türkçe ııı yazmayı öğretmez.

Whisper dolgu seslerini neden çıkarıyor?

Çünkü okumak için yazılmış, duraksamaları çoğunlukla dışarıda bırakan transkriptlerden öğrendi. OpenAI'ın istem rehberi Whisper'ın transkript için alışılmadık stilleri izlemeye daha az yatkın olduğunu söylüyor; doğruluğu puanlarken kullanılan İngilizce metin normalleştiricisi de karşılaştırmadan önce um, uh, hmm ve mm'yi siliyor, yani kıyas puanları onları yazmayı hiç ödüllendirmiyor.

Whisper'ın dolgu sesleri için zaman damgaları doğru mu?

Üzerine video kesecek kadar doğru değil. Testimizde, dolgular istemle geri getirildiğinde ortanca bitiş zamanı modele göre 0,13 ile 0,43 saniye kaydı ve dolguların dörtte biri ile beşte ikisi arasında bir kısmı gerçek sesten 0,2 saniyeden fazla uzakta başladı. İstemsiz ise dolguların çoğu komşu bir kelimenin zamanına karıştı.

Dolgu seslerini yazmada en iyi Whisper modeli hangisi?

Yoğun dolgu istemiyle medium en çok yazan oldu, %85; ardından %82 ile large-v3, %79 ile turbo ve %78 ile small geldi; hepsinde kesinlik %83 ile %86 civarında. Farklar küçük olduğundan hız belirleyici olmalı. Kısa bir Türkçe klipte large-v3, small, medium ve turbo'nun üçer tane bulduğu dört dolgudan yalnızca birini buldu.