Whisper Türkçe ve Desteklenen Diller: Hata Oranları
Whisper 100 dili destekler ama hepsini aynı kalitede yazıya dökmez. Tam dil listesi, Türkçe doğruluğu, model boyutuna göre hata oranları, turbo'nun zayıf yönü.
Whisper 100 dili destekler: OpenAI'nin ilk sürümündeki 99 kod ve large-v3 ile eklenen Kantonca. Listede olmak, bir dilin eşit derecede kullanışlı olduğu anlamına gelmez. OpenAI'nin kendi FLEURS testinde large-v3, İspanyolcada her 100 kelimeden yaklaşık 3'ünü, Bengalcede yaklaşık 50'sini yanlış yazar; daha küçük modellerde İngilizce dışındaki dillerde bu fark daha da açılır.
Liste işin kolay kısmı. Whisper'ın senin dilindeki altyazı için yeterli olup olmadığını üç şey belirler: o dil için ne kadar eğitim sesi kullanıldığı, hangi model boyutunu çalıştırdığın ve dilin, hızlı turbo modelinin zayıf kaldığı birkaç dilden biri olup olmadığı. Aşağıda tam liste, OpenAI'nin her dil ve model için yayımladığı hata oranı ve bu rakamları kendi videonla nasıl karşılaştıracağın var.
Whisper dillerinin tam listesi
Bunlar, Whisper'ın tokenizer.py dosyasındaki LANGUAGES tablosunun 100 girdisidir; isme göre sıralanmış ve her sütun yukarıdan aşağı okunur. Soldaki kod, komut satırında --language ile verdiğin ya da bir masaüstü uygulamasının dili menüden seçtiğinde gönderdiği koddur.
af Afrikaans fr French lt Lithuanian sd Sindhi
sq Albanian gl Galician lb Luxembourgish si Sinhala
am Amharic ka Georgian mk Macedonian sk Slovak
ar Arabic de German mg Malagasy sl Slovenian
hy Armenian el Greek ms Malay so Somali
as Assamese gu Gujarati ml Malayalam es Spanish
az Azerbaijani ht Haitian Creole mt Maltese su Sundanese
ba Bashkir ha Hausa mi Maori sw Swahili
eu Basque haw Hawaiian mr Marathi sv Swedish
be Belarusian he Hebrew mn Mongolian tl Tagalog
bn Bengali hi Hindi my Myanmar tg Tajik
bs Bosnian hu Hungarian ne Nepali ta Tamil
br Breton is Icelandic no Norwegian tt Tatar
bg Bulgarian id Indonesian nn Nynorsk te Telugu
yue Cantonese it Italian oc Occitan th Thai
ca Catalan ja Japanese ps Pashto bo Tibetan
zh Chinese jw Javanese fa Persian tr Turkish
hr Croatian kn Kannada pl Polish tk Turkmen
cs Czech kk Kazakh pt Portuguese uk Ukrainian
da Danish km Khmer pa Punjabi ur Urdu
nl Dutch ko Korean ro Romanian uz Uzbek
en English lo Lao ru Russian vi Vietnamese
et Estonian la Latin sa Sanskrit cy Welsh
fo Faroese lv Latvian sr Serbian yi Yiddish
fi Finnish ln Lingala sn Shona yo Yoruba
Birkaç ad takma adlar barındırır. zh Mandarini kapsar ve tokenizer “mandarin” de kabul eder; ca “valencian”, nl “flemish”, ro “moldavian” ve es “castilian” kabul eder. jw, Whisper'ın Cava dili için kullandığı kendi koddur; ISO standardı jv der, bu yüzden kodları ISO'ya göre doğrulayan bir aracın bunu eşlemesi gerekir. Kantonca (yue) yalnızca large-v3 ve ondan türetilen turbo modelinde bulunur; eski checkpoint'lerde bu belirteç yoktur.
Whisper doğruluğu dillere göre: OpenAI'nin kendi rakamları
OpenAI, dil başına hata oranlarını large-v3 için Whisper README dosyasında, turbo için turbo duyurusunda, daha küçük modeller için ise Whisper makalesinin ekinde yayımlıyor. Aşağıdaki tablo FLEURS rakamlarını bu üç kaynaktan alıyor. FLEURS, her dilde kaydedilmiş yüksek sesle okunan cümlelerden oluşur; yani bunlar en iyi durum rakamlarıdır.
| Dil | large-v3 | turbo | small | tiny |
|---|---|---|---|---|
| İspanyolca | 2,8 | 3,1 | 5,6 | 15,9 |
| İtalyanca | 3,0 | 3,2 | 9,8 | 29,8 |
| Korece (CER; small ve tiny için WER) | 3,1 | 3,2 | 19,6 | 36,1 |
| Portekizce | 4,1 | 4,2 | 7,3 | 20,1 |
| İngilizce | 4,1 | 4,4 | 6,1 | 12,4 |
| Lehçe | 4,6 | 5,4 | 14,7 | 45,6 |
| Japonca (CER) | 4,9 | 4,7 | 12,0 | 37,0 |
| Almanca | 4,9 | 5,8 | 10,2 | 27,8 |
| Rusça | 5,0 | 5,3 | 11,4 | 31,1 |
| Hollandaca | 5,2 | 5,9 | 16,4 | 49,0 |
| Fransızca | 5,3 | 5,8 | 15,0 | 41,4 |
| Endonezce | 6,1 | 6,9 | 16,3 | 51,7 |
| Ukraynaca | 6,4 | 6,9 | 19,3 | 51,2 |
| Türkçe | 6,7 | 6,9 | 15,9 | 42,5 |
| Mandarin (CER) | 7,7 | 8,3 | 20,8 | 40,5 |
| Tayca (CER) | 8,4 | 13,9 | 21,9 | 58,8 |
| Vietnamca | 8,6 | 9,6 | 21,2 | 60,0 |
| Arapça | 9,6 | 10,2 | 30,6 | 63,4 |
| Hintçe | 17,0 | 18,5 | 38,4 | 102,3 |
| İbranice | 26,1 | yayımlanmadı | 44,4 | 71,6 |
| Svahili | 34,1 | yayımlanmadı | 73,7 | 100,9 |
| Bengalce | 50,0 | yayımlanmadı | 104,4 | 101,6 |
Rakamlar yüzde olarak kelime hata oranıdır (WER, word error rate): modelin yanlış yazdığı, atladığı veya eklediği kelimelerin payı. Kelimeleri boşlukla ayırmayan Japonca, Mandarin ve Tayca için kaynaklar bunun yerine karakterleri sayar (CER, character error rate). Tablodaki tuzak Korece: README ve turbo grafiği bunu CER olarak verirken makaledeki small ve tiny rakamları kelime düzeyindedir; bu yüzden satır düz okunamaz. WER'in 100'ün üzerinde çıkması mümkündür, çünkü araya eklenen kelimeler de hata sayılır.
small ve tiny sütunları 2022'deki ayrı bir çalıştırmadan geliyor ve OpenAI bu iki boyutu hiç yeniden eğitmedi; yani bugün indirdiğin modellerle aynılar. Sütunlar arasındaki farkı yaklaşık, satırlar arasındaki farkı sağlam bir bilgi olarak oku.
Bazı diller neden bu kadar kötü
Whisper makalesi buna doğrudan cevap veriyor. Diller arasında, yazıya dökülmüş eğitim sesinin miktarı, hata oranını logaritmik ölçekte 0,83'lük bir karesel korelasyonla tahmin eder; oturtulan doğru da hata oranının eğitim verisindeki her 16 katlık artışta yarıya indiğini söyler. İngilizce, ilk modellerin eğitildiği 680.000 saatin kabaca üçte ikisini oluşturur; diğer 96 dil 117.000 saati paylaşır ve makale, konuşma tanıma eğitim verisini yalnızca 75 dil için sayar.
Eğitim verisi hikâyenin tamamı değil. Makale İbranice, Telugu, Çince ve Koreceyi, eğitim saatlerinin öngördüğünden daha kötü sonuç veren diller olarak anıyor ve nedenleri olarak kendine özgü yazı sistemlerini, verinin çoğunu oluşturan Hint-Avrupa dillerine uzaklığı ve bu yazı sistemlerine kötü uyan bayt düzeyindeki bir tokenizer'ı gösteriyor. Veri kalitesi de önemli: yazarlar, sözde Galce çeviri verisinin çoğunun aslında Galce diye yanlış etiketlenmiş İngilizce ses olduğunu buldu.
large-v3 çok daha fazla sesle eğitildi: 1 milyon saat zayıf etiketli ve 4 milyon saat sahte etiketli konuşma. OpenAI diller genelinde large-v2'ye göre %10 ila %20 daha az hata bildiriyor. Sıralama neredeyse hiç değişmedi. 2022 tablosunda en altlara yakın olan bir dil hâlâ en altlara yakın.
Küçük model, İngilizce dışında daha mı çok zarar verir?
Evet, hem de çok. İngilizcede large-v3'ten small'a geçmek hata oranını %4,1'den %6,1'e çıkarır: bir son okumada fark edilir, bir taslak için kullanılabilir. Fransızcada %5,3'ten %15,0'a, Lehçede %4,6'dan %14,7'ye, Türkçede %6,7'den %15,9'a çıkar. Yedi kelimeden yaklaşık biri yanlışsa, o transkripti düzeltmezsin, baştan yazarsın.
tiny, bir avuç dil dışında başka bir kategoridir. İspanyolca %15,9'da dayanır; Fransızca, Lehçe, Hollandaca ve Türkçe %41 ile %49 arasında kalır, yani neredeyse her altyazı cue'sunda bir hata vardır. Örüntü tutarlı: bir dil tablonun tepesinden ne kadar uzaksa, model boyutunda inilen her basamak o kadar pahalıya mal olur.
Model boyutu aynı zamanda hızı ve belleği de belirler; yani asıl soru, kendi dilinde ne kadar doğruluktan vazgeçebileceğindir. Whisper model karşılaştırması model başına indirme boyutunu, VRAM'i ve hızı anlatıyor; onu bu tablonun yerine değil, yanında oku.
Turbo mu large-v3 mü: turbo nerede zayıf kalır
turbo, kod çözücüsü 32 katmandan 4'e indirilmiş ve sonra aynı miktardaki transkripsiyon verisiyle yeniden ince ayarlanmış bir large-v3'tür. FLEURS'ta tablodaki dillerin çoğunda large-v3'ün yaklaşık bir puan içinde kalır, Japoncada ise biraz öndedir. OpenAI'nin kendi notu, large-v2'ye benzer performans gösterdiği ama Tayca ve Kantoncada daha çok gerilediği yönünde. Gönüllülerin kendi mikrofonlarıyla kaydettiği Common Voice grafiği bunun ne kadar olduğunu gösteriyor:
| Dil (Common Voice 15) | large-v3 | turbo |
|---|---|---|
| Kantonca, Çin (CER) | 10,9 | 46,1 |
| Kantonca, Hong Kong (CER) | 15,9 | 42,9 |
| Tayca (CER) | 5,8 | 20,8 |
| Sırpça | 15,7 | 36,7 |
| Letonca | 16,7 | 35,5 |
| Türkçe | 12,0 | 17,0 |
| Japonca (CER) | 10,3 | 12,3 |
Sırpça ve Letonca duyuru metninde yok, yalnızca grafiğinde var ve Tayca kadar kayıp veriyorlar. Dilin bu listedeyse turbo'nun sekiz kat hızı buna değmez: large-v3 çalıştır. Turbo ayrıca çeviri üzerinde eğitilmedi; bu yüzden Whisper'ın yerleşik İngilizceye çeviri görevi large-v3 veya medium ister, videoyu çevirme rehberinde anlatıldığı gibi.
Whisper Türkçede ne kadar iyi?
Türkçe, Whisper'ın orta sıralarda yer aldığı bir dil: FLEURS'ta large-v3 için %6,7, turbo için %6,9 hata. Aynı testte small %15,9'a, tiny %42,5'e çıkıyor. Gönüllülerin kendi mikrofonlarıyla kaydettiği Common Voice 15'te, yani gerçek bir videoya daha yakın olanda, large-v3 %12,0'a, turbo %17,0'a çıkıyor; vlog veya görüşme kaydı için daha dürüst rakam bu.
Pratik sonuç şu: Common Voice'ta turbo Türkçede beş puan kaybediyor (%12,0'dan %17,0'a), oysa Almanca, Fransızca, İspanyolca ve Rusçada bu fark bir buçuk puanın altında kalıyor. Gürültülü, aksanlı veya hızlı konuşmalı zor ses kayıtlarında Best (large-v3) beklemeye değer. Balanced (small) hata oranını iki katından fazlasına çıkarır (%6,7'den %15,9'a).
Dili otomatik algıla, yoksa kendin mi belirle?
Dil verilmediğinde Whisper konuşmanın ilk 30 saniyesini dinler, en olası dili seçer ve dosyanın tamamını o dilde yazıya döker. Çoğu masaüstü uygulamasının kullandığı motor olan faster-whisper de varsayılan olarak aynısını yapar. Algılama iyidir ama kesin değildir: makalede en iyi model, eğitim verisi olan 82 FLEURS dilinde dili %80,3 doğrulukla belirledi.
İki durum bunu bozar. Müzikle, alkışla ya da çok az konuşmayla açılan bir video, algılayıcıya neredeyse hiçbir şey vermez. İlk yarım dakikası geri kalanından farklı bir dilde olan bir video, örneğin bir Türkçe röportajın İngilizce girişi, sonrasındaki her şey için yanlış dili ayarlar. Dili biliyorsan, seç.
Whisper ayrıca dosya başına tek dil bekler. Dosyanın tamamı tek bir dil belirteciyle çözülür; bu yüzden ikinci dildeki bölümler sanki ilk dildeymiş gibi yazıya dökülür ve o bölümlerin sonucu güvenilmezdir. Karışık dilli bir videoda güvenilir yol, onu ana dilde yazıya dökmek ve diğer bölümleri elle düzeltmek ya da sesi bölmektir.
Dilin için model seçmek
“Dilim tablonun üst sıralarında.” İspanyolca, İtalyanca, Portekizce, İngilizce, Almanca, Rusça ve komşuları small ile bile temiz taslaklar verir; bitmiş altyazı için makul varsayılan turbo'dur.
“Dilim ortalarda.” Türkçe, Ukraynaca, Vietnamca, Arapça, Mandarin: small yeniden yazacağın bir taslak üretir, bu yüzden yayımlayacağın her şey için turbo veya large-v3'e geç.
“Dilim Tayca, Kantonca, Sırpça veya Letonca.” turbo değil, large-v3 kullan.
“Dilim en altlara yakın.” Hintçe, İbranice, Svahili, Bengalce ve hiç yayımlanmış rakamı olmayan listenin geri kalanı. Whisper'ın çıktısını kaba bir ilk geçiş olarak gör, her cue'yu kontrol et ve buna zaman ayır. Varsa tek bir dil için eğitilmiş bir modeli denemek de değer: örneğin Japoncanın kotoba-whisper'ı var.
“Konuşmacılar dil değiştiriyor.” Ana dili kendin seç ve gerisini elle düzeltmeyi planla.
Tablo ne derse desin, karar vermeden önce test et. Kendi videonun iki dakikasını iki model boyutuyla yazıya dök ve satır satır karşılaştır. Benchmark'lar okunmuş konuşmadır; videonda müzik, üst üste konuşma ve özel adlar var. Bir transkript satırları tekrarlıyor ya da metin uyduruyorsa, neden genellikle ses ve kod çözme ayarlarıdır, dil değil.
Sablate'te Whisper dilleri
Sablate'in dil menüsü Whisper'ın listesidir: aynı 100 kod ve Otomatik algıla; her ad uygulamanın arayüz dilinde gösterilir. Dört kademe tablodaki modellere eşlenir: Fast tiny'ye, Balanced small'a, Accurate large-v3-turbo'ya, Best large-v3'e; yani yukarıdaki sütunlar, uygulamada yaptığın seçimdir. Ücretsiz plan hesap gerektirmez; on dakikaya kadar videoları, ayda üç işi, Fast ve Balanced modellerini ve bir çevrimdışı çeviri katmanını kapsar; videoya gömme çıktısında köşede küçük bir işaret bulunur. Accurate ve Best, Pro'nun parçasıdır.
Sablate'in transkriptin ötesine geçtiği yer, sonrasında olanlardır. Her çeviri aynı transkripsiyonun üzerinde bir katmandır ve her katmanın kendi stili ve kendi yazı sistemini gerçekten çizebilen bir fontu vardır; böylece Arapça, Hintçe, Japonca veya Korece altyazılar videoya gömmede boş kutulara dönüşmez. Tek videodan birden fazla dilde altyazı tam iş akışını gösteriyor.
İki sınır, açıkça. Sablate yalnızca OpenAI'nin kendi checkpoint'lerini çalıştırır; bu yüzden tek bir dil için ince ayarlanmış bir topluluk modeli yüklenemez. Ve GPU, transkripsiyonu Apple Silicon Mac'lerde ve NVIDIA ekran kartlı Windows'ta hızlandırır; Intel Mac'ler ve diğer Windows bilgisayarlar CPU kullanır.
Sık sorulan sorular
Whisper kaç dili destekler?
Yüz dili. OpenAI'nin tokenizer'ı ilk sürümdeki 99 dil kodunu ve Kasım 2023'te large-v3 ile gelen Kantoncayı listeler. Destek, modelin dil için bir belirteci olduğu anlamına gelir; dili iyi yazıya döktüğü anlamına gelmez: OpenAI'nin FLEURS testinde large-v3 İspanyolcada yaklaşık %3 hata yaparken Bengalcede yaklaşık %50 hata yapar.
Whisper en iyi hangi dilleri yazıya döker?
OpenAI'nin kendi rakamlarına göre İspanyolca, İtalyanca, Korece, Portekizce ve İngilizce. FLEURS testinde large-v3 bu beş dilin hepsinde yaklaşık %4 veya altında hata yapar; Lehçe, Japonca, Almanca, Rusça, Hollandaca ve Fransızca hemen arkadan gelir. Doğruluk, her dil için eğitim sesinin miktarını izler; bu yüzden yaygın Avrupa ve Doğu Asya dilleri tablonun başındadır.
Whisper Türkçede ne kadar doğru?
Temiz konuşmada oldukça iyi. OpenAI, FLEURS testinde large-v3 için %6,7, turbo için %6,9, small için %15,9 ve tiny için %42,5 kelime hatası ölçtü. Gönüllülerin kendi mikrofonlarıyla kaydettiği, gerçek videoya daha yakın Common Voice 15 testinde ise large-v3 %12,0, turbo %17,0 hata yapıyor.
Whisper turbo her dilde large-v3 kadar iyi mi?
Hayır. Turbo aynı 100 dil koduna sahiptir ve çoğunda large-v3'e yakın kalır, ama OpenAI Tayca ve Kantoncada daha büyük kayıplar olduğunu belirtiyor. Common Voice'ta Kantoncada karakter hatası yaklaşık %11'den %46'ya, Taycada yaklaşık %6'dan %21'e çıkıyor. Bu diller için tam large-v3 modelini kullan.
Whisper'ın dili otomatik algılamasına izin vermeli miyim?
Yalnızca dili bilmiyorsan. Whisper dili konuşmanın ilk 30 saniyesinden tahmin eder, sonra dosyanın tamamını bu tek dilde yazıya döker. Sessiz ya da müzik ağırlıklı bir açılış, veya başka bir dilde başlayan bir video, bütün transkripti yanlış yola sokabilir. Dili kendin seçersen bu risk ortadan kalkar.