Whisper auf Deutsch: Alle Sprachen und Fehlerraten
Whisper unterstützt 100 Sprachen, aber nicht alle gleich gut. Die ganze Liste, OpenAIs Fehlerrate für Deutsch und jede Sprache und wo turbo zurückfällt.
Whisper unterstützt 100 Sprachen: die 99 Codes aus OpenAIs ursprünglicher Veröffentlichung plus Kantonesisch, das mit large-v3 dazukam. Auf der Liste zu stehen heißt nicht, dass eine Sprache gleich gut nutzbar ist. Im eigenen FLEURS-Benchmark von OpenAI liegt large-v3 bei Spanisch etwa 3 von 100 Wörtern falsch und bei Bengalisch etwa 50 von 100, und die kleineren Modelle vergrößern diesen Abstand außerhalb des Englischen noch.
Die Liste selbst ist der leichte Teil. Ob Whisper für Untertitel in deiner Sprache gut genug ist, entscheidet sich daran, wie viel Trainingsaudio diese Sprache hatte, welche Modellgröße du verwendest und ob deine Sprache zu den wenigen gehört, bei denen das schnellere turbo-Modell nachlässt. Im Folgenden: die ganze Liste, die Fehlerrate, die OpenAI für jede Sprache und jedes Modell veröffentlicht hat, und wie du diese Zahlen auf dein eigenes Video übertragen kannst.
Die vollständige Liste der Whisper-Sprachen
Das sind die 100 Einträge der Tabelle LANGUAGES in Whispers tokenizer.py, nach Namen sortiert und spaltenweise von oben nach unten gelesen. Der Code links ist das, was du auf der Kommandozeile an --language übergibst oder was eine Desktop-App sendet, wenn du die Sprache aus einem Menü wählst.
af Afrikaans fr French lt Lithuanian sd Sindhi
sq Albanian gl Galician lb Luxembourgish si Sinhala
am Amharic ka Georgian mk Macedonian sk Slovak
ar Arabic de German mg Malagasy sl Slovenian
hy Armenian el Greek ms Malay so Somali
as Assamese gu Gujarati ml Malayalam es Spanish
az Azerbaijani ht Haitian Creole mt Maltese su Sundanese
ba Bashkir ha Hausa mi Maori sw Swahili
eu Basque haw Hawaiian mr Marathi sv Swedish
be Belarusian he Hebrew mn Mongolian tl Tagalog
bn Bengali hi Hindi my Myanmar tg Tajik
bs Bosnian hu Hungarian ne Nepali ta Tamil
br Breton is Icelandic no Norwegian tt Tatar
bg Bulgarian id Indonesian nn Nynorsk te Telugu
yue Cantonese it Italian oc Occitan th Thai
ca Catalan ja Japanese ps Pashto bo Tibetan
zh Chinese jw Javanese fa Persian tr Turkish
hr Croatian kn Kannada pl Polish tk Turkmen
cs Czech kk Kazakh pt Portuguese uk Ukrainian
da Danish km Khmer pa Punjabi ur Urdu
nl Dutch ko Korean ro Romanian uz Uzbek
en English lo Lao ru Russian vi Vietnamese
et Estonian la Latin sa Sanskrit cy Welsh
fo Faroese lv Latvian sr Serbian yi Yiddish
fi Finnish ln Lingala sn Shona yo Yoruba
Einige Namen verbergen Aliase. zh deckt Mandarin ab, und der Tokenizer akzeptiert auch „mandarin“; ca akzeptiert „valencian“, nl „flemish“, ro „moldavian“ und es „castilian“. jw ist Whispers eigener Code für Javanisch, wo der ISO-Standard jv vorsieht, ein Tool, das Codes gegen ISO prüft, muss ihn also umsetzen. Kantonesisch (yue) gibt es nur in large-v3 und im daraus gebauten turbo-Modell; ältere Checkpoints haben das Token nicht.
Whisper-Genauigkeit je Sprache: OpenAIs eigene Zahlen
OpenAI veröffentlicht Fehlerraten pro Sprache für large-v3 im Whisper-README, für turbo in der Turbo-Ankündigung und für die kleineren Modelle im Anhang des Whisper-Papers. Die Tabelle unten übernimmt die FLEURS-Zahlen aus diesen drei Quellen. FLEURS ist eine Sammlung vorgelesener Sätze, die in jeder Sprache aufgenommen wurden, es sind also Bestwerte.
| Sprache | large-v3 | turbo | small | tiny |
|---|---|---|---|---|
| Spanisch | 2,8 | 3,1 | 5,6 | 15,9 |
| Italienisch | 3,0 | 3,2 | 9,8 | 29,8 |
| Koreanisch (CER; small und tiny WER) | 3,1 | 3,2 | 19,6 | 36,1 |
| Portugiesisch | 4,1 | 4,2 | 7,3 | 20,1 |
| Englisch | 4,1 | 4,4 | 6,1 | 12,4 |
| Polnisch | 4,6 | 5,4 | 14,7 | 45,6 |
| Japanisch (CER) | 4,9 | 4,7 | 12,0 | 37,0 |
| Deutsch | 4,9 | 5,8 | 10,2 | 27,8 |
| Russisch | 5,0 | 5,3 | 11,4 | 31,1 |
| Niederländisch | 5,2 | 5,9 | 16,4 | 49,0 |
| Französisch | 5,3 | 5,8 | 15,0 | 41,4 |
| Indonesisch | 6,1 | 6,9 | 16,3 | 51,7 |
| Ukrainisch | 6,4 | 6,9 | 19,3 | 51,2 |
| Türkisch | 6,7 | 6,9 | 15,9 | 42,5 |
| Mandarin (CER) | 7,7 | 8,3 | 20,8 | 40,5 |
| Thai (CER) | 8,4 | 13,9 | 21,9 | 58,8 |
| Vietnamesisch | 8,6 | 9,6 | 21,2 | 60,0 |
| Arabisch | 9,6 | 10,2 | 30,6 | 63,4 |
| Hindi | 17,0 | 18,5 | 38,4 | 102,3 |
| Hebräisch | 26,1 | nicht veröffentlicht | 44,4 | 71,6 |
| Suaheli | 34,1 | nicht veröffentlicht | 73,7 | 100,9 |
| Bengalisch | 50,0 | nicht veröffentlicht | 104,4 | 101,6 |
Die Angaben sind die Wortfehlerrate (Word Error Rate, WER) in Prozent: der Anteil der Wörter, die das Modell falsch erkannt, ausgelassen oder hinzugefügt hat. Bei Japanisch, Mandarin und Thai, die Wörter nicht durch Leerzeichen trennen, zählen die Quellen stattdessen Zeichen (Zeichenfehlerrate, Character Error Rate, CER). Koreanisch ist die Falle in der Tabelle: README und Turbo-Diagramm geben es als CER an, während die Zahlen des Papers für small und tiny auf Wortebene liegen, seine Zeile lässt sich also nicht einfach quer lesen. Eine WER über 100 ist möglich, denn eingefügte Wörter zählen ebenfalls als Fehler.
Die Spalten small und tiny stammen aus einem separaten Durchlauf von 2022, und OpenAI hat diese beiden Größen nie neu trainiert, es sind also dieselben Modelle, die du heute herunterlädst. Verstehe den Abstand zwischen den Spalten als ungefähr und den Abstand zwischen den Zeilen als belastbar.
Warum manche Sprachen so viel schlechter sind
Das Whisper-Paper beantwortet das direkt. Über alle Sprachen hinweg sagt die Menge an transkribiertem Trainingsaudio die Fehlerrate mit einem quadrierten Korrelationskoeffizienten von 0,83 auf logarithmischer Skala voraus, und die angepasste Gerade besagt, dass sich die Fehlerrate bei jeder Versechzehnfachung der Trainingsdaten halbiert. Englisch macht grob zwei Drittel der 680.000 Stunden aus, mit denen die ursprünglichen Modelle trainiert wurden; die übrigen 96 Sprachen teilen sich 117.000 Stunden, und das Paper zählt Trainingsdaten für Spracherkennung nur für 75 Sprachen.
Die Trainingsdaten sind nicht die ganze Geschichte. Das Paper nennt Hebräisch, Telugu, Chinesisch und Koreanisch als Sprachen, die schlechter abschneiden, als ihre Stunden erwarten lassen, und verweist auf eigene Schriftsysteme, den Abstand zu den indoeuropäischen Sprachen, die die Daten dominieren, und einen Byte-Level-Tokenizer, der zu diesen Schriftsystemen schlecht passt. Auch die Datenqualität spielt mit: Die Autoren stellten fest, dass der größte Teil der angeblich walisischen Übersetzungsdaten englisches Audio war, das fälschlich als Walisisch abgelegt wurde.
large-v3 wurde mit weit mehr Audio trainiert, mit 1 Million Stunden schwach beschriftetem und 4 Millionen Stunden pseudo-beschriftetem Sprachmaterial, und OpenAI gibt über alle Sprachen 10 bis 20 % weniger Fehler als bei large-v2 an. Die Rangfolge hat sich kaum verschoben. Eine Sprache am unteren Ende der Tabelle von 2022 steht noch immer am unteren Ende.
Schadet ein kleineres Modell außerhalb des Englischen mehr?
Ja, und zwar deutlich. Im Englischen steigt die Fehlerrate beim Wechsel von large-v3 zu small von 4,1 auf 6,1 %: bei einer Korrektur spürbar, für einen Entwurf brauchbar. Im Französischen geht sie von 5,3 auf 15,0, im Polnischen von 4,6 auf 14,7, im Türkischen von 6,7 auf 15,9. Etwa jedes siebte Wort falsch heißt, dass du das Transkript neu schreibst, statt es zu korrigieren.
tiny ist außerhalb weniger Sprachen eine andere Kategorie. Spanisch hält sich bei 15,9 %; Französisch, Polnisch, Niederländisch und Türkisch landen zwischen 41 und 49 %, und das bedeutet, dass fast jede Untertitelzeile einen Fehler enthält. Das Muster ist durchgehend: Je weiter eine Sprache vom oberen Tabellenende entfernt ist, desto mehr kostet jeder Schritt nach unten bei der Modellgröße.
Die Modellgröße bestimmt auch Tempo und Speicherbedarf, die praktische Frage lautet also, wie viel Genauigkeit du in deiner Sprache hergeben kannst. Der Whisper-Modellvergleich behandelt Downloadgröße, VRAM und Tempo je Modell; lies ihn zusätzlich zu dieser Tabelle, nicht statt ihrer.
Turbo oder large-v3: wo turbo nachlässt
turbo ist large-v3, dessen Decoder von 32 auf 4 Schichten gekürzt und danach mit derselben Menge an Transkriptionsdaten erneut feinjustiert wurde. Auf FLEURS bleibt es bei den meisten Sprachen der Tabelle innerhalb von etwa einem Punkt von large-v3, und bei Japanisch liegt es leicht vorn. OpenAIs eigener Hinweis lautet, dass es ähnlich wie large-v2 abschneidet, bei Thai und Kantonesisch aber stärker nachlässt. Das Common-Voice-Diagramm, aufgenommen von Freiwilligen mit ihren eigenen Mikrofonen, zeigt, wie viel stärker:
| Sprache (Common Voice 15) | large-v3 | turbo |
|---|---|---|
| Kantonesisch, China (CER) | 10,9 | 46,1 |
| Kantonesisch, Hongkong (CER) | 15,9 | 42,9 |
| Thai (CER) | 5,8 | 20,8 |
| Serbisch | 15,7 | 36,7 |
| Lettisch | 16,7 | 35,5 |
| Türkisch | 12,0 | 17,0 |
| Japanisch (CER) | 10,3 | 12,3 |
Serbisch und Lettisch stehen nicht im Text der Ankündigung, nur in ihrem Diagramm, und sie verlieren genauso viel wie Thai. Steht deine Sprache auf dieser Liste, ist das achtfache Tempo von turbo es nicht wert: Nimm large-v3. Turbo wurde außerdem nicht auf Übersetzung trainiert, Whispers eingebaute Aufgabe „ins Englische übersetzen“ braucht also large-v3 oder medium, wie die Anleitung zum Übersetzen eines Videos erklärt.
Wie gut ist Whisper auf Deutsch?
Auf FLEURS kommt large-v3 bei Deutsch auf etwa 4,9 % Wortfehler und turbo auf 5,8 %. Auf Common Voice, mit seiner Mischung aus Akzenten und Mikrofonen zu Hause, steigt large-v3 auf 5,7 % und turbo auf 6,9 %, und das ist die ehrlichere Zahl für einen Vlog oder eine Gesprächsaufnahme.
Der Abstand zwischen den Modellen ist in Deutsch klar zu beziffern. small verdoppelt die Fehler grob, von 4,9 auf 10,2 % auf FLEURS, und turbo liegt auf beiden Benchmarks etwa einen Punkt hinter large-v3. Für einen ersten Entwurf reicht also small; für fertige Untertitel lohnt sich der Schritt zu turbo oder large-v3.
Auto-detect oder die Sprache selbst festlegen?
Ist keine Sprache angegeben, hört Whisper die ersten 30 Sekunden Sprechtext, wählt die wahrscheinlichste Sprache und transkribiert die ganze Datei darin. faster-whisper, die Engine, die die meisten Desktop-Apps nutzen, macht es standardmäßig genauso. Die Erkennung ist gut, aber nicht sicher: Im Paper erkannte das beste Modell die Sprache in 80,3 % der Fälle richtig, über die 82 FLEURS-Sprachen hinweg, für die es Trainingsdaten hatte.
Zwei Situationen bringen sie aus dem Takt. Ein Video, das mit Musik, Applaus oder sehr wenig Sprache beginnt, gibt dem Detektor fast nichts, womit er arbeiten kann. Ein Video, dessen erste halbe Minute in einer anderen Sprache ist als der Rest, etwa ein englisches Intro vor einem türkischen Interview, legt die falsche Sprache für alles Folgende fest. Wenn du die Sprache kennst, wähle sie aus.
Whisper erwartet außerdem eine Sprache pro Datei. Die ganze Datei wird unter einem einzigen Sprach-Token dekodiert, Passagen in einer zweiten Sprache werden also so transkribiert, als wären sie in der ersten, und das Ergebnis für diese Passagen ist unzuverlässig. Bei einem Video mit gemischten Sprachen ist der verlässliche Weg, es in der Hauptsprache zu transkribieren und die anderen Passagen von Hand zu korrigieren oder das Audio aufzuteilen.
Das passende Modell für deine Sprache
„Meine Sprache steht weit oben in der Tabelle.“ Spanisch, Italienisch, Portugiesisch, Englisch, Deutsch, Russisch und ihre Nachbarn liefern schon mit small saubere Entwürfe, und für fertige Untertitel ist turbo die vernünftige Standardwahl.
„Meine Sprache liegt im Mittelfeld.“ Türkisch, Ukrainisch, Vietnamesisch, Arabisch, Mandarin: small liefert einen Entwurf, den du neu schreibst, geh also für alles, was du veröffentlichst, auf turbo oder large-v3.
„Meine Sprache ist Thai, Kantonesisch, Serbisch oder Lettisch.“ Nimm large-v3, nicht turbo.
„Meine Sprache steht weit unten.“ Hindi, Hebräisch, Suaheli, Bengalisch und der größte Teil der Liste, für den gar keine Zahl veröffentlicht ist. Betrachte Whispers Ausgabe als grobe erste Fassung, prüfe jede Untertitelzeile und plane Zeit dafür ein. Auch ein Modell, das für eine einzelne Sprache trainiert wurde, ist einen Test wert, wo es eines gibt: Für Japanisch zum Beispiel gibt es kotoba-whisper.
„Die Sprechenden wechseln die Sprache.“ Wähle die Hauptsprache selbst und rechne damit, den Rest von Hand zu korrigieren.
Was die Tabelle auch sagt: Teste, bevor du dich festlegst. Transkribiere zwei Minuten deines eigenen Videos mit zwei Modellgrößen und vergleiche sie Zeile für Zeile. Benchmarks sind vorgelesene Sprache; dein Video hat Musik, durcheinanderredende Stimmen und Namen. Wenn ein Transkript Zeilen wiederholt oder Text erfindet, liegt die Ursache meist beim Audio und bei den Dekodiereinstellungen, nicht an der Sprache.
Whisper-Sprachen in Sablate
Das Sprachmenü von Sablate ist Whispers Liste: dieselben 100 Codes plus Auto-detect, jeder Name in der Sprache der App-Oberfläche angezeigt. Die vier Stufen entsprechen den Modellen in der Tabelle, Fast tiny, Balanced small, Accurate large-v3-turbo und Best large-v3, die Spalten oben sind also die Wahl, die du in der App triffst. Der kostenlose Plan braucht kein Konto und deckt Videos bis zu zehn Minuten, drei Aufträge im Monat, die Modelle Fast und Balanced und eine offline Übersetzungsebene ab; sein eingebranntes Video trägt eine kleine Markierung in der Ecke. Accurate und Best gehören zu Pro.
Über das Transkript hinaus geht Sablate dort, wo es danach weitergeht. Jede Übersetzung ist eine Ebene auf derselben Transkription, und jede Ebene hat ihren eigenen Stil und eine Schriftart, die ihr Schriftsystem tatsächlich darstellen kann, sodass Untertitel in Arabisch, Hindi, Japanisch oder Koreanisch beim Einbrennen nicht zu leeren Kästchen werden. Untertitel in mehreren Sprachen aus einem Video zeigt den kompletten Ablauf.
Zwei Grenzen, ganz offen. Sablate führt nur OpenAIs eigene Checkpoints aus, ein für eine Sprache feinjustiertes Community-Modell lässt sich also nicht laden. Und die GPU beschleunigt die Transkription auf Apple-Silicon-Macs und unter Windows mit einer NVIDIA-Grafikkarte; Intel-Macs und andere Windows-PCs nutzen die CPU.
Häufig gestellte Fragen
Wie viele Sprachen unterstützt Whisper?
Hundert. Der Tokenizer von OpenAI listet 99 Sprachcodes aus der ursprünglichen Veröffentlichung, dazu Kantonesisch, das im November 2023 mit large-v3 kam. Unterstützt heißt nur, dass das Modell ein Token für die Sprache hat, nicht dass es sie gut transkribiert: Im FLEURS-Benchmark von OpenAI reicht large-v3 von etwa 3 % Fehlern in Spanisch bis etwa 50 % in Bengalisch.
Welche Sprachen transkribiert Whisper am besten?
Nach OpenAIs eigenen Zahlen Spanisch, Italienisch, Koreanisch, Portugiesisch und Englisch. Im FLEURS-Benchmark bleibt large-v3 in allen fünf bei etwa 4 % Fehlern oder darunter, dicht dahinter folgen Polnisch, Japanisch, Deutsch, Russisch, Niederländisch und Französisch. Die Genauigkeit folgt der Menge an Trainingsaudio je Sprache, deshalb führen weit verbreitete europäische und ostasiatische Sprachen die Tabelle an.
Wie genau ist Whisper auf Deutsch?
Sehr genau bei klarer Sprache. OpenAI hat auf FLEURS etwa 4,9 % Wortfehler für large-v3 und 5,8 % für turbo gemessen, auf den abwechslungsreicheren Common-Voice-Aufnahmen 5,7 % und 6,9 %. Das kleinere small kommt auf FLEURS auf 10,2 %, also etwa doppelt so viele Fehler. Für fertige Untertitel sind turbo und large-v3 daher die bessere Wahl.
Ist Whisper turbo in jeder Sprache so gut wie large-v3?
Nein. Turbo hat dieselben 100 Sprachcodes und bleibt in den meisten Sprachen dicht an large-v3, doch OpenAI vermerkt größere Einbußen bei Thai und Kantonesisch. Auf Common Voice steigt die Zeichenfehlerrate bei Kantonesisch von etwa 11 auf 46 % und bei Thai von etwa 6 auf 21 %. Für diese Sprachen nimm das volle large-v3.
Soll ich Whisper die Sprache automatisch erkennen lassen?
Nur wenn du sie nicht kennst. Whisper schätzt die Sprache anhand der ersten 30 Sekunden Sprechtext und transkribiert dann die ganze Datei in dieser einen Sprache. Ein leiser oder musiklastiger Anfang oder ein Video, das in einer anderen Sprache beginnt, kann das gesamte Transkript in die falsche Richtung schicken. Wählst du die Sprache selbst, entfällt dieses Risiko.