Whisperの日本語精度と対応言語100
Whisperは100言語に対応していますが、精度は言語ごとに違います。日本語の誤り率、全言語の一覧、OpenAI自身が公表したモデル別の誤り率と、turboがlarge-v3に劣る言語まで、わかりやすく詳しく解説します。
Whisperは100言語に対応しています。OpenAI初期リリースの99言語コードに、large-v3で追加された広東語を加えたものです。ただし、リストに載っているからといって、どの言語も同じように使えるわけではありません。OpenAI自身のFLEURSベンチマークでは、large-v3の誤りはスペイン語で100語中およそ3語、ベンガル語では100語中およそ50語に上り、小さいモデルでは英語以外でその差がさらに広がります。
一覧そのものは簡単な部分です。自分の言語の字幕にWhisperで足りるかどうかを決めるのは、その言語にどれだけ学習音声があったか、どのサイズのモデルを使うか、そして高速なturboモデルの精度が落ちる少数の言語に当たるかどうかです。以下では、全言語の一覧、OpenAIが言語とモデルごとに公表した誤り率、そしてその数値を自分の動画に照らして読む方法を解説します。
Whisperの対応言語一覧
Whisperのtokenizer.pyにあるLANGUAGESテーブルの100項目を、名前順に並べ、各列を上から下へ読む形で示します。左側のコードは、コマンドラインで--languageに渡す値で、デスクトップアプリがメニューから言語を選んだときに送る値でもあります。
af Afrikaans fr French lt Lithuanian sd Sindhi
sq Albanian gl Galician lb Luxembourgish si Sinhala
am Amharic ka Georgian mk Macedonian sk Slovak
ar Arabic de German mg Malagasy sl Slovenian
hy Armenian el Greek ms Malay so Somali
as Assamese gu Gujarati ml Malayalam es Spanish
az Azerbaijani ht Haitian Creole mt Maltese su Sundanese
ba Bashkir ha Hausa mi Maori sw Swahili
eu Basque haw Hawaiian mr Marathi sv Swedish
be Belarusian he Hebrew mn Mongolian tl Tagalog
bn Bengali hi Hindi my Myanmar tg Tajik
bs Bosnian hu Hungarian ne Nepali ta Tamil
br Breton is Icelandic no Norwegian tt Tatar
bg Bulgarian id Indonesian nn Nynorsk te Telugu
yue Cantonese it Italian oc Occitan th Thai
ca Catalan ja Japanese ps Pashto bo Tibetan
zh Chinese jw Javanese fa Persian tr Turkish
hr Croatian kn Kannada pl Polish tk Turkmen
cs Czech kk Kazakh pt Portuguese uk Ukrainian
da Danish km Khmer pa Punjabi ur Urdu
nl Dutch ko Korean ro Romanian uz Uzbek
en English lo Lao ru Russian vi Vietnamese
et Estonian la Latin sa Sanskrit cy Welsh
fo Faroese lv Latvian sr Serbian yi Yiddish
fi Finnish ln Lingala sn Shona yo Yoruba
一部の名前には別名があります。zhは標準中国語を指し、トークナイザーは「mandarin」も受け付けます。同様に、caは「valencian」、nlは「flemish」、roは「moldavian」、esは「castilian」を受け付けます。jwはジャワ語を表すWhisper独自のコードで、ISO規格ではjvなので、ISOでコードを検証するツールは変換が必要です。広東語(yue)はlarge-v3と、それをもとにしたturboモデルにしかありません。古いチェックポイントにはこのトークンがありません。
Whisperの言語別精度:OpenAI公表の数値
OpenAIは、large-v3についてはWhisper READMEで、turboについてはturboの発表で、小さいモデルについてはWhisper論文の付録で、言語ごとの誤り率を公表しています。下の表は、この3つの資料からFLEURSの数値を集めたものです。FLEURSは各言語で録音された読み上げ文のセットなので、これは最良の条件での数値です。
| 言語 | large-v3 | turbo | small | tiny |
|---|---|---|---|---|
| スペイン語 | 2.8 | 3.1 | 5.6 | 15.9 |
| イタリア語 | 3.0 | 3.2 | 9.8 | 29.8 |
| 韓国語(CER。smallとtinyはWER) | 3.1 | 3.2 | 19.6 | 36.1 |
| ポルトガル語 | 4.1 | 4.2 | 7.3 | 20.1 |
| 英語 | 4.1 | 4.4 | 6.1 | 12.4 |
| ポーランド語 | 4.6 | 5.4 | 14.7 | 45.6 |
| 日本語(CER) | 4.9 | 4.7 | 12.0 | 37.0 |
| ドイツ語 | 4.9 | 5.8 | 10.2 | 27.8 |
| ロシア語 | 5.0 | 5.3 | 11.4 | 31.1 |
| オランダ語 | 5.2 | 5.9 | 16.4 | 49.0 |
| フランス語 | 5.3 | 5.8 | 15.0 | 41.4 |
| インドネシア語 | 6.1 | 6.9 | 16.3 | 51.7 |
| ウクライナ語 | 6.4 | 6.9 | 19.3 | 51.2 |
| トルコ語 | 6.7 | 6.9 | 15.9 | 42.5 |
| 標準中国語(CER) | 7.7 | 8.3 | 20.8 | 40.5 |
| タイ語(CER) | 8.4 | 13.9 | 21.9 | 58.8 |
| ベトナム語 | 8.6 | 9.6 | 21.2 | 60.0 |
| アラビア語 | 9.6 | 10.2 | 30.6 | 63.4 |
| ヒンディー語 | 17.0 | 18.5 | 38.4 | 102.3 |
| ヘブライ語 | 26.1 | 未公表 | 44.4 | 71.6 |
| スワヒリ語 | 34.1 | 未公表 | 73.7 | 100.9 |
| ベンガル語 | 50.0 | 未公表 | 104.4 | 101.6 |
数値は、単語誤り率(WER)をパーセントで表したものです。モデルが間違えた単語、抜け落とした単語、余計に加えた単語の割合を指します。日本語、標準中国語、タイ語のように単語をスペースで区切らない言語では、資料は代わりに文字単位で数えています(文字誤り率、CER)。韓国語は表の中の落とし穴です。READMEとturboのグラフはCERで示していますが、論文のsmallとtinyの数値は単語単位なので、この行はそのまま横に比べられません。挿入された単語も誤りに数えるため、WERが100を超えることもあります。
smallとtinyの列は2022年の別の実行によるもので、OpenAIはこの2つのサイズを再学習していないため、今ダウンロードできるのも同じモデルです。列どうしの差はおおよその目安として、行どうしの差は確かなものとして読んでください。
なぜ言語によって精度が大きく違うのか
この問いには、Whisper論文が直接答えています。言語全体で見ると、文字起こし済みの学習音声の量は、対数スケールで決定係数0.83という相関で誤り率を予測でき、近似線によれば、学習データが16倍になるごとに誤り率は半分になります。初期モデルの学習に使われた680,000時間のうち、英語がおよそ3分の2を占めます。残りの96言語が117,000時間を分け合っており、音声認識の学習データがある言語は、論文の数え方で75言語だけです。
学習データがすべてではありません。論文は、ヘブライ語、テルグ語、中国語、韓国語を、学習時間から予測されるより成績が悪い言語として挙げ、独特な文字体系、学習データの大半を占めるインド・ヨーロッパ語族からの距離、それらの文字に合いにくいバイトレベルのトークナイザーを理由に挙げています。データの質も影響します。著者らは、ウェールズ語の翻訳データとされていたもののほとんどが、実際にはウェールズ語として誤って分類された英語音声だったことを発見しました。
large-v3はずっと多くの音声で学習されており、弱いラベル付きの音声が100万時間、疑似ラベル付きの音声が400万時間です。OpenAIの報告では、言語全体でlarge-v2より誤りが10〜20%少なくなっています。それでも順位はほとんど変わりませんでした。2022年の表で下位にあった言語は、今も下位です。
小さいモデルは英語以外でより不利になるのか
はい、しかも大きく不利になります。英語では、large-v3からsmallに変えると誤り率は4.1%から6.1%になります。校正すれば気づく差ですが、下書きとしては使えます。フランス語では5.3から15.0に、ポーランド語では4.6から14.7に、トルコ語では6.7から15.9になります。単語のおよそ7つに1つが間違っている文字起こしは、直すというより書き直す対象です。
tinyは、ごく一部の言語を除くと別のカテゴリーです。スペイン語は15.9%に踏みとどまりますが、フランス語、ポーランド語、オランダ語、トルコ語は41〜49%に達し、ほぼすべての字幕キューに間違いがあることになります。傾向は一貫しています。表の上位から遠い言語ほど、モデルサイズを1段階下げるたびの代償が大きくなります。
モデルサイズは速度とメモリも左右するので、実際の問題は、自分の言語でどれだけ精度を手放せるかです。Whisperモデルの比較では、モデルごとのダウンロード容量、VRAM、速度を扱っています。この表の代わりにではなく、併せて読んでください。
turboとlarge-v3:turboが劣る言語
turboは、large-v3のデコーダーを32層から4層に削り、同じ量の文字起こしデータで再びファインチューニングしたものです。FLEURSでは、表のほとんどの言語でlarge-v3との差が約1ポイント以内に収まり、日本語ではわずかに上回ります。OpenAI自身の注記は、large-v2と同程度の性能だが、タイ語と広東語では低下が大きい、というものです。ボランティアが自分のマイクで録音したCommon Voiceのグラフでは、その差がもっとはっきり出ます。
| 言語(Common Voice 15) | large-v3 | turbo |
|---|---|---|
| 広東語(中国)(CER) | 10.9 | 46.1 |
| 広東語(香港)(CER) | 15.9 | 42.9 |
| タイ語(CER) | 5.8 | 20.8 |
| セルビア語 | 15.7 | 36.7 |
| ラトビア語 | 16.7 | 35.5 |
| トルコ語 | 12.0 | 17.0 |
| 日本語(CER) | 10.3 | 12.3 |
セルビア語とラトビア語は発表の本文には出てこず、グラフにだけあり、タイ語と同じくらい落ち込みます。自分の言語がこの一覧にあるなら、turboの8倍の速さは引き合いません。large-v3を使ってください。また、turboは翻訳で学習されていないため、Whisper内蔵の英語への翻訳タスクにはlarge-v3かmediumが必要です。詳しくは動画の翻訳ガイドで解説しています。
Whisperは日本語をどのくらい正確に文字起こしできるか
日本語は単語をスペースで区切らないため、OpenAIは文字単位の誤り率(CER)で測っています。FLEURSでは、large-v3が4.9%、turboが4.7%、smallが12.0%、tinyが37.0%です。ボランティアが自分のマイクで録音し、実際の動画に近いCommon Voice 15では、large-v3が10.3%、turboが12.3%に上がります。ブイログや通話録音には、こちらの方が実態に近い数値です。
FLEURSではturboがlarge-v3をわずかに上回り、これは表の中でも数少ないケースですが、Common Voiceでは2ポイント下回ります。したがって、ノイズ、訛り、早口のある音声で仕上げの字幕を作るなら、Best(large-v3)に時間をかける価値があります。smallは誤りが2倍以上に増え、tinyは下書きにも向きません。日本語専用に作られたWhisperモデルもあり、これは後の選び方の節で触れます。
言語は自動検出か、自分で指定するか
言語を指定しないと、Whisperは最初の30秒の音声を聞き、最も可能性の高い言語を選んで、ファイル全体をその言語で文字起こしします。多くのデスクトップアプリが使うエンジンのfaster-whisperも、デフォルトでは同じ動作です。検出は優秀ですが、確実ではありません。論文では、最良のモデルが、学習データのある82のFLEURS言語全体で、80.3%の確率で言語を正しく識別しました。
次の2つの状況では失敗します。音楽、拍手、ほとんど話し声のない場面で始まる動画は、検出器に判断材料をほぼ与えません。最初の30秒が残りと別の言語の動画、たとえばトルコ語のインタビューに英語のイントロが付いたものは、その後のすべてに誤った言語を設定してしまいます。言語がわかっているなら、自分で選んでください。
Whisperは、1ファイルにつき1言語を前提にしています。ファイル全体が1つの言語トークンでデコードされるため、2つ目の言語の部分は最初の言語として文字起こしされ、その部分の結果は信頼できません。複数の言語が混ざる動画で確実なのは、主な言語で文字起こしして他の部分を手作業で直すか、音声を分割する方法です。
自分の言語に合うモデルの選び方
「私の言語は表の上位にある」スペイン語、イタリア語、ポルトガル語、英語、ドイツ語、ロシア語とその近い言語では、smallでもきれいな下書きになり、仕上げの字幕にはturboを標準にするのが妥当です。
「私の言語は中ほどにある」トルコ語、ウクライナ語、ベトナム語、アラビア語、標準中国語では、smallだと書き直す前提の下書きになるので、公開するものにはturboかlarge-v3を使ってください。
「私の言語はタイ語、広東語、セルビア語、ラトビア語だ」turboではなくlarge-v3を使ってください。
「私の言語は下位にある」ヒンディー語、ヘブライ語、スワヒリ語、ベンガル語、そして公表値がまったくないリストの大半です。Whisperの出力はあくまでざっくりした最初の一歩と考え、すべてのキューを確認し、そのための時間を見込んでください。1つの言語専用に学習されたモデルがあるなら、試す価値もあります。たとえば日本語にはkotoba-whisperがあります。
「話者が言語を切り替える」主な言語を自分で選び、残りは手作業で直すつもりでいてください。
表がどうであれ、決める前に試してください。自分の動画の2分間を2つのモデルサイズで文字起こしし、1行ずつ比べます。ベンチマークは読み上げ音声ですが、実際の動画には音楽、会話の重なり、固有名詞があります。文字起こしが同じ行を繰り返したり、ないテキストを作り出したりする(ハルシネーション、whisper hallucination)場合、原因は言語ではなく、たいてい音声とデコード設定です。
SablateのWhisper対応言語
Sablateの言語メニューはWhisperのリストそのままで、同じ100のコードにAuto-detectを加え、各言語名はアプリの表示言語で表示されます。4つの品質レベルは表のモデルに対応しており、Fastはtiny、Balancedはsmall、Accurateはlarge-v3-turbo、Bestはlarge-v3なので、上の表の列は、アプリで行う選択そのものです。無料プランはアカウント不要で、10分までの動画、月3回のジョブ、FastとBalancedのモデル、1つのオフライン翻訳レイヤーが使え、焼き込みには小さなコーナーマークが付きます。AccurateとBestはProの機能です。
Sablateが文字起こしの先まで対応するのは、その後の工程です。翻訳はすべて同じ文字起こしの上のレイヤーになり、各レイヤーは独自のスタイルと、その文字体系を実際に描画できるフォントを持つので、アラビア語、ヒンディー語、日本語、韓国語の字幕が焼き込みで空の四角になることはありません。1本の動画から複数言語の字幕を作るで、ワークフロー全体を紹介しています。
制限が2つあります。Sablateが使うのはOpenAI自身のチェックポイントだけなので、1つの言語向けにファインチューニングされたコミュニティモデルは読み込めません。また、GPUによる高速化は、Apple Silicon搭載のMacと、NVIDIAのグラフィックスカードを使うWindowsで効きます。Intel MacやそのほかのWindows PCではCPUを使います。
よくある質問
Whisperは何言語に対応していますか?
100言語です。OpenAIのトークナイザーには、初期リリースの99言語コードに加え、2023年11月にlarge-v3とともに追加された広東語が載っています。対応とは、その言語のトークンがあるという意味で、うまく文字起こしできるという意味ではありません。OpenAIのFLEURSベンチマークでは、large-v3の誤りはスペイン語で約3%、ベンガル語で約50%と大きく開きます。
Whisperが最も得意な言語はどれですか?
OpenAI自身の数値では、スペイン語、イタリア語、韓国語、ポルトガル語、英語です。FLEURSベンチマークでは、large-v3の誤り率はこの5言語すべてで約4%以下で、ポーランド語、日本語、ドイツ語、ロシア語、オランダ語、フランス語がそのすぐ後に続きます。精度は言語ごとの学習音声の量に左右されるため、話者の多いヨーロッパ言語と東アジア言語が上位に並びます。
Whisperは日本語をどのくらい正確に文字起こしできますか?
読み上げ音声ならかなり正確です。OpenAIの数値では、FLEURSの文字誤り率(CER)はlarge-v3が4.9%、turboが4.7%、smallが12.0%、tinyが37.0%です。ボランティアが自分のマイクで録音したCommon Voice 15では、large-v3が10.3%、turboが12.3%に上がります。実際の動画に近いのは後者の数値です。
Whisperのturboは、すべての言語でlarge-v3と同等ですか?
いいえ。turboは同じ100の言語コードを持ち、ほとんどの言語でlarge-v3に近い精度ですが、OpenAIはタイ語と広東語で落ち幅が大きいと述べています。Common Voiceでは、広東語の文字誤りが約11%から46%に、タイ語が約6%から21%に上がります。これらの言語では、フルサイズのlarge-v3を使ってください。
言語はWhisperに自動検出させるべきですか?
言語がわからない場合だけにしてください。Whisperは最初の30秒の音声から言語を推測し、ファイル全体をその1つの言語で文字起こしします。冒頭が静かだったり音楽中心だったり、動画が別の言語で始まったりすると、文字起こし全体が誤った方向に進むことがあります。言語を自分で選べば、このリスクはなくなります。