Whisperがフィラーを書かない理由と、書かせる方法
Whisperのフィラーが消えるのは仕様です。umやuhを書く頻度をプロンプトありとなしで測定し、フィラーのタイムスタンプがどれだけずれるかも検証しました。プロンプトで書かせる方法と、カットに使えない理由も紹介します。
Whisperがフィラーを飛ばすのは、読むために書かれた文字起こしで学習していて、そこでは「um」「uh」「äh」が省かれているからです。フィラーを詰め込んだ初期プロンプトで頼むと、おおむね応じてくれます。人手で注釈を付けた425個のフィラーのうち、Whisperが書いたのはプロンプトなしで0〜4%、ありで78〜85%でした。
字幕にとっては、その既定の動作は長所です。字幕は文字起こしではなく、言いよどみを省くのは字幕制作者でも普通にやることです。問題になるのは、フィラーの位置を知る必要があるときです。動画からカットするとき、研究や法務向けに逐語の文字起こしを作るとき、話し方を調べるときです。このページでは、Whisperの各モデルがフィラーをどのくらいの頻度で書くか、書かせる方法、そしてカットにはタイムスタンプを信用してはいけない理由を示します。
Whisperはフィラーをどのくらい書くのか
英語の会議音声129分に4つのWhisperモデルをかけ、話し手のフィラーのうちどれだけが文字起こしに戻ってくるかを、3種類のプロンプトで数えました。
| モデル | プロンプトなし | フィラー少なめの短いプロンプト | フィラーを詰め込んだプロンプト | 適合率(詰め込みプロンプト) |
|---|---|---|---|---|
small | 0% | 54% | 78% | 86% |
medium | 0% | 59% | 85% | 83% |
large-v3-turbo | 2% | 48% | 79% | 86% |
large-v3 | 4% | 55% | 82% | 86% |
方法。 音声は、AMI Meeting Corpusの3つの会議(ES2002a、TS3003b、IS1009b)にあるヘッドセット4チャンネルの近接録音で、CC BY 4.0で公開され、単語は人手で時間合わせされています。各ヘッドセットの装着者が話し、他の誰の声とも重なっていないフィラー(「um」「uh」「er」「hmm」とその表記違い)425個を数えました。Whisperがフィラーのトークンをその0.25秒以内に出力していれば、フィラーが書かれたものとみなします。適合率は、Whisperが出力したフィラーのトークンのうち、実際のフィラーに当たったものの割合です。実行はすべて、faster-whisper 1.2.1のバッチ処理、ビームサイズ5、音声区間検出フィルター(VAD)オン、RTX 3060 Tiでfloat16という条件です。プロンプトは下に示します。会議のコーパス1つ、しかも英語が母語でない人同士のものが多く含まれるため、すべての録音を代表しているわけではありません。列は順位ではなく幅として読んでください。
パターンを崩しているのは、最初の列です。25個に1個を超えてフィラーを書いたモデルはなく、smallとmediumは425個中0個と2個で、実質ゼロでした。これは聞き取りの問題ではありません。同じモデルがプロンプトありでは大半を書いているからです。
Whisperがフィラーを省くのはなぜですか?
Whisperは、インターネット上にある、音声と文字起こしの組み合わせを非常に大量に使って学習しました。人が作った文字起こしの大半は、読みやすく整えられています。モデルは単語と一緒に、その書き方も学びました。OpenAI自身のWhisperプロンプトガイドは、その結果をはっきり述べています。「Whisperは、文字起こしとして一般的でない、珍しい風変わりな書き方には従いにくい」。言いよどみだらけの文字起こしは、その風変わりな書き方の1つです。
評価の側も同じ方向を向いています。OpenAIが単語誤り率を計算する前にモデルの出力と正解を比べるときに使うWhisperの英語テキスト正規化は、これらの語を完全に削除します。そのパターンは\b(hmm|mm|mhm|mmm|uh|um)\bです(whisper/normalizers/english.py)。このコードが動くのは採点時だけで、文字起こし時ではありません。それでも、Whisperの有名な精度の数字は、フィラーを書いても評価せず、書かなくても減点しないということです。よく使われるベンチマークには、モデルにフィラーを書かせる要因がありません。
代わりにモデルが何を書くのかが、興味深いところです。プロンプトなしでは、飛ばされたフィラーの43〜67%が、隣の単語の時間範囲の中にありました。言いよどみは落とされたのではなく、吸収されたのです。142秒のトルコ語の画面収録でも同じことが起こり、長い「eee」とその周りの単語が、2秒を超える1つの単語として返されました。
プロンプトでフィラーを取り戻す方法
初期プロンプトは、Whisperが音声の直前にあったかのように扱うテキストなので、同じ書き方で続きを書こうとします。フィラーを含むプロンプトは、この文字起こしはフィラーを残すものだとモデルに伝えます。OpenAIの音声テキスト変換ガイドも、プロンプトの用途の1つに「句読点、大文字小文字、フィラーワードの保持」を挙げています。
プロンプトに含まれるフィラーの量は、想像以上に重要です。表で使った2つのプロンプトは、次のとおりです。
Short prompt: Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt: Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.
フィラーが数個の短いほうは、モデルをほぼゼロから約半分まで引き上げました。1語おきにほぼ言いよどみが入る詰め込みのほうは、すべてのモデルを5分の4前後まで引き上げました。
実際のファイルでプロンプトを機能させるルールは2つです。
プロンプトは、話している言語で書く。 英語の「um」は、ドイツ語の「äh」やトルコ語の「ııı」を書くことをモデルに教えません。トルコ語のクリップでは、トルコ語のプロンプトが効きました。
Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.
これを使うと、small、medium、large-v3-turboはそれぞれクリップの4個のフィラーのうち3個を書きました。使わないと、medium、large-v3-turbo、large-v3は1個も書きませんでした。言語別のフィラーには、こうしたプロンプトを作るための13言語の言いよどみの音が載っています。
プロンプトはすべてのウィンドウで送る。 Whisperは音声を30秒ずつ処理し、多くの環境では初期プロンプトが影響するのは冒頭だけです。直前テキストの参照ありでは文字起こしがプロンプトを押し出し、なしではプロンプトが最初のウィンドウにしか届きません。faster-whisperのバッチ処理パイプラインでは、すべてのチャンクで送られます。
from faster_whisper import WhisperModel, BatchedInferencePipeline
model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
"meeting.wav",
language="en",
initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
word_timestamps=True,
batch_size=8,
)
for segment in segments:
for word in segment.words:
print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")
whisper.cppでは、--carry-initial-promptが同じ働きをします。ここには落とし穴が1つあります。繰り返しループの定番の対策である-mc 0は、引き継がれるプロンプトの余地も残さないのです。トルコ語のクリップでは、-mc 0だとフィラーが1つも書かれず、64トークンの小さなコンテキストでは5個書かれました。
whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."
openai-whisperにも、同じ目的のcarry_initial_promptの設定があります。Whisperがハルシネーションを起こす理由では、これらの設定が音声区間検出フィルターや直前テキストの参照とどう影響し合うかを取り上げています。
Whisperのフィラーのタイムスタンプで動画をカットできますか?
いいえ、そのままでは無理です。詰め込みプロンプトでは、フィラーに対するWhisperの終了時刻と実際の音の終わりとのずれの中央値は、mediumで0.13秒、large-v3では最大0.43秒でした。見つかったフィラーのうち26〜42%は、実際の開始位置から0.2秒を超えて離れた位置から始まっていました。
| モデル(詰め込みプロンプト) | 開始のずれの中央値 | 終了のずれの中央値 | 開始が0.2秒超ずれた割合 |
|---|---|---|---|
small | 0.10秒 | 0.27秒 | 26% |
medium | 0.11秒 | 0.13秒 | 35% |
large-v3-turbo | 0.11秒 | 0.36秒 | 29% |
large-v3 | 0.16秒 | 0.43秒 | 42% |
5分の1秒は小さく聞こえますが、0.3秒遅れて終わるカットは次の言葉の最初の音節を削り、早く終わるカットは「um」の切れ端を残します。Whisperのタイムスタンプはフィラーを見つけるには役立ちますが、カットの位置を決めるには向きません。切り口は音声から決める必要があります。伸ばした音の音量が下がり始める点と、その始まる直前の静けさです。
適合率も同じ注意が必要です。プロンプトありでWhisperが書いたフィラーのうち14〜17%は、注釈付きのフィラーの4分の1秒以内に重なりませんでした。位置がずれているもの、息継ぎや言い直しが「uh」として書かれたもの、そして少数ですが、でっち上げられたものがあります。自動でカットするものは、先に一覧を確認させるべきです。
フィラーにはどのWhisperモデルを使うべきですか?
どれでも構いません。プロンプトを付ければです。英語ではmediumが85%で最も多く、smallが78%で最も少なく、速度で決めてよいほど差は小さいです。サイズと速度の数字はWhisperのモデル比較にあります。グラフィックスカードがあるなら、large-v3-turboが無難な既定です。
例外はトルコ語のクリップで、同じプロンプトでlarge-v3が書いたのは4個のフィラーのうち1個だけで、小さいモデルはそれぞれ3個を見つけました。以前のトルコ語のテストで短い間投詞を飛ばしたのと同じモデルです。英語以外の言語でフィラーが重要なら、頼る前にlarge-v3をturboと比べてテストしてください。
フィラーを残さないほうがいいのはどんなときですか?
「字幕を作っている」: 残さないでください。それがWhisperの既定です。言いよどみは読む時間を食うだけで、意味を持ちません。それを縮めるのは標準的な手法で、読み取り速度のガイドでも説明しています。
「動画からフィラーをカットしたい」: 別のパスでプロンプトを使ってフィラーを書かせ、文字起こしは見つけるためだけに使い、切り口は音声から取ります。
「逐語の文字起こしが必要」: プロンプトでフィラーを書かせ、そのあと耳で確認します。78〜85%では、プロンプトで大部分までは届きますが、全部ではありません。
「話し言葉を研究している」: プロンプトを使い、サンプルを手作業で確認してください。詰め込みプロンプトでも、今回のテストではフィラーの約5個に1個が書かれませんでした。
Sablateがフィラーを見つける仕組み
Sablateは、両方のパスを実行します。編集して焼き込む文字起こしは、Whisperのきれいな既定の出力です。字幕はそうあるべきだからです。Cutsモードでフィラー音を検索すると、話している言語で書いたフィラー詰め込みのプロンプトを使い、すべてのウィンドウに送りながら、発話を13言語でもう一度文字起こしします。
その2回目の文字起こしは、フィラーを見つけるためにしか使いません。カットの境界は音そのもの、つまり伸ばした母音の音量が下がる位置から決めます。さらに別のチェックが、Whisperが書かなかった長く安定した言いよどみの音を、任意の言語で探します。トルコ語のクリップでは、そのチェックが4個目のフィラーを見つけました。どのモデルも文字起こししなかった、0.65秒の言いよどみです。言葉にそのままつながっているフィラーはそのまま残し、確信が持てないものは、聞いて確かめるまでオフにした状態で一覧に表示します。全体の流れは、動画から無音とフィラーを取り除く方法で紹介しています。
要点
Whisperはフィラーを聞き取ったうえで、学習に使った文字起こしがそうだったために、あえて省きます。話している言語で書いた詰め込みプロンプトを、すべてのウィンドウで送れば、5分の4前後が戻ってきます。その文字起こしはフィラーを見つけるために使い、カットには使わないでください。タイムスタンプは、言葉を切り落とすのに十分なほど頻繁に、5分の1秒ずれます。字幕にはWhisperのきれいな既定をそのまま使い、自分のマシンでフィラーを見つけてカットするには、Sablateをダウンロードしてください。
よくある質問
Whisperは「um」や「uh」のようなフィラーを文字起こししますか?
既定ではほとんど書きません。英語の会議録音で人手が注釈を付けた425個のフィラーのうち、プロンプトなしでWhisperが書いたのはモデルによって0〜4%でした。フィラーを詰め込んだ初期プロンプトを与えると、78〜85%が書かれました。どちらの場合も音声は聞こえていて、モデルがきれいな文字起こしを好んでいるだけです。
Whisperにフィラーを残させるにはどうすればいいですか?
話している言語で書いた、フィラーだらけの初期プロンプトを与え、そのプロンプトが最初だけでなく30秒ごとのすべてのウィンドウに届くようにします。faster-whisperのバッチ処理パイプラインでは自動的にそうなります。whisper.cppではcarry-initial-promptオプション、openai-whisperではcarry_initial_promptの設定が必要です。
Whisperがフィラーを取り除くのはなぜですか?
読むために書かれた文字起こしで学習し、その多くが言いよどみを省いているからです。OpenAIのプロンプトガイドは、Whisperは文字起こしとして珍しい書き方には従いにくいと述べています。精度の採点に使われるWhisper自身の英語テキスト正規化も、比較の前にum、uh、hmm、mmを削除するため、ベンチマークの点数はフィラーを書いても評価されません。
Whisperのフィラーのタイムスタンプは正確ですか?
動画のカットに使えるほど正確ではありません。今回のテストでは、フィラーをプロンプトで書かせた場合、終了時刻の中央値はモデルによって0.13〜0.43秒ずれ、フィラーの4分の1から5分の2は、実際の音から0.2秒を超えて離れた位置から始まっていました。プロンプトなしでは、フィラーの多くが隣の単語の時間に取り込まれました。
フィラーを書くのが最もうまいWhisperモデルはどれですか?
フィラーを詰め込んだプロンプトでは、mediumが85%で最も多く、次いでlarge-v3が82%、turboが79%、smallが78%で、適合率はいずれも83〜86%前後でした。差は小さいので、速度で選んで構いません。短いトルコ語のクリップでは、small、medium、turboが4個のうち3個を見つけたのに対し、large-v3は1個しか見つけられませんでした。