動画のノイズ除去:背景ノイズを消す4つの方法
動画の背景ノイズを除去する4つの方法を比較します。FFmpeg、Audacity、動画編集ソフト、Sablateがそれぞれ何を取り除き、声の単語をどれだけ失うかを、私たち自身の実測値とともに紹介します。強さの選び方も解説します。
動画の背景ノイズを除去するには、音声をノイズ除去にかけ、きれいになった音を手を加えていない映像のそばに戻します。FFmpegとAudacityなら無料ででき、動画編集ソフトにはワンクリックのツールがあり、Sablateは書き出しの際に処理します。ただし問題は声です。どの方法も強くかけすぎると、ノイズと一緒に小さな単語まで消えてしまいます。
ここでいう背景ノイズとは、話し声の下にある音のことです。扇風機、エアコン、カフェ、車の走行音、部屋のうなりなどが当たります。このガイドでは、ノイズを除去する4つの方法と、それぞれの得意なこと、そして各方法がどれだけノイズを取り除き、どれだけ話し声まで巻き込むかを調べた私たち自身のテストの数値を紹介します。
ノイズを消すと声が台無しになることがあるのはなぜですか?
ノイズ除去は、毎秒何千回も同じ判断をしています。この時間のこの周波数帯の音は、声なのかノイズなのか。ノイズと判断されたものは音量が下げられます。方法ごとに違うのは、その判断のしかたです。
従来の方法は、ノイズがどんな音かを学習し、それを差し引きます。Audacityは誰も話していない数秒間をノイズプロファイルとして指定させ、FFmpegのafftdnは処理しながらそれを推定します。扇風機やテープのヒスノイズのように一定のノイズなら、1分後もプロファイルが合っているので、うまくいきます。カフェのざわめきや通り過ぎる車のように変化するノイズでは、プロファイルが合わなくなるため、うまくいきません。それを補おうと強くすると、声が水中で聞こえるような音になり、ノイズがあった場所に細かく揺れる音が残ります。
新しい方法は、大量の音声とノイズで学習したニューラルネットワークです。プロファイルを差し引く代わりに、フレームごとに各周波数帯のどれだけが声なのかを予測します。動き回るノイズにははるかに強い一方で、失敗のしかたが違います。小さい、息混じり、あるいはマイクから遠い単語はノイズによく似ているため、最大の強さで動かすモデルはそれを消してしまいます。聞いた人には、音節が切れた、文の最後の単語がない、笑い声が無音になった、と感じられます。
どちらの場合も対処は同じです。各周波数帯を下げられる量に上限をつけて、いちばん小さな声が残るようにし、書き出す前に必ず話し手の声が小さい部分を聞くことです。
動画の背景ノイズを除去する4つの方法
- FFmpegのafftdnフィルター:無料で、コマンド1つ、映像は手を加えずコピーされます。一定のノイズに最適です。
- AudacityのNoise Reduction:無料で、ノイズプロファイルを自分で選べます。音声を動画から取り出し、また戻す手間がかかります。
- 動画編集ソフトのノイズ除去ツール:すでにそこで編集しているならワンクリックですが、結果は編集ソフトごとに大きく違います。
- SablateのClean up voice:お使いのパソコン上で動くニューラル方式のノイズ除去で、前後を比べるプレビューがあり、書き出す動画や音声ファイルに適用されます。
方法1:FFmpegのafftdnフィルター
FFmpegは、多くの動画アプリが内部で使っている無料のコマンドラインツールです。afftdnフィルターは古典的なFFT方式のノイズ除去で、1つのコマンドで音声をきれいにしながら映像をそのままコピーします。
ffmpeg -i input.mp4 -af "highpass=f=80,afftdn=nr=12:nf=-50:tn=1" -c:v copy -c:a aac -b:a 192k output.mp4
各部分の働きは次のとおりです。
highpass=f=80は80 Hz未満をすべて取り除きます。ゴロゴロという低音、机を叩く音、車の走行音などです。声にはそこまで低い成分がほとんどありません。afftdn=nr=12はノイズを12 dB下げ、nf=-50はノイズフロアの初期推定値をdBで指定します(どちらも既定値で、FFmpegのフィルターのドキュメントに記載があります)。tn=1は、変化するノイズにフィルターが追従できるようにします。-c:v copyは映像をビット単位でそのまま保ち、再エンコードされるのは音声だけです。
もっと減らしたいときはnrを上げ、水中で聞こえるような音になったらやりすぎのサインです。一定の扇風機やヒスノイズなら、これだけで十分なことも多くあります。
動き回るノイズにはあまり効きません。カフェ、オフィス、車の騒音で行った私たちのテストでは、afftdnは音声品質のスコアをわずかに上げたものの、全体の品質は変わらず、聞いて違いが分かるほどではありませんでした。FFmpegにはRNNoise方式のフィルターarnndnもあり、別途モデルファイルが必要です。同じテストではノイズをはるかに多く取り除きましたが、声が歪み、試したなかでWhisperの単語誤り率をもっとも大きく押し上げました。数値は下の表にあります。
方法2:AudacityのNoise Reduction
Audacityは、Windows、macOS、Linuxで使える無料のオープンソース音声編集ソフトです。Noise Reduction効果は古典的なプロファイル方式で、設定をすべて自分で調整できます。Audacityが編集するのは動画ではなく音声なので、作業は3段階になります。
まず、FFmpegで動画から音声を取り出します。
ffmpeg -i input.mp4 -vn -c:a pcm_s16le audio.wav
次に、Audacityで音声をきれいにします。
audio.wavを開き、誰も話しておらずノイズだけが聞こえる2〜3秒間を選択します。- Noise Reduction効果を開き、Get Noise Profileをクリックします。
- トラック全体を選択して、もう一度Noise Reductionを開きます。既定値はノイズ低減6 dB、感度6、周波数のスムージング6バンドです。まずその設定で、Previewをクリックします。
- ノイズが下がり、声がまだ自然に聞こえたら、OKをクリックして、結果を
cleaned.wavとして書き出します。
最後に、きれいにした音声を元の映像のそばに戻します。
ffmpeg -i input.mp4 -i cleaned.wav -map 0:v -map 1:a -c:v copy -c:a aac -b:a 192k -shortest output.mp4
プロファイルは強みであり、弱みでもあります。扇風機やエアコンの音なら、きれいに取り除けます。ただしAudacityのマニュアル自体が、この効果は車の音や観客の声のような不規則な背景ノイズには向かないと述べています。録音の途中でノイズが変わる場合は、1つのプロファイルでは前半と後半の両方に合わないので、部分ごとに分けて処理してください。
方法3:動画編集ソフトのノイズ除去ツール
動画がすでに編集ソフトで開いてあるなら、そのソフト自身のノイズ除去ツールがいちばん近道です。主な編集ソフトにはどれも備わっていますが、名前から想像する以上に違いがあります。
- iMovie(Mac、無料)には、パーセンテージを指定するReduce background noiseチェックボックスがあります。0%は音をそのままにし、100%が最大です(AppleのiMovieガイド)。
- Final Cut Pro(Mac)には、「prioritizes human voices over other parts of the audio signal」(人の声を音声信号のほかの部分より優先する)というVoice Isolationと、Background Noise Removalがあり、それぞれにAmountスライダーがあります(AppleのFinal Cut Proガイド)。
- PremiereにはEnhance Speechがあり、現在はEnhance Audioの中に入っていて、Enhancementスライダーがあります。バージョン1はお使いのパソコン上で動き、バージョン2はAdobeのクラウドで動いて1分あたり2生成クレジットを使います。ステレオのクリップはモノラルにダウンミックスされて出力されます(AdobeのEnhance Speechヘルプ)。
- DaVinci Resolveには、有料のStudio版にAIのVoice Isolationがあり、選択範囲からノイズを学習するFairlightのノイズ除去プラグインもあります(BlackmagicのDaVinci Resolve Studioのページ)。
- CapCutにはReduce noiseスイッチがあります。価格についてはCapCut自身のページの記載が食い違っており、オンラインツールのページは無料としている一方、WindowsとMac向けのCapCut ProのページはReduce noiseをProの機能に挙げています。
どのツールも、どれだけ強く働いているかを数値では教えてくれません。そのためスライダーはどれも同じ扱いにしてください。低い値から始め、話し手の声が小さい部分を再生し、ノイズが気にならなくなるまで上げて、そこで止めます。ニューラル方式のもの(Voice Isolation、Enhance Speech)は、下の表のニューラルモデルと同じ傾向を示します。声や車の音にははるかに強く、最大の強さでは小さな単語をいちばん先に飲み込んでしまいます。
方法4:SablateのClean up voice
Sablateは、すでにある動画に字幕をつけるWindows・macOS向けのデスクトップアプリで、バージョン1.3からは、書き出す音声の声をきれいにすることもできます。使っているのはDPDFNetというニューラル方式のノイズ除去で、アプリに同梱されていてお使いのパソコン上で動くため、音声はアップロードされず、ノイズ除去モデルの追加ダウンロードも不要です。
手順は次のとおりです。
- Sablateで動画を開きます。字幕のための文字起こしは、元の音声から行われます。
- エディターでVoiceモードを開き、強さを選びます。Lightは低減に18 dBの上限をつけて小さな声を残すので、最初に試すのはこちらです。Strongは音楽も含め、話し声以外のものをすべて取り除きます。
- 再生ヘッドを話し声の小さい部分に動かして聞きます。Sablateは10秒間を、録音のままの音ときれいにした音の両方で再生し、切り替えて比べられます。
- Exportメニューから書き出します。きれいにした音声は、字幕を焼き込んだ動画、Cutsモードでカットした動画、字幕を切り替えられる
.mkvに入ります。音声だけなら「Audio file (.m4a)」です。
きれいにしたトラックはファイルごとに1回だけ作られて再利用されるので、3言語で書き出しても、音声を3回処理することはありません。私たちのテスト機では、60秒のクリップで計測したところ、音声1時間あたりRyzen 5 5600Xで約10分、Apple M4で約5分かかりました。
限界もはっきりお伝えします。Sablateは字幕アプリなので、字幕が不要ならAudacityか編集ソフトのほうが手近です。ノイズは減らしますが、部屋の反響は取り除けず、ひどい録音の声を作り直すこともできません。ステレオの音声は、両方のチャンネルに同じきれいにした声が入って出力されます。無料プランにもClean up voiceは含まれます。アカウントは不要で、10分までの動画、月3ジョブ、FastとBalancedのモデル、オフライン翻訳レイヤー1つが使え、焼き込みには隅に小さなマークが入ります。
各方法はどれだけノイズを除去し、何を犠牲にするのですか?
Sablateのモデルを選ぶ際に測定しました。トルコ語の話し声をきれいに録った30秒の録音2本に、公開コーパスDEMANDの3種類のノイズ(カフェテリア、オフィス、道路の車の音)を、騒がしいが現実的な背景であるS/N比5 dBで混ぜました。これで1つの方法につき6クリップになり、値はその平均です。
| 方法 | 音声品質(PESQ) | 歪みのない信号(SI-SDR、dB) | 全体の品質(DNSMOS、1〜5) | Whisperの単語誤り率 |
|---|---|---|---|---|
| 処理なし | 1.55 | 5.1 | 1.89 | 26% |
| FFmpeg afftdn | 1.78 | 3.5 | 1.91 | 29% |
| FFmpeg arnndn (RNNoise) | 1.86 | -1.2 | 2.36 | 45% |
| DeepFilterNet 3 | 2.05 | 14.9 | 3.10 | 42% |
| DPDFNet、最大の強さ(Sablate Strong) | 2.23 | 17.3 | 3.19 | 37% |
| DPDFNet、18 dB上限(Sablate Light) | 2.17 | 16.2 | 2.74 | 23% |
PESQとSI-SDRは、きれいにしたクリップをきれいな録音と比べるもので、高いほうが良い値です。DNSMOSは、元の音声を聞かなくても聞き手がそのクリップをどう評価するかを予測するMicrosoftのモデルです。単語誤り率は、large-v3-turboで作った各クリップのWhisperの文字起こしを、きれいな録音の文字起こしと比べたものです。同じテストを0 dBと10 dBでも繰り返し、順位は変わりませんでした。
目を引く点が2つあります。1つ目は、聞こえ方の指標ではニューラルモデルがすべてで大差をつけて勝っていることです。DeepFilterNetとDPDFNetは歪みのない信号を10〜12 dB引き上げましたが、2つのFFmpegフィルターはほとんど動かすか、むしろ悪化させました。2つ目は、きれいにするほど言葉がはっきりするわけではないことです。最大の強さでの処理は、Whisperの単語誤り率を26%から37%に上げました。消えた言葉は、Whisperなら聞き取れたはずの言葉だったからです。上限をつけた版では23%に下がりました。実際の話し声をきれいに録った録音では、最大の強さだと、フレーズごと落ちて文字起こしの3分の1が変わりましたが、上限をつけた版では1つも変わりませんでした。
1つの言語の録音2本はベンチマークとは言えないので、正確な数値は目安として扱ってください。役に立つのは傾向であり、だからこそSablateは元の音声から字幕を作り、選ばない限りLightを使います。
どの方法を使えばいいですか?
扇風機やヒスノイズが入った1本のクリップで、ターミナルが苦にならない場合は、FFmpegのafftdnを使います。コマンド1つで、映像には手を加えません。
ノイズが最初から最後まで同じで、設定をすべて自分で調整したい場合は、静かな部分から作ったノイズプロファイルでAudacityを使います。
どのみち編集ソフトで動画を編集している場合は、そのソフトのツールを使います。iMovieならReduce background noise、Final Cut ProやDaVinci Resolve StudioならVoice Isolation、PremiereならEnhance Speechです。ステレオ感が大事なら、PremiereのEnhance Speechはモノラルで返ってくることを覚えておいてください。
背景に話し声、車の音、音楽が入っている場合や、動画に字幕をつける場合は、SablateのClean up voiceをLightで使い、小さな声の部分を聞いて、それでもノイズが邪魔なときだけStrongに切り替えます。
話し手の声が小さい、またはマイクから遠い場合は、どのツールを選んでも弱めの設定を使い、書き出す前に文末を確認してください。強いノイズ除去が最初に消すのが文末だからです。
次の録音からノイズを入れないためには?
ノイズ除去は、ほとんど必要のない録音でいちばんよく効きます。マイクを話し手に近づけてください。距離を半分にすると、部屋の音に対して声が約6 dB大きくなり、これは多くのノイズフィルターが副作用なしに取り除ける量を上回ります。できれば、録音中は扇風機とエアコンを切ります。冒頭で誰も話さない部屋の音を5秒録音しておくと、Audacityにきれいなノイズプロファイルを渡せますし、聞き比べるための基準にもなります。
そのうえで、2つの習慣を持ってください。文字起こしガイドで説明しているとおり、文字起こしと字幕は元の音声から作り、きれいにするのは納品する音声だけにします。そして、どこかに送る前に、必ずヘッドホンで、きれいにした結果の声が小さい部分を聞いてください。ノートパソコンのスピーカーは、視聴者に聞こえてしまうアーティファクトをちょうど隠してしまいます。
動画に、よりきれいな音声に加えて字幕も必要なら、Sablateをダウンロードして1回の書き出しで両方済ませてください。無料プランで、10分のクリップで試すには十分です。
よくある質問
動画の背景ノイズを無料で除去するにはどうすればいいですか?
FFmpegかAudacityを使います。FFmpegのafftdnフィルターは、コマンド1つで音声を整え、映像には手を加えずそのままコピーします。AudacityのNoise Reductionは、誰も話していない数秒間からノイズを学習して取り除きますが、動画から音声を取り出し、FFmpegで戻す手間がかかります。どちらも扇風機の音やヒスノイズのような一定のノイズに向いています。
ノイズ除去をすると声が悪くなりますか?
強くかけすぎると悪くなることがあります。ノイズ除去は何が声で何がノイズかを判断する必要があり、小さな声や遠い声の単語が最初に誤判定されます。私たちのテストでは、ニューラル方式を最大の強さでかけるとWhisperの単語誤り率が26%から37%に上がりましたが、同じモデルに18 dBの上限をつけると23%まで下がりました。
動画を再エンコードせずに背景ノイズを除去できますか?
できます。変えるのは音声だけなので、映像はビット単位でそのままコピーできます。FFmpegでは-c:v copyオプションがそれにあたり、Sablateも字幕を切り替えられる.mkvを書き出すときは映像をコピーします。字幕の焼き込みやカットを伴う書き出しでは映像がどのみち再エンコードされるため、音声をきれいにしても追加の負担はありません。
文字起こしの前にノイズを除去したほうがいいですか?
たいていは不要です。Whisperは中程度の背景ノイズには対応できますが、強いノイズ除去は本来聞き取れたはずの小さな音節を消してしまいます。私たちのテストでは、ノイズの入った元の音声のほうが、完全にきれいにした音声より正確に文字起こしできました。元の音声を文字起こしし、書き出す音声だけをきれいにするのがSablateのやり方です。
動画から扇風機やエアコンの音を消すにはどうすればいいですか?
扇風機やエアコンの音は一定なので、最も消しやすい種類のノイズです。誰も話していない部屋の音を数秒録音してAudacityのノイズプロファイルに使うか、SablateのClean up voiceのようなニューラル方式をLightで使います。80 Hz付近のハイパスフィルターを加えると、声の下にある低いゴロゴロ音も取り除けます。