영상 잡음 제거: 배경 소음을 없애는 4가지 방법
영상 잡음 제거를 FFmpeg, Audacity, 영상 편집기, Sablate로 하는 방법이에요. 목소리는 그대로 두면서 소음을 줄이려면 각 방법이 무엇을 지우고 무엇을 잃는지 알아야 해요.
영상 잡음 제거는 영상의 소리를 노이즈 제거 도구에 통과시킨 다음, 정리한 소리를 손대지 않은 화면 옆에 다시 넣는 일이에요. FFmpeg와 Audacity는 무료로 해 주고, 영상 편집기에는 클릭 한 번짜리 도구가 있고, Sablate는 내보내는 동안 처리해요. 문제는 목소리예요. 어떤 도구든 너무 세게 쓰면 작은 말소리가 소음과 함께 사라져요.
여기서 배경 소음은 말소리 아래에 깔린 소리예요. 선풍기, 에어컨, 카페, 도로, 방의 웅웅거림 같은 것이죠. 이 글은 소음을 없애는 네 가지 방법과 각각의 장점, 그리고 각 방법이 소음을 얼마나 지우고 말소리를 얼마나 함께 잃는지를 저희가 직접 테스트한 수치로 다뤄요.
노이즈를 지우면 왜 목소리가 망가질 때가 있을까요?
모든 노이즈 제거 도구는 1초에 수천 번 같은 판단을 내려요. 이 순간, 이 주파수 대역의 소리는 목소리일까 소음일까? 소음이라고 판단한 것은 작게 줄어요. 방법마다 다른 점은 그 판단을 하는 방식이에요.
고전적인 방법은 소음이 어떤 소리인지 학습해서 빼는 거예요. Audacity는 아무도 말하지 않는 몇 초 구간, 즉 노이즈 프로파일을 요구하고, FFmpeg의 afftdn은 처리하면서 프로파일을 추정해요. 선풍기나 테이프의 쉬익 하는 소리처럼 소음이 일정하면 잘 통해요. 1분 뒤에도 프로파일이 그대로 맞으니까요. 카페의 웅성거림이나 지나가는 자동차처럼 변하는 소음에는 잘 안 통해요. 프로파일이 더는 맞지 않거든요. 이를 보상하려고 강도를 올리면 목소리가 물속에서 들리는 것처럼 변하고, 소음이 있던 자리에 희미하게 떨리는 소리가 남아요.
더 새로운 방법은 수백 시간의 말소리와 소음으로 학습한 신경망이에요. 프로파일을 빼는 대신, 프레임마다 각 대역에서 목소리가 얼마나 되는지를 예측해요. 움직이는 소음은 훨씬 잘 처리해요. 대신 실패하는 방식이 달라요. 작거나 숨소리 섞인 말, 마이크에서 먼 말은 소음과 꽤 비슷하게 보이고, 최대 강도로 돌아가는 모델은 그걸 지워 버려요. 듣는 사람은 음절이 잘렸다고, 문장의 마지막 단어가 사라졌다고, 웃음소리가 무음이 되었다고 느껴요.
두 경우 모두 해결책은 같아요. 어느 대역이든 줄일 수 있는 폭에 상한을 둬서 가장 작은 말소리는 살아남게 하고, 내보내기 전에 항상 화자가 조용히 말하는 부분을 들어 보세요.
영상의 배경 소음을 제거하는 4가지 방법
- FFmpeg의 afftdn 필터: 무료, 명령어 한 줄, 화면은 그대로 복사. 일정한 소음에 가장 좋아요.
- Audacity의 Noise Reduction: 무료이고, 노이즈 프로파일을 직접 고를 수 있어요. 오디오를 영상에서 꺼냈다가 다시 넣어야 해요.
- 영상 편집기의 노이즈 도구: 이미 그 편집기에서 작업 중이라면 클릭 한 번이지만, 편집기마다 결과가 크게 달라요.
- Sablate의 Clean up voice: 내 컴퓨터에서 돌아가는 신경망 노이즈 제거 도구로, 비교 미리듣기를 제공하고 내보내는 영상이나 오디오 파일에 적용돼요.
방법 1: FFmpeg의 afftdn 필터
FFmpeg는 많은 영상 앱이 내부에서 쓰는 무료 명령줄 도구예요. afftdn 필터는 고전적인 FFT 노이즈 제거 도구이고, 명령어 한 줄로 화면은 그대로 복사하면서 영상의 소리를 정리해요.
ffmpeg -i input.mp4 -af "highpass=f=80,afftdn=nr=12:nf=-50:tn=1" -c:v copy -c:a aac -b:a 192k output.mp4
각 부분이 하는 일이에요.
highpass=f=80은 80 Hz 아래를 모두 없애요. 웅웅거림, 책상 쿵 소리, 도로의 낮은 울림 같은 것들이에요. 목소리에는 그렇게 낮은 소리가 거의 없어요.afftdn=nr=12는 소음을 12 dB 줄이고,nf=-50은 노이즈 플로어의 시작 추정값(dB)이에요. 둘 다 기본값이에요(FFmpeg 필터 문서 기준).tn=1은 필터가 변하는 소음을 따라가게 해요.-c:v copy는 화면을 비트 단위로 그대로 유지해요. 다시 인코딩되는 건 소리뿐이에요.
더 많이 줄이려면 nr을 올리고, 물속에서 들리는 듯한 소리가 나면 너무 나간 거예요. 일정한 선풍기 소리나 쉬익 하는 잡음이라면 이것만으로 충분한 경우가 많아요.
움직이는 소음에는 효과가 작아요. 카페, 사무실, 도로 소음으로 한 저희 테스트에서 afftdn은 음성 품질 점수를 조금 올렸고 전체 품질은 그대로였어요. 차이를 듣기 어렵다는 뜻이에요. FFmpeg에는 RNNoise 필터인 arnndn도 있는데, 별도의 모델 파일이 필요해요. 같은 테스트에서 소음은 훨씬 많이 지웠지만 목소리가 일그러졌고, 저희가 써 본 것 중 Whisper의 단어 오류율을 가장 많이 올렸어요. 수치는 아래 표에 있어요.
방법 2: Audacity의 Noise Reduction
Audacity는 Windows, macOS, Linux에서 쓸 수 있는 무료 오픈소스 오디오 편집기예요. Noise Reduction 효과는 고전적인 프로파일 방식이고, 모든 설정을 직접 조절할 수 있어요. Audacity는 영상이 아니라 오디오를 편집하므로 작업이 세 단계가 돼요.
FFmpeg로 영상에서 오디오를 꺼내세요.
ffmpeg -i input.mp4 -vn -c:a pcm_s16le audio.wav
Audacity에서 정리하세요.
audio.wav를 열고, 아무도 말하지 않아 소음만 들리는 2~3초 구간을 선택하세요.- Noise Reduction 효과를 열고 Get Noise Profile을 클릭하세요.
- 트랙 전체를 선택하고 Noise Reduction을 다시 여세요. 기본값은 감소량 6 dB, 감도 6, 주파수 스무딩 6밴드예요. 여기서 시작해 Preview를 클릭하세요.
- 소음이 줄었는데도 목소리가 자연스럽게 들리면 OK를 클릭하고 결과를
cleaned.wav로 내보내세요.
정리한 소리를 원래 화면 옆에 다시 넣으세요.
ffmpeg -i input.mp4 -i cleaned.wav -map 0:v -map 1:a -c:v copy -c:a aac -b:a 192k -shortest output.mp4
프로파일은 강점이면서 약점이에요. 선풍기나 에어컨 소리는 깔끔하게 지워 줘요. 그런데 Audacity 매뉴얼도 이 효과가 도로 소음이나 관객 소리처럼 불규칙한 배경 소음에는 맞지 않는다고 밝혀요. 녹음 중에 소음이 바뀐다면 프로파일 하나로는 앞뒤 절반을 모두 맞출 수 없으니, 구간을 나눠서 따로 정리하세요.
방법 3: 영상 편집기의 노이즈 도구
영상이 이미 편집기에 열려 있다면, 편집기 자체의 노이즈 도구가 가장 빠른 길이에요. 주요 편집기에는 모두 하나씩 있고, 이름에서 짐작하는 것보다 차이가 커요.
- iMovie(Mac, 무료)에는 퍼센트 값이 있는 Reduce background noise 체크박스가 있어요. 0%는 소리를 그대로 두고 100%가 최대예요(Apple의 iMovie 안내).
- Final Cut Pro(Mac)에는 “prioritizes human voices over other parts of the audio signal”(오디오 신호의 다른 부분보다 사람의 목소리를 우선한다)이라는 Voice Isolation과 Background Noise Removal이 있고, 각각 Amount 슬라이더가 있어요(Apple의 Final Cut Pro 안내).
- Premiere에는 이제 Enhance Audio 안에 들어간 Enhance Speech가 있고, Enhancement 슬라이더가 있어요. 버전 1은 내 컴퓨터에서 돌아가고, 버전 2는 Adobe 클라우드에서 돌아가며 분당 생성형 크레딧 2개를 써요. 스테레오 클립은 모노로 다운믹스되어 나와요(Adobe의 Enhance Speech 도움말).
- DaVinci Resolve에는 유료 Studio 버전에 AI Voice Isolation이 있고, 선택한 구간에서 소음을 학습하는 Fairlight 노이즈 감소 플러그인이 있어요(Blackmagic의 DaVinci Resolve Studio 페이지).
- CapCut에는 Reduce noise 스위치가 있어요. 가격은 CapCut의 페이지끼리도 말이 달라요. 온라인 도구 페이지는 무료라고 하는데, Windows와 Mac용 CapCut Pro 페이지는 Reduce noise를 Pro 기능으로 나열해요.
이 중 어느 것도 얼마나 세게 작동하는지를 수치로 알려 주지 않아요. 그러니 어디서든 슬라이더는 똑같이 다루세요. 낮게 시작해서 화자가 조용한 부분을 들어 보고, 소음이 거슬리지 않을 때까지만 올리고, 거기서 멈추세요. 신경망 방식(Voice Isolation, Enhance Speech)은 아래 표의 신경망 모델처럼 움직여요. 목소리와 도로 소음에는 훨씬 좋지만, 최대 강도에서는 작은 말소리부터 삼켜요.
방법 4: Sablate의 Clean up voice
Sablate는 이미 가지고 있는 영상에 자막을 만들어 주는 Windows와 macOS용 데스크톱 앱이고, 버전 1.3부터는 내보내는 결과물의 목소리도 정리할 수 있어요. 앱 안에 들어 있는 신경망 노이즈 제거 도구 DPDFNet을 쓰고, 이 도구는 내 컴퓨터에서 돌아가요. 소리를 업로드하지 않고, 노이즈 모델을 따로 내려받을 필요도 없어요.
순서는 이래요.
- Sablate에서 영상을 여세요. 자막을 위한 음성 전사는 원본 소리로 이루어져요.
- 편집기에서 Voice 모드를 열고 강도를 고르세요. Light는 감소량을 18 dB로 제한해 작은 말소리를 지켜 줘요. 먼저 써 볼 설정이에요. Strong은 음악을 포함해 말소리가 아닌 모든 것을 없애요.
- 재생 헤드를 말소리가 조용한 부분으로 옮겨 들어 보세요. Sablate가 10초를 녹음된 그대로와 정리한 상태로 재생하고, 둘 사이를 오갈 수 있어요.
- Export 메뉴에서 내보내세요. 정리한 소리는 자막을 구워 넣은 영상, Cuts 모드로 자른 영상, 자막을 켜고 끌 수 있는
.mkv, 또는 소리만 담은 Audio file (.m4a) 파일에 들어가요.
정리된 트랙은 파일당 한 번만 만들어서 재사용하므로, 세 가지 언어를 내보내도 소리를 세 번 정리하지 않아요. 저희 테스트 컴퓨터에서는 60초 클립으로 측정했을 때 오디오 1시간당 Ryzen 5 5600X에서 약 10분, Apple M4에서 약 5분이 걸렸어요.
한계도 솔직히 말씀드릴게요. Sablate는 자막 앱이라서, 자막이 필요 없다면 Audacity나 편집기가 더 가까이 있어요. 소음을 줄일 뿐이고, 방의 울림을 없애거나 잘못 녹음된 목소리를 되살려 주지는 않아요. 스테레오 소리는 양쪽 채널에 똑같이 정리된 목소리가 나와요. 무료 요금제에도 Clean up voice가 들어 있어요. 계정이 필요 없고, 10분까지의 영상, 한 달 3개 작업, Fast와 Balanced 모델, 오프라인 번역 레이어 1개를 쓸 수 있으며, 구워 넣은 영상에는 모서리에 작은 표시가 들어가요.
각 방법은 소음을 얼마나 지우고, 무엇을 잃을까요?
Sablate에 쓸 모델을 고르면서 측정했어요. 튀르키예어 말소리를 깨끗하게 녹음한 30초짜리 두 개에, 공개 DEMAND 코퍼스의 소음 세 가지(카페테리아, 사무실, 도로)를 신호 대 잡음비 5 dB로 섞었어요. 시끄럽지만 현실적인 배경이에요. 방법마다 클립 여섯 개가 나오고, 값은 평균이에요.
| 방법 | 음성 품질 (PESQ) | 왜곡 없는 신호 (SI-SDR, dB) | 전체 품질 (DNSMOS, 1-5) | Whisper 단어 오류율 |
|---|---|---|---|---|
| 처리 없음 | 1.55 | 5.1 | 1.89 | 26% |
| FFmpeg afftdn | 1.78 | 3.5 | 1.91 | 29% |
| FFmpeg arnndn (RNNoise) | 1.86 | -1.2 | 2.36 | 45% |
| DeepFilterNet 3 | 2.05 | 14.9 | 3.10 | 42% |
| DPDFNet, 최대 강도 (Sablate Strong) | 2.23 | 17.3 | 3.19 | 37% |
| DPDFNet, 18 dB 상한 (Sablate Light) | 2.17 | 16.2 | 2.74 | 23% |
PESQ와 SI-SDR은 정리한 클립을 깨끗한 녹음과 비교하는 값이고, 높을수록 좋아요. DNSMOS는 원본을 듣지 않고도 청취자가 그 클립에 어떤 점수를 줄지 예측하는 Microsoft의 모델이에요. 단어 오류율은 클립마다 large-v3-turbo로 만든 Whisper 전사문을, 깨끗한 녹음의 전사문과 비교한 값이에요. 0 dB과 10 dB에서도 테스트를 반복했고 순위는 그대로였어요.
눈에 띄는 점이 두 가지 있어요. 첫째, 신경망 모델은 모든 청취 지표에서 큰 차이로 이겨요. DeepFilterNet과 DPDFNet은 왜곡 없는 신호를 10~12 dB 올리는 반면, FFmpeg 필터 두 개는 거의 움직이지 못하거나 오히려 나빠져요. 둘째, 더 많이 지운다고 말이 더 또렷해지는 건 아니에요. 최대 강도로 정리하자 Whisper의 단어 오류율이 26%에서 37%로 올랐어요. 지워진 말이 Whisper가 원래 알아들었을 말이었기 때문이에요. 상한을 둔 쪽은 23%로 내렸어요. 실제 말소리를 깨끗하게 녹음한 파일에서는 최대 강도가 구절째 지워서 전사문의 3분의 1을 바꿔 놓았고, 상한을 둔 쪽은 하나도 바꾸지 않았어요.
한 언어로 된 녹음 두 개는 벤치마크가 아니에요. 정확한 수치는 참고만 하세요. 쓸모 있는 것은 방향이고, 그래서 Sablate는 원본 소리로 자막을 만들고, 따로 고르지 않으면 Light를 써요.
어떤 방법을 써야 할까요?
“선풍기나 쉬익 하는 잡음이 일정한 클립 하나고, 터미널은 괜찮아요.” FFmpeg의 afftdn을 쓰세요. 명령어 한 줄이고 화면은 그대로예요.
“소음이 처음부터 끝까지 똑같고, 모든 설정을 직접 조절하고 싶어요.” 조용한 구간에서 딴 노이즈 프로파일로 Audacity를 쓰세요.
“어차피 편집기에서 영상을 편집하고 있어요.” 편집기 자체의 도구를 쓰세요. iMovie에서는 Reduce background noise, Final Cut Pro나 DaVinci Resolve Studio에서는 Voice Isolation, Premiere에서는 Enhance Speech예요. 스테레오 이미지가 중요하다면 Premiere의 Enhance Speech가 모노로 돌려준다는 점을 기억하세요.
“배경에 말소리, 도로 소음, 음악이 있거나, 영상에 자막을 만드는 중이에요.” Sablate의 Clean up voice를 Light로 쓰고, 조용한 부분을 들어 보고, 소음이 아직 거슬릴 때만 Strong으로 바꾸세요.
“화자의 목소리가 작거나 마이크에서 멀어요.” 어떤 도구를 고르든 약한 설정을 쓰고, 내보내기 전에 문장 끝을 확인하세요. 강한 노이즈 제거 도구가 가장 먼저 지우는 부분이에요.
다음 녹음에서 소음을 막는 방법
노이즈 제거는 처음부터 소음이 적었던 녹음에서 가장 잘 돼요. 마이크를 화자에게 더 가까이 두세요. 거리를 절반으로 줄이면 방 소리에 비해 목소리가 약 6 dB 커지는데, 이는 부작용 없이 지워 주는 노이즈 필터가 많지 않은 수준이에요. 가능하면 녹음 중에 선풍기와 에어컨을 끄세요. 시작할 때 아무도 말하지 않는 방 소리를 5초 녹음해 두세요. Audacity에 깨끗한 노이즈 프로파일을 주고, 들어서 비교할 기준도 생겨요.
그리고 두 가지 습관을 들이세요. 전사 가이드에서 설명하듯 전사와 자막은 원본 소리로 만들고, 정리는 전달하는 소리에만 하세요. 또 정리한 결과의 조용한 구간은 어디로 보내기 전에 항상 헤드폰으로 들어 보세요. 노트북 스피커는 보는 사람들이 듣게 될 바로 그 결함을 가려 버려요.
영상에 깨끗한 소리와 함께 자막도 필요하다면 Sablate를 다운로드해서 한 번의 내보내기로 둘 다 하세요. 10분짜리 클립으로 써 보기에는 무료 요금제로 충분해요.
자주 묻는 질문
영상의 배경 소음을 무료로 제거하려면 어떻게 하나요?
FFmpeg나 Audacity를 쓰세요. FFmpeg의 afftdn 필터는 명령어 한 줄로 영상의 소리를 정리하고 화면은 건드리지 않고 그대로 복사해요. Audacity의 Noise Reduction은 아무도 말하지 않는 몇 초 구간에서 소음을 학습해 지워 주지만, 영상에서 오디오를 따로 꺼냈다가 FFmpeg로 다시 합쳐야 해요. 둘 다 선풍기 소리나 쉬익 하는 잡음처럼 일정한 소음에 가장 잘 맞아요.
노이즈 제거를 하면 목소리가 더 나빠지나요?
너무 세게 쓰면 그럴 수 있어요. 노이즈 제거 도구는 무엇이 목소리고 무엇이 소음인지 판단해야 하는데, 작거나 멀리서 들리는 말이 가장 먼저 잘못 판단돼요. 저희 테스트에서 신경망 정리를 최대 강도로 적용하자 Whisper의 단어 오류율이 26%에서 37%로 올랐고, 같은 모델에 18 dB 상한을 두자 23%로 내려갔어요.
영상을 다시 인코딩하지 않고 배경 소음을 제거할 수 있나요?
네. 바뀌어야 하는 것은 소리뿐이라서 화면은 비트 단위로 그대로 복사할 수 있어요. FFmpeg에서는 -c:v copy 옵션이 그 역할을 하고, Sablate도 자막을 켜고 끌 수 있는 .mkv를 만들 때는 화면을 그대로 복사해요. 자막을 구워 넣거나 컷을 적용하는 내보내기는 어차피 화면을 다시 인코딩하므로, 소리를 정리하는 데 추가 비용이 들지 않아요.
영상을 전사하기 전에 먼저 소음을 제거해야 하나요?
보통은 그럴 필요가 없어요. Whisper는 적당한 배경 소음은 잘 견디는 반면, 지나치게 강한 정리는 Whisper가 원래 알아들었을 작은 음절까지 지워 버려요. 저희 테스트에서는 소음이 섞인 원본 소리가 완전히 정리한 소리보다 더 잘 전사됐어요. 원본을 전사하고, 내보내는 소리만 정리하세요. Sablate가 바로 그렇게 해요.
영상에서 선풍기나 에어컨 소리를 제거하려면 어떻게 하나요?
선풍기와 에어컨 소리는 일정해서 가장 지우기 쉬운 소음이에요. 아무도 말하지 않는 방 소리를 몇 초 녹음해 Audacity에서 노이즈 프로파일로 쓰거나, Sablate의 Clean up voice 같은 신경망 도구를 Light로 돌리세요. 80 Hz 부근의 하이패스 필터를 함께 쓰면 목소리 아래에 깔리는 낮은 웅웅 소리도 사라져요.