Whisper 필러가 빠지는 이유와 되살리는 법
Whisper가 음, 어 같은 필러 단어를 빼는 건 설계 때문이에요. 프롬프트가 있을 때와 없을 때 모델별로 필러를 얼마나 쓰는지, 그 타임스탬프가 얼마나 어긋나는지 직접 측정한 결과예요.
Whisper가 필러 단어를 빼는 건 읽기 위해 쓴 전사문으로 학습했기 때문이고, 그런 전사문은 "음", "어", "um", "uh", "äh"를 빼 버려요. 필러가 가득한 초기 프롬프트로 요청하면 대체로 따라 줘요. 사람이 직접 표시한 필러 425개 기준으로, Whisper는 프롬프트 없이 04%를, 프롬프트와 함께 7885%를 썼어요.
자막에는 이 기본값이 오히려 장점이에요. 자막은 전사문이 아니고, 머뭇거림을 빼는 건 자막 작업자라면 어차피 하는 일이에요. 필러가 어디에 있는지 알아야 하는 순간에 문제가 돼요. 영상에서 필러를 잘라 내거나, 연구나 법률용으로 한 마디도 빼지 않은 전사문을 만들거나, 누군가의 말투를 연구할 때요. 이 글에서는 Whisper 모델별로 필러를 얼마나 쓰는지, 어떻게 되살리는지, 그리고 필러의 타임스탬프를 컷에 믿고 쓰면 안 되는 이유를 보여 줘요.
Whisper는 필러 단어를 얼마나 쓰나요?
Whisper 모델 네 개로 영어 회의 음성 129분을 돌리고, 화자들의 필러 단어 중 몇 개가 전사문에 돌아오는지 세 가지 프롬프트 조건에서 셌어요.
| 모델 | 프롬프트 없음 | 필러 몇 개가 든 짧은 프롬프트 | 필러가 촘촘한 프롬프트 | 정밀도, 촘촘한 프롬프트 |
|---|---|---|---|---|
small | 0% | 54% | 78% | 86% |
medium | 0% | 59% | 85% | 83% |
large-v3-turbo | 2% | 48% | 79% | 86% |
large-v3 | 4% | 55% | 82% | 86% |
방법. 오디오는 AMI Meeting Corpus의 회의 세 개(ES2002a, TS3003b, IS1009b)에서 가져온 헤드셋 채널 네 개예요. CC BY 4.0으로 공개됐고 단어는 사람이 직접 정렬했어요. 각 헤드셋 착용자가 말했고 다른 사람과 겹치지 않은 필러("um", "uh", "er", "hmm"과 그 표기 변형) 425개를 셌어요. Whisper가 필러 토큰을 그 소리에서 0.25초 이내에 만들었으면 쓴 것으로 쳤고, 정밀도는 Whisper의 필러 토큰 중 실제 필러에 닿은 비율이에요. 모든 실행은 faster-whisper 1.2.1, 배치 모드, 빔 크기 5, 음성 구간 검출 필터 켬, RTX 3060 Ti의 float16 조건이에요. 프롬프트는 아래에 있어요. 회의 말뭉치 하나, 그것도 영어가 모국어가 아닌 화자 사이의 회의가 많은 말뭉치가 모든 녹음을 대표하지는 않으니, 이 열들은 순위가 아니라 범위로 읽으세요.
패턴이 무너지는 건 첫 번째 열이에요. 어느 모델도 필러 25개 중 1개보다 많이 쓰지 못했고, small과 medium은 사실상 한 개도 쓰지 않았어요. 425개 중 0개와 2개예요. 같은 모델이 프롬프트와 함께일 때는 대부분을 썼으니, 못 들어서 생기는 문제가 아니에요.
Whisper는 왜 필러 단어를 빼나요?
Whisper는 인터넷에서 찾은 전사문이 짝지어진 아주 많은 양의 오디오로 학습했고, 사람이 만든 전사문 대부분은 읽기 좋게 다듬어져 있어요. 모델은 단어와 함께 그 문체도 배웠어요. OpenAI의 Whisper 프롬프트 가이드도 그 결과를 분명히 적어요. "Whisper는 전사문으로는 흔하지 않은 드물거나 특이한 문체를 따를 가능성이 낮다." 머뭇거림이 가득한 전사문은 그런 문체 중 하나예요.
평가 쪽도 같은 방향을 가리켜요. 단어 오류율을 계산하기 전에 모델 출력과 기준 문장을 비교하려고 OpenAI가 쓰는 Whisper의 영어 텍스트 정규화기는 이런 단어를 아예 지워요. 패턴은 \b(hmm|mm|mhm|mmm|uh|um)\b예요(whisper/normalizers/english.py). 이 코드는 전사할 때가 아니라 채점할 때만 실행되지만, Whisper가 유명한 정확도 수치가 필러를 쓴다고 보상하지도 쓰지 않는다고 벌하지도 않는다는 뜻이에요. 일반적인 벤치마크 어디에도 모델이 필러를 쓰도록 미는 요인이 없어요.
대신 모델이 무엇을 쓰는지가 흥미로워요. 프롬프트가 없을 때 빠뜨린 필러의 43~67%는 이웃 단어의 시간 범위 안에 있었어요. 머뭇거림이 버려진 게 아니라 흡수된 거예요. 142초짜리 터키어 화면 녹화에서도 같은 현상이 보였어요. 긴 "eee"와 그 주변 단어가 2초 넘는 한 단어로 반환됐어요.
프롬프트로 필러 단어를 되살리는 방법
초기 프롬프트(initial prompt)는 Whisper가 오디오 바로 앞에 있던 텍스트처럼 취급하는 글이라서, 같은 문체로 이어서 써요. 필러가 들어 있는 프롬프트는 이 전사문은 필러를 남긴다고 모델에게 알려 줘요. OpenAI의 음성-텍스트 변환 가이드도 프롬프트의 용도로 "문장 부호, 대소문자, 필러 단어 보존"을 꼽아요.
프롬프트에 필러가 몇 개 들었느냐가 생각보다 중요해요. 표에 쓴 두 프롬프트는 이래요.
Short prompt: Umm, let me think like, hmm... Okay, here's what I'm, like, thinking. Uh, so, um.
Dense prompt: Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.
필러가 몇 개 든 짧은 프롬프트는 모델들을 거의 0에서 절반 정도로 끌어올렸어요. 거의 단어 하나걸러 머뭇거림이 있는 촘촘한 프롬프트는 모든 모델을 5분의 4 안팎까지 올렸고요.
실제 파일에서 프롬프트가 통하게 하는 규칙은 두 가지예요.
프롬프트는 말하는 언어로 쓰세요. 영어 "um"은 모델에게 독일어 "äh"나 터키어 "ııı"를 쓰라고 가르치지 못해요. 터키어 클립에서는 터키어 프롬프트가 효과가 있었어요.
Eee, şey, ııı... Yani, hmm, ne diyordum. Eee, tamam, ııı.
이 프롬프트를 쓰면 small, medium, large-v3-turbo가 각각 클립의 필러 4개 중 3개를 썼고, 쓰지 않으면 medium, large-v3-turbo, large-v3는 하나도 쓰지 않았어요. 언어별 필러 단어에는 이런 프롬프트를 만들 때 쓸 13개 언어의 머뭇거림 소리가 정리돼 있어요.
프롬프트를 구간마다 보내세요. Whisper는 오디오를 30초씩 처리하는데, 대부분의 설정에서 초기 프롬프트는 시작 부분에만 영향을 줘요. 이전 텍스트 문맥(conditioning on previous text)을 쓰면 전사문이 프롬프트를 밀어내고, 쓰지 않으면 프롬프트가 첫 구간에만 닿아요. faster-whisper의 배치 파이프라인은 청크마다 프롬프트를 보내요.
from faster_whisper import WhisperModel, BatchedInferencePipeline
model = WhisperModel("large-v3-turbo", device="cuda", compute_type="float16")
pipeline = BatchedInferencePipeline(model=model)
segments, info = pipeline.transcribe(
"meeting.wav",
language="en",
initial_prompt="Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah. Uh, hmm, er, um.",
word_timestamps=True,
batch_size=8,
)
for segment in segments:
for word in segment.words:
print(f"{word.start:6.2f} {word.end:6.2f} {word.word}")
whisper.cpp에서는 --carry-initial-prompt가 같은 일을 해요. 여기에는 함정이 하나 있어요. 반복 루프의 일반적인 해결책인 -mc 0은 이어서 보낼 프롬프트가 들어갈 자리도 없애요. 우리 터키어 클립에서 -mc 0을 쓰면 필러를 하나도 쓰지 않았고, 64토큰의 작은 문맥을 주면 5개를 썼어요.
whisper-cli -m ggml-large-v3-turbo.bin -f meeting.wav -l en -mc 64 --carry-initial-prompt --prompt "Um, uh... so, um, I, uh, I think, uh, we, um, should, uh, yeah."
openai-whisper에는 같은 목적의 carry_initial_prompt 설정이 있어요. 이 설정들이 음성 구간 검출 필터(VAD), 이전 텍스트 문맥과 어떻게 맞물리는지는 Whisper 환각(hallucination)에서 다뤄요.
Whisper가 준 필러 타임스탬프로 영상을 자를 수 있나요?
아니요, 그대로는 안 돼요. 촘촘한 프롬프트에서 Whisper가 준 필러 끝 시간과 소리의 실제 끝 사이 간격의 중앙값은 medium에서 0.13초, large-v3에서는 최대 0.43초였어요. 찾아낸 필러의 26~42%는 시작이 실제 시작 지점에서 0.2초보다 더 벗어나 있었어요.
| 모델, 촘촘한 프롬프트 | 시작 오차 중앙값 | 끝 오차 중앙값 | 시작이 0.2초 넘게 어긋남 |
|---|---|---|---|
small | 0.10초 | 0.27초 | 26% |
medium | 0.11초 | 0.13초 | 35% |
large-v3-turbo | 0.11초 | 0.36초 | 29% |
large-v3 | 0.16초 | 0.43초 | 42% |
5분의 1초는 작게 들리지만, 0.3초 늦게 끝나는 컷은 다음 단어의 첫 음절을 가져가고, 일찍 끝나는 컷은 "음"의 토막을 남겨요. Whisper의 타임스탬프는 필러를 찾는 데는 쓸 만해도 컷 위치를 잡는 데는 아니에요. 컷의 경계는 오디오에서 가져와야 해요. 길게 끄는 소리의 크기가 떨어지기 시작하는 지점과, 그 소리가 시작되기 직전의 고요함이에요.
정밀도도 같은 주의가 필요해요. 프롬프트와 함께 Whisper가 쓴 필러의 14~17%는 4분의 1초 이내에서 사람이 표시한 필러와 맞지 않았어요. 일부는 위치가 틀렸고, 일부는 숨소리나 말 시작 실수가 "uh"로 적힌 것이며, 몇 개는 지어낸 거예요. 자동으로 자르는 도구라면 목록을 먼저 확인할 수 있게 해야 해요.
필러 단어에는 어떤 Whisper 모델을 써야 하나요?
프롬프트만 준다면 어느 것이든 돼요. 영어에서는 medium이 85%로 가장 많이, small이 78%로 가장 적게 잡았는데, 속도로 고르면 될 만큼 작은 차이예요. 크기와 속도 수치는 Whisper 모델 비교에 있어요. 그래픽 카드가 있다면 large-v3-turbo가 무난한 기본값이에요.
예외는 터키어 클립에서 나왔어요. 같은 프롬프트로 large-v3는 필러 4개 중 1개만 썼고, 더 작은 모델들은 각각 3개를 찾았어요. 이전 터키어 테스트에서 짧은 감탄사를 빠뜨린 모델도 같은 large-v3예요. 그러니 영어가 아닌 언어에서 필러가 중요하다면, 믿기 전에 large-v3를 turbo와 비교해 보세요.
필러 단어를 빼야 하는 때는 언제인가요?
"자막을 만들고 있어요." 그대로 빼 두세요. Whisper의 기본값이에요. 머뭇거림은 읽는 시간만 늘리고 의미는 없어서, 줄이는 게 표준 관행이에요. 읽기 속도 가이드에서 설명해요.
"영상에서 필러를 잘라 내고 싶어요." 별도 단계로 필러를 프롬프트로 되살리고, 전사문은 필러를 찾는 데만 쓰고, 컷 경계는 오디오에서 가져오세요.
"한 마디도 빼지 않은 전사문이 필요해요." 프롬프트로 되살린 다음 귀로 확인하세요. 78~85%면 대부분은 되지만 전부는 아니에요.
"말을 연구하고 있어요." 프롬프트를 쓰고 표본을 직접 확인하세요. 촘촘한 프롬프트로도 우리 테스트에서 필러 다섯 개 중 하나쯤은 여전히 빠져 있었어요.
Sablate는 필러 단어를 어떻게 찾나요
Sablate는 두 단계를 모두 실행해요. 편집하고 구워 넣는 전사문은 Whisper의 깔끔한 기본값이에요. 자막이 그래야 하니까요. Cuts 모드에서 필러 소리를 검색하면, 말하는 언어로 쓴 촘촘한 필러 프롬프트를 모든 구간에 함께 보내 13개 언어에서 말소리를 한 번 더 전사해요.
이 두 번째 전사문은 필러를 찾는 데만 써요. 컷의 경계는 소리에서, 길게 끈 모음의 크기가 떨어지는 지점에서 가져오고, 별도 검사가 Whisper가 쓰지 않은 길고 고른 머뭇거림 소리를 어떤 언어에서든 찾아요. 터키어 클립에서는 이 검사가 네 번째 필러를 찾았어요. 어떤 모델도 전사하지 못한 0.65초짜리 머뭇거림이었어요. 단어에 바로 이어지는 필러는 그대로 두고, 확신이 없는 건 직접 들어 보고 켜기 전까지 꺼진 채로 목록에 올라와요. 전체 워크플로는 영상에서 필러와 무음 구간 삭제하기에서 볼 수 있어요.
한 줄 요약
Whisper는 필러 단어를 듣고도 일부러 빼요. 학습한 전사문이 그랬기 때문이에요. 말하는 언어로 쓴 촘촘한 프롬프트를 구간마다 보내면 5분의 4 정도가 돌아와요. 이 전사문은 필러를 찾는 데 쓰고, 자르는 데는 쓰지 마세요. 타임스탬프가 단어를 자를 만큼 자주 5분의 1초씩 어긋나요. 자막이라면 Whisper의 깔끔한 기본값을 유지하고, 내 컴퓨터에서 필러를 찾아 자르려면 Sablate를 다운로드하세요.
자주 묻는 질문
Whisper는 음, 어 같은 필러 단어를 전사하나요?
기본 설정에서는 거의 쓰지 않아요. 영어 회의 녹음에서 사람이 직접 표시한 필러 425개 중, Whisper는 프롬프트 없이 모델에 따라 0~4%만 썼어요. 필러가 가득한 초기 프롬프트를 주면 78~85%를 썼고요. 어느 쪽이든 소리는 들은 거예요. 모델이 깔끔한 전사문 문체를 선호할 뿐이에요.
Whisper가 필러 단어를 남기게 하려면 어떻게 하나요?
말하는 언어로 쓴, 필러가 가득한 초기 프롬프트를 주세요. 그리고 그 프롬프트가 첫 구간뿐 아니라 30초 구간마다 전달되는지 확인하세요. faster-whisper의 배치 파이프라인은 이걸 알아서 해 주고, whisper.cpp는 carry-initial-prompt 옵션이, openai-whisper는 carry_initial_prompt 설정이 필요해요.
Whisper는 왜 필러 단어를 빼나요?
읽기 위해 쓴 전사문으로 학습했고, 그런 전사문은 대개 머뭇거림을 뺐기 때문이에요. OpenAI의 프롬프트 가이드는 Whisper가 전사문으로는 흔하지 않은 문체를 따를 가능성이 낮다고 적고 있어요. 정확도를 채점할 때 쓰는 Whisper의 영어 텍스트 정규화기는 비교 전에 um, uh, hmm, mm을 지워서, 벤치마크 점수는 필러를 쓴다고 보상하지 않아요.
Whisper가 주는 필러의 타임스탬프는 정확한가요?
영상을 자를 만큼 정확하지는 않아요. 우리 테스트에서 프롬프트로 필러를 되살렸을 때 끝 시간의 중앙값은 모델에 따라 0.13~0.43초 어긋났고, 필러의 4분의 1에서 5분의 2는 시작이 실제 소리와 0.2초보다 더 벗어나 있었어요. 프롬프트가 없으면 대부분의 필러가 이웃 단어의 시간에 흡수됐어요.
필러 단어를 가장 잘 쓰는 Whisper 모델은 무엇인가요?
필러가 촘촘한 프롬프트에서는 medium이 85%로 가장 많이 썼고, large-v3가 82%, turbo가 79%, small이 78%였어요. 정밀도는 모두 83~86% 안팎으로 비슷해요. 차이가 작아서 속도로 고르면 돼요. 다만 짧은 터키어 클립에서는 small, medium, turbo가 필러 4개 중 3개씩 찾은 반면 large-v3는 1개만 찾았어요.