영상 번역: 한글 자막 만드는 법 (다른 언어도 가능)

영상 번역으로 한글 자막을 만들려면, 말하는 시점에 맞춰 타이밍이 잡힌 한국어 자막이 필요해요. 가장 빠른 무료 방법인 Whisper의 translate 작업은 영어 자막만 만들 수 있어요. 그래서 한국어는 먼저 음성을 전사하고, 그다음 텍스트를 번역하면서 모든 타임코드를 그대로 지켜요. 여러 언어를 한꺼번에 만들 때도 같은 방식이에요.

이 가이드는 네 가지 방법, 대상 언어가 영어가 아닐 때 달라지는 점, 공개하기 전에 결과를 확인하는 방법을 다뤄요.

자막일까 더빙일까: 여기서 말하는 영상 번역

영상 번역은 서로 다른 두 가지 작업을 뜻할 수 있어요. 이 가이드는 첫 번째, 자막을 다뤄요. 화면에 나오는 텍스트를 번역해서 말하는 시점에 맞춰 넣는 거예요. 두 번째는 음성 자체를 번역하는 일이에요. 새 언어로 더빙 트랙이나 보이스오버를 만드는 거죠. 그건 도구도 다른 별개의 작업이에요. Sablate는 더빙을 하지 않아서, 아래 방법 중 어느 것도 음성으로 된 번역을 만들지 않아요.

여기 나오는 모든 방법은 디스크에 이미 있는 영상이나 오디오 파일에서 출발해요.

영상을 한국어로 번역하려면? 네 가지 방법

1. Whisper의 translate 작업. 무료, 명령줄에서 실행, 출력은 영어만.
2. 전사한 다음 자막 파일을 번역. 어떤 대상 언어, 어떤 도구로든 가능.
3. Sablate. 한 번 전사하고 번역을 레이어로 추가한 뒤 내보내거나 구워 넣기.
4. YouTube 자동 번역. 보기 전용. 파일도, 내보내기도 없음.

차이는 크게 두 가지예요. 어떤 언어까지 되는지, 그리고 내가 가질 수 있는 자막 파일이 남는지예요.

방법 1: Whisper의 translate 작업 (영어만)

Whisper는 OpenAI의 오픈소스 음성 모델이에요. README에 따르면 멀티태스크 모델로, 다국어 음성 인식, 음성 번역, 언어 식별을 해요. 여기서 쓸모 있는 건 번역 기능이에요. README는 일본어 음성을 영어로 바꾸는 예시를 이렇게 보여줘요:

whisper japanese.wav --model medium --language Japanese --task translate

기본 출력 대신 자막 파일을 받으려면 --output_format srt를 추가하세요. 이 명령줄 도구는 FFmpeg로 미디어를 디코딩하기 때문에 오디오뿐 아니라 영상 파일도 읽어요. 그래서 .mp4를 바로 지정할 수 있어요.

영어만 돼요. translate 작업의 대상 언어는 하나뿐이에요. 한국어, 독일어, 일본어 자막이 필요하다면 이 방법으로는 만들 수 없어요.

turbo는 쓰지 마세요. 「Whisper가 영상을 번역하지 않았어요」라는 하소연 대부분이 이 실수에서 나와요. README에는 turbo 모델이 번역 작업용으로 학습되지 않았고, --task translate를 지정해도 원래 언어를 그대로 돌려준다고 적혀 있어요. 가장 좋은 번역 결과를 위해서는 medium이나 large를 권해요. 「번역」했는데 원래 언어로 나왔다면 어떤 모델을 실행했는지 확인하세요.

한계는 현실적인 것들이에요. 명령줄과 Python 환경이 필요해요. 언어는 하나만 나오고 편집기도 없어서, 이름이 잘못 번역되면 SRT를 직접 고쳐야 해요. 영상 하나를 영어로 무료로 옮기는 용도라면 이만한 게 없어요. 모델 고르는 데 도움이 필요하다면 Whisper 모델 비교에서 크기별로 시간과 정확도가 얼마나 드는지 볼 수 있어요.

방법 2: 먼저 전사하고 자막 파일을 번역하기

두 번째 방법은 작업을 둘로 나눠요. 아무 Whisper 도구로 말하는 언어의 자막 파일을 만든 다음, 타임코드는 그대로 두고 텍스트를 번역해요. 번역기가 별도 단계라서 영어를 포함한 어떤 대상 언어에도 쓸 수 있어요.

이 두 번째 단계를 실행하는 방법은 여러 가지예요. 자동 번역 기능이 있는 자막 편집기, .srt를 받는 문서 번역기, 엄격한 프롬프트를 쓴 언어 모델이 있고, 어느 쪽이든 마지막에 블록 개수가 그대로인지 확인해요. 도구와 함정은 타이밍 깨지지 않게 SRT 번역하기에서 다루니 여기서는 반복하지 않을게요.

장점은 통제력이에요. 언어마다 번역기를 고를 수 있고, 번역하기 전에 원본 텍스트를 바로잡을 수 있어요. 단점은 도구가 여러 개고 넘겨받는 과정이 여러 번이라는 점이에요. 전사본이 아직 파일이 아니라면 앞쪽 절반은 영상을 텍스트로 전사하기에서 다뤄요.

방법 3: Sablate에서 레이어로 영상 번역하기

Sablate는 Windows 10 64비트 이상과 macOS 12 Monterey 이상에서 쓰는 데스크톱 앱이에요. Whisper의 translate 작업은 쓰지 않아요. 말하는 언어로 음성을 전사한 다음, 그 텍스트를 큐 단위로 레이어에 번역해서 번역된 줄마다 원래 줄의 타이밍이 그대로 남아요.

순서는 이래요:

1. New job 버튼을 클릭하고 디스크에 있는 영상이나 오디오 파일을 놓으세요.
2. Spoken language를 지정하거나 자동 감지로 두세요. 전사는 faster-whisper로 로컬에서 실행되고 음성 언어 100개를 지원해요.
3. Translate into 항목에서 대상 언어를 하나 이상 고르세요.
4. Start 버튼을 클릭하세요.
5. 편집기에서 줄을 읽어 보세요. 나중에 Add language… 버튼으로 전사를 다시 하지 않고 언어를 더 추가할 수 있어요.
6. .srt, .vtt, .txt를 내보내거나 자막을 .mp4에 구워 넣으세요. Pro는 .ass와 다중 트랙 .mkv도 내보내요.

Argos는 오프라인 번역기예요. 내 컴퓨터에서 실행되고 언어 팩은 한 번만 내려받아요. Argos 패키지는 각 언어를 영어와 짝지어서, 영어에서 한국어는 바로 번역돼요. 영어가 끼지 않는 조합, 예를 들어 스페인어에서 한국어는 영어를 중간 단계로 거쳐서 조금 더 딱딱하게 읽혀요. Argos가 지원하는 대상 언어는 약 50개예요. 본인의 API 키가 있으면 Pro에서 DeepL, OpenAI, Claude도 쓸 수 있어요. 보통 표현이 더 낫지만 자막 텍스트가 그 제공업체로 전송돼요.

번역은 한 번의 전사 위에 올라가는 레이어라서, 아무것도 반복하지 않고 두 번째, 세 번째 언어를 추가할 수 있어요. 각 레이어는 자기만의 스타일과 문자 체계 폰트를 가져요. 이 작업 방식은 여러 언어로 자막 추가하기에서 설명해요.

무료 요금제는 계정이 필요 없고 최대 10분 영상, 월 3회 작업, Fast와 Balanced 모델, 오프라인 번역 레이어 1개를 지원해요. 구워 넣은 영상에는 구석에 작은 워터마크가 붙어요. Pro는 $29를 한 번 결제하거나 월 $5.99이고 제한이 모두 풀려요. 자세한 내용은 가격 페이지에 있어요. 음성 모델과 Argos 언어 팩을 내려받고 나면 전사, 오프라인 번역, 구워 넣기는 인터넷 연결 없이 작동해요. Sablate를 다운로드해서 짧은 클립으로 먼저 써 보세요.

방법 4: 보기만 한다면 YouTube 자동 번역

영상이 YouTube에 있고 내용만 이해하면 된다면 파일은 필요 없어요. 플레이어에서 설정 톱니바퀴를 열고 Subtitles/CC를 고르세요. 목록에 원하는 언어가 없으면 Auto-translate를 골라서 언어를 선택해요. YouTube의 자막 설정 도움말에 나와 있는 방법이에요.

무료이고 바로 되지만, 자막은 YouTube 자체 플레이어 안에서만 나와요. 파일도, 내보내기도, 구워 넣을 것도 없어요. YouTube의 자동 자막 페이지는 자동 자막이 기계로 생성되며 품질이 다를 수 있다고 안내해요. 그 위에 얹은 번역도 같은 한계를 그대로 물려받아요. 강연 내용을 이해하는 데는 대개 충분하지만, 공개할 영상에는 부족해요.

영상을 한국어로 번역하기 (영어 외 다른 언어도 마찬가지)

대부분은 영어가 필요하지 않아요. 한국어, 독일어, 프랑스어, 일본어가 필요하고, 그러면 방법이 달라져요.

• Whisper의 translate 작업은 빠져요. 영어만 되기 때문이에요. 이 가이드에서 다른 언어로 이어지지 않는 유일한 사실이에요.
• 전사한 다음 번역하세요. 방법 2와 3은 번역이 음성 인식과 별개 단계라서 어떤 대상 언어에도 쓸 수 있어요.
• 직접 연결과 중간 경유. Argos에서 영어가 들어간 쌍은 직접 연결이에요. 영어가 없는 쌍, 예를 들어 스페인어에서 한국어는 영어를 거쳐서 의미가 틀어질 곳이 한 군데 늘어요. 원본이나 대상이 이미 영어라면 이 중간 경유를 피할 수 있어요.
• 더 큰 음성 모델보다 더 나은 번역기가 도움이 돼요. 전사본이 정확해지고 나면 표현의 질은 번역기에서 나와요. Sablate Pro에서 본인의 키로 쓰는 DeepL, OpenAI, Claude는 대체로 오프라인 Argos보다 잘 읽혀요. 대신 텍스트가 내 컴퓨터를 떠나요.
• 문자 체계와 폰트. 중국어, 일본어, 한국어, 아랍어, 데바나가리 문자는 해당 글자가 실제로 들어 있는 폰트가 필요해요. 없으면 구워 넣은 영상에 빈 사각형이 나와요. Sablate는 언어 레이어마다 문자 체계 폰트를 따로 지정해요.

영어에서 한국어로 번역하는 영상도 같은 방식으로 처리해요. 원본 언어는 말하는 언어 그대로고, 대상 언어는 내가 고르는 언어예요.

번역이 타이밍과 읽기 속도에 미치는 영향

번역해도 타이밍은 유지되지만 읽기 속도는 깨져요. 큐는 여전히 화자가 말하는 시점에 시작하고 끝나지만, 번역된 줄은 더 길어질 수 있고 시청자가 읽을 시간은 같은 초 수예요. 영어 → 독일어가 흔한 예예요. 텍스트가 늘어나서 여유 있던 큐가 너무 빨라져요.

기준은 초당 글자 수예요. 자막 읽기 속도(CPS)에서 설명해요. 해결책은 문구를 줄이거나 큐를 둘로 나누는 거예요. 타임스탬프는 오디오와 맞으니 옮기지 마세요.

공개하기 전에 모든 줄을 읽어 보는 것도 잊지 마세요. 자막 기계 번역은 직역투예요. 관용구, 농담, 이름이 빠르게 훑어봐서는 놓치는 방식으로 틀려요. 오프라인 Argos는 표현 면에서 DeepL과 최신 언어 모델에 못 미치고, 어떤 엔진도 사람이 읽어 보는 걸 대신하지 못해요.

영상 번역은 온라인으로 할까, 오프라인으로 할까?

브라우저 기반 영상 번역기는 파일을 서버에 올려서 그곳에서 번역한 다음 결과를 돌려보내는 방식이에요. 편하지만 영상이 내 컴퓨터를 떠난다는 뜻이기도 해요. 비공개 영상, 클라이언트 작업, 느린 연결이라면 로컬 방식이 더 안전한 기본값이에요. Whisper의 translate 작업과 Sablate의 Argos 방식은 모두 내 컴퓨터에서 파일을 처리해요.

방법 비교

가격과 설정 면에서는 Whisper의 translate 작업과 YouTube가 모두 Sablate를 앞서요. 앞의 것은 살 앱 없이 무료이고, 뒤의 것은 아무것도 필요 없어요. 영상 하나를 영어로 옮기거나 강연 내용만 따라가고 싶다면 둘 중 하나로도 충분할 수 있어요.

어떤 방법을 골라야 할까요?

• 한국어가 아니라 영어가 필요하고, 영상 하나, 터미널이 편하다면: medium이나 large 모델로 Whisper의 translate 작업을 쓰세요.
• YouTube 영상 내용만 이해하면 된다면: YouTube 자동 번역이에요. 이걸 중심으로 작업 흐름을 짜지는 마세요.
• 한국어, 영상 하나: 전사한 다음 가장 믿는 번역기로 SRT를 번역하세요.
• 여러 언어, 공개할 영상, 구워 넣은 자막: Sablate예요. 한 번의 전사가 모든 언어를 만들고, 편집기가 긴 줄을 잡아 주기 때문이에요.
• 프라이버시보다 표현이 중요하다면: 어떤 전사본이든 DeepL이나 언어 모델과 짝지어 쓰고, 검토 단계는 그대로 두세요.

결과를 공개한다면 자막 파일과 구워 넣은 영상은 플랫폼마다 다르게 동작한다는 점을 기억하세요. 어느 쪽이 필요한지는 하드섭과 소프트섭 비교에서, 렌더링은 영상에 자막 구워 넣기에서 다뤄요.

자주 묻는 질문

영상을 한국어로 무료로 번역하려면 어떻게 하나요?

Whisper는 영어로만 번역하니, 무료 Whisper 도구로 음성을 먼저 전사한 다음 자막 텍스트를 한국어로 번역하세요. 앱 하나로 하고 싶다면 Sablate 무료 요금제를 쓰세요. 최대 10분 영상에 오프라인 번역 레이어 1개를 지원해요. 번역할 때는 모든 타임코드를 그대로 두어야 자막이 말하는 시점과 어긋나지 않아요. 명령줄이 부담스러운 분께는 이쪽이 더 편해요.

Whisper로 영상을 한국어로 번역할 수 있나요?

아니요. Whisper에 내장된 translate 작업은 영어만 만들어요. 한국어를 비롯한 다른 언어는 원래 언어로 음성을 먼저 전사한 다음, 나온 텍스트를 별도 번역기로 번역하면서 타임코드를 그대로 지켜야 해요. 이 두 번째 단계는 Argos, DeepL, 대규모 언어 모델 모두 자막 텍스트에 쓸 수 있어요. 번역 도구가 따로여도 타임코드만 그대로면 문제없어요.

Whisper가 왜 내 영상을 번역하지 않았나요?

아마 turbo 모델을 쓰셨을 거예요. Whisper README에 따르면 turbo는 번역용으로 학습되지 않아서, translate 작업을 켜도 원래 언어를 그대로 돌려줘요. medium이나 large 모델로 바꿔서 같은 명령을 다시 실행하세요. README도 번역 결과가 가장 좋은 모델로 이 둘을 권해요. 「번역했는데 원래 언어로 나왔다」는 증상은 거의 이 경우예요.

영상을 업로드하지 않고 오프라인으로 번역할 수 있나요?

네. Whisper는 전사와 영어 번역을 내 컴퓨터에서 처리하고, Sablate는 로컬 전사에 오프라인 번역기인 Argos를 더해서 한국어까지 다뤄요. 음성 모델과 언어 팩을 내려받고 나면 둘 다 인터넷 연결 없이 작동해요. 브라우저 기반 영상 번역기는 달라서, 파일을 서버로 올려서 처리해요. 그래서 비공개 영상이라면 로컬 방식이 더 안전해요.

영상을 번역하면 자막 타이밍이 깨지나요?

텍스트만 번역하고 타임코드를 그대로 두면 깨지지 않아요. 큐의 시작과 끝 시간은 말하는 시점에 그대로 남아요. 달라지는 건 길이예요. 번역된 줄은 대개 더 길어서 큐가 읽기엔 너무 빨라질 수 있어요. 타임스탬프를 옮기지 말고 문구를 줄이거나 큐를 나눠서 해결하세요. 타임스탬프는 오디오와 맞으니 건드리지 않는 게 맞아요.

영어 영상을 한국어로 번역하려면 어떻게 하나요?

영어 음성을 전사한 다음, 타이밍을 유지한 채 텍스트를 한국어로 번역하세요. Whisper의 translate 작업은 이 방향을 못 해요. Sablate는 번역 레이어로 처리하고, 영어에서 한국어는 Argos의 직접 연결 쌍이에요. 어떤 방법이든 공개하기 전에 결과를 읽어 보세요. 자막 기계 번역은 직역투가 되기 쉽고, 관용구와 이름이 특히 자주 틀려요.