Claude Code + Remotion으로 릴스 제작 자동화하기

릴스나 쇼츠를 만들 때 가장 오래 걸리는 부분은 매번 처음부터 편집하는 일입니다. 자막 위치를 다시 맞추고, 글자 크기를 고르고, 장면 전환을 넣고, 나레이션 타이밍에 맞춰 글자가 나오게 조정해야 합니다.

Claude Code와 Remotion을 함께 쓰면 이 과정을 조금 다르게 만들 수 있습니다. 핵심은 영상 한 편을 예쁘게 만드는 것이 아니라, 반복해서 쓸 수 있는 영상 템플릿을 먼저 만드는 것입니다.

“한 번 디자인과 애니메이션 규칙을 만들어두면, 다음부터는 새 대본만 넣어 같은 스타일의 릴스를 반복 제작할 수 있습니다.”

먼저 큰 그림부터 이해해보세요

일반 영상 편집 프로그램은 사람이 타임라인을 직접 만집니다. Remotion은 React 코드로 영상을 만듭니다. 그래서 처음에는 낯설 수 있지만, 반복 제작에는 장점이 큽니다. 같은 디자인을 유지하면서 문장, 음성, 이미지, 색상만 바꿔 여러 영상을 만들 수 있기 때문입니다.

Remotion이란?

Remotion은 React 코드로 영상을 만드는 도구입니다. 텍스트와 자막, 이미지, 나레이션, 애니메이션, 장면 전환, 영상 길이와 해상도를 코드로 제어할 수 있습니다.

쉽게 말하면 영상 편집 파일을 코드로 만들어두는 방식입니다. 그래서 매번 손으로 자막 위치를 잡는 대신, “이 스타일의 자막은 항상 아래쪽에 놓고, 중요한 단어는 노란색으로 강조하고, 문장이 바뀔 때 부드럽게 나타나게 한다” 같은 규칙을 코드에 저장할 수 있습니다.

1. 짧은 대본을 준비합니다

처음부터 긴 영상을 만들려고 하면 어렵습니다. 15~30초 정도의 짧은 릴스부터 시작하는 것이 좋습니다. 문장도 길게 쓰기보다 화면에 한 줄씩 보여줄 수 있게 짧게 끊어주세요.

대본은 영상의 뼈대입니다. Claude Code가 나중에 자막을 만들 때도 이 대본을 기준으로 장면을 나누고, 어떤 단어를 강조할지 정하게 됩니다.

2. 나레이션 음성을 만듭니다

처음에는 어렵게 자동화할 필요가 없습니다. Typecast 같은 AI 음성 서비스를 열고, 대본을 넣고, 원하는 목소리를 고른 뒤 음성 파일을 내려받으면 됩니다. 이 방식이 가장 쉽습니다.

릴스를 계속 많이 만들 계획이라면 그때 ElevenLabs 같은 음성 API를 연결해 자동화하면 됩니다. 대본을 입력하면 AI 음성을 만들고, 그 음성 파일을 영상 제작 폴더에 저장하는 흐름까지 자동으로 구성할 수 있습니다.

3. 자막 타이밍은 어떻게 맞추나요?

나레이션에 맞춰 글자가 움직이려면 “어떤 단어를 몇 초에 말하는지”에 대한 정보가 필요합니다. 예전에는 사람이 직접 자막 시간을 맞춰야 했지만, 자동화 흐름에서는 이 부분도 줄일 수 있습니다.

방법은 두 가지입니다. 음성 파일을 분석해서 타이밍 데이터를 만들거나, 음성 생성 API에서 제공하는 정보를 활용하는 방식입니다. 일반 사용자는 이 원리를 깊게 알 필요는 없습니다. Claude Code에게 “음성을 분석해서 실제 발화 타이밍에 맞춰 자막이 나오게 해줘”라고 요청하면 됩니다.

“처음에는 완벽한 단어 단위 자막보다, 문장 단위로 자연스럽게 나타나는 자막부터 만드는 것이 좋습니다.”

4. Claude Code에 이렇게 요청합니다

대본과 음성 파일이 준비됐다면 Claude Code에 원하는 결과를 말로 설명합니다. 처음 요청은 길어도 괜찮습니다. 이 요청이 나중에 반복 제작 템플릿의 기준이 됩니다.

“Remotion으로 1080x1920 세로형 릴스를 만들어줘. 준비한 나레이션 파일을 넣고, 대본 문장을 기준으로 자막이 순서대로 나타나게 해줘. 글자는 모바일에서 잘 보이게 크게 만들고, 중요한 단어는 강조색으로 표시해줘. 인스타그램 UI와 겹치지 않게 위아래 여백도 확보해줘.”

이렇게 요청하면 Claude Code가 Remotion 프로젝트 구조를 만들고, 영상 컴포넌트와 자막 데이터, 애니메이션 코드를 구성하는 방향으로 작업할 수 있습니다.

5. 디자인 규칙을 먼저 정합니다

릴스 자동화에서 중요한 것은 화려한 효과를 많이 넣는 것이 아닙니다. 같은 계정의 영상처럼 보이도록 규칙을 통일하는 것입니다.

• 영상 크기는 1080x1920 세로형으로 고정
• 본문 자막은 모바일에서 읽기 좋은 크기로 고정
• 중요 단어에만 강조색 사용
• 자막 위치는 화면 중앙보다 약간 아래로 통일
• 문장 등장 애니메이션은 1~2개만 사용
• 인스타그램 버튼과 설명 영역을 가리지 않도록 여백 확보

이 규칙을 한 번 정해두면 다음 영상부터는 디자인을 다시 고민할 필요가 줄어듭니다. 대본만 바꿔도 같은 스타일의 릴스가 나오는 것이 목표입니다.

6. 미리보기로 확인하고 수정합니다

영상이 만들어지면 Claude Code에 미리보기를 실행해달라고 요청합니다. 브라우저에서 영상을 보면서 음성과 자막 타이밍, 글자 크기, 위치, 애니메이션 속도, 화면 잘림을 확인합니다.

이 단계에서 중요한 것은 “영상 편집 용어”를 정확히 쓰는 것이 아닙니다. 보면서 불편한 점을 그대로 말하면 됩니다. Claude Code는 그 말을 기준으로 코드와 애니메이션 값을 수정합니다.

7. 첫 영상이 아니라 템플릿을 완성한다고 생각하세요

첫 번째 영상은 시간이 조금 걸릴 수 있습니다. 하지만 여기서 폰트, 글자 크기, 자막 위치, 강조 방식, 애니메이션, 장면 전환, 여백을 확정해두면 다음 영상부터 훨씬 빨라집니다.

“기존 릴스의 디자인과 애니메이션은 그대로 유지하고, 이번 대본으로 새로운 영상을 만들어줘.”

이 한 문장으로 다음 영상을 시작할 수 있게 만드는 것이 목표입니다. 결국 Claude Code와 Remotion을 쓰는 이유는 영상 한 편을 만드는 데서 끝나는 것이 아니라, 반복 제작 가능한 시스템을 만드는 데 있습니다.

처음 시작할 때 추천하는 순서

1. 1.15~30초짜리 짧은 대본을 준비합니다.
2. 2.Typecast 등으로 나레이션 음성 파일을 만듭니다.
3. 3.Claude Code에 Remotion 세로형 릴스 템플릿을 만들어달라고 요청합니다.
4. 4.자막 위치, 글자 크기, 강조색, 애니메이션 규칙을 정합니다.
5. 5.미리보기로 확인하면서 불편한 부분을 수정합니다.
6. 6.디자인이 정리되면 다음 대본부터 같은 템플릿을 재사용합니다.

한 줄로 정리하면

“Claude Code + Remotion 자동화의 핵심은 릴스 한 편을 만드는 것이 아니라, 계속 다시 쓸 수 있는 릴스 템플릿을 만드는 것입니다.”