우리가 만드는 물류 SaaS(CargoOn) 홍보 영상을 영어 랩 80초 + 키네틱 타이포그래피로 만들었다. 촬영도, 영상 편집 툴도 없이 전부 코드로 그리고 렌더했다. 노래 속 단어가 불리는 순간 그 단어가 화면에 떨어지고, 그 줄이 말하는 제품 동작이 UI로 그려진다.
세로판(9:16)은 인스타 릴스로 올렸다 → instagram.com/reel/De_I5TjDdf3
이 글은 결과물 자랑보다, 어떤 효과를 어떤 이름으로 부르는지와 어디서 틀렸는지를 남기는 기록이다. 광고를 이런 방식으로 만들어 보려는 사람이 같은 함정을 덜 밟았으면 해서다.
왜 이렇게 만들었나 — 순서가 전부였다
레퍼런스는 “UX 휴리스틱 10원칙”을 랩으로 설명하는 영상이었다. 처음 몇 번은 그림(모션)을 먼저 만들고 음악을 나중에 붙였는데, 결과는 늘 잘라붙이기였다. 음악과 화면이 각자 논다.
레퍼런스와 우리 시도의 차이는 도구가 아니라 순서였다. 그쪽은 완성된 노래가 대본이자 타임라인이었다. 그래서 순서를 이렇게 고정했다.
- 가사 쓰기
- 그 가사로 곡 만들기
- 곡에서 단어마다 시작 시각 뽑기
- 그 시각에 맞춰 애니메이션
장면 코드에는 프레임 숫자가 하나도 없다. 대신 “그 단어가 언제 불리나”를 묻는다.
// 가사 표기: " / " 행 나눔, "^" 큰 행, "*단어*" 강조색, "[단어]" 강조+박스
explode: line("explode", "DOUBLE THE BOXES — / WATCH IT / ^[EXPLODE]."),
// 장면: 'EXPLODE' 가 불리는 프레임에 터진다
const tExp = wordAt(L.explode, "EXPLODE");
곡이 바뀌면 단어 시각만 다시 뽑으면 되고, 영상 전체가 따라온다.
1. 가사 — 한 줄이 한 장면
- 7~10음절 + 줄 끝 각운. 첫 버전은 랩답게 10~14음절로 썼는데, 가사가 안 들렸고 화면 글자로도 너무 길었다.
- 매 줄이 그릴 수 있는 구체적인 것. “Open the mail, find the B-L”은 메일 카드와 B/L 문서로 그려진다. “we empower teams” 같은 줄은 그릴 게 없어서 글자만 남는다.
- 약어는 발음대로.
B/L→B-L,ETA→arrival date. 노래로 부르면 뭉개진다. - 주장마다 근거. “웹앱으로 설치하면 알림이 온다”는 기능은 제품 코드에 아직 없어서 화면에서 뺐다. 광고에 없는 기능을 넣지 않는다.
2. 곡 — 스타일 문구에 ‘용도’를 쓰지 말 것
곡은 Suno Pro 플랜으로 만들었다(상업 이용 가능한 플랜). 처음 스타일 문구는 이랬다.
energetic pop-rap, … modern tech explainer, polished radio mix
결과는 광고 징글처럼 촌스러웠다. “tech explainer”, “radio mix” 같은 용도어가 곡을 그쪽으로 끌었다고 판단했다. 장르·악기·보컬 질감만 남겼더니 나아졌다.
minimal hip-hop, 96 BPM, hard punchy kick, crisp dry clap, deep 808 sub bass, sparse plucked synth riff, dry upfront male rap vocal, crisp diction …
가사 안의 [Verse 1: tight staccato flow] 같은 대괄호는 노래로 불리지 않고 연주만 바꾼다. 소괄호는 코러스로 불려 버리니 쓰지 않는다.
3. 단어 시각 — 받아쓰기가 아니라 ‘정렬’
여기서 가장 크게 틀렸다.
처음엔 음성 인식(whisper)으로 단어 타임스탬프를 뽑았다. 같은 곡인데 실행마다 단어 시각이 1~5초씩 달랐다. 첫 단어를 0.19초라고 냈는데, 실제 노래는 3.3초에 시작했다.
생각해 보면 받아쓸 이유가 없었다. 가사는 이미 우리가 썼다. 필요한 건 “이 가사의 각 단어가 언제 나오나”뿐이다. 그래서 방식을 바꿨다.
- 보컬 분리(stem separation) — 곡에서 목소리만 떼어낸다(demucs).
- 강제 정렬(forced alignment) — 음성 모델(wav2vec2)이 내는 글자별 확률 위에 가사 글자열을 Viterbi로 맞춘다.
- 검증 — 단어 시작 0.15초 안에 실제 목소리가 있는지 확인한다.
결과는 보컬 소리 구간과 ±0.1초 안에서 맞았다. 받아쓰기는 코러스의 “you approve”를 통째로 빠뜨렸는데, 분리한 보컬을 보니 실제로 불린 단어였다.
함정이 하나 더 있었다. 보컬 분리 도구의 기본값(--shifts 1)이 무작위라서, 같은 곡인데 실행마다 단어 몇 개가 0.1~1.7초씩 흔들렸다. --shifts 0으로 결정적으로 만들었다. 그래도 발음이 뭉개진 구간(“drop one B-L”)은 1.7초 틀려서, 손으로 고치는 교정표를 따로 뒀다. 최종 확인은 결국 사람 눈이다.
python scripts/analyze-audio.py song.wav lyrics.md vocal.ts --say "B-L=BEE ELL"
# → 80.0s · 96.02 BPM (첫 박 0.180s, 잔차 52ms) · 정렬 174/174
박자도 같은 스크립트에서 뽑는다. 박 검출 결과 128개에 직선을 맞춰 BPM과 첫 박을 구했다(잔차 최대 52ms). 화면 구석의 박자 칸이 이 격자로 뛴다.
4. 효과 용어 사전
만들면서 효과마다 이름을 붙였다. 레퍼런스를 분석하거나 다른 사람과 이야기할 때 이름이 있어야 말이 통한다.
| 용어 | 뜻 | 이 영상에서 |
|---|---|---|
| 키네틱 타이포그래피 | 글자가 움직이며 메시지를 전달하는 모션그래픽 | 영상 전체 |
| 마스크 등장 (mask reveal) | 보이지 않는 창 아래에서 단어가 튀어 올라옴 | 단어 시각 2프레임 전에 출발해야 그 순간 “착지”해 보인다 |
| 쌓기 + 축소 (stack & shrink) | 화면을 비우지 않고 다음 줄을 쌓는다 | 둘째 줄이 오면 첫 줄 묶음이 반으로 줄며 위로 붙는다 |
| 휙 퇴장 + 방향성 모션 블러 | 가속하며 빠지고, 이동 방향으로만 번진다 | 화면 전환. 금지할 건 “블러로 등장하기”(흐릿해 보인다) |
| 버스트 (burst) | 방사선 + 충격파 링 | EXPLODE, SENT, 브랜드명 |
| 카메라 펀치 / 흔들림 | 순간 확대 / 위치 지터 | 펀치는 화면 시작마다, 흔들림은 6곳만 |
| 플러드 (flood) | 바탕이 강조색으로 차오르고 글자색이 뒤집힘 | 코러스 후반, 곡의 정점 |
| 단어가 의미를 연기 | 단어 하나만 다르게 움직임 | “It doesn’t GUESS”의 GUESS만 덜덜 떨다 취소선 |
| 연기 후 정지 (settle) | 떨림도 한 박 뒤 멈춘다 | DOUBT, 물음표 |
| 추상 → 구체 UI | 개념을 제품 화면의 실패와 해결로 그림 | “규칙이 막는다” → 경고 카드 두 장에 도장 |
5. 피드백 두 번 — 속도와 떨림
“너무 빨라서 내용을 못 보고 지나간다.” 첫 버전은 120 BPM에 2초마다 화면을 비웠다. 20개 화면 중 12개가 2초 만에 사라졌다. 사람이 읽을 수 있는 건 대략 초당 15~17자다. UI가 있는 화면은 4.5초 이상 두고 두 줄씩 쌓게 바꿨다. 실제 곡은 96 BPM으로 나왔다.
“글씨가 전체적으로 흔들린다. 효과가 끝난 텍스트는 깔끔해야 한다.” 화면이 바뀔 때마다, 큰 단어마다 카메라를 흔들고 있었다. 세어 보니 전체 프레임의 15.3%가 떨리고 있었다.
흔들림은 센 순간 6곳(폭발·드롭·YES·SENT·플러드·브랜드명)에만 남기고, 0.4초 안에 정확히 0으로 끝나게 했다. 나머지 순간엔 확대 펀치만 남겼다. 떨리는 프레임은 1.2%로 줄었다.
임팩트는 강약이다. 매 박 터뜨리면 아무것도 안 터진다.
6. 렌더와 검증
- 4천 프레임 넘게 한 번에 렌더하면 렌더용 브라우저가 죽었다(“Page crashed!”). 1천 프레임씩 소리 없이 렌더해 이어 붙이고, 원본 음원을 마지막에 한 번에 입혔다. 구간마다 소리를 넣으면 이음매에 틈이 생긴다.
- 모션은 스틸 한 장으로 판단하지 않는다. 전 구간 콘택트 시트로 훑고, 장면 점수로 의도치 않은 튐을 찾는다.
ffmpeg -ss 0 -t 40 -i out.mp4 -vf "fps=2.5,scale=440:-1,tile=8x13" -frames:v 1 sheet.jpg
ffmpeg -i out.mp4 -vf "select='gt(scene,0.35)',metadata=print:file=-" -an -f null - | grep pts_time
# → 23.43 (폭발), 69.12 (플러드) — 의도한 두 곳만 나와야 정상
7. 한 번 쓰고 버리지 않게 — 키트와 세로판
공통 엔진과 제품별 폴더로 나눴다. 이제 새 제품은 가사 문서와 곡만 넣으면, 손대지 않고 글자만으로 된 1차 컷이 렌더된다(같은 곡·가사로 80초 통과 확인). 1차 컷에서 곡·가사·속도를 확정한 뒤 화면 단위로 제품 UI 장면을 끼운다. 곡을 바꾸는 비용이 가장 싼 시점이 여기다.
릴스용 세로판(9:16)도 같은 코드에서 나온다. 레이아웃을 가로·세로 두 벌로 두고, 제품 UI는 가로 좌표 그대로 그린 다음 세로에선 글 아래 “무대”로 줄여 옮겼다. 배치는 릴스 안전 영역을 피했다.
- 위쪽 약 220px: 릴스 머리줄
- 아래쪽 약 360px: 캡션과 계정명
- 오른쪽 아래: 버튼 열
한계 · 다음 계획
- n=1이다. 아직 한 제품에만 써 봤다. 두 번째 제품에서 가사부터 장면까지가 실제로 빨라지는지 봐야 한다.
- 제품 UI 장면은 여전히 제품마다 새로 그려야 한다. 작업 시간의 대부분이 여기다.
- 세로판에서 넓은 UI(엑셀 시트 같은 것)는 작아진다. 화면 속 글자는 휴대폰에서 안 읽히고 움직임으로만 전달된다.
- 발음이 뭉개진 구간의 정렬 오류는 자동으로 다 못 잡는다. 1차 컷 검수가 필요하다.
FAQ
Q. 왜 음성 인식(받아쓰기)으로 타이밍을 뽑으면 안 되나요?
가사를 이미 알고 있다면 받아쓸 필요가 없다. 받아쓰기는 단어를 틀리게 듣거나 빠뜨리고, 같은 곡에서도 실행마다 시각이 1~5초씩 달랐다. 가사 글자열을 보컬에 맞추는 강제 정렬은 ±0.1초 안에서 맞았다.
Q. 보컬 분리는 꼭 해야 하나요?
드럼과 베이스가 섞인 믹스에서는 정렬과 검증이 모두 흐려진다. 곡 생성 서비스에서 보컬 스템을 받을 수 있으면 그걸 쓰고, 없으면 분리 도구로 떼어낸다. 분리 도구는 무작위 오프셋을 끄고(--shifts 0) 써야 결과가 매번 같다.
Q. 화면이 너무 빠르다는 피드백은 템포를 낮추면 해결되나요?
템포보다 화면을 비우는 주기가 문제였다. 120 BPM에서 2초마다 비웠던 게 원인이었다. 읽을 UI가 있는 화면은 4.5초 이상 두고, 앞 줄을 지우지 않고 쌓으면 빠른 곡에서도 읽힌다.
Q. 가로 영상을 세로 릴스로 바꾸려면 다시 만들어야 하나요?
레이아웃 값을 가로·세로 두 벌로 두고, UI를 “무대” 컴포넌트로 감싸 세로에선 줄여 옮기는 방식이면 같은 코드에서 두 판이 나온다. 단, 글에 붙어 다니는 장식(물음표, 잔상)은 레이아웃 기준 좌표로 계산해야 세로에서 어긋나지 않는다.