가사가 타임라인이다 — 80초 랩 광고를 코드로 만들며 배운 모션 용어와 실패들

우리가 만드는 물류 SaaS(CargoOn) 홍보 영상을 영어 랩 80초 + 키네틱 타이포그래피로 만들었다. 촬영도, 영상 편집 툴도 없이 전부 코드로 그리고 렌더했다. 노래 속 단어가 불리는 순간 그 단어가 화면에 떨어지고, 그 줄이 말하는 제품 동작이 UI로 그려진다.

세로판(9:16)은 인스타 릴스로 올렸다 → instagram.com/reel/De_I5TjDdf3

이 글은 결과물 자랑보다, 어떤 효과를 어떤 이름으로 부르는지와 어디서 틀렸는지를 남기는 기록이다. 광고를 이런 방식으로 만들어 보려는 사람이 같은 함정을 덜 밟았으면 해서다.

왜 이렇게 만들었나 — 순서가 전부였다

레퍼런스는 “UX 휴리스틱 10원칙”을 랩으로 설명하는 영상이었다. 처음 몇 번은 그림(모션)을 먼저 만들고 음악을 나중에 붙였는데, 결과는 늘 잘라붙이기였다. 음악과 화면이 각자 논다.

레퍼런스와 우리 시도의 차이는 도구가 아니라 순서였다. 그쪽은 완성된 노래가 대본이자 타임라인이었다. 그래서 순서를 이렇게 고정했다.

  1. 가사 쓰기
  2. 그 가사로 곡 만들기
  3. 곡에서 단어마다 시작 시각 뽑기
  4. 그 시각에 맞춰 애니메이션

장면 코드에는 프레임 숫자가 하나도 없다. 대신 “그 단어가 언제 불리나”를 묻는다.

// 가사 표기: " / " 행 나눔, "^" 큰 행, "*단어*" 강조색, "[단어]" 강조+박스
explode: line("explode", "DOUBLE THE BOXES — / WATCH IT / ^[EXPLODE]."),

// 장면: 'EXPLODE' 가 불리는 프레임에 터진다
const tExp = wordAt(L.explode, "EXPLODE");

곡이 바뀌면 단어 시각만 다시 뽑으면 되고, 영상 전체가 따라온다.

1. 가사 — 한 줄이 한 장면

  • 7~10음절 + 줄 끝 각운. 첫 버전은 랩답게 10~14음절로 썼는데, 가사가 안 들렸고 화면 글자로도 너무 길었다.
  • 매 줄이 그릴 수 있는 구체적인 것. “Open the mail, find the B-L”은 메일 카드와 B/L 문서로 그려진다. “we empower teams” 같은 줄은 그릴 게 없어서 글자만 남는다.
  • 약어는 발음대로. B/L → B-L, ETA → arrival date. 노래로 부르면 뭉개진다.
  • 주장마다 근거. “웹앱으로 설치하면 알림이 온다”는 기능은 제품 코드에 아직 없어서 화면에서 뺐다. 광고에 없는 기능을 넣지 않는다.

2. 곡 — 스타일 문구에 ‘용도’를 쓰지 말 것

곡은 Suno Pro 플랜으로 만들었다(상업 이용 가능한 플랜). 처음 스타일 문구는 이랬다.

energetic pop-rap, … modern tech explainer, polished radio mix

결과는 광고 징글처럼 촌스러웠다. “tech explainer”, “radio mix” 같은 용도어가 곡을 그쪽으로 끌었다고 판단했다. 장르·악기·보컬 질감만 남겼더니 나아졌다.

minimal hip-hop, 96 BPM, hard punchy kick, crisp dry clap, deep 808 sub bass, sparse plucked synth riff, dry upfront male rap vocal, crisp diction …

가사 안의 [Verse 1: tight staccato flow] 같은 대괄호는 노래로 불리지 않고 연주만 바꾼다. 소괄호는 코러스로 불려 버리니 쓰지 않는다.

3. 단어 시각 — 받아쓰기가 아니라 ‘정렬’

여기서 가장 크게 틀렸다.

처음엔 음성 인식(whisper)으로 단어 타임스탬프를 뽑았다. 같은 곡인데 실행마다 단어 시각이 1~5초씩 달랐다. 첫 단어를 0.19초라고 냈는데, 실제 노래는 3.3초에 시작했다.

생각해 보면 받아쓸 이유가 없었다. 가사는 이미 우리가 썼다. 필요한 건 “이 가사의 각 단어가 언제 나오나”뿐이다. 그래서 방식을 바꿨다.

  1. 보컬 분리(stem separation) — 곡에서 목소리만 떼어낸다(demucs).
  2. 강제 정렬(forced alignment) — 음성 모델(wav2vec2)이 내는 글자별 확률 위에 가사 글자열을 Viterbi로 맞춘다.
  3. 검증 — 단어 시작 0.15초 안에 실제 목소리가 있는지 확인한다.

결과는 보컬 소리 구간과 ±0.1초 안에서 맞았다. 받아쓰기는 코러스의 “you approve”를 통째로 빠뜨렸는데, 분리한 보컬을 보니 실제로 불린 단어였다.

함정이 하나 더 있었다. 보컬 분리 도구의 기본값(--shifts 1)이 무작위라서, 같은 곡인데 실행마다 단어 몇 개가 0.1~1.7초씩 흔들렸다. --shifts 0으로 결정적으로 만들었다. 그래도 발음이 뭉개진 구간(“drop one B-L”)은 1.7초 틀려서, 손으로 고치는 교정표를 따로 뒀다. 최종 확인은 결국 사람 눈이다.

python scripts/analyze-audio.py song.wav lyrics.md vocal.ts --say "B-L=BEE ELL"
# → 80.0s · 96.02 BPM (첫 박 0.180s, 잔차 52ms) · 정렬 174/174

박자도 같은 스크립트에서 뽑는다. 박 검출 결과 128개에 직선을 맞춰 BPM과 첫 박을 구했다(잔차 최대 52ms). 화면 구석의 박자 칸이 이 격자로 뛴다.

4. 효과 용어 사전

만들면서 효과마다 이름을 붙였다. 레퍼런스를 분석하거나 다른 사람과 이야기할 때 이름이 있어야 말이 통한다.

용어 뜻 이 영상에서
키네틱 타이포그래피 글자가 움직이며 메시지를 전달하는 모션그래픽 영상 전체
마스크 등장 (mask reveal) 보이지 않는 창 아래에서 단어가 튀어 올라옴 단어 시각 2프레임 전에 출발해야 그 순간 “착지”해 보인다
쌓기 + 축소 (stack & shrink) 화면을 비우지 않고 다음 줄을 쌓는다 둘째 줄이 오면 첫 줄 묶음이 반으로 줄며 위로 붙는다
휙 퇴장 + 방향성 모션 블러 가속하며 빠지고, 이동 방향으로만 번진다 화면 전환. 금지할 건 “블러로 등장하기”(흐릿해 보인다)
버스트 (burst) 방사선 + 충격파 링 EXPLODE, SENT, 브랜드명
카메라 펀치 / 흔들림 순간 확대 / 위치 지터 펀치는 화면 시작마다, 흔들림은 6곳만
플러드 (flood) 바탕이 강조색으로 차오르고 글자색이 뒤집힘 코러스 후반, 곡의 정점
단어가 의미를 연기 단어 하나만 다르게 움직임 “It doesn’t GUESS”의 GUESS만 덜덜 떨다 취소선
연기 후 정지 (settle) 떨림도 한 박 뒤 멈춘다 DOUBT, 물음표
추상 → 구체 UI 개념을 제품 화면의 실패와 해결로 그림 “규칙이 막는다” → 경고 카드 두 장에 도장

5. 피드백 두 번 — 속도와 떨림

“너무 빨라서 내용을 못 보고 지나간다.” 첫 버전은 120 BPM에 2초마다 화면을 비웠다. 20개 화면 중 12개가 2초 만에 사라졌다. 사람이 읽을 수 있는 건 대략 초당 15~17자다. UI가 있는 화면은 4.5초 이상 두고 두 줄씩 쌓게 바꿨다. 실제 곡은 96 BPM으로 나왔다.

“글씨가 전체적으로 흔들린다. 효과가 끝난 텍스트는 깔끔해야 한다.” 화면이 바뀔 때마다, 큰 단어마다 카메라를 흔들고 있었다. 세어 보니 전체 프레임의 15.3%가 떨리고 있었다.

흔들림은 센 순간 6곳(폭발·드롭·YES·SENT·플러드·브랜드명)에만 남기고, 0.4초 안에 정확히 0으로 끝나게 했다. 나머지 순간엔 확대 펀치만 남겼다. 떨리는 프레임은 1.2%로 줄었다.

임팩트는 강약이다. 매 박 터뜨리면 아무것도 안 터진다.

6. 렌더와 검증

  • 4천 프레임 넘게 한 번에 렌더하면 렌더용 브라우저가 죽었다(“Page crashed!”). 1천 프레임씩 소리 없이 렌더해 이어 붙이고, 원본 음원을 마지막에 한 번에 입혔다. 구간마다 소리를 넣으면 이음매에 틈이 생긴다.
  • 모션은 스틸 한 장으로 판단하지 않는다. 전 구간 콘택트 시트로 훑고, 장면 점수로 의도치 않은 튐을 찾는다.
ffmpeg -ss 0 -t 40 -i out.mp4 -vf "fps=2.5,scale=440:-1,tile=8x13" -frames:v 1 sheet.jpg
ffmpeg -i out.mp4 -vf "select='gt(scene,0.35)',metadata=print:file=-" -an -f null - | grep pts_time
# → 23.43 (폭발), 69.12 (플러드) — 의도한 두 곳만 나와야 정상

7. 한 번 쓰고 버리지 않게 — 키트와 세로판

공통 엔진과 제품별 폴더로 나눴다. 이제 새 제품은 가사 문서와 곡만 넣으면, 손대지 않고 글자만으로 된 1차 컷이 렌더된다(같은 곡·가사로 80초 통과 확인). 1차 컷에서 곡·가사·속도를 확정한 뒤 화면 단위로 제품 UI 장면을 끼운다. 곡을 바꾸는 비용이 가장 싼 시점이 여기다.

릴스용 세로판(9:16)도 같은 코드에서 나온다. 레이아웃을 가로·세로 두 벌로 두고, 제품 UI는 가로 좌표 그대로 그린 다음 세로에선 글 아래 “무대”로 줄여 옮겼다. 배치는 릴스 안전 영역을 피했다.

  • 위쪽 약 220px: 릴스 머리줄
  • 아래쪽 약 360px: 캡션과 계정명
  • 오른쪽 아래: 버튼 열

한계 · 다음 계획

  • n=1이다. 아직 한 제품에만 써 봤다. 두 번째 제품에서 가사부터 장면까지가 실제로 빨라지는지 봐야 한다.
  • 제품 UI 장면은 여전히 제품마다 새로 그려야 한다. 작업 시간의 대부분이 여기다.
  • 세로판에서 넓은 UI(엑셀 시트 같은 것)는 작아진다. 화면 속 글자는 휴대폰에서 안 읽히고 움직임으로만 전달된다.
  • 발음이 뭉개진 구간의 정렬 오류는 자동으로 다 못 잡는다. 1차 컷 검수가 필요하다.

FAQ

Q. 왜 음성 인식(받아쓰기)으로 타이밍을 뽑으면 안 되나요?
가사를 이미 알고 있다면 받아쓸 필요가 없다. 받아쓰기는 단어를 틀리게 듣거나 빠뜨리고, 같은 곡에서도 실행마다 시각이 1~5초씩 달랐다. 가사 글자열을 보컬에 맞추는 강제 정렬은 ±0.1초 안에서 맞았다.

Q. 보컬 분리는 꼭 해야 하나요?
드럼과 베이스가 섞인 믹스에서는 정렬과 검증이 모두 흐려진다. 곡 생성 서비스에서 보컬 스템을 받을 수 있으면 그걸 쓰고, 없으면 분리 도구로 떼어낸다. 분리 도구는 무작위 오프셋을 끄고(--shifts 0) 써야 결과가 매번 같다.

Q. 화면이 너무 빠르다는 피드백은 템포를 낮추면 해결되나요?
템포보다 화면을 비우는 주기가 문제였다. 120 BPM에서 2초마다 비웠던 게 원인이었다. 읽을 UI가 있는 화면은 4.5초 이상 두고, 앞 줄을 지우지 않고 쌓으면 빠른 곡에서도 읽힌다.

Q. 가로 영상을 세로 릴스로 바꾸려면 다시 만들어야 하나요?
레이아웃 값을 가로·세로 두 벌로 두고, UI를 “무대” 컴포넌트로 감싸 세로에선 줄여 옮기는 방식이면 같은 코드에서 두 판이 나온다. 단, 글에 붙어 다니는 장식(물음표, 잔상)은 레이아웃 기준 좌표로 계산해야 세로에서 어긋나지 않는다.

Leave a Comment