AI가 만든 100달러 뮤직비디오 결과: Claude Fable5 vs GPT 5.6 Sol

AI가 영상도 만들어준다는 건 이제 다 아는 이야기죠. 근데 진짜로 곡 하나 던져주고, 예산 주고, “처음부터 끝까지 혼자 만들어봐”라고 하면 어떻게 될까요. AI 모델 비교 플랫폼 TryAI에서 실제로 해봤습니다.

브루노 마스의 ‘Uptown Funk’을 주고, Fable 5(클로드 기반)와 GPT-5.6 Sol 두 모델에 각각 25달러, 100달러 예산을 줬어요. 인간 개입은 0. 도구 선택부터 클립 생성, 편집, 음악 합성까지 전부 AI가 알아서. 그렇게 AI 뮤직비디오 4편이 나왔는데, 놀랍기도 하고 웃기기도 해요.

이 실험은 해커뉴스에서 396점을 기록하며 개발자·크리에이터 커뮤니티의 주목을 끌었고, Boing Boing도 보도했어요. 특히 “Make a dragon wanna retire”(용도 은퇴시킬 기세)라는 가사에 AI가 진짜 용을 그려버린 장면이 화제가 됐죠.

1. 같은 곡, 같은 돈 — 그런데 결과가 이렇게 다르다

TryAI가 실험을 설계한 방식이 깔끔해요. 두 모델에 똑같은 조건을 줬어요. 곡은 ‘Uptown Funk’, 예산은 25달러짜리 한 편과 100달러짜리 한 편. 도구도 동일하게 웹 검색, 이미지 생성, 영상 생성, ffmpeg까지 열어줬고요. 영상 생성 API로 FAL과 Replicate 두 개를 줬는데, 흥미롭게도 4편 모두 FAL만 골랐습니다. AI도 도구 선택에서 보수적이더라고요.

각 모델이 어떤 영상 생성 모델을 골랐는지도 달랐어요. Fable 5는 25달러 런에서 Wan 2.5를, 100달러 런에서는 Seedance 1.0 Pro를 선택해 유일하게 1080p 영상을 뽑아냈습니다. GPT-5.6 Sol은 25달러 런에서 FLUX로 이미지를 먼저 만들고 Wan 2.2로 영상화하는 이미지→영상 파이프라인을 스스로 설계했는데, 텍스트 오버레이나 애니메이션 스틸 같은 가장 창의적인 편집 시도가 이 런에서 나왔습니다.

가장 저렴한 건 GPT-5.6의 25달러 런(총 27.45달러), 가장 비싼 건 Fable 5의 100달러 런(총 73.65달러)이었어요. 재밌는 건 4편 모두 예산을 다 쓰지 않았다는 점입니다. 100달러를 줘도 74달러밖에 안 썼어요. AI가 “더 좋게 만들려고 더 쓰자”는 판단을 아직 못 하는 거죠. 코드는 오픈소스로 공개돼 있어서 직접 돌려볼 수도 있습니다.

2. AI 뮤직비디오가 무너지는 3가지 지점

TryAI 저자의 한마디가 이 실험을 잘 요약합니다.

4편 모두 38~49분 만에 완성은 됐어요. 하지만 4편 전부에서 같은 문제가 반복됐습니다.

첫 번째, 얼굴이 숏마다 바뀝니다. 같은 캐릭터가 등장하는데, 장면이 바뀔 때마다 다른 사람이 되어 있어요. 브랜드 영상으로 치면 모델이 컷마다 다른 얼굴인 셈이죠. TryAI도 “반복 캐릭터가 숏 사이에서 표류한다”고 적었고, Boing Boing은 이걸 “얼굴이 숏 사이에서 바뀐다”고 콕 집었습니다. TryAI 저자는 해결책으로 “클립마다 즉흥으로 만드는 대신, 먼저 일관된 캐릭터 레퍼런스를 생성해두면 나아질 것”이라고 제안했어요.

두 번째, 음악이랑 안 맞아요. 비트 감지 자체는 되니까 컷 전환 타이밍은 얼추 맞습니다. 근데 클립 안의 동작이 음악 템포를 전혀 못 따라가요. TryAI 원문에는 키스 모션이 너무 느리게 실행되는 예시가 나오는데, 뮤직비디오의 본질인 리듬감을 AI가 아직 이해하지 못하는 거죠.

세 번째, 가사를 글자 그대로 그립니다. 이게 가장 화제가 된 부분이에요. “Make a dragon wanna retire, man”은 “용도 은퇴시킬 만큼 대단하다”는 비유인데, AI는 진짜 용을 화면에 그려버렸습니다. 비유와 은유를 이해하지 못하고 문자 그대로 영상화한 건데, 이 장면이 해커뉴스에서 밈처럼 퍼지면서 “AI는 비유를 모른다”는 논의를 촉발했어요.

거기에 하나 더, AI가 자기 결과물을 검토하지 않았습니다. 4편 모두 클립을 만들어놓고 품질을 확인하거나, 안 좋은 클립을 다시 깎는 과정이 없었어요. Boing Boing의 표현이 적확한데, “실패가 재미있는 부분이다”라고 했죠.

3. 그래서 마케터는 AI 영상을 어떻게 쓸까

이 실험이 마케팅 영상 실무에 시사하는 바는 분명해요. AI에 크리에이티브를 통째로 맡기면 ‘초안’은 나오지만, ‘완성’은 아직 사람 몫이에요.

구체적으로 나눠보면 이렇습니다. AI에 맡길 수 있는 영역, 다양한 시안을 빠르게 뽑아보는 것, 소재 영상 생성, 초안 수준의 스토리보드. 27달러에서 74달러 사이로 수십 개 클립이 나오니까 시안 단계에서는 효율이 확실해요. 사람이 해야 하는 영역, 브랜딩 일관성(로고·컬러·모델 얼굴이 숏마다 바뀌면 안 되니까), 음악 싱크 조정, 스토리 연출, 최종 편집.

2026년 기준 현실적인 워크플로는 “AI 초안 → 사람 30% 편집”입니다. 이 실험에서 100달러짜리 AI 영상의 한계가 명확히 드러난 만큼, AI를 ‘완성 도구’보다는 ‘초안 도구’로 쓰고, 사람이 편집할 시간을 따로 잡아두는 게 현실적이에요. 제품 소개 영상이든 캠페인 티저든 소셜 숏폼이든, 지금 AI 영상의 가장 효과적인 쓰임새는 “없던 시안을 빠르게 만들어내는 첫 단계”에 있습니다.

https://github.com/hershalb/music-video-arena

TryAI의 실험 코드는 오픈소스로 공개돼 있으니, 직접 자사 제품 영상으로 같은 실험을 돌려보는 것도 방법이에요.