폰으로 찍고 블록버스터로 바꿉니다 — Higgsfield Genjutsu

모션 캡처 스튜디오의 하루 값

게임 회사에서 오래 일하다 보면 자연스럽게 알게 됩니다. 캐릭터 하나가 걷고 뛰고 쓰러지는 움직임에 생각보다 훨씬 큰돈이 든다는 걸요.

모션 캡처 스튜디오는 하루만 빌려도 비용이 만만치 않습니다. 넓은 촬영 공간, 수십 대의 카메라, 슈트를 입은 연기자, 장비를 다루는 오퍼레이터, 찍은 데이터를 정리하는 사람까지 한꺼번에 움직이거든요.

그렇다고 캡처를 안 하면 애니메이터가 키를 하나하나 잡아야 합니다. 발이 땅에 닿는 순간, 무게가 한쪽으로 넘어가는 순간까지 손으로요. 더 무서운 건 수정입니다. 디렉션이 한 번 바뀌면 그 키를 처음부터 다시 잡아야 하고, 그 비용은 처음 만들 때와 별로 다르지 않아요. (애니메이터분들이 수정 요청을 받을 때 표정이 왜 굳는지, 저는 조금 압니다…)

그래서 게임 쪽에서는 한 번 만든 움직임을 다른 캐릭터에 옮겨 쓰는 일이 오래전부터 당연했습니다. 비싼 걸 한 번만 만들고 여러 번 쓰는 방식이죠.

힉스필드가 8월 말에 내놓은 Genjutsu를 처음 봤을 때, 저는 그 방식이 떠올랐습니다. 실제로 찍은 영상에서 움직임만 가져가고, 나머지를 새로 생성하는 도구입니다.

그런데 이름이 재밌어요. Genjutsu는 ‘환술(幻術)’이라는 뜻입니다. 눈에 보이는 것을 다른 것으로 바꿔 보여 주는 술법이요. 공식 페이지는 이 도구를 ‘Reality manipulation’이라고 소개하는데, 이름과 하는 일이 꽤 정확하게 맞아떨어집니다.

같은 테이크를 두 개의 세계로 다시 만든 공식 데모입니다. 카메라도 타이밍도 그대로인데, 세계만 바뀌었죠.

영상 모델이 기억하지 못하는 것

프롬프트로 영상을 뽑아 본 분이라면 한 번쯤 겪어 보셨을 거예요. 두 번째 컷이 첫 번째 컷과 다른 곳에서 벌어집니다. 미묘하게 달라진 얼굴, 바뀐 벽지 무늬, 반대쪽에서 들어오는 조명.

영상 모델은 매번 완성된 그림을 새로 그려 내기 때문입니다. 방의 구조나 인물의 골격, 카메라가 서 있던 자리 같은 건 어디에도 남지 않아요. 그러니 다음 컷은 앞 컷을 모른 채 처음부터 다시 상상하게 됩니다.

Genjutsu는 이 문제를 반대쪽에서 풉니다. 세계 전체를 기억하게 하려고 애쓰지 않고, 정말 지켜야 할 세 가지만 원본에서 그대로 가져옵니다. 움직임, 카메라, 타이밍.

움직임만 가져오거나, 하나만 바꾸거나

방식은 두 가지예요.

‘Motion transfer’는 원본의 움직임과 카메라와 타이밍을 그대로 두고, 배우와 장소와 화풍을 레퍼런스대로 다시 생성합니다. 공식 데모 중에 파쿠르 한 테이크를 뉴욕 옥상, 절벽 위, 일본 신사로 각각 옮긴 영상이 있는데, 점프하는 각도와 착지 타이밍이 세 영상에서 똑같습니다. 소품과 조명까지 새로 생성됐는데도요.

‘Objects swap’은 정해 준 요소 하나만 바꾸고 나머지는 원본 그대로 둡니다. 뮤직비디오 데모를 보면 다섯 명의 안무, 카메라 무빙, 뒤에서 타오르는 불, 젖은 아스팔트의 반사까지 그대로인데 의상만 스트리트웨어에서 검은 정장으로 바뀌어 있어요.

통째로 다시 만들고 싶으면 Motion transfer, 한 군데만 어긋났으면 Objects swap. 고르는 기준은 그 정도면 충분할 것 같습니다.

사진으로 정하는 캐스팅

재미있는 건 프롬프트가 필수가 아니라는 점이었어요. 생성기 화면을 직접 열어 보면 프롬프트 입력란이 토글로 되어 있고, 기본값이 꺼져 있습니다. 대신 인물, 제품, 의상, 장소를 이미지로 첨부해요. 방향이 무난하면 프리셋만 골라도 됩니다.

이미지를 만들어 본 사람이라면 이 선택이 왜 반가운지 알 거예요. ‘붉은 가죽 재킷을 입은 30대 남성’이라고 적으면 모델은 그 문장을 자기 식으로 해석하지만, 사진을 첨부하면 해석할 틈이 거의 없죠. 인물이 컷마다 달라지는 문제가 늘 문장에서 시작됐다는 걸 생각하면, 꽤 영리한 방향이라고 느꼈습니다.

촬영에서 끝까지 지켜야 할 것

결국 영상 예산은 사람과 공간과 시간을 사는 일입니다. 카메라 대여비보다 로케이션 섭외비가 크고, 조명 장비보다 그 조명을 세울 사람 수가 크죠. 모션 캡처가 비쌌던 이유도 같습니다.

Genjutsu를 쓰면 그중 일부를 후반으로 미룰 수 있게 됩니다. 그러면 촬영장에서 신경 쓸 목록이 달라져요.

현장에서 반드시 잡아야 하는 건 연기, 카메라 무빙, 컷의 길이와 리듬입니다. 이건 나중에 만들 수가 없어요. 로케이션, 의상, 소품, 조명의 색은 레퍼런스로 나중에 바꿀 수 있습니다. 대신 바꿀 대상의 레퍼런스 이미지는 촬영 전에 미리 챙겨 두는 게 좋고요.

그러면 방구석에서 찍은 안무 영상 하나가 다섯 벌의 의상과 세 곳의 로케이션으로 뻗어 나갑니다. 광고라면 같은 편집으로 나라마다 다른 모델을 입혀 볼 수도 있겠죠.

다만 착각하기 쉬운 게 하나 있어요. 후반이 대신해 주는 건 ‘돈이 드는 부분’이지, 연출 그 자체까지는 아닙니다. 카메라가 흔들렸거나 컷 호흡이 늘어졌다면 그건 그대로 남아요. 오히려 현장에서 챙길 항목이 줄어든 만큼, 남은 항목은 더 단단하게 잡아야 합니다.

아직 넘기 어려운 선

한계도 분명합니다. 입력 영상은 한 번에 30초까지라, 긴 영상은 컷 단위로 나눠 돌려야 하고 컷마다 레퍼런스를 다시 챙기는 수고가 붙어요. 출력도 최대 1080p라서 최종 납품용으로 쓰기엔 애매한 구간이 있습니다.

레퍼런스 이미지를 몇 장까지 넣을 수 있는지도 공식 자료마다 다르게 적혀 있었어요. 블로그는 30장, 제품 페이지 FAQ는 40장, 생성기 화면은 49장. (세 군데를 다 확인하고 나서 조금 웃었습니다.) 이런 숫자로 작업 계획을 세우기 전에는 화면에서 한 번 더 확인해 보시길 권해요.

연출이 자산이 되는 순간

영상을 바꿔치기하는 기술 자체는 새롭지 않습니다. 페이스 스왑도 리라이팅도 오래전부터 있었죠. 제가 Genjutsu에서 흥미롭게 본 건, 잘 찍은 연출을 한 번 쓰고 끝내지 않고 계속 다시 쓸 수 있게 됐다는 점이었어요.

게임에서 한 번 만든 애니메이션을 여러 캐릭터가 나눠 쓰듯, 잘 나온 테이크 하나가 다음 영상들의 뼈대가 됩니다. 영상을 만드는 단위가 완성본에서 ‘움직임’으로 내려오는 셈이죠.

그렇다면 다음 촬영에서 제일 먼저 정해야 할 건 무엇일까요. 아마 이 도구를 쓸지 말지보다, 끝까지 지킬 것이 무엇인지일지도 모르겠습니다.

직접 보시려면 Higgsfield Genjutsu 페이지에 데모와 프리셋이 정리되어 있어요.