폰으로 찍고 블록버스터로 바꿉니다 — Higgsfield Genjutsu

게임 프로덕션에서 돈이 가장 크게 나가는 항목 중 하나는 캐릭터의 움직임입니다. 모션 캡처 스튜디오는 하루만 빌려도 비용이 만만치 않습니다. 공간과 장비만 빌리는 것이 아니라 연기자와 오퍼레이터, 촬영한 데이터를 정리하는 인력까지 함께 붙기 때문입니다.

모션 캡처를 안 하면 애니메이터가 키를 일일이 잡습니다. 걷는 동작 하나에도 발이 땅에 닿는 순간과 무게 중심이 넘어가는 순간을 사람이 직접 찍어야 합니다. 노동량도 크지만 진짜 부담은 수정입니다. 디렉션이 한 번 바뀌면 그 키를 다시 잡아야 하고, 그 비용은 처음 만들 때와 크게 다르지 않습니다.

어느 쪽을 골라도 움직임은 비쌉니다. 그래서 게임 쪽에서는 오래전부터 움직임을 재사용해 왔습니다. 한 번 만든 애니메이션을 다른 캐릭터의 골격에 옮겨 붙이는 리타게팅이 표준 공정인 이유가 이것입니다.

힉스필드가 8월 말에 낸 Genjutsu는 그 일을 실사 영상에서 합니다. 촬영본에서 움직임만 가져가고 나머지를 새로 생성합니다.

Genjutsu가 환술(幻術)이라는 뜻인 걸 알고 계셨나요? 눈에 보이는 것을 다른 것으로 바꿔 보여주는 술법입니다. 공식 페이지가 이 도구를 한 줄로 소개하는 말이 “Reality manipulation”인데, 작명과 기능이 정확히 겹칩니다. 찍힌 것은 그대로 두고 보이는 것만 바꾸니까요.

같은 테이크를 두 개의 현실로 재구성한 공식 데모입니다. 카메라와 타이밍은 그대로고 세계만 바뀌었습니다.

영상 모델은 세계를 기억하지 못합니다

프롬프트로 영상을 뽑아본 사람은 다 겪는 문제가 있습니다. 두 번째 컷이 첫 번째 컷과 다른 곳에서 벌어집니다. 인물의 얼굴이 미묘하게 달라지고, 벽지 무늬가 바뀌고, 조명의 방향이 뒤집힙니다.

원인은 단순합니다. 영상 생성 모델이 내놓는 것은 완성된 그림이지 공간이 아닙니다. 방의 구조도, 인물의 골격도, 카메라가 어디 있었는지도 어디에도 남지 않습니다. 그래서 다음 컷은 앞 컷을 참고하는 것이 아니라 처음부터 다시 상상합니다.

Genjutsu는 이 문제를 반대편에서 풉니다. 세계를 기억하게 만들려 하지 않습니다. 대신 움직임과 카메라와 타이밍 세 가지를 원본에서 그대로 가져오고, 화면에 보이는 것은 레퍼런스대로 다시 생성합니다.

두 갈래로 갈립니다

공식 문서가 정의하는 방식은 두 가지이고, 이 둘의 차이가 이 도구를 쓰는 방식 전체를 정합니다.

Motion transfer는 원본의 움직임과 카메라와 타이밍을 그대로 쓰고, 배우와 장소와 화풍은 레퍼런스대로 다시 생성합니다. 공식 데모 중에 같은 파쿠르 테이크 하나를 뉴욕 옥상과 절벽 위 초현실 공간과 일본 신사에서 각각 돌린 것이 있습니다. 점프하는 각도와 착지 타이밍이 세 영상에서 완전히 같습니다. 배경만 바뀐 것이 아니라 소품과 광원까지 다시 생성됐는데도 동작은 프레임 단위로 일치합니다.

한 테이크를 세 개의 세계에서 각각 재구성한 결과입니다. 왼쪽부터 뉴욕 옥상, 절벽 위, 일본 신사.

Objects swap은 지정한 요소 하나만 바꾸고 나머지를 원본 그대로 둡니다. 뮤직비디오 데모가 이걸 잘 보여줍니다. 다섯 명의 안무, 카메라 무브, 뒤에서 타는 불, 젖은 아스팔트의 반사까지 두 버전이 동일한데 의상만 스트리트웨어에서 검은 정장으로 바뀝니다.

전자는 화면 전체를 다시 생성하고, 후자는 지정한 부분만 바꿉니다. 통째로 다시 만들 것인지 한 군데만 고칠 것인지에 따라 고르면 됩니다.

무엇을 바꿀지는 사진으로 지정합니다

이 도구에서 프롬프트는 선택 사항입니다. 생성기 화면을 직접 열어 확인해 보면 프롬프트 입력란이 토글로 되어 있고 기본값이 꺼짐입니다. 대신 인물·제품·의상·장소를 레퍼런스 이미지로 첨부합니다. 프리셋 목록도 따로 있어서 방향이 평범하면 고르기만 해도 됩니다.

이건 편의 기능이 아니라 정확도 문제입니다. “붉은 가죽 재킷을 입은 30대 남성”이라고 쓰면 모델이 그 문장을 해석하지만, 사진을 첨부하면 해석할 것이 없습니다. AI 이미지에서 인물 일관성이 무너지는 지점이 늘 문장이었다는 걸 생각하면, 입력을 사진으로 옮긴 선택은 타당합니다.

예산은 결국 제작 리소스입니다

영상 예산의 대부분은 화면 밖에서 나갑니다. 카메라 대여비보다 로케이션 섭외비가 크고, 조명 장비보다 그 조명을 세울 사람 수가 큽니다. 모션 캡처가 비쌌던 이유도 같습니다. 결국 사람과 공간과 시간을 사는 일이기 때문입니다.

Genjutsu는 그 리소스 중에서 후반으로 미룰 수 있는 것을 따로 떼어냅니다. 그러면 촬영 단계에서 확보해야 할 항목이 바뀝니다.

• 지켜야 할 것 – 연기, 카메라 무브, 컷의 길이와 리듬. 이건 후반에 못 만듭니다.
• 버려도 되는 것 – 로케이션, 의상, 소품, 조명의 색. 전부 레퍼런스로 대체됩니다.
• 미리 정해야 할 것 – 바꿀 대상의 레퍼런스 이미지. 촬영 전에 확보해 두는 편이 낫습니다.

그러면 방구석에서 찍은 안무 영상 하나가 다섯 벌의 의상과 세 곳의 로케이션으로 뻗어 나갑니다. 광고라면 같은 편집으로 시장별 모델을 바꿔 끼울 수 있습니다.

다만 순서를 착각하면 안 됩니다. 후반이 대신해 주는 것은 리소스이지 연출이 아닙니다. 카메라가 흔들렸거나 컷의 호흡이 늘어졌으면 그건 그대로 남습니다. 오히려 바꿀 수 없는 것의 비중이 커졌으니, 현장에서 신경 쓸 항목이 줄어든 만큼 남은 항목의 밀도는 올라가야 합니다.

한계는 분명합니다

입력 영상은 한 번에 30초까지입니다. 긴 영상은 컷 단위로 나눠 돌려야 하고, 컷마다 레퍼런스를 다시 거는 수고가 붙습니다. 출력은 최대 1080p라 최종 납품물로 쓰기엔 애매한 구간이 있습니다.

한 가지 더 짚어둘 것이 있습니다. 레퍼런스 이미지 장수가 공식 자료마다 다릅니다. 블로그는 30장, 제품 페이지 FAQ는 40장, 생성기 화면은 49장이라고 적혀 있습니다. 큰 문제는 아니지만, 이런 수치를 근거로 워크플로우를 짜기 전에 화면에서 직접 확인하는 편이 안전합니다.

도구가 아니라 순서가 바뀐 것입니다

Genjutsu가 새로운 것은 영상을 바꿔치기한다는 점이 아닙니다. 페이스 스왑도 리라이팅도 오래 있었습니다. 달라진 것은 연출을 자산으로 남길 수 있게 됐다는 것입니다.

게임에서 한 번 만든 애니메이션을 여러 캐릭터가 나눠 쓰듯, 잘 나온 테이크 하나가 다음 편들의 뼈대로 계속 재사용됩니다. 영상 제작의 단위가 완성본에서 움직임으로 내려간 셈입니다.

그래서 이 도구를 쓸지 말지보다 먼저 정해야 할 것이 있습니다. 다음 촬영에서 무엇을 끝까지 지킬 것인가. 그 목록이 짧아졌다는 게 이 소식의 전부입니다.

이 글에 실은 데모 영상과 사양은 모두 공식 자료에서 확인한 것입니다. 직접 보시려면 Higgsfield Genjutsu 페이지에 데모와 프리셋이 정리되어 있습니다.