레퍼런스 이미지 1장 → 생성 영상 → 3D 외형·동작 복원 → 리깅 → Unity 반입.
좀비 서바이벌 게임 Empty House의 캐릭터·애니메이션 에셋을 혼자 만들기 위해 설계한 자동 파이프라인입니다.
캐릭터 하나(walker)가 입력에서 게임까지 가는 실제 산출물입니다.
외형과 동작을 영상에서 따로 복원한 뒤, 하나의 SMPL 골격 위에서 합칩니다.
캐릭터 레퍼런스 이미지를 첫 프레임으로 고정해 영상 생성 모델(Veo/Gemini)로 동작 영상을 만듭니다. 프롬프트의 문구 하나가 보폭·접지·자세를 바꾸기 때문에, 동작별 프롬프트 레시피를 실측으로 확립했습니다.

배경을 지우고 캐릭터만 남긴 클립을 다음 단계로 넘깁니다. 마스크 품질은 게이트가 자동 검사합니다.
영상에서 프레임별 3D 자세와 위치를 SMPL 파라미터로 추정합니다. 복원된 3D 몸을 원본 영상 위에 투영하면 추정이 얼마나 맞는지 눈으로 확인할 수 있습니다.
영상에서 자세가 좋은 키프레임 한 장을 자동 선별해 텍스처가 입혀진 3D 메쉬를 생성합니다. 키프레임 선별 기준(팔이 몸에서 떨어진 자세 등)도 실패 사례에서 역산해 규칙으로 만들었습니다.
WHAM의 체형으로 만든 SMPL 몸을 TRELLIS 메쉬에 정렬하고, 검증된 SMPL 웨이트를 3단계(최근접 표면 → 메쉬 연결 전파 → 거리 폴백)로 전이합니다. "공간상 가깝다 ≠ 같은 부위다"를 배운 자리 — 손 정점이 허벅지 웨이트를 받는 오배정을 부위 제약으로 막습니다.


외형과 동작의 골격이 이미 같으므로, 복원한 동작을 리그에 그대로 굽습니다(베이킹). Mixamo 리깅 + 리타게팅 경로를 세 방식으로 시도해 모두 실패한 끝에, "리타게팅을 잘하는" 대신 "리타게팅이 필요 없는" 구조로 문제를 제거한 것이 이 파이프라인의 핵심 결정입니다.
FBX로 내보내 게임팀에 납품합니다. 캐릭터 10종, 클립 115편 — 아래는 이 파이프라인으로 만든 걷기·피격·쓰러짐·일어나기·포효 동작이 실제 게임에서 재생되는 장면입니다.
좀비 6종과 플레이어 4종 — 전부 이미지 1장에서 출발해 같은 파이프라인으로 생성한 3D 메쉬입니다.










완성된 파이프라인으로 지금 에셋 하나 — 캐릭터 1종, 또는 동작 클립 1편 — 를 만들 때 드는 시간과 비용입니다. 시간은 실행 로그 실측값이며, 비용은 현행 생성 모델의 공식 단가와 GPU 시간당 요금으로 산출해 실제 청구 내역과 대조했습니다. 비교 대상은 인디·프로토타입 규모의 에셋 제작이며, 아티스트의 리터치를 대체하지 않습니다.
| 산출물 | 전통 제작 | 본 파이프라인 |
|---|---|---|
| 캐릭터 1종 | 모델링·텍스처 3일~4주 + 리깅 수일 | 기계 ~11분 · 약 $2 — 리깅까지 포함 |
| 동작 클립 1편 | 키프레임 1~1.5일 또는 모캡 클립당 $50~200+ | ~6분 · 약 $1.7 — 자동 게이트 판정 포함 |
| 영상 → FBX 세트 | 외형·동작 결합 공정 (일 단위) | ~17분 · 약 $4 — 원커맨드, 사람 개입 0~1회 |
영상 생성은 Veo 3.1(편당 $0.80, 8초 기준)을 사용하다 제공 종료 이후 Gemini Omni 1.1 Flash로 이행했습니다. 단가는 2026-11 조회한 공식 가격 — Omni는 영상 출력 $17.50/M토큰으로 10초(86,880토큰)에 $1.52, Veo 3.1 Fast는 $0.10/초(일부 구간은 standard $0.40/초 사용). 표의 비용 구성(현행 단가 기준): 캐릭터 1종 ≈ 영상 $1.52 + 참조 이미지 $0.04 + GPU $0.15~0.46, 동작 클립 1편 ≈ 영상 $1.52 + GPU $0.05~0.19, FBX 세트는 두 항목의 합(≈$3.7)입니다.
전통 제작 수치 출처: Pixune(캐릭터 제작 기간) · Animator Island(게임 애니메이션 하루 5~10초) · Mocap Online(모캡 비용). 본 파이프라인 수치는 실행 로그와 RunPod · Google AI Studio 청구 내역에서 집계했습니다.
생성 AI의 출력은 매번 다릅니다. 사람 눈에 의존하던 검수를 측정 가능한 지표와 자동 게이트로 바꿔, 납품 전체를 언제든 전수 재검증할 수 있게 했습니다. 기준에 못 미치지만 수용한 클립은 사유·날짜·수치가 남는 수용 기록으로 관리되고, 수치가 나빠지면 자동으로 재검토 대상에 올라옵니다.
| 게이트 | 단계 | 무엇을 재나 |
|---|---|---|
| G0 | 입력 | 해상도 · 프레임레이트 · 파일 무결성 |
| gate_s2 | 분할 후 | 마스크 품질 — 다음 단계에 쓸 수 있는 분할인지 |
| gate_s5 | 동작 복원 후 | 트랙 연속성 — 끊김 없이 전 프레임을 추적했는지 |
| G2r | 리깅 후 | 골격-메쉬 거리, 좌우 교차 배정, 폴백 분포, 부위 경계 엣지 |
| G4 | 베이킹 후 | 메쉬 늘어남(찢어짐), 발 미끄러짐 속도, 바닥 정렬 |
모든 수리는 "현상 → 수치로 원인 특정 → 처방 → 전수 회귀 검증"의 순서로 진행했고, 과정 전체가 레포 문서에 날짜별로 남아 있습니다.
게임팀의 "미끄러져 보인다"는 피드백을 "접지 중 발이 몸 아래로 쓸리는 속도"라는 지표로 번역했습니다. 문제 클립은 무릎만 드는 제자리걸음(쓸기 ≈ 0)이었고, 같은 골격을 쓰는 다른 캐릭터의 달리기 동작을 이식해 해결 — 이후 이 지표는 G4의 자동 판정 항목이 됐고, 클립마다 "미끄러지지 않는 권장 이동 속도"를 함께 납품합니다.

늘어난 엣지의 87%가 웨이트 전이가 만드는 "딱 잘린 경계"(한 정점은 왼다리만, 옆 정점은 오른다리만)에서 나온다는 걸 측정으로 특정하고, 경계 주변 띠만 스무딩하는 후처리를 설계했습니다. 띠 밖 웨이트는 한 정점도 바뀌지 않아 기존 납품 클립의 회귀가 0건 — 이 수리로 격리돼 있던 클립 18편이 전부 복구됐습니다.
베이킹이 "서서 시작한다"고 가정하고 있었고, 눕는 동작이 처음 생기자 숨은 버그가 드러났습니다. 몸의 최저점이 바닥에 닿도록 루트 높이를 정렬하는 단계를 추가하고, 같은 검사를 G4에 넣어 이미 납품된 클립까지 전수 재검사 — 숨어 있던 결함 2건을 추가로 찾아 교체했습니다.
"디딘 발이 러닝머신 벨트처럼 뒤로 쓸려 간다"는 문장 하나로 달리기의 접지 품질이 2배가 됩니다. 대신 상체 자세가 사양에서 벗어나는 부작용도 실측으로 확인 — 생성 모델의 텍스트 조건화가 물리 묘사에 얼마나 민감하고, 조건끼리 어떻게 충돌하는지를 보여주는 사례입니다.
파이프라인은 torch 1.11~2.5, CUDA 11.3~12.4가 충돌하는 세 환경을 분리해 사용합니다. 이 환경 전체를 Docker 이미지로 굳혀 공개 레지스트리(GHCR)에 올렸습니다 — GPU 서버에서 이미지를 받으면 누구든 영상 1편 → FBX 파이프라인 전체를 명령 한 줄로 실행할 수 있고, 서버가 사라져도 복구는 pull 한 번입니다.
라이선스상 재배포가 금지된 모델 가중치(SMPL 계열)는 이미지에서 제외하고 실행 시 별도 장착하도록 설계해, 공개 이미지에서도 라이선스 경계를 지켰습니다.