Video2UnityAvatar Pipeline

영상 한 편이
게임 캐릭터가 되기까지

레퍼런스 이미지 1장 → 생성 영상 → 3D 외형·동작 복원 → 리깅 → Unity 반입.
좀비 서바이벌 게임 Empty House의 캐릭터·애니메이션 에셋을 혼자 만들기 위해 설계한 자동 파이프라인입니다.

AI·SW Maestro2026.07 – 2026.11 좀비 서바이벌 게임 (Empty House, Steam 출시, 3인 팀) 파이프라인 기획·설계·구축 1인Python · PyTorch · Blender · Unity SAM2 · WHAM · TRELLIS.2 · SMPL · Veo / Gemini Omni
10종제작한 캐릭터
115편납품한 애니메이션 클립
5단계자동 품질 게이트 G0–G4
0회리타게팅 — 골격 통일로 제거
How it works

파이프라인 한 바퀴

캐릭터 하나(walker)가 입력에서 게임까지 가는 실제 산출물입니다.
외형과 동작을 영상에서 따로 복원한 뒤, 하나의 SMPL 골격 위에서 합칩니다.

파이프라인 v4 구조도
파이프라인 v4 — 동작 경로(WHAM)의 체형 파라미터(betas)를 외형 경로의 리깅 단계로 전달해 양쪽 골격을 SMPL 24본으로 통일. 이 연결 하나가 리타게팅 단계를 제거합니다.
IN

입력 — 이미지 1장과 생성 영상

캐릭터 레퍼런스 이미지를 첫 프레임으로 고정해 영상 생성 모델(Veo/Gemini)로 동작 영상을 만듭니다. 프롬프트의 문구 하나가 보폭·접지·자세를 바꾸기 때문에, 동작별 프롬프트 레시피를 실측으로 확립했습니다.

walker 레퍼런스 이미지
① 캐릭터 레퍼런스 이미지
② 생성된 걷기 영상 (9:16)
S2

분할 — SAM2

배경을 지우고 캐릭터만 남긴 클립을 다음 단계로 넘깁니다. 마스크 품질은 게이트가 자동 검사합니다.

SAM2 마스크 — 인물만 분리된 클립
S5

동작 복원 — WHAM

영상에서 프레임별 3D 자세와 위치를 SMPL 파라미터로 추정합니다. 복원된 3D 몸을 원본 영상 위에 투영하면 추정이 얼마나 맞는지 눈으로 확인할 수 있습니다.

WHAM이 추정한 3D 몸(SMPL 정점)을 원본에 투영
S3

외형 복원 — TRELLIS.2

영상에서 자세가 좋은 키프레임 한 장을 자동 선별해 텍스처가 입혀진 3D 메쉬를 생성합니다. 키프레임 선별 기준(팔이 몸에서 떨어진 자세 등)도 실패 사례에서 역산해 규칙으로 만들었습니다.

TRELLIS.2 메쉬 턴테이블 — 키프레임 1장에서 생성
S4

리깅 — SMPL 골격 직접 이식

WHAM의 체형으로 만든 SMPL 몸을 TRELLIS 메쉬에 정렬하고, 검증된 SMPL 웨이트를 3단계(최근접 표면 → 메쉬 연결 전파 → 거리 폴백)로 전이합니다. "공간상 가깝다 ≠ 같은 부위다"를 배운 자리 — 손 정점이 허벅지 웨이트를 받는 오배정을 부위 제약으로 막습니다.

SMPL-TRELLIS 정렬 확인
SMPL 몸(골격)을 메쉬 안에 정렬
웨이트 전이 부위 제약
웨이트 전이의 부위 제약 — 팔·다리가 붙는 오배정 방지
S7

결합 — 리타게팅 없이

외형과 동작의 골격이 이미 같으므로, 복원한 동작을 리그에 그대로 굽습니다(베이킹). Mixamo 리깅 + 리타게팅 경로를 세 방식으로 시도해 모두 실패한 끝에, "리타게팅을 잘하는" 대신 "리타게팅이 필요 없는" 구조로 문제를 제거한 것이 이 파이프라인의 핵심 결정입니다.

원본 영상(좌)과 리그에 구운 동작(우)
OUT

Unity — 게임 반입

FBX로 내보내 게임팀에 납품합니다. 캐릭터 10종, 클립 115편 — 아래는 이 파이프라인으로 만든 걷기·피격·쓰러짐·일어나기·포효 동작이 실제 게임에서 재생되는 장면입니다.

플레이어 시점 — walker 접근 · 피격 · 쓰러짐
walker — 쓰러진 뒤 다시 일어나 걷기 (get_up)
listener · walker 동시 등장 — 피격 · 쓰러짐
stalker — 발견 · 포효 · 접근 · 피격 · 쓰러짐
Characters

납품 캐릭터 10종

좀비 6종과 플레이어 4종 — 전부 이미지 1장에서 출발해 같은 파이프라인으로 생성한 3D 메쉬입니다.

walker
zombie — walker
listener
zombie — listener
stalker
zombie — stalker
lurker
zombie — lurker
oiler
zombie — oiler
dog
zombie — dog
player 1
player 01
player 2
player 02
player 3
player 03
player 4
player 04
By the numbers

에셋 하나를 만드는 데 드는 시간과 비용

완성된 파이프라인으로 지금 에셋 하나 — 캐릭터 1종, 또는 동작 클립 1편 — 를 만들 때 드는 시간과 비용입니다. 시간은 실행 로그 실측값이며, 비용은 현행 생성 모델의 공식 단가와 GPU 시간당 요금으로 산출해 실제 청구 내역과 대조했습니다. 비교 대상은 인디·프로토타입 규모의 에셋 제작이며, 아티스트의 리터치를 대체하지 않습니다.

산출물전통 제작본 파이프라인
캐릭터 1종모델링·텍스처 3일~4주 + 리깅 수일기계 ~11분 · 약 $2 — 리깅까지 포함
동작 클립 1편키프레임 1~1.5일 또는 모캡 클립당 $50~200+~6분 · 약 $1.7 — 자동 게이트 판정 포함
영상 → FBX 세트외형·동작 결합 공정 (일 단위)~17분 · 약 $4 — 원커맨드, 사람 개입 0~1회
$1.52영상 1편(10초) 생성 단가 — 현행 모델 Gemini Omni 1.1 Flash 기준
$0.90/시간GPU 단가 (RunPod RTX 4090, 2026-11 기준) — 전 기간(2026.07–11) RunPod 총비용 $132 (GPU $95 + 스토리지 $37), 시행착오·실패분 포함
100%레시피 확립 후 생성 성공률 (11월 17/17 · 전체 기간 92%)

영상 생성은 Veo 3.1(편당 $0.80, 8초 기준)을 사용하다 제공 종료 이후 Gemini Omni 1.1 Flash로 이행했습니다. 단가는 2026-11 조회한 공식 가격 — Omni는 영상 출력 $17.50/M토큰으로 10초(86,880토큰)에 $1.52, Veo 3.1 Fast는 $0.10/초(일부 구간은 standard $0.40/초 사용). 표의 비용 구성(현행 단가 기준): 캐릭터 1종 ≈ 영상 $1.52 + 참조 이미지 $0.04 + GPU $0.15~0.46, 동작 클립 1편 ≈ 영상 $1.52 + GPU $0.05~0.19, FBX 세트는 두 항목의 합(≈$3.7)입니다.

전통 제작 수치 출처: Pixune(캐릭터 제작 기간) · Animator Island(게임 애니메이션 하루 5~10초) · Mocap Online(모캡 비용). 본 파이프라인 수치는 실행 로그와 RunPod · Google AI Studio 청구 내역에서 집계했습니다.

Quality gates

눈 대신 수치로 검사한다

생성 AI의 출력은 매번 다릅니다. 사람 눈에 의존하던 검수를 측정 가능한 지표와 자동 게이트로 바꿔, 납품 전체를 언제든 전수 재검증할 수 있게 했습니다. 기준에 못 미치지만 수용한 클립은 사유·날짜·수치가 남는 수용 기록으로 관리되고, 수치가 나빠지면 자동으로 재검토 대상에 올라옵니다.

게이트단계무엇을 재나
G0입력해상도 · 프레임레이트 · 파일 무결성
gate_s2분할 후마스크 품질 — 다음 단계에 쓸 수 있는 분할인지
gate_s5동작 복원 후트랙 연속성 — 끊김 없이 전 프레임을 추적했는지
G2r리깅 후골격-메쉬 거리, 좌우 교차 배정, 폴백 분포, 부위 경계 엣지
G4베이킹 후메쉬 늘어남(찢어짐), 발 미끄러짐 속도, 바닥 정렬
Problem solving

부딪히고, 재고, 고친 기록

모든 수리는 "현상 → 수치로 원인 특정 → 처방 → 전수 회귀 검증"의 순서로 진행했고, 과정 전체가 레포 문서에 날짜별로 남아 있습니다.

① 발이 바닥에서 미끄러진다

접지 중 발 쓸기 속도 −0.003 → −0.82 (신장/초)

게임팀의 "미끄러져 보인다"는 피드백을 "접지 중 발이 몸 아래로 쓸리는 속도"라는 지표로 번역했습니다. 문제 클립은 무릎만 드는 제자리걸음(쓸기 ≈ 0)이었고, 같은 골격을 쓰는 다른 캐릭터의 달리기 동작을 이식해 해결 — 이후 이 지표는 G4의 자동 판정 항목이 됐고, 클립마다 "미끄러지지 않는 권장 이동 속도"를 함께 납품합니다.

문제판(좌) · 동작 출처(중) · 이식판(우)
접지 비교 근접
디딘 발 위치 근접 비교

② 팔을 들면 겨드랑이가 찢어진다

0.10 초과 늘어난 엣지 가랑이 471 · 겨드랑이 266 → 0

늘어난 엣지의 87%가 웨이트 전이가 만드는 "딱 잘린 경계"(한 정점은 왼다리만, 옆 정점은 오른다리만)에서 나온다는 걸 측정으로 특정하고, 경계 주변 띠만 스무딩하는 후처리를 설계했습니다. 띠 밖 웨이트는 한 정점도 바뀌지 않아 기존 납품 클립의 회귀가 0건 — 이 수리로 격리돼 있던 클립 18편이 전부 복구됐습니다.

원본 · 1차 수리 · 가슴까지 수리
walker 겨드랑이 — 수리 전(좌) · 후(우)

③ 몸이 바닥에 뜨거나 묻힌다

바닥 거리 +0.16 공중부양 · −0.14 침하 → ±0.02

베이킹이 "서서 시작한다"고 가정하고 있었고, 눕는 동작이 처음 생기자 숨은 버그가 드러났습니다. 몸의 최저점이 바닥에 닿도록 루트 높이를 정렬하는 단계를 추가하고, 같은 검사를 G4에 넣어 이미 납품된 클립까지 전수 재검사 — 숨어 있던 결함 2건을 추가로 찾아 교체했습니다.

엎드린 몸이 공중에 뜸 — 수리 전(좌) · 후(우)
숙일 때 바닥 아래로 묻힘 — 수리 전(좌) · 후(우)

④ 프롬프트 한 줄이 동작을 바꾼다

발 쓸기 −0.26 → −0.57 — 단, 자세 사양과 트레이드오프

"디딘 발이 러닝머신 벨트처럼 뒤로 쓸려 간다"는 문장 하나로 달리기의 접지 품질이 2배가 됩니다. 대신 상체 자세가 사양에서 벗어나는 부작용도 실측으로 확인 — 생성 모델의 텍스트 조건화가 물리 묘사에 얼마나 민감하고, 조건끼리 어떻게 충돌하는지를 보여주는 사례입니다.

걷기/달리기 — 문장 추가 전후 (각 쌍의 좌=전, 우=후)
Reproducibility

누구나, 명령 하나로 실행한다

파이프라인은 torch 1.11~2.5, CUDA 11.3~12.4가 충돌하는 세 환경을 분리해 사용합니다. 이 환경 전체를 Docker 이미지로 굳혀 공개 레지스트리(GHCR)에 올렸습니다 — GPU 서버에서 이미지를 받으면 누구든 영상 1편 → FBX 파이프라인 전체를 명령 한 줄로 실행할 수 있고, 서버가 사라져도 복구는 pull 한 번입니다.

1커맨드새 GPU 서버에서 영상 1편 → FBX까지 관통 — 실측 9.9분
3환경 → 1이미지충돌하는 의존성을 분리한 채로 한 장에 통합 (21GB)
산출물 일치같은 입력에서 S2 마스크 · S5 pkl 동일, S3 정점 수 일치 — 이미지 환경 대조 검증

라이선스상 재배포가 금지된 모델 가중치(SMPL 계열)는 이미지에서 제외하고 실행 시 별도 장착하도록 설계해, 공개 이미지에서도 라이선스 경계를 지켰습니다.

Honest notes

한계와 배운 것

한계

배운 것

향후 개선 방향