비디오용 AI 스타일 전환

비디오용 AI 스타일 전환이란 무엇인가요?

스타일 전환은 소스 비디오와 목표 시각 스타일(픽사 3D, 지브리 화풍, 애니메이션 선화, 수채화 등)을 가져와 원래의 움직임, 프레이밍 및 주제 정체성을 유지하면서 목표 스타일로 클립을 다시 렌더링합니다. 출력은 원본 프레임에 적용된 필터가 아닌 새로운 비디오입니다.

이미지 스타일 전환은 10년 이상 존재해왔지만, 비디오의 어려운 부분은 시간적 일관성입니다. 단순한 프레임 간 재스타일링은 깜박임이 발생합니다 — 각 프레임은 독립적으로 재스타일링되므로 색상과 질감이 인접한 프레임에서 다른 선택을 하면서 흔들립니다. 현대의 파이프라인은 이전 프레임에 조건을 부여하고 시간 축을 따라 스타일 결정을 전파하여 이를 해결합니다.

이 페이지의 데모는 실사 클립이 지브리 화풍으로 재스타일링된 모습을 보여줍니다. 움직임은 부드럽고, 얼굴은 인식 가능하며, 색상 팔레트는 전체 샷에서 일관성을 유지합니다.

Curify의 스타일 전환 접근 방식

생산 등급 비디오 스타일 전환은 단일 모델 호출이 아닌 전문화된 단계의 파이프라인입니다. 각 단계는 시간적 일관성 문제의 한 부분을 처리하여 수정이 서로 충돌하지 않고 누적되도록 합니다.

1단계: 샷 감지 및 장면 분할. 클립은 샷 경계에서 분할되어 각 샷이 고유한 스타일 매개변수를 가지며 모델이 관련 없는 컷 간의 일관성을 유지하도록 요청받지 않습니다.

2단계: 참조 인코딩. 스타일 참조 이미지 또는 이름이 지정된 프리셋이 목표 스타일 임베딩으로 인코딩되어 재스타일링을 유도합니다.

3단계: 프레임 간 일관된 재스타일링. 프레임은 이전 출력 프레임을 인식하여 재스타일링되므로 색상, 질감 및 선 두께가 움직임에 따라 일관성을 유지합니다.

4단계: 시간적 스무딩 및 품질 인식 인코딩. 잔여 깜박임 패스가 남아 있는 아티팩트를 정리하고 최종 클립은 재스타일링된 세부 사항을 유지하는 비트 전송률로 인코딩됩니다.

AI 스타일 전환을 사용하는 사람은 누구인가요?