動画のためのAIスタイル転送

動画のためのAIスタイル転送とは？

スタイル転送は、ソース動画とターゲットビジュアルスタイル（ピクサー3D、ジブリ風、アニメの線画、水彩画）を取り、元の動き、フレーミング、被写体のアイデンティティを保持しながらターゲットスタイルでクリップを再レンダリングします。出力は新しい動画であり、元のフレームに適用されたフィルターではありません。

画像スタイル転送は10年以上前から存在していますが、動画にとって難しい部分は時間的一貫性です。単純なフレームごとのスタイル変更はちらつきが生じます — 各フレームは独立してスタイル変更されるため、隣接するフレームでモデルが異なる選択をする際に色やテクスチャが揺れます。現代のパイプラインは、前のフレームに条件付けし、時間軸に沿ってスタイルの決定を伝播させることでこれを修正します。

このページのデモは、実写クリップをジブリ風の絵画的な外観にスタイル変更したものを示しています。動きは滑らかで、顔は認識可能で、カラーパレットは全体のショットで一貫しています。

Curifyのスタイル転送へのアプローチ

プロダクショングレードの動画スタイル転送は、単一のモデル呼び出しではなく、専門的な段階のパイプラインです。各段階は時間的一貫性の問題の一部を処理し、修正が互いに競合するのではなく、重なり合うようにします。

ステップ1：ショット検出とシーンセグメンテーション。クリップはショット境界で分割され、各ショットは独自のスタイルパラメータを持ち、モデルは無関係なカット間で一貫性を維持するように求められません。

ステップ2：参照エンコーディング。スタイル参照画像または名前付きプリセットがターゲットスタイルの埋め込みにエンコードされ、スタイル変更を駆動します。

ステップ3：フレーム間の一貫したスタイル変更。フレームは前の出力フレームを意識してスタイル変更されるため、色、テクスチャ、線の太さが動きに沿って一貫します。

ステップ4：時間的スムージングと品質を考慮したエンコーディング。残留するちらつきをクリーンアップするパスがあり、最終クリップはスタイル変更された詳細を保持するビットレートでエンコードされます。

誰がAIスタイル転送を使用していますか？