От раскадровки к конвейерам искусственного интеллекта – новое определение анимации
Большинство людей думают, что AI-видео означает «ввод текста, вырезание». Но если вы стремитесь к кинематографическому управлению на уровне режиссёра, это совсем другая игра.
В традиционной анимации важна каждая деталь — дизайн персонажей, непрерывность движения, тайминг и переходы между сценами. Наша цель — добиться того, чтобы ИИ соответствовал этому уровню точности.
Анимация сегодня — это одновременно искусство и сложная оркестровка. Мы думаем как директора, но строим как инженеры.
Вот почему мы создаем Конвейеры контролируемой генерации вместо однократной генерации. Эти конвейеры сочетают в себе структуру и креативность:
Конвейер генерации видео AI
Конвейер создания видео с помощью искусственного интеллекта преобразует текстовые подсказки в безупречные видеоролики посредством структурированных этапов с явными входными, выходными данными и настройками.
- JSON-первый дизайн: каждая сцена адресуема и доступна для сценариев (scene_id,shot_id)
- Рабочие процессы на основе ComfyUI: модульные, воспроизводимые, компонуемые DAGs для генерации image/video
- Временной и мультимодальный контроль: согласованные начальные значения, встраивание символов и синхронизация модальностей.
Теперь давайте рассмотрим простой пример, чтобы показать, как конвейеры ИИ работают на практике.
Шаг 1. Начните с базовой подсказки
Девушка стоит на полуночном вокзале, ветер развевает ее волосы.
С помощью GPT или локального LLM мы расширяем его до структурированного объекта JSON с глобальным стилем, определениями символов и разбивкой по сценам.
A young woman standing alone on a midnight train platform, dim lights reflecting off the wet ground, wind blowing her hair, cinematic lighting, anime art style, 4KШаг 2. Преобразование приглашения в таблицу раскадровки
| Scene | Shot | Camera | Visual | Dialogue |
|---|---|---|---|---|
| 1 | Wide | Sway | The girl waits alone at the platform. Wet pavement reflects dim station lights. Wind gently lifts her hair. | (No dialogue – ambient station sounds) |
| 2 | Medium | Push | The camera slowly zooms in on her eyes. A distant light appears — a train approaches. | She whispers, "It's time." |
| 3 | Close-up | Static | Her hand tightens on an old ticket, knuckles white. Her gaze flickers with nerves and resolve. | (No dialogue – deep inhale) |
| 4 | Wide | Handheld | The train screeches in, spraying mist. The doors open with a hiss. | (No dialogue – train arrival and footsteps) |
| 5 | Over-the-shoulder | Track | From behind, she steps inside. Her silhouette framed by the train's pale light. | She says softly, "I hope you're there." |
| 6 | Inside train | Swivel | She sits beside an empty seat, the world passing in blurred streaks outside. | (No dialogue – distant announcement echoes) |
| 7 | Insert | Static | Close-up of her phone: a message reads "I'm waiting." Her lips form a faint smile. | |
| 8 | Medium | Dolly | The train slows. She stands and approaches the door, breath catching in anticipation. | (No dialogue – heartbeat and brakes squeal softly) |
🛠️ 🛠️ Шаг 3: Создайте визуальные эффекты
Создавайте высококачественные ключевые кадры для каждого кадра с помощью Stable Diffusion в рамках рабочего процесса ComfyUI.
- 🎨 Используйте Stable Diffusion или ComfyUI, чтобы превратить каждую строку в `storyboard_v1.csv` в ключевой кадр высокого разрешения.
- Сохраняйте единообразие стиля, используя одну и ту же базовую контрольную точку, стек LoRA, сэмплер и начальную политику во всех шотах.
- Уточняйте изображения с помощью закрашивания (для faces/hands) и закрашивания (для расширенных композиций и движения камеры).
🎬 🎬 Шаг 4. Добавьте движение и атмосферу в After Effects.
Улучшите статические ключевые кадры с помощью движения, параллакса и атмосферы, используя Adobe After Effects (или эквивалентный наборщик).
- Импортируйте последовательности изображений или ключевые кадры в Adobe After Effects как многослойные композиции.
- Применяйте анимацию ключевых кадров: панорамирование, масштабирование, слои параллакса, наложение тумана, свечение и мерцание света.
- Добавьте окружающие звуковые сигналы и кинематографические переходы между сценами.
🎧 🎧 Шаг 5: добавьте голос и субтитры
Создайте закадровый голос, соответствующий раскадровке, и прикрепите субтитры для доступности и ясности.
- Используйте XTTS или ElevenLabs, чтобы создать естественную озвучку сценария, используя единый профиль говорящего.
- Для сокращений (например, API, NBA) создавайте фрагменты на английском языке отдельно и объединяйте их в публикации, чтобы сохранить чистоту произношения.
- Добавляйте субтитры, используя файлы временной шкалы `.srt` или `.json`, синхронизированные с дорожкой закадрового голоса.
📦 Шаг 6: Окончательная композиция с FFMPEG
Используйте FFMPEG, чтобы объединить все части в один окончательный видеофайл со звуком и субтитрами.
ffmpeg -f concat -safe 0 -i mylist.txt -c copy output_temp.mp4
ffmpeg -i output_temp.mp4 -i music.mp3 -filter_complex "[0:a][1:a]amix=inputs=2" output_final.mp4
# -filter_complex: Apply audio filter to mix both audio tracks
# [0:a][1:a]amix=inputs=2: Mix both audio streams (from video and music)
# output_final.mp4: Final output file with video and mixed audio📁 Что вам понадобится
- storyboard.json – short scene descriptions
{ "project_name": "Midnight Train", "scenes": [ { "scene_number": 1, "shot_type": "Wide", "camera_movement": "Sway", "description": "Girl waits alone at a midnight train platform. Wet pavement reflects dim station lights. Wind gently lifts her hair.", "duration_seconds": 5, "visual_elements": ["night", "train station", "wind effect", "reflections"], "audio_cues": ["ambient station sounds", "distant train"] }, { "scene_number": 2, "shot_type": "Medium", "camera_movement": "Push", "description": "Camera slowly zooms in on her eyes. A distant light appears — a train approaches.", "duration_seconds": 4, "visual_elements": ["close-up", "eyes", "approaching train light"], "audio_cues": ["train approaching", "whisper"] } ], "style": "cinematic anime", "aspect_ratio": "16:9", "fps": 24 } - prompts.json – GPT-expanded prompts
{ "base_prompt": "A girl stands at a midnight train station, wind blowing her hair.", "expanded_prompts": { "scene_1": { "visual_description": "A young woman standing alone on a midnight train platform, dim lights reflecting off the wet ground, wind blowing her hair, cinematic lighting, anime art style, 4K", "camera_instructions": "Wide shot, slight camera sway to create tension, shallow depth of field", "lighting": "Low-key lighting with high contrast, blue hour ambiance, artificial station lights casting long shadows" }, "scene_2": { "visual_description": "Close-up of the woman's eyes, reflecting the approaching train light, detailed eyelashes, subtle eye movement, cinematic anime style", "camera_instructions": "Slow push-in, slight handheld shake for intensity, focus pull from eyes to reflection", "lighting": "Chiaroscuro lighting, single key light source from the approaching train" } }, "style_guide": { "color_palette": ["#0a1a2f", "#1a3a5f", "#4a90e2", "#f5f5f5"], "mood": "Mysterious, anticipatory, cinematic", "art_references": ["Makoto Shinkai's night scenes", "Ghost in the Shell lighting"] } } - scene1.png, scene2.png – image outputs
- scene1.wav – voice narration per scene
- build_project.jsx – AE import + animation script
- combine_video.sh – FFMPEG merge script