Seedance 2.0 accepts more than just text — you can feed the model images and video as visual input. But there are three fundamentally different ways to "feed it an image," and the model reads each one differently. In this lesson we break down how a "first frame" differs from a "reference" and when to choose each mode.
Why three modes at all
The model can interpret one and the same image in completely different ways: as a literal start of the clip, as a point of departure for motion toward a finale, or as a source of traits to be adopted. The mode you pick determines exactly what you'll see in the result. Let's go through all three.
Mode 1. First frame (image → video)
You feed one image, and it becomes the literal first frame of the clip. The model doesn't redraw the picture — it takes it as is and continues the motion from it: your starting frame comes to life. This is the most predictable way to open a video on a specific composition.
- What you feed. One image — the exact start of the scene.
- What the model does. Keeps the first frame identical to your picture and unfolds motion from it according to the prompt text.
- Where its strength lies. Full control over how the clip begins — pose, angle, composition are all set by you.
Mode 2. First and last frame (interpolation)
You set the start and finale frames, and the model builds a smooth motion between them. Handy when not only the beginning matters but also how the clip ends — for example, when you need to get from point A to point B along a specific trajectory.
- What you feed. Two images: the first frame and the last frame.
- What the model does. Builds the transition — a morph, camera move, or object movement — so that the clip begins with the first frame and ends with the second.
- Where its strength lies. Control over the clip's arc: a guaranteed finale, a defined "where we're heading."
Mode 3. Multimodal reference
Here images and video work not as frames but as sources of traits. You can feed up to 9 images, up to 3 video fragments, and up to 3 audio clips, and each reference is responsible for its own thing: character, scene, style, motion, rhythm. You point to references directly in the prompt text with tags — [Image 1], [Video 1], [Audio 1].
- Images. Up to 9 — the hero's appearance, setting, palette, style.
- Video. Up to 3 (no longer than 15 seconds in total) — timing, gesture rhythm, camera movement.
- Audio. Up to 3 (no longer than 15 seconds) — the rhythm and soundtrack the scene is built around.
Image references are stronger at spatial things — appearance, mood, style. Video references are stronger at temporal ones — timing and motion. Audio sets the rhythm. Combine them to fit the task.
Comparing the three modes
🎬 What this looks like in practice
Take a photo of a person sitting by a window. In "first frame" mode this image becomes the literal starting frame — and comes to life: the model builds in natural motion, the person slowly turns their head, the curtain by the window sways in a light draft, the light shifts a little. The composition, pose, and angle stay exactly as in your picture, because this is precisely the first frame of the clip.
⚠️ A common mix-up: reference ≠ first frame
Even if in multimodal reference mode you feed
just one image — it does NOT become the first frame. The model treats it as a reference: a source of traits (the hero's appearance, style, palette) that it adopts, while building the composition and start of the clip anew from the prompt text. If you want the picture to literally open the clip and come to life — choose "first frame" mode. If you want to adopt traits without being tied to a specific frame — choose "reference."
How to choose a mode for your task
You need a precise start
You have a ready composition, and it should open the clip unchanged — go with "first frame."
You need the finale too
It matters how the clip ends and what path it travels from beginning to end — go with "first and last."
You need traits
You want the same character type, style, or motion but in a new scene — go with "multimodal reference."
✅ Tip
Before generating, ask yourself: "Do I want this image to be literally the first frame?" If yes — that's "first frame" mode. If the image merely hints to the model HOW something should look or move — that's reference mode. The same file in different modes will give a completely different result.
In the next lessons we'll cover how to precisely address references with the tags [Image 1] / [Video 1] in the prompt text and distribute roles across several sources.
Seedance 2.0 принимает не только текст — вы можете подать модели картинки и видео как визуальный вход. Но «подать изображение» можно тремя принципиально разными способами, и модель поймёт их по-разному. В этом уроке разбираем, чем отличается «первый кадр» от «референса» и когда выбирать каждый режим.
Зачем вообще три режима
Одно и то же изображение модель может трактовать совершенно по-разному: как буквальный старт ролика, как точку отсчёта движения к финалу или как источник черт, которые нужно перенять. От выбранного режима зависит, что именно вы увидите в результате. Разберём все три.
Режим 1. Первый кадр (изображение → видео)
Вы подаёте одно изображение, и оно становится буквально первым кадром ролика. Модель не перерисовывает картинку — она берёт её как есть и продолжает движение из неё: ваш стартовый кадр оживает. Это самый предсказуемый способ начать видео с конкретной композиции.
- Что подаёте. Одно изображение — точный старт сцены.
- Что делает модель. Держит первый кадр идентичным вашей картинке и разворачивает из него движение по тексту промпта.
- Где сила. Полный контроль над тем, как ролик начинается — поза, ракурс, композиция заданы вами.
Режим 2. Первый и последний кадр (интерполяция)
Вы задаёте стартовый и финальный кадры, а модель достраивает плавное движение между ними. Удобно, когда важно не только начало, но и то, чем ролик закончится — например, нужно прийти из точки A в точку B по конкретной траектории.
- Что подаёте. Два изображения: первый кадр и последний кадр.
- Что делает модель. Строит переход — морфинг, перемещение камеры или объекта — так, чтобы ролик начался первым кадром и закончился вторым.
- Где сила. Контроль над дугой ролика: гарантированный финал, заданное «куда мы движемся».
Режим 3. Мультимодальный референс
Здесь изображения и видео работают не как кадры, а как источники черт. Вы можете подать до 9 изображений, до 3 видеофрагментов и до 3 аудио, и каждый референс отвечает за своё: персонаж, сцена, стиль, движение, ритм. На референсы вы ссылаетесь прямо в тексте промпта метками — [Image 1], [Video 1], [Audio 1].
- Изображения. До 9 — внешность героя, обстановка, палитра, стиль.
- Видео. До 3 (суммарно не длиннее 15 секунд) — тайминг, ритм жестов, движение камеры.
- Аудио. До 3 (не длиннее 15 секунд) — ритм и звуковая дорожка, под которую строится сцена.
Текстовые референсы (картинки) сильнее в пространственных вещах — внешность, настроение, стиль. Видео-референсы сильнее во временных — тайминг и движение. Аудио задаёт ритм. Комбинируйте их под задачу.
Сравнение трёх режимов
🎬 Как это выглядит на практике
Берём фото человека, сидящего у окна. В режиме «первый кадр» это изображение становится буквально стартовым кадром — и оживает: модель достраивает естественное движение, человек медленно поворачивает голову, занавеска у окна колышется от лёгкого сквозняка, свет чуть меняется. Композиция, поза и ракурс остаются ровно такими, как на вашей картинке, потому что это и есть первый кадр ролика.
⚠️ Частая путаница: референс ≠ первый кадр
Даже если в режиме мультимодального референса вы подали
всего одно изображение — оно НЕ становится первым кадром. Модель воспринимает его как референс: источник черт (внешность героя, стиль, палитра), который она перенимает, но композицию и старт ролика строит заново по тексту промпта. Хотите, чтобы картинка буквально открывала ролик и оживала — выбирайте режим «первый кадр». Хотите перенять черты, но не привязываться к конкретному кадру — выбирайте «референс».
Как выбрать режим под задачу
Нужен точный старт
У вас есть готовая композиция, и она должна открывать ролик без изменений — берите «первый кадр».
Нужен и финал
Важно, чем ролик закончится, и какой путь пройдёт от начала к концу — берите «первый и последний».
Нужны черты
Хотите тот же типаж героя, стиль или движение, но в новой сцене — берите «мультимодальный референс».
✅ Совет
Перед генерацией спросите себя: «Хочу ли я, чтобы это изображение было буквально первым кадром?» Если да — это режим «первый кадр». Если изображение лишь подсказывает модели, КАК должно выглядеть/двигаться нечто — это режим референса. Один и тот же файл в разных режимах даст совершенно разный результат.
В следующих уроках разберём, как точно адресовать референсы метками [Image 1] / [Video 1] в тексте промпта и распределять роли между несколькими источниками.