Нейросети для генерации видео: что умеют и что нужно для запуска

Три режима генерации

Текст в видео: вы описываете сцену словами, модель рисует движущуюся картинку. Уровень сегодня позволяет получать секундные клипы приличного качества, из которых монтируются связные ролики. Картинка в видео: на вход подаётся готовое изображение, модель добавляет камере движение, а объектам жизнь; так оживляют фото и иллюстрации, об этом отдельно написано в статье об оживлении статичных фотографий и картинок.

Третий режим, достройка и продолжение: модель получает первые кадры или последний кадр ролика и продлевает сцену. Это рабочий инструмент монтажёров: продлить план на пару секунд, заполнить фон, соединить два дубля.

Что уже можно ставить в работу

Заставки и формат соцсетей. Короткие вертикальные ролики, где важна атмосфера, а не актёрская игра: фоны для анонсов, перебивки, анимация обложек. Длинные сюжеты пока собираются монтажом из генеративных кусков, и это нормально: технология встраивается в производство как ещё один источник материала.

Черновики рекламных идей. Команда показывает заказчику десять вариантов сцены за день вместо недели раскадровок: заказчик выбирает направление, дальше работает обычная съёмочная группа. Стоимость проверки идеи падает на порядки, а решения принимаются по картинке, а не по словам.

Каталог и витрина. Товар поворачивается, фактура ткани играет, брызги летят: короткие динамичные карточки товара выделяются в ленте. Для массовой обработки нужен конвейер: очередь задач, пакетный режим, хранение результатов. Как организован такой контур на своём железе, разобрано на примере своего ChatGPT на сервере: схема та же, только модель видеогенерации вместо языковой.

Честно о границах

Физика и руки. Модели ошибаются там, где движение сложно: пальцы, отражения в зеркалах, поведение жидкостей, толпа. Один объект в кадре надёжнее трёх; крупный план надёжнее общего.

Хронометраж. Единичный генеральный клип измеряется секундами. Это ограничение не обойти покупкой лицензии: оно встроено в архитектуру моделей, и длинное видео сегодня всегда монтаж.

Права и бренд. Генеративное видео попало под пристальное внимание правообладателей: модели учились на чужих клипах, и юридическая рамка использования ещё устаканивается. Для внутреннего применения и черновиков риска почти нет, для публичной рекламы лица и бренды чужих людей и компаний не показываем.

Железо: почему видео тяжелее текста

Если генерация картинки это тысячи шагов расчёта, то видео это тысячи шагов на каждый кадр, а кадров десятки. Потребление видеопамяти растёт с длиной и разрешением, поэтому домашняя карта тянет единичные эксперименты, а потоковая работа требует серьёзного GPU. Как подбирают карту под такие задачи и почему память важнее скорости чипа, разобрано в статье о выборе видеокарты для нейросетей и генерации. В видео всё считается на порядок грубее текста: память расходуется на каждый кадр последовательности, длинный ролик в высоком разрешении может занять карту целиком, и запас, который для чат-бота выглядит избыточным, здесь уходит без остатка. Очередь задач добавляет свою долю: параллельные запросы сотрудников съедают память так же охотно, как длинные ролики. Тем, кто выбирает железо прямо сейчас, полезен свежий ориентир: как ведёт себя под нагрузкой генерации карта нового поколения с 32 гигабайтами памяти, где у неё запас, а где потолок, разобрано в обзоре RTX 5090 для нейросетей.