Не оживить фото, а создать персонажа: как мы делали AI-мультфильм ко дню рождения

Клиентка из Франции нашла Mas Agency запросом в ChatGPT: кто в Украине может сделать такой мультфильм. Меньше чем через месяц её муж посмотрел готовый фильм трижды подряд и назвал его лучшим подарком в своей жизни. Между этими событиями лежит история с поворотами, одной потерянной сценой и ответом на вопрос, почему «три картинки в Nano Banana и промпт для видео из ChatGPT» не дают фильма.

Встреча, с которой всё началось

Фильм-биография ко дню рождения. Герой родился в Нанте, в молодости играл в регби и работал журналистом, потом основал компанию по чартеру яхт, которая из шести лодок выросла в мировую сеть. Заказчица принесла собственный план на пятнадцать сцен со своим текстом рассказчика на французском.

Здесь нужно уточнение, потому что обычно текст пишем мы. От заказчика просим максимум фактов, событий и конкретики, хотя бы голосовым сообщением. Дальше вникаем в историю и составляем сценарий. Это самая деликатная часть работы, но не барьер: талант к такому письму есть далеко не у каждого. В этом случае текст был настолько точным и близким к человеку, что переписывать его было бы ошибкой. Мы оставили его как есть, а несколько вставок, которые добавили от себя, согласовывали отдельно. Во многом именно он сделал возможным отзыв, о котором дальше.

Всё остальное родилось на долгой онлайн-встрече команды с заказчицей. Мы сразу отказались от трёхмерной мультипликации в духе современного Диснея: герою из города Жюля Верна она чужда. Предложили гравюру с лёгкой акварелью, именно как в старых иллюстрированных изданиях Верна. Такой стиль держит узнаваемость на характерных деталях, а не на фотореализме, и прощает неточность портрета, неизбежную, когда фотографий мало. Там же появилась идея подать весь фильм как оживающую книгу.

Почему это сложно на самом деле

Есть распространённое представление, что сложность персонального фильма в том, чтобы человек узнал себя. Это не так. Оживить настоящую фотографию сегодня умеет любой сервис, и результат обычно вызывает искреннее удивление. Настоящая сложность начинается там, где нужно создать персонажа по мотивам фото. Причём фото плохого качества: серое пятно с чуть размытым лицом на групповом снимке сорокалетней давности, и это он. А дальше этот персонаж должен жить в мультфильме, двигаться, смотреть, реагировать и оставаться именно этим человеком.

В нашем случае задача умножалась на пять. Герой появляется младенцем, десятилетним мальчиком, регбистом и студентом в двадцать, основателем компании в сорок и сегодняшним собой. Каждый возраст — это, по сути, новый персонаж, который должен быть похож на себя на фото того периода, не меняться внутри сцены и передавать эстафету следующему себе в том же стиле. Рядом с ним друзья молодости, которых заказчица тоже хотела видеть узнаваемыми, а от них у нас было одно-два групповых фото тех лет и несколько современных. Типичная ситуация: сегодня человек худощавый, с заметной лысиной, а в том периоде должен быть кудрявым пухлым парнем. И не абстрактным парнем, а именно тем, кого узнают люди, видевшие его тогда. Мы его тогда не видели и создаём образ по словесному описанию. Насколько это трудно, знает только тот, кто пробовал это повторить, а не просто случайно получил удачную картинку.

Что мы с этим делаем. Сначала сортируем фотографии по периодами и для каждого выбираем один источник лица, потому что смешать снимки человека в 25 и в 60 значит получить кого-то третьего. На каждый период делаем карточку персонажа в стиле фильма. Все герои и карточки отбираются и обязательно согласовываются с заказчиком, и только потом работа продолжается. Потому что у просто красивого героя может оказаться деталь, которая не вписывается в реальность или в представление героя о себе: неуместная пуговица, объём талии, пропорции одного персонажа относительно другого. Поэтому ручной отбор касается не только карточек, но и каждой детали одежды на них.

Почему слайд-шоу мертво

Последовательность даже очень удачных сгенерированных кадров под музыку даёт мёртвый видеоряд. Чтобы получился фильм, в сюжет нужно вдохнуть драматургию, и она должна вписываться в атмосферу и в реальные события, а не перетягивать внимание на себя.

Мы начинаем с голоса и таймингов одновременно. Озвучка пишется с пониманием, сколько продлится каждая сцена, а длительность сцены вытекает из того, что в ней должно произойти. Жёсткого хронометража мы не ставили. Фильм должен был получиться не затянутым, а каждая глава — самодостаточной и раскрытой. То, что именинник пересмотрел фильм трижды, для меня главное доказательство, что баланс поймали: не отмотал назад, чтобы глянуть кадр, а прошёл путь сначала.

Внутри книги мы заложили сквозные приёмы. Между главами перелистываются страницы: одна страница означает следующее событие, пачка быстрых страниц означает, что прошли годы. От сцены к сцене передаётся предмет: карта, мяч, лист из пишущей машинки становятся переходом в следующую главу. Черепаха с первого логотипа компании спрятана в каждой главе как пасхалка для тех, кто будет смотреть второй раз. А одна история молодости, которую друзья героя до сих пор пересказывают за столом, сделана как вырезка из журнала. Камера ныряет в неё, и на сорок секунд спокойная гравюра взрывается неоновым комиксом. Это драйвовая разрядка посреди спокойной книги, и именно контраст делает её событием, а не просто экшеном.

Пропасть между картинкой и видео

Сгенерировать картинку в стиле гравюры с акварелью сегодня относительно просто. Удержать этот стиль в видео в сотни раз сложнее. Генераторы тянут гравюру в глянцевое трёхмерное изображение, штрих «плывёт», и сцена перестаёт быть страницей книги. К этому добавляется поведение персонажа. У нас не было нужных опорных видео героя. Значит, манеру двигаться, улыбаться, держать бокал, обнимать близких приходилось прописывать словами, и это творческая работа, а не техническая.

Несколько правил, которые мы применяем и которые работают:

Честно о потерянной сцене

Теперь о поражении. Друзья героя в молодости были теми ещё хулиганами, и нам хотелось показать в фильме весь их цикл: как они встречаются, гуляют, отдыхают, вплоть до экшена с драками. Мы планировали, старались, по карточкам персонажей создали опорные кадры и сцены, но видео, несмотря ни на что, получилось непохожим. Как только начиналась динамика, движения становились чужими, типовыми, и именно те мелочи, которые делали персонажей «ими», растворялись в движении. Отзыв заказчицы был однозначным: они на себя не похожи, эмоциональной связи нет.

Сходство на картинке ещё не означает сходства в движении, и это стоит проверять раньше всего остального. Поэтому мы приняли тяжёлое решение и вырезали всю сцену, которая сама по себе была очень крутой, но перетягивала внимание на то, что персонажи «не те». Вместо неё теперь пустая набережная на закате, бокалы на барной стойке, пустые стулья в ресторане, вывески клубов одна за другой и голос рассказчика о тех вечерах. Если сходство не получается, лучше показать знаковые места и предметы, чем чужого человека с именем друга.

Монтаж. Развенчиваем миф об «одной кнопке»

У генераторов видео общая проблема: текст. Картинки уже научились писать более-менее прилично, видео нет. Любой лист, газета или блокнот в кадре выходят с абракадаброй. Мы закладываем это на этапе замысла: генерируем пустой лист и руку, а нужный текст добавляем на монтаже, вписанный в плоскость листа и под его углом. Если персонаж в кадре что-то пишет, его лучше показать сбоку, чтобы зритель не видел, что именно пишется. Простая вещь, которая даёт чистый кадр вместо ретуши, но она требует профессионального монтажа.

По той же причине мы никогда не отдаём генератору то, что должно быть точным и одинаковым на весь фильм: титры, названия глав, маршрут на карте, перелистывание страниц и т. п. Линия маршрута, которую мы сначала доверили видеомодели, расползлась по воде, как ограничительная разметка, и её пришлось перерисовывать. Комикс собран как отдельная система: каждая панель на экране живёт своей жизнью, со своей камерой и своим видеорядом, а стикеры, вспышки и разделение экрана сидят на ударах музыки.

И об артефактах честно. Мелкие дефекты генерации в фильме есть, это реальность инструментов. Наша задача была другой: чтобы ни одна мелочь не отвлекала, не раздражала и не сбивала эмоцию, которая нарастает во время просмотра. Такие места вырезались, ретушировались или переделывались. Остальное осталось, и зритель его не видит.

Музыка как герой фильма

О саундтреке мы договорились с заказчицей в самом начале: никакой музыки, которая попадёт под блокировку, если фильм когда-нибудь захочется выложить. Поэтому треки созданы индивидуально, под атмосферу фильма и под вкусы именинника: вальс для детства, драйв для комикса, тема «собственного курса» для второй половины, финальный вальс для свадьбы. Звук создаёт настроение не слабее картинки, а иногда выполняет половину работы.

Музыка в фильме не фон, а вторая линия драматургии: её внутренние переходы должны совпадать с эмоциональными поворотами истории, чтобы там, где фильм затихает, затихал и трек, а там, где нарастает, они нарастали вместе. Универсального правила здесь нет, каждое совпадение ищется отдельно. Где-то мы удлиняем кадр, чтобы музыка успела к событию, где-то сдвигаем трек, чтобы его акцент ложился на движение в кадре.

О громкости. Сегодня многие выравнивают музыку автоматическими инструментами, и трек подгоняется под норму сам. Главная опасность такого выравнивания в перегрузке: там, где трек должен затихнуть, автоматика поднимает его, и это заметно портит всю картину. Давно существуют устоявшиеся каноны, насколько приглушать музыку под голосом, чтобы она не мешала словам и не перебивала их. Мы держим трек на одном уровне весь фильм, с его собственными тихими и громкими местами. Единственное, что двигает музыку, — плавное приглушение под голосом, которое начинается до первого слова и уходит после последнего. Никаких ступенек.

Испытание честностью

Есть ещё одно, о чём редко пишут. Генерация время от времени выдаёт очень красивые образы: идеальный переход, кадр, который хочется поставить на обложку. И он не попадает в фильм, потому что появилась деталь, которой не было в жизни, исказилось событие, герой чуть-чуть не он. Для вымышленной истории такая генерация была бы находкой. В настоящей её приходится выбрасывать, и каждый раз это маленькая борьба с собой, потому что рука не поднимается. Но именно из таких отказов и складывается фильм, которому человек верит.

Парадокс в том, что посторонний зритель этой работы не увидит. Для него это просто картинка, и он будет оценивать её по меркам картинки: кто-то даже скажет, что можно было нарисовать красивее. Но тот, кому фильм адресован, видит в кадре и то, чего остальные не знают: свой двор, свой жест, своего друга. Главная ценность такого фильма невидима снаружи, и это его природа, а не изъян. Поэтому мы держим две планки одновременно: правду для героя и эстетику для всех, кто будет сидеть рядом.

Что мы советуем по опыту

Всё, что ниже, мы стабильно применяем на практике. Этот проект лишь подтвердил, что это работает.

1 Историю приносит тот, кто знает героя, а форму мы ищем вместе. Заказчик не зритель, а соавтор: его замечания о школе, которую герой не любил, или о том, что история случилась в саду, а не в клубе, стоят больше любой новой модели. Приносите «слишком много» фактов: лишнее отсеем, недостающее не выдумаем.

2 Точность сильнее насыщенности. В кадр идёт только то, что уверенно живёт в памяти героя. Имена, цифры и даты, в которых есть сомнение, ничего не добавляют фильму, зато могут испортить вечер.

3 Сходство проверяйте в движении, а не только на картинках. Один короткий видеотест персонажа до массовой генерации экономит неделю.

4 Генерируйте образы, а целостность делайте руками. Титры, переходы, маршруты — всё, что должно быть одинаковым на весь фильм, живёт на монтаже, а не в генераторе.

5 Ритм важнее хронометража. Каждая глава самодостаточна, пауза только там, где в кадре что-то происходит, и никакого воздуха ради воздуха.

6 Помните, кто первый зритель. Такие фильмы создаются в первую очередь для конкретных людей, и каждое решение, от сердца, сплетённого из двух канатов на свадьбе, до тишины перед взрывом в комиксе, принимается для них.

Вместо вывода

Показ состоялся не дома и не на вечеринке, а на довольно большом экране. Герой посмотрел фильм трижды подряд и назвал его лучшим подарком в жизни. Жена написала нам, что никогда не видела его таким эмоциональным, а вместе с ними фильм смотрели люди, которые героя лично не знают, и реакция передалась и им. Это и есть ответ на вопрос, в чём сила такого фильма. Не в картинке самой по себе, а в том, что каждая её деталь привязана к конкретному человеку.

Если вы думаете о таком подарке для близкого человека, форматы и примеры есть на странице AI-фильмов и персональных поздравлений MAS Agency. Историю принесёте вы, а как превратить её в фильм, мы уже знаем.