Не оживити фото, а створити персонажа: як ми робили AI-мультфільм до дня народження
Клієнтка із Франції знайшла Mas Agency за запитом у ChatGPT: хто в Україні може зробити якісну мультипліковану історію про життя людини. Менш ніж за місяць, на свій День Народження, її чоловік подивився готовий фільм тричі поспіль і назвав його найкращим подарунком у своєму житті. Між цими подіями лежить історія з поворотами, однією втраченою сценою і відповіддю, чому «три картинки в Nano Banana і промпт для відео із ChatGPT» не дають фільму.
Зустріч, з якої все почалося
Фільм-біографія до дня народження. Герой народився в Нанті, у молодості грав у регбі й працював журналістом, потім заснував компанію з чартеру яхт, яка з шести човнів виросла до світової мережі. Замовниця принесла власний план на п'ятнадцять сцен із своїм текстом оповідача французькою.
Тут потрібне уточнення, бо зазвичай текст пишемо ми. Від замовника просимо максимум фактів, подій і конкретики, хочаб голосовим повідомленням. Далі вникаємо в історію й складаємо сценарій. Це найделікатніша частина роботи, але не бар'єр: хист до такого письма є далеко не в кожного. У цьому випадку текст був настільки точним і близьким до людини, що переписувати його було б помилкою. Ми лишили його як є, а кілька вставок, які додали від себе, погоджували окремо. Багато в чому саме він зробив можливим відгук, про який далі.
Усе інше народилося на довгій онлайн-зустрічі команди із замовницею. Ми одразу відмовилися від тривимірної мультиплікації в дусі сучасного Діснея - героєві з міста Жуля Верна вона чужа. Запропонували гравюру з легкою аквареллю, саме як у старих ілюстрованих виданнях Верна. Такий стиль тримає впізнаваність на характерних деталях, а не на фотореалізмі, і прощає неточність портрета, неминучу, коли фотографій мало. Там же з'явилася ідея подати весь фільм як книгу, що оживає.
Чому це складно насправді
Є поширене уявлення, що складність персонального фільму в тому, щоб людина впізнала себе. Це не так. Оживити справжню фотографію сьогодні вміє будь-який сервіс, і результат зазвичай викликає щирий подив. Справжня складність починається там, де треба створити персонажа за мотивами фото. Причому фото поганої якості: сіра пляма з трохи розмитим обличчям на груповому знімку сорокарічної давності, і це він. А далі цей персонаж має жити в мультфільмі, рухатися, дивитися, реагувати і залишатися саме цією людиною.
У нашому випадку задача множилася на п'ять. Герой з'являється немовлям, десятирічним хлопчиком, регбістом і студентом у двадцять, засновником компанії в сорок і сьогоднішнім собою. Кожен вік це, по суті, новий персонаж, який має бути схожим на себе на фото того періоду, не змінюватися всередині сцени й передавати естафету наступному собі в тому ж стилі. Поруч із ним друзі молодості, яких замовниця теж хотіла бачити впізнаваними, а від них у нас було одне-два групових фото тих років і кілька сучасних. Типова ситуація: сьогодні людина худорлява, з помітною лисиною, а в тому періоді має бути кучерявим пухкеньким хлопцем. І не абстрактним хлопцем, а саме тим, кого впізнають люди, що бачили його тоді. Ми його тоді не бачили і створюємо образ зі словесного опису. Наскільки це важко, знає лише той, хто пробував це повторювати, а не просто випадково отримав вдалу картинку.
Що з цим робимо. Спочатку сортуємо фотографії за періодами й для кожного вибираємо одне джерело обличчя, бо змішати знімки людини у 25 і в 60 означає отримати когось третього. На кожен період робимо картку персонажа в стилі фільму. Усі герої та картки відбираються й обов'язково погоджуються із замовником, і тільки потім робота продовжується. Бо просто красивий герой може мати деталь, яка не вписується в реальність або в уявлення героя про себе: недоречний ґудзик, об'єм талії, пропорції одного персонажа відносно іншого. Тому ручний відбір стосується не лише карток, а й кожної деталі одягу на них.
Чому слайдшоу мертве
Послідовність навіть дуже вдалих згенерованих кадрів під музику дає мертвий відеоряд. Щоб вийшов фільм, у сюжет треба вдихнути драматургію, і вона має вписуватись в атмосферу й у реальні події, а не перетягувати увагу на себе.
Ми починаємо з голосу й таймінгів одночасно. Озвучка пишеться з розумінням, скільки триватиме кожна сцена, а тривалість сцени виходить із того, що в ній має статися. Жорсткого хронометражу ми не ставили. Фільм мав бути не затягнутим, а кожен розділ самодостатнім і розкритим. Те, що іменинник переглянув фільм тричі, для мене головний доказ, що баланс зловили: не відмотав і глянув кадр, а пройшов шлях спочатку.
Усередині книги ми заклали наскрізні прийоми. Між розділами перегортаються аркуші: один аркуш означає наступну подію, пачка швидких аркушів означає, що минули роки. Від сцени до сцени передається предмет: карта, мʼяч, аркуш із друкарської машинки - стають переходом у наступний розділ. Черепаха з першого логотипа компанії схована в кожному розділі як пасхалка для тих, хто дивитиметься вдруге. А одна історія молодості, яку друзі героя досі переказують за столом, зроблена як вирізка з журналу. Камера пірнає в неї, і на сорок секунд спокійна гравюра вибухає неоновим коміксом. Це драйвова розрядка посеред спокійної книги, і саме контраст робить її подією, а не просто екшеном.
Прірва між картинкою і відео
Згенерувати картинку в гравюрі з аквареллю сьогодні відносно просто. Утримати цей стиль у відео в сотні разів важче. Генератори тягнуть гравюру в глянцеве тривимірне зображення, штрих «пливе», і сцена перестає бути сторінкою книги. До цього додається поведінка персонажа. У нас не було потрібних опорних відео героя. Отже, манера рухатися, усміхатися, тримати келих, обіймати близьких прописувалася словами, і це творча робота, а не технічна.
Кілька правил, які ми застосовуємо і вони працюють:
Картинки на старті два варіанти на запит. Один із двох майже завжди придатний, а вибір між двома швидший за правку одного.
Відео планується короткими вікнами: одна дія і один рух камери з чітко описаним кінцевим станом. Опорний кадр береться до події, а не в її момент. Падіння з м'ячем генерується від кадру, де юнак іще біжить, а саме падіння описується текстом, інакше модель малює статичну картинку, що смикається.
Тримайте баланс між референсами і свободою. Акценти при генерації відео ставте на персонажів і деталі, які переходять зі сцени в сцену. Усе, що з'являється в кадрі один раз, краще описати текстом і дати моделі доконструювати кадр самій. Тут варто зробити комплімент Seedance 2.5: з такою свободою вона часто справляється краще, ніж із жорсткою заготовкою, геометрію якої може прочитати неправильно. Але це стосується лише найсучасніших моделей. Із простішими навпаки: опорний кадр і суворо від картинки до картинки.
Сучасному генератору картинок задачу краще ставити по-людськи, як режисер акторам: хто, де, що відбувається і навіщо. Ще недавно треба було прописувати кожну крихту, і чого не описав, того в кадрі й не було. Для мене на сьогодні ідеальним інструментом для кадрів став GPT Image 2.5, а якраз під завершення роботи вийшла версія 2.6. Описану ситуацію й емоцію він перекладає на свою внутрішню мову часом краще, ніж величезний технічний промпт. Технічні деталі лишаються тільки для геометрії кадру: що ліворуч, що праворуч, куди дивиться камера. Це порада під конкретний інструмент, для Nano Banana правила інші.
Чесно про втрачену сцену
Тепер про поразку. Друзі героя замолоду були ще тими бешкетниками, і нам хотілося показати у фільмі весь їхній цикл: як вони зустрічаються, гуляють, відпочивають, аж до екшену з бійками. Ми планували, старалися, від карток персонажів створили опорні кадри і сцени, але відео, попри все, вийшло несхожим. Щойно починалася динаміка, рухи ставали чужими, типовими, і саме ті дрібниці, які робили персонажів «ними», розчинялися в русі. Відгук замовниці був однозначним: вони на себе не схожі, емоційного зв'язку немає.
Схожість на картинці ще не означає схожості в русі, і це варто перевіряти раніше за все інше. Отже ухвалили важке рішення й вирізали всю сцену, яка сама по собі була дуже крутою, але перетягувала увагу на те, що персонажі "не ті". Замість неї тепер порожня набережна на заході, келихи на барній стійці, порожні стільці в ресторані, вивіски клубів одна за одною і голос оповідача про ті вечори. Якщо схожість не виходить, краще показати знакові місця й предмети, ніж чужу людину з іменем друга.
Монтаж. Розвінчуємо міф про «одну кнопку»
У генераторів відео спільна проблема: текст. Картинки вже навчилися писати більш-менш пристойно, відео ні. Будь-який аркуш, газета чи блокнот у кадрі виходять з абракадаброю. Ми закладаємо це на етапі задуму: генеруємо порожній аркуш і руку, а потрібний текст додаємо на монтажі, вписаний у площину аркуша і під його кутом. Якщо персонаж у кадрі щось пише, його краще показати збоку, щоб глядач не бачив, що саме пишеться. Проста річ, яка дає чистий кадр замість ретуші, але вона вимагає професійного монтажу.
З тієї ж причини ніколи не віддаємо генератору те, що має бути точним і однаковим на весь фільм: титри, назви розділів, маршрут на мапі, перегортання сторінок і т.п. Лінія маршруту, яку ми спершу довірили відеомоделі, розповзлася по воді як обмежувальна розмітка, і довелось її перемальовувати. Комікс зібрано як окрему систему: кожна панель на екрані живе власним життям, зі своєю камерою і своїм відеорядом, а стікери, спалахи й розділення екрана сидять на ударах музики.
І про артефакти чесно. Дрібні дефекти генерації у фільмі є, це реальність інструментів. Наше завдання було інше: щоб жодна дрібниця не відволікала, не дратувала і не збивала емоцію, яка назріває під час перегляду. Такі місця вирізалися, ретушувалися або перероблялися. Решта лишилася, і глядач її не бачить.
Музика, як герой фільму
Про саундтрек ми домовилися із замовницею на самому початку: жодної музики, яка потрапить під блокування, якщо фільм колись захочеться викласти. Тому треки створені індивідуально, під атмосферу фільму й під смаки іменинника: вальс для дитинства, драйв для коміксу, тема «власного курсу» для другої половини, фінальний вальс для весілля. Звук створює настрій не слабше за картинку, а іноді виконує половину роботи.
Музика у фільмі не фон, а друга лінія драматургії: її внутрішні переходи мають збігатися з емоційними поворотами історії, щоб там, де фільм затихає, затихав і трек, а там, де наростає, вони наростали разом. Універсального правила тут немає, кожен збіг шукається окремо. Десь ми подовжуємо кадр, щоб музика встигла до події, десь зсуваємо трек, щоб його акцент лягав на рух у кадрі.
Про гучність. Сьогодні багато хто вирівнює музику автоматичними інструментами, і трек підганяється під норму сам. Головна небезпека такого вирівнювання в перевантаженні: там, де трек має затихнути, автоматика піднімає його, і це помітно псує всю картину. Вже давно є усталені канони, наскільки притишувати музику під голосом, щоб вона не заважала словам і не перебивала їх. Ми тримаємо трек на одному рівні весь фільм, з його власними тихими й гучними місцями. Єдине, що рухає музику, це плавне притишення під голосом, яке відбувається до першого слова і повертається після останнього. Жодних сходинок.
Випробування чесністю
Є ще одне, про що рідко пишуть. Генерація час від часу видає дуже красиві образи: ідеальний перехід, кадр, який хочеться поставити на обкладинку. І він не потрапляє у фільм, бо з'явилася деталь, якої не було в житті, спотворилась подія, герой трохи не він. Для вигаданої історії така генерація була б знахідкою. У справжній її доводиться викидати, і щоразу це маленька боротьба із собою, бо рука не піднімається. Але саме з таких відмов і складається фільм, якому людина вірить.
Парадокс у тому, що сторонній глядач цієї роботи не побачить. Для нього це просто картинка, і він оцінюватиме її за мірками картинки: хтось навіть скаже, що можна було намалювати красивіше. Але той, кому фільм адресований, бачить у кадрі й те, чого решта не знає: свій двір, свій жест, свого друга. Головна цінність такого фільму невидима ззовні, і це його природа, а не вада. Тому ми тримаємо дві планки одночасно: правду для героя і естетику для всіх, хто сидітиме поруч.
Що ми радимо з досвіду
Усе, що нижче, ми стабільно застосовуємо на практиці. Цей проєкт лише підтвердив, що воно працює.
1 Історію приносить той, хто знає героя, а форму ми шукаємо разом. Замовник не глядач, а співавтор: його зауваження про школу, яку герой не любив, або про те, що історія сталася в саду, а не в клубі, коштують більше за будь-яку нову модель. Приносьте «забагато» фактів: зайве відсіємо, відсутнє не вигадаємо.
2 Точність сильніша за насиченість. У кадр іде лише те, що впевнено живе в пам'яті героя. Імена, цифри й дати, в яких є сумнів, не додають фільму нічого, зате можуть зіпсувати вечір.
3 Схожість перевіряйте в русі, а не лише на картинках. Один короткий відеотест персонажа до масової генерації економить тиждень.
4 Генеруйте образи, а цілісність робіть руками. Титри, переходи, маршрути, усе, що має бути однаковим на весь фільм, живе на монтажі, а не в генераторі.
5 Ритм важливіший за хронометраж. Кожен розділ самодостатній, пауза лише там, де в кадрі щось відбувається, і жодного повітря заради повітря.
6 Пам'ятайте, хто перший глядач. Такі фільми створюються в першу чергу для конкретних людей, і кожне рішення, від серця, сплетеного з двох канатів на весіллі, до тиші перед вибухом у коміксі, робиться для них.
Замість висновку
Показ відбувся не вдома і не на вечірці, але на досить великому екрані. Герой переглянув фільм тричі поспіль і назвав його найкращим подарунком у житті. Дружина написала нам, що ніколи не бачила його таким емоційним, а разом із ними фільм дивилися люди, які героя особисто не знають, і реакція передалася й їм. Це і є відповідь на питання, у чому сила такого фільму. Не в картинці самій по собі, а в тому, що кожна її деталь прив'язана до конкретної людини.
Якщо ви думаєте про такий подарунок для своєї людини, формати й приклади є на сторінці AI-фільмів та персональних привітань MAS Agency. Історію принесете ви, а як перетворити її на фільм, ми вже знаємо.
