Img2video ролик Урса

Первая в России коммерция на больших экранах с Luma Dream Machine.

Задача:
сделать ролик на 10 сек про новый вкус мороженого для экранов в городе. Анимировать любимого персонажа компании из PNG референса, который сгенерили в SD 1.5 на кастомных настройках осенью 2023, сделать окружение Владивостока.

Инструменты и процесс:
• Photoshop Generative Expand и Generative Fill – расширил формат картинки до 16:9, добавил Русский мост и побережье Второй речки к картинке;
• Luma Dream Machine – сгенерил 2 видео шота по 5 сек;
• Neural Love – апскейл видео до 4К, чтобы можно было двигать камеру по кадру и дать больше динамики;
• After Effect – притречили банку к лапе, потому что в видео исчезала этикетка, кеинг перса на доске, переделали базовый пэк-шот, потому что он не подходил к ролику;
• Suno – сгенерил джингл в стиле soft surf-rock;
• Band Lab – чистка звука от AI-артефактов.

Трудности:
• в основе всего лишь квадратная картинка!
• добавить узнаваемый Владивосток стало возможно только в новом июньском Firefly 3, но и он не идеален;
• Dream Machine на момент создания ролика была 3 дня в бете. Начинал я генерить в Runway GEN-2, но сразу переключился на Luma;
• генерить консистентного перса в активном движении – боль, мутации и множество вариантов;

Радости:
• понимающий продвинутый клиент;
• мой опыт в Suno, крутой готовый джингл с 3 попыток;
• огромная скорость работы для такой сложной анимации, от ТЗ до сдачи всего 2 недели;
• вовремя вышли Firefly и Luma;
• осознание, что делаем что-то первыми и на острие прогресса.

Итог:
сегодня ролик на экранах по всему городу.

Исходный квадрат и опорная картинка для видео – в комментах.