VideoRetalking

Инструмент, который позволяет синхронизировать губы на уже готовом видео. Он берет аудио и видео и генерирует реалистичную анимацию.

📹 С его помощью можно создать говорящий аватар или оживить персонажа, передавая ему голос и эмоции. Особенно популярно это решение в создании контента для соцсетей, обучающих видео и виртуальных помощников.

🔧 Технология основана на ИИ и использует передовые методы deep learning, позволяя за считаные минуты сделать анимацию губ в точном соответствии с вашим аудиотреком.

Бегом тестировать *🚀***

*🌍 Connect the World, Frame by Frame with VideoLingo 🎬***

На GitHub появился VideoLingo — инструмент для перевода, локализации и дубляжа видео с качественными субтитрами. Он устраняет проблемы с машинными переводами и многократными строками, добавляя высококачественный дубляж и упрощая глобальное общение.

Особенности:

🎥 Загрузка видео с YouTube
🎙️ Субтитры на уровне слов с WhisperX
📝 ИИ-сегментация и перевод
📚 Поддержка пользовательской терминологии
🔄 3-шаговый процесс для кинематографического качества
🗣️ Дубляж с GPT-SoVITS, Azure и другими
🚀 Легкость обработки через Streamlit

Подробнее об установке и настройке можно найти на GitHub

ExVideo: пост-тюнинг техника, направленная на расширение возможностей моделей генерации видео. В ход идут: 3D convolution, temporal attention, и positional embeddings.

Для демонстрации авторы сделали версию SVD, которая генерит длинные видео (до 128 кадров, что ~5 сек на 24/кс или ~11 сек на 12 к/с) с довольно стабильной и чёткой картинкой.

Гит и Hugging

#новости_нейровидео