GitHub-радар
Wan-Dancer: ИИ-модель для видео из музыки в танец
Wan-Dancer — это открытая модель на 14 миллиардов параметров, разработанная командой Wan-AI, способная создавать видео длиной от минуты в высоком разрешении (720p/30 fps) на основе музыкального трека и изображения-подсказки. Это первая открытая модель, которая умеет генерировать видео длиннее 20 секунд с помощью видеодиффузии.
Wan-Dancer — это диффузионная модель на 14 миллиардов параметров, выпущенная командой Wan-AI, которая также разработала серию открытых моделей генерации видео Wan2.1, связанную с исследованиями HumanAIGC в Alibaba. Принимая на вход музыкальный трек и изображение человека, модель выдаёт видео длиннее минуты в 5 танцевальных стилях (китайский традиционный, K-POP, стрит, степ, латина). Основная идея — разделить генерацию глобальных ключевых кадров и генерацию локальных временных деталей с помощью иерархической архитектуры, что решает проблему потери идентичности и повторения движений, характерную для предыдущих подходов, и тем самым позволяет генерировать видео длиннее 20 секунд.
Зачем это вайб-кодеру
Эта модель будет очень кстати тем, кто хочет попробовать генерацию видео с помощью ИИ. Веса модели доступны на Hugging Face, а исходный код открыт. Правда, для экспериментов понадобится довольно мощное железо — мы использовали 8x A800 80G GPU. Так что если у вас нет доступа к таким вычислительным мощностям, можно воспользоваться облачным сервисом на ModelScope.
▌ Ещё находки