GitHub-радар
MAGI-2 Preview: открытая видеогенерация со звуком от Sand.ai
Sand.ai открывает MAGI-2 Preview — модель на 114 млрд параметров, которая генерирует 10-секундные видеоклипы со звуком из текста или картинки. Веса на Hugging Face; для локального запуска нужны восемь GPU NVIDIA Hopper.
MAGI-2 Preview — объединённая модель видео- и аудиогенерации от Sand.ai на 114 млрд параметров с архитектурой MagiMoE, которая активирует лишь 6 млрд параметров на токен. Генерирует 10-секундные ролики из текста (T2V) или текста плюс опорного изображения (I2V); звук создаётся и монтируется в одном проходе. Инференс работает в два этапа: шаг предварительной денойзинга и апскейл до 1080p. Веса (307 ГБ) опубликованы на Hugging Face под лицензией Apache 2.0.
Зачем это вайб-кодеру
Если строишь приложение, которое должно превращать текстовые описания в короткие видеоклипы со звуком, MAGI-2 Preview — одна из первых полностью открытых моделей, решающих обе задачи в единой архитектуре. Порог по железу высок — восемь GPU класса Hopper — так что это история про облачный деплой или исследовательский кластер, а не домашний сервер.
▌ Ещё находки