GitHub-радар
MAGI-2 Preview: открытая видеогенерация со звуком от Sand.ai
Sand.ai открывает MAGI-2 Preview — модель на 114 млрд параметров, которая генерирует 10-секундные видеоклипы со звуком из текста или картинки. Веса на Hugging Face; для локального запуска нужны восемь GPU NVIDIA Hopper.
MAGI-2 Preview — это мультимодальная аудиовизуальная генеративная модель от Sand.ai. Она использует единую архитектуру для T2V и I2V (текст в видео / изображение в видео, с текстовым промптом и/или референсом-изображением или без него) и насчитывает 114 миллиардов параметров, при этом подход Mixture-of-Experts (MagiMoE) активирует всего 6 миллиардов параметров на токен. Модель генерирует 10 секунд видео с соответствующим звуком по текстовому промпту либо по промпту и референсу-изображению. Перед повышением разрешения до 1080p она делает предварительный шаг денойзинга. Веса модели (307 ГБ) можно скачать на Hugging Face по лицензии Apache 2.0.
Зачем это вайб-кодеру
Если тебе интересно разрабатывать приложения, которые принимают текст на входе и выдают короткие видео со звуком, это одна из первых открытых end-to-end моделей такого рода. Но учти: модели нужно 8 GPU класса Hopper, так что она больше подходит для облачных развёртываний или исследовательских задач.
▌ Ещё находки