Pika выпустила модель, которая снимает видео со звуком

Pika Labs объявила о выходе своей модели для генерации видео с открытыми весами, Pika H3 Flex, основанной на модели генерации видео MiniMax H3. Pika Labs — компания, занимающаяся видео на основе ИИ, а MiniMax — исследовательская группа по ИИ из Китая. Эта модель генерации видео создаёт видео со звуком одновременно и требует всего шесть шагов сэмплирования (шаги сэмплирования — это то, сколько раз модель проходит сама по себе, чтобы сгенерировать видео). Все звуковые элементы, такие как диалоги, музыка, звуковые эффекты и так далее, генерируются по отдельности и могут редактироваться отдельно друг от друга. По сравнению с другой моделью под названием Fal H3 Max, эта модель примерно в 1,8 раза быстрее при работе в разрешении 768p. В своём API они предлагают сервис синтеза видео из текста по цене от $0,01/сек.

Для видео с ИИ-аватарами и подобного контента, поскольку все звуковые элементы генерируются одновременно с визуальными, не нужен этап постобработки, который обычно идёт после генерации видео. Однако, чтобы запустить эту модель на полную мощность — с её 33 миллиардами параметров — нужны довольно мощные компьютеры, поэтому большинство пользователей, скорее всего, будут пользоваться их API-сервисом по цене $0,01/сек, а не разворачивать модель у себя. Благодаря открытым весам, доступным на Hugging Face, сайте для публикации моделей ИИ, любой, у кого достаточно вычислительных мощностей, может не платить эти $0,01/сек.