GitHub-радар
JD.com выпустили ИИ-редактор видео в реальном времени
JoyAI-Video-Edit от JD.com — открытый инструмент для редактирования видео текстовыми командами прямо на ходу, со скоростью 30 кадров в секунду при разрешении 720p.
JoyAI-Video-Edit — система редактирования видео в реальном времени, созданная JD.com, одной из крупнейших компаний Китая в сфере электронной коммерции и технологий. Она использует мультимодальный диффузионный трансформер на 16 миллиардов параметров, чтобы редактировать видео в реальном времени по текстовым инструкциям. С помощью этой системы можно редактировать видео с прямой трансляции с камеры или из видеофайла в реальном времени (без предварительной обработки) — менять стили, объекты, фон и так далее, управляя кадрами по ходу воспроизведения видео. С этой системой мы добиваемся сквозной скорости обработки 30.19 FPS при разрешении 720×1280.
Зачем это вайб-кодеру
В отличие от классических методов постобработки, наша система позволяет описать свои предпочтения и увидеть, как видео редактируется на лету! Мы выкладываем код и веса модели по лицензии Apache 2.0, чтобы вы могли запускать нашу систему офлайн.
▌ Ещё находки