DeepMind: видеогенераторы уже содержат модели мира
GenCeption от DeepMind использует видеогенератор Wan2.1 для задач компьютерного зрения — и превосходит узких специалистов, обученных на миллионах видео, используя в 500 раз меньше данных.
Google DeepMind представил GenCeption — систему, которая берёт видеогенератор Wan2.1 и использует его как универсальную основу для задач компьютерного зрения. Вместо отдельных моделей для каждой задачи — определения глубины, сегментации объектов, восстановления 3D-позы — оказалось, что обученный генератор видео уже умеет это всё.
GenCeption обучили на 7 500 синтетических роликах — и он сравнялся или превзошёл специализированные модели, которые использовали в 7–500 раз больше данных. Модель догнала DepthAnything3 в оценке глубины и обошла NormalCrafter в предсказании нормалей поверхностей. Примечательно: обученная только на одиночных людях, она успешно обобщилась на несколько человек в кадре, а также на животных и роботов.
Видеогенераторы в процессе обучения строят внутреннюю модель физики и пространства. DeepMind предлагает использовать это как готовую основу вместо разработки десятков узких специалистов. Одна модель — множество задач компьютерного зрения без дорогостоящих датасетов.
Источник: the-decoder.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи