GEN-1.5: роботы осваивают новые задачи по одному видео-примеру

Generalist AI анонсировала GEN-1.5 — модель, которая позволяет роботу освоить новую задачу на основе одной-единственной видео-демонстрации длиной 3–12 секунд. Эта модель показывает 59% успешных попыток «из коробки» на 10 разных задачах и 83% успешных попыток после 10 итераций обучения на 5 минутах данных. Видео-демонстрация добавляется в «контекстное окно» робота в качестве «физического промпта», не требуя при этом никакого переобучения модели.

Раньше роботов приходилось обучать на часах специализированных данных, а затем проводить полный процесс дообучения, чтобы они освоили новую задачу. Обучение в контексте для роботов — это аналог few-shot-промптинга для языковых моделей; если это удастся масштабировать, мы сможем обучать роботов новым задачам прямо по видео, без необходимости привлекать ML-инженеров.