World Labs: одна демонстрация на реальном роботе — тысячи сценариев обучения в симуляции

World Labs, основанная визионером в области ИИ Фей-Фей Ли и получившая $1 млрд финансирования, представляет R2S2R (Real-to-Sim-to-Real) — систему, которая принимает на вход роботов, датчики, окружение и одну реальную демонстрацию задачи, а на выходе выдаёт интерактивную виртуальную среду с физически достоверным поведением, а также тысячи контролируемых вариаций для обучения.

1Результаты: виртуальные рейтинги совпадают с реальными

R2S2R была протестирована на 2000 симуляций и 100 развёртываниях в реальном мире. Перенос без дообучения на четыре новые платформы, включая двуруких роботов ALOHA (Stanford), а также Nvidia GR00T N1.6 и π₀.₅. Результат: политики, показавшие лучшие результаты в симуляции, оказываются лучшими и на реальном железе (тот же рейтинг)!

2Почему это важно для робототехники

Годами обучение роботов упиралось в высокую стоимость сбора данных в реальном мире: обучение на физическом железе обходится на порядок дороже, чем на симулированном. R2S2R — первое убедительное доказательство того, что результаты, работающие в симуляции, будут работать и на реальном железе, а это может произвести революцию в создании промышленных и бытовых роботов-манипуляторов.