Mistral научила роботов ориентироваться без лидара — только камера

Mistral выпустила Robostral Navigate — 8-миллиардную модель для автономной навигации роботов. Главная особенность: она работает только с одной обычной RGB-камерой, без лидара и датчиков глубины, которые традиционно делали роботику дорогой. На стандартном академическом тесте R2R-CE в незнакомых помещениях модель показала 76,6% успешных маршрутов — на 9,7 процентных пункта лучше лучшей однокамерной системы и на 4,5 пункта лучше систем с датчиками глубины.

Robostral Navigate принимает на вход текстовую инструкцию и поток кадров с камеры, предсказывает координаты следующей точки в поле зрения. Обучена в симуляции на 400 тысячах траекторий в 6 000 сцен. Поддерживает колёсных, шагающих и летающих роботов — модель не привязана к конкретной кинематике. Ещё один трюк: технология prefix-caching сократила токенные затраты на обучение в 22 раза.

До сих пор точная ориентация в пространстве требовала от роботов дорогостоящего оборудования — лидаров за тысячи долларов или стереокамер. Если языковая модель справляется лучше с одним дешёвым объективом, стоимость промышленных роботов для логистики, доставки и производства может упасть на порядок. Mistral первой из европейских лабораторий выходит в физический мир.