Dreamer-агенты строят модель мира вместо миллионов проб и ошибок

Дания Хафнер — 31-летний исследователь из сельской Германии, самоучка, начавший программировать у соседа. В 2015 году он пришёл в Google Brain студентом, работая бок о бок с Джеффри Хинтоном и Ашишем Васвани. Сейчас он строит стелс-стартап в Сан-Франциско — и MIT Technology Review называет его одним из ключевых людей, формирующих будущее ИИ-агентов.

1Серия Dreamer: от Atari до Minecraft

Хафнер создал серию агентов Dreamer, построенных на так называемых «моделях мира» — встроенных симуляциях реальности, которые агент использует для планирования действий. PlaNet первым позволил агентам планировать наперёд. Dreamer 2 достиг человеческого уровня в играх Atari 2600, используя модели мира вместо прямого взаимодействия со средой. Dreamer 3 стал первым агентом, автономно добывшим алмаз в Minecraft — задача, которую ИИ-сообщество долго считало слишком сложной для автоматизации. Dreamer 4 пошёл дальше: он обучился добывать алмаз только по видеозаписям, без прямого взаимодействия с игрой.

2DayDreamer и роботы в реальном мире

Агент DayDreamer перенёс подход в физический мир: роботы научились действовать в незнакомых средах и реагировать на неожиданные ситуации. Именно это стало основой стартапа Хафнера — создать гуманоидных роботов, способных ориентироваться в жилых пространствах с незнакомыми планировками и расстановкой мебели. Его бывший менеджер из Google, Тимоти Лилликрап, охарактеризовал его так: «входит в верхние полпроцента исследователей и мог бы в одиночку построить то, на что целым командам инженеров нужны недели».

3Почему это меняет подход к агентам

Стандартная парадигма обучения с подкреплением требует миллионов итераций в одной среде — и даёт агента, который плохо переносится в другую. Модели мира решают это принципиально иначе: агент строит внутреннее представление о том, как устроена реальность, и действует, опираясь на него. Это позволяет планировать в незнакомых условиях без переобучения. Если подход масштабируется до физических роботов, граница между «обученным в симуляции» и «готовым к реальному миру» перестаёт быть стеной.