Apple научила маленькую модель управлять экраном не хуже крупной

Apple, компания, которая делает iPhone, опубликовала статью про использование дешёвых ИИ-агентов для взаимодействия с интерфейсами смартфонов. Этот агент работает с интерфейсом, кликая по экрану и перемещаясь между разными экранами приложений без какого-либо заранее заданного скрипта. Выяснилось, что модель на 8 миллиардов параметров (что довольно мало по сравнению с современными моделями) показала результат почти в 7 раз лучше, чем модель, обученная на готовых демонстрациях, при работе с незнакомыми android-приложениями. При применении к реальным iOS-приложениям этот агент обошёл модель Gemini-3.5-Flash от Google и показал результат, сопоставимый с гораздо большей моделью Gemini-3.1-Pro.

Обычно, когда мы думаем об ИИ-агентах, которые автоматизируют работу с интерфейсом (например, кликают по экрану телефона или сайта), они используют большие модели на каждом шаге взаимодействия, из-за чего такие взаимодействия получаются довольно дорогими. Вместо этого Apple использовала свою маленькую модель для работы с настоящим приложением — она изучала его и училась на своих ошибках, а не получала заранее записанные демонстрации. Это позволило добиться результата, сопоставимого с гораздо большими моделями. К сожалению, пока эта работа доступна только в виде внутренних результатов бенчмарков Apple, и публичного релиза модели, которую можно было бы развернуть самостоятельно, пока нет.