Arena предлагает проверять написанные ИИ приложения, запуская их
Исследователи Arena и трёх университетов предложили оценивать приложения, которые пишет ИИ, через агента, умеющего пользоваться компьютером, а не по тексту кода.
Исследователи из Arena, компании, которая ведёт публичный рейтинг ИИ-моделей, предложили новый способ оценивать приложения, написанные ИИ. Вместе с ними работали учёные из Carnegie Mellon, UC Berkeley и UCLA. Проверяющий не читает код. Это агент для работы с компьютером, то есть ИИ-программа, которая кликает, печатает и смотрит на экран так же, как человек. В тесте авторов ИИ-модели чаще чинили сломанные приложения, когда проверяли свою работу таким способом. Они исправили 75,5% проблем, а при проверке только кода — 55,4%.
Эта идея закрывает знакомый пробел. Код может выглядеть правильным, а кнопка на экране при этом ничего не делает. Агент, который на самом деле пользуется приложением, скорее это заметит. В исследовании он нашёл 71,1% сломанных функций. Проверяющий, который только читал код, нашёл 63,0%. Для тех, кто выбирает ИИ-инструмент для написания программ, такая проверка ближе к тому, как люди на самом деле пользуются готовым продуктом.
Главное ограничение авторы называют сами. Нынешние модели слишком медленные, чтобы взаимодействовать с приложением в реальном времени, а это важно, например, для игр. Все цифры взяты из статьи самих исследователей, и пока их никто независимо не проверял. За этим методом стоит следить как за новым способом ранжировать модели для написания кода, но пока это результат исследования, а не стандарт.
Источник: arena.ai
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме

Автор
Евгений Арсентьев
PhD · Founder & CEO, Dad4Kids
Статьи · Свежие статьи