← Все новости·2026-11-15·3 мин чтения

Arena предлагает проверять написанные ИИ приложения, запуская их

Исследователи Arena и трёх университетов предложили оценивать приложения, которые пишет ИИ, через агента, умеющего пользоваться компьютером, а не по тексту кода.

aibenchmarkarenaagentsresearch

Исследователи из Arena, компании, которая ведёт публичный рейтинг ИИ-моделей, предложили новый способ оценивать приложения, написанные ИИ. Вместе с ними работали учёные из Carnegie Mellon, UC Berkeley и UCLA. Проверяющий не читает код. Это агент для работы с компьютером, то есть ИИ-программа, которая кликает, печатает и смотрит на экран так же, как человек. В тесте авторов ИИ-модели чаще чинили сломанные приложения, когда проверяли свою работу таким способом. Они исправили 75,5% проблем, а при проверке только кода — 55,4%.

Эта идея закрывает знакомый пробел. Код может выглядеть правильным, а кнопка на экране при этом ничего не делает. Агент, который на самом деле пользуется приложением, скорее это заметит. В исследовании он нашёл 71,1% сломанных функций. Проверяющий, который только читал код, нашёл 63,0%. Для тех, кто выбирает ИИ-инструмент для написания программ, такая проверка ближе к тому, как люди на самом деле пользуются готовым продуктом.

Главное ограничение авторы называют сами. Нынешние модели слишком медленные, чтобы взаимодействовать с приложением в реальном времени, а это важно, например, для игр. Все цифры взяты из статьи самих исследователей, и пока их никто независимо не проверял. За этим методом стоит следить как за новым способом ранжировать модели для написания кода, но пока это результат исследования, а не стандарт.

Источник: arena.ai

Бесплатный курс

Хватит читать про ИИ — начни строить с ним

Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.

Начать →
ЕАЕвгений Арсентьев

Автор

Евгений Арсентьев

PhD · Founder & CEO, Dad4Kids