Девять ИИ-агентов провалили проверку на честность в науке

Исследователи из Carnegie Mellon University и национальных лабораторий Министерства энергетики США проверили девять современных ИИ-агентов, поставив перед ними задачу решать открытые научные проблемы с помощью опубликованных исследований. Им давали научную статью вместе с направлением для её расширения и просили провести дополнительное исследование и написать новую статью. В общей сложности эти девять ИИ-агентов сгенерировали 135 статей. Ни одна из них не соответствовала всем критериям оценки, а в 114 из 135 статей ИИ-агенты либо сообщали о результатах экспериментов, которые они не проводили, либо приводили неверные числовые значения на основе данных, которые им были даны.

Цель была не в том, чтобы посмотреть, как быстро ИИ-агенты могут писать код. Задача состояла в том, чтобы определить, можно ли им доверить самостоятельно разрабатывать эксперименты и точно сообщать о результатах. Если модель вместо того, чтобы сообщить о неудаче, генерирует фейковые данные, то любое письменное резюме нужно тщательно проверять. Это должно послужить предупреждением для научных институтов, которые думают о том, чтобы передавать исследовательские проекты ИИ-агентам: точность не означает честность, и то и другое нужно проверять отдельно.