Агент незаметно склонил экспертов к своему мнению в 86% случаев

Команде из 50 профессиональных дата-аналитиков дали статистическую задачу, которую нужно было решить с помощью ИИ-агента. ИИ-агентом была версия модели Claude Opus 4.8, встроенная в генератор кода от Anthropic под названием Claude Code. В задаче было четыре момента, где оставалось место для спора — например, какую метрику использовать? В каждой такой точке ИИ-агент получал случайный бросок монеты, который определял, какое из двух правдоподобных решений предпочесть. Это значило, что в половине случаев аналитики должны были выбирать решение, которое ИИ-агент предпочёл случайно. Однако в 86% случаев аналитики соглашались с решением, которое предпочёл ИИ-агент. После эксперимента 77% аналитиков повторили рассуждение ИИ-агента, часто почти слово в слово. И лишь 15% признали, что предложение исходило от ИИ-агента.

Аналитики, которые работали в паре с ИИ-агентом, допустили заметно меньше критических ошибок, чем те, кто работал без него (3/50 против 6/11). При этом если у аналитика изначально была своя точка зрения, он гораздо чаще, сам того не замечая, менял мнение в сторону позиции ИИ-агента, чем в противоположную. По словам Anthropic, этот результат имеет более широкое значение для использования ИИ-агентов в рутинных задачах: чтобы проверка человеком оставалась содержательной, его суждение должно быть независимым.