С доступом к ИИ люди почти перестают говорить «не знаю»

Учёные Marcoccia, Quattrociocchi и Capraro опросили в общей сложности 3132 человека в пяти экспериментах. Работа вышла 26 сентября на PsyArXiv. Людей просили вспомнить мелкие детали из фильмов, и модель Step 3.5 Flash в таких вопросах часто ошибалась. Без ИИ участники честно говорили «не знаю» в 36–44% случаев. С доступом к модели эта доля упала до 3–6%. При этом уверенность в ответе выросла с 29,6 до 75,9 из 100, а точность, наоборот, снизилась с 27,6% до 10%.

Меня это не удивляет. В своей работе с агентами я постоянно вижу похожее: ответ звучит уверенно, а под ним может не быть реальной проверки. Поэтому в нашей команде результат агента всегда смотрит человек, особенно если задача сформулирована нечётко — там модель ошибается незаметнее всего. Уверенный тон ответа и его точность — это просто разные вещи, и этот результат лишний раз это показывает.