ИИ-судьи научной новизны оказались ненадёжными

Институт искусственного интеллекта Allen Institute for AI (AI2) провёл эксперимент, чтобы проверить, способны ли языковые модели точно определять, оригинальна идея или нет. Они сравнили идеи, опубликованные на конференции ICLR 2026 (одной из главных конференций по искусственному интеллекту), с идеями, сгенерированными ИИ. Каждую модель спрашивали про одну и ту же идею два раза, формулируя вопрос по-разному. Точность модели GPT-5.4 от OpenAI упала с 93.5% до 40.9% — это хуже, чем если бы она отвечала наугад. Другая модель, Claude Opus 4.6 от Anthropic, меняла своё мнение на 21 процентный пункт.

Одной языковой модели нельзя доверять решение, оригинальна идея или нет. Дело в том, что ответ зависит от формулировки вопроса, а не от содержания самих идей. Поэтому, если мы хотим автоматизировать эту задачу, использовать только одну языковую модель — не лучшая идея. Но мы обнаружили, что если три раза отправить простой промпт модели Claude Opus 4.6 и взять мнение большинства, результат получается лучше, чем у двух других инструментов, созданных специально для этой задачи: Idea Novelty Checker и AI Scientist от Sakana AI (лаборатории искусственного интеллекта из Токио). К тому же Claude Opus 4.6 оказался намного дешевле ($2.59 против $30.66 и $82.05).