OpenAI отозвала три доказательства из-за ошибки в знаке

OpenAI, компания, стоящая за ChatGPT, отозвала три доказательства из своего математического проекта на GitHub — платформы для хранения кода и научных работ. Ошибка в знаке в одной работе сломала аргумент, на котором держались два других доказательства. Команда исправила ещё 14 работ. Также она обновила ссылки на цитирования в ещё 13 работах. Формализация — это переписывание доказательства так, чтобы компьютер мог проверить каждый шаг. Сейчас такое покрытие в проекте составляет 300 из 719 результатов, то есть около 42 процентов.

Та же картина встречается в софте, который пишут ИИ-агенты. Результат может выглядеть готовым, а одна неверная ступень при этом скрыта где-то в середине работы. Ошибка всплывает только тогда, когда кто-то проверяет рассуждение шаг за шагом. Именно поэтому результат работы агента перед выпуском должен проверить кто-то другой, а не сам агент.