OpenAI объяснила, почему модели всё хуже показывают ход мыслей
OpenAI описала, почему рассуждения новых моделей всё хуже видны со стороны, и назвала технические причины: предобучение, архитектуру и обучение с подкреплением.
Недавнее исследование OpenAI (создателей ChatGPT) объясняет, как их новейшие ИИ-модели всё больше затрудняют понимание их внутренних процессов рассуждения. Они провели эксперименты, сравнивая разные версии своей ИИ-модели (от GPT-5 до их новейшей модели, GPT-6 Astra). Один из способов, которым ИИ-модели демонстрируют свой ход мыслей, — это объяснения «цепочки рассуждений» (chain-of-thought), где они дают пошаговую раскладку того, как пришли к ответу. По данным британского AI Safety Institute (который тестирует ИИ-модели), Astra может решать математические уравнения, не раскрывая свою цепочку рассуждений, в течение 30.9 минут. Это оказалось неожиданностью для OpenAI до 2028 года.
Это ограничивает нашу способность контролировать ИИ-системы. Объяснения «цепочки рассуждений» были одним из немногих способов понять, когда ИИ ошибается. По словам OpenAI, снижение прозрачности связано с тремя основными факторами: предобучение (pretraining), архитектура модели и обучение с подкреплением (reinforcement learning) — тип обучения, при котором ИИ получает вознаграждение за правильные ответы. Кроме того, эта проблема усугубляется от поколения к поколению ИИ-моделей: если обучать ИИ-модель на выходных данных другой модели, она наследует проблемы с прозрачностью исходной модели.
OpenAI признаёт, что их существующие методы измерения рассуждений не будут масштабироваться с более крупными моделями. Они призывают к новым подходам. Мы не знаем, наблюдают ли Anthropic или Google похожие тенденции. Эти компании — главные конкуренты OpenAI в разработке ИИ-моделей. Пока это может касаться только моделей OpenAI.
Источник: alignment.openai.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме

Автор
Евгений Арсентьев
PhD · Founder & CEO, Dad4Kids
Статьи · Свежие статьи