Исследователь заявил: 90% нейронов в ИИ понятны

15 октября Ник Каммарата опубликовал эссе под названием «Нейросети уже чисты» («Neural Networks Are Already Clean»). Каммарата — исследователь в лаборатории интерпретируемости Goodfire и бывший сотрудник OpenAI. Эссе возвращается к примеру десятилетней давности из InceptionV1, ранней модели распознавания изображений. Один нейрон в этой модели долго приводили как доказательство того, что нейросети путают несвязанные понятия. Он срабатывал и на кошачьи морды, и на передок автомобиля. Каммарата утверждает, что на самом деле нейрон распознаёт V-образную форму — паттерн, общий и для кошачьих морд, и для передка автомобиля. Каммарата провёл предварительное сканирование Qwen3-32B, большой языковой модели. Около 90% её нейронов выполняют одну чёткую задачу, а 7% — две связанные задачи. Необъяснёнными остаются лишь 2-4%.

Если это подтвердится, вопрос окажется техническим, а не философским. Сейчас объяснение того, почему ИИ-агент принял то или иное решение, в основном сводится к догадкам по логам. Читаемость на уровне нейронов могла бы в итоге позволить инженерам открыть модель и увидеть, на что именно она среагировала. Пока это утверждение не подтверждено. Сам Каммарата называет эссе рабочей гипотезой без рецензирования, и технической статьи ещё нет. Исследователь Стэнфорда Крис Поттс говорит, что выводы преувеличены. Он утверждает, что область понимает лишь малую часть того, как языковые модели работают на самом деле. Для тех, кто строит решения на ИИ-агентах, такой инструмент значил бы больше, чем ещё одна модель с лучшим результатом в бенчмарках. Он объяснял бы, почему модель поступила именно так. Такого инструмента пока не существует.