Fable 5 обыграл GPT-5.6 Sol в задаче без быстрого решения
Fable 5 обошёл GPT-5.6 Sol на 5,5% в NP-Hard задаче KIRO: среднее 32 386 против 34 261, разброс в шесть раз ниже. Режим /goal чаще выигрывал, но снижал среднее.
Разработчик Charles Azam протестировал Fable 5 и GPT-5.6 Sol на задаче KIRO — прокладке оптоволоконной сети с минимальной суммарной длиной кабеля, задаче класса NP-Hard с французского хакатона. Для неё не существует формулы быстрого точного решения — только перебор вариантов. Каждой модели дали 30 минут и три попытки при максимальных настройках рассуждения.
Результаты: Fable 5 точнее и в шесть раз стабильнее
Fable 5 набрал среднее 32 386 единиц (ниже — лучше, так как задача на минимизацию) против 34 261 у GPT-5.6 Sol — разрыв 5,5%. Разброс результатов у Fable 5 составил 319 единиц, у Sol — 1 958: Sol нестабильнее в шесть раз. Лучший результат Fable 5 — 31 934 единицы.
Парадокс режима /goal
Режим /goal включает «настойчивость» — модель давит на улучшение вплоть до конца отведённого времени. Он выигрывал в 4 из 6 попыток, но парадоксально ухудшал среднее: упорное давление вело к жертве точностью. Для агентных систем это важный сигнал — «настойчивость» и «качество решения» могут противоречить друг другу.
Источник: charlesazam.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи