Gemini 4 Carbon лидирует в MathArena, но дороже в 15 раз
Gemini 4 Carbon обходит соперников на MathArena, но прогон теста стоит почти в 15 раз дороже, чем у GPT-6.1 Sol.
Google выпустила новую модель Gemini 4 Carbon 10 ноября. Она вышла на первое место в MathArena — бенчмарке, который измеряет, насколько хорошо модели ИИ решают математические задачи, — набрав 85.4%. Это обошло Fable 5.2, модель компании Anthropic, набравшую 82.8%, и GPT-6.1 Sol, модель OpenAI, набравшую 80.6%. Но прогон бенчмарка на Carbon стоил $15.70, а на Sol — $1.07. Это почти в пятнадцать раз больше.
Первое место в бенчмарке больше не гарантирует лучшую цену. Компании, которые выбирают модель для серьёзных математических или инженерных задач, всё чаще сталкиваются с выбором. Им приходится выбирать между точностью и счётом за каждый запуск. Цена OpenAI на GPT-6.1 Sol говорит о том, что компания предпочла низкую стоимость первому месту в рейтинге.
Самый частый сбой Carbon — это не неверный расчёт. Это выход за лимит времени. В одном случае модель запускала скрипт больше одиннадцати часов, не проверяя собственный прогресс. Насколько этот риск важен за пределами бенчмарка, пока не проверяли.
Источник: the-decoder.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →
Автор
Евгений Арсентьев
PhD · Founder & CEO, Dad4Kids
Статьи · Свежие статьи