Стартап заявляет, что решил давнюю проблему ИИ

Subquadratic, стартап из Майами, вышедший из тени в мае 2026 года, утверждает, что его модель SubQ решает проблему квадратичного внимания, которая почти десять лет ограничивала большие языковые модели. По данным MIT Technology Review, прирост производительности впечатляющий: до 56 раз быстрее моделей, использующих FlashAttention, размер контекста до 12 миллионов токенов и 98% точности в задачах поиска «иголки в стоге сена» с контекстом в 6–12 миллионов токенов.

Эта проблема реальна и существует давно. В типичной архитектуре трансформера внимание «плотное»: каждый токен обращается ко всем остальным токенам, а значит, удвоение длины ввода увеличивает объём вычислений в четыре раза. Из-за этого работа с длинными текстами становится вычислительно дорогой и ограничивает объём контекста, который можно использовать. SubQ заменяет плотное внимание на «разреженный», зависящий от текста механизм, который обращает внимание только на релевантные токены. Компания, основанная техническим директором Алексом Уидоном и CEO Джастином Дэнджелом, утверждает, что именно это позволяет им добиться одновременно скорости и масштабируемости.

1Цифры — и звёздочки к ним

Их заявления насчёт стоимости особенно смелые: по словам компании, они смогли прогнать бенчмарк RULER 128 всего за $8, тогда как, по их словам, Anthropic потратила на свою модель Opus 4.6 $2600. Они также набрали 89,7% в бенчмарке конкурентного программирования LiveCodeBench и, как сообщается, выполнили задачу анализа 400 документов за считаные секунды. Их работу оценила сторонняя компания Appen, назвавшая этот подход «потенциально способным всё перевернуть».

Но подождите… Есть мелкий шрифт. Доступ сейчас ограничен (список ожидания огромный, хотя они заявляют, что записались десятки тысяч человек), поэтому очень мало людей успели по-настоящему погонять модель. SubQ начинала с предобученных весов китайской открытой модели Qwen, а не с обучения собственных весов, что усложняет прямое сравнение. А исследователь ИИ Уилл Депью коротко резюмировал позицию скептиков: «нынешних публичных доказательств пока недостаточно, чтобы обосновать более сильное заявление о том, что они решили проблему квадратичного внимания». Не стоит забывать, что бенчмарки — это не то же самое, что обобщение на разнообразные реальные применения.

Даже если вы не пользуетесь SubQ, почему вам это должно быть интересно? Потому что именно из-за квадратичного барьера ваши текущие модели с трудом помнят, что вы сказали в начале долгого разговора, с трудом понимают весь кодовую базу целиком или заставляют платить немалую сумму за чтение длинного документа. Если эту проблему удастся решить эффективно, многие ограничения исчезнут: вы сможете подать модели целую книгу, переписку за год или огромный репозиторий кода — и ожидать, что она удержит всю эту информацию в голове. Мне кажется, что хайп реален, но и опасения тоже реальны, и нам стоит радоваться, но сохранять осторожность, пока другие не проверят это на практике. Если это действительно прорыв, он будет огромным — именно поэтому нам нужны доказательства весомее, чем результаты пары первых бенчмарков.