5 стартапов разрабатывают альтернативы архитектуре трансформера

Каждая языковая модель с 2017 года использует одну и ту же архитектуру: трансформер, описанный в статье «Attention Is All You Need». Плотный механизм внимания приводит к тому, что на обработку документа из 10 000 слов уходит 50 миллионов умножений, а вычислительные затраты стремительно растут с увеличением длины контекста.

1Пять компаний — пять подходов

MIT Technology Review написал о 5 компаниях, использующих другую математику. Inception (Пало-Альто) применяет диффузию, при которой модель выдаёт куски текста сразу целиком. Они утверждают, что их модель Mercury 2 сравнима с GPT-4, но в 10 раз быстрее. Liquid AI (Кембридж) использует архитектуру на 20% из трансформеров и на 80% из жидких нейросетей, чтобы строить модели, которые в 4 раза лучше своего размера — и это на Raspberry Pi за $50 (эту модель скачали 34 миллиона раз). Dragon Hatchling от Pathway смог решить 97% из 250 000 судоку, с которыми не справились другие LLM.

2Почему это стало срочным

В 2026 году OpenAI потратит $50 млрд на вычислительные мощности, а потребление электроэнергии дата-центрами к 2030 году удвоится. Архитектура трансформера подходит к физическим пределам масштабируемости: мы можем делать модели мощнее, но это будет обходиться всё дороже и дороже. Даже если хотя бы одна из этих новых архитектур сработает так, как обещано, будущие модели ИИ могут стать намного дешевле, вовсе не становясь при этом умнее — просто потому, что изменилась лежащая в основе математика.