Новый инструмент ИИ от Google умеет генерировать текст гораздо быстрее

DiffusionGemma-26B-A4B-it — открытая мультимодальная модель, разработанная Google DeepMind, которая отходит от традиционной парадигмы токен-за-токеном, используемой большинством современных чат-ботов. Вместо того чтобы предсказывать одно слово за другим, она генерирует целые блоки текста и итеративно улучшает их с помощью процесса шумоподавления, похожего на диффузионный синтез изображений. Это позволяет ей достигать скорости свыше 1100 токенов в секунду за счёт параллельного декодирования — в отличие от ограниченной скорости вывода авторегрессионных моделей.

Модель использует подход mixture-of-experts с 26 миллиардами параметров, но лишь 3,8 миллиарда из них активны на каждом шаге — активируется 8 из 128 экспертов на токен. Она принимает на вход текст, изображения и видео, обрабатывает контекст размером до 256K, поддерживает более 35 языков, имеет режим рассуждений и распространяется под свободной лицензией Apache 2.0. Хотя она показывает хорошие результаты на разных бенчмарках (77,6% на MMLU Pro, 70,5% на MATH-Vision), она уступает оригинальной модели Gemma 4. Впрочем, это осознанный компромисс между производительностью и эффективностью.

1Почему диффузия для текста — это важно

В отличие от авторегрессионных моделей, которые по своей природе последовательны и опираются на предыдущие токены для генерации следующего, что ограничивает потенциальную скорость независимо от доступных вычислительных ресурсов, диффузионные модели преодолевают этот барьер, обрабатывая сразу несколько позиций и итеративно их улучшая. Мы уже некоторое время слышим о текстовых диффузионных моделях, но этот официальный релиз от Google DeepMind такого масштаба, включающий открытые веса и полноценный мультимодальный фреймворк, — явный признак того, что технология движется к массовому внедрению.

Более того, модель использует разреженность, активируя лишь 3,8 миллиарда параметров из 26 миллиардов, что делает её развёртывание и эксплуатацию дешевле, чем можно предположить по её номинальному размеру.

2Почему это важно для тебя

При разработке приложений на основе языковых моделей задержка и стоимость обычно становятся первыми двумя узкими местами, с которыми сталкиваешься. Модель, способная генерировать свыше 1100 токенов в секунду, открывает новые возможности — например, анализ документов в реальном времени, OCR и интерактивные агенты без задержек. К тому же доступ к открытым весам под лицензией Apache 2.0 позволяет развёртывать модель локально вместо того, чтобы полагаться на внешние API и платить за каждый вызов.

В заключение скажу, что не стал бы заменять этой моделью свою лучшую модель для рассуждений в критичных задачах, где точность важнее всего (Gemma 4 всё же немного впереди), но DiffusionGemma определённо стоит рассмотреть, если нужно обрабатывать большой объём запросов с низкими требованиями к задержке. Она позволит вам опробовать возможности неавторегрессионной модели в своём рабочем процессе.