DiffusionGemma: Google превращает Gemma 4 в диффузионную модель менее чем за 10% стоимости обучения

Дообучили модель Gemma 4 на 26B параметров в диффузионную модель, потратив меньше 10% бюджета обучения. У DiffusionGemma размер батча 256 токенов (против одного токена на выходе у обычной LLM), скорость — около 1 500 токенов/сек на Nvidia H100, а качество чуть хуже, чем у исходной модели. DiffusionGemma даёт прирост на 10 пунктов в задачах на рассуждение и решает 85% судоку (у базовой модели — 0%).

Раньше диффузионные текстовые модели можно было только обучать с нуля, и позволить себе это могли лишь самые крупные компании. Но если любую модель можно эффективно дообучить до диффузионной, у нас появится доступ к куда большему числу дешёвых специализированных диффузионных моделей. Баланс сил в гонке за эффективность генерации сместился!