DiffusionGemma: Google конвертировала LLM в диффузионную без переобучения

Google DeepMind взяла готовую Gemma 4 на 26 млрд параметров и за менее чем 10% исходного бюджета обучения превратила её в диффузионную модель. DiffusionGemma генерирует 256 токенов одновременно — не по одному, как обычный LLM, — и выдаёт около 1 500 токенов в секунду на Nvidia H100. Качество чуть ниже оригинала, зато задачи с рассуждением улучшились на 10 пунктов, а судоку решаются в 85% случаев — против нуля у базовой модели.

До сих пор диффузионные текстовые модели требовали обучения с нуля — это отпугивало всех, кроме крупнейших игроков. Теперь, когда любую готовую модель можно перепрофилировать за долю бюджета, специализированные варианты станут дешевле и разнообразнее. Это меняет экономику гонки за эффективностью генерации.