Искусственный интеллект отвечает в 15 раз быстрее без ущерба для качества.

До 15 раз быстрее. Настолько DFlash ускорил модель на 120 миллиардов параметров на новейшем поколении оборудования NVIDIA под названием Blackwell. Blackwell сейчас развёрнут во многих крупнейших облачных дата-центрах мира.

1Целыми блоками, а не по одному слову

Генерация в ИИ обычно происходит последовательно — примерно как печатать заметку по одному символу. При генерации ответа модель выдаёт по одному токену за раз, затем переходит к следующему. Как нетрудно догадаться, это приводит к высокой задержке. С DFlash небольшая и эффективная вспомогательная модель генерирует сразу целый блок токенов — как будто печатает целое слово. Затем основная модель проходит по блоку и либо оставляет токены, либо отбраковывает их. Отбраковка происходит параллельно.

Ключевая идея DFlash в том, что вспомогательная модель получает прямой доступ к внутренним состояниям основной модели. Благодаря этому она генерирует токены, похожие на те, что выдала бы сама основная модель. В результате из блока сохраняется больше токенов, отбраковывать приходится меньше, и всё это происходит быстрее.

2Цифры

Согласно статье с исследованием, DFlash даёт среднее ускорение в 4,86 раза, а максимальное ускорение без потери качества — 6,08 раза на Qwen3-8B. Мы протестировали DFlash на модели с 120 миллиардами параметров, работающей на Blackwell, и получили ускорение пропускной способности до 15 раз при сохранении той же интерактивности. Также он превзошёл существующий уровень в этой области примерно в 2,5 раза. Кроме того, мы увидели существенное ускорение и на других архитектурах моделей, таких как Qwen3 (8B и 27B), LLaMA 3.1 и Gemma 4 31B.

3Что это значит, если вы строите на ИИ

Для тех, кто размещает открытые ИИ-модели у себя (например, для продукта, внутреннего инструмента или сервиса генерации кода), DFlash позволяет обслуживать значительно больше пользователей на том же оборудовании. Например, пятикратное ускорение соответствует примерно пятикратному росту числа запросов в минуту на сервер. Это делает финансово оправданным строить продукт на открытых моделях вместо оплаты API-вызовов.

DFlash полностью с открытым исходным кодом. Мы выложили чекпоинты на Hugging Face и интегрировали DFlash с vLLM, Transformers и TensorRT-LLM — тремя самыми популярными фреймворками для размещения открытых ИИ-моделей. Никаких проприетарных зависимостей и лицензионных требований. Это не анонс бенчмарка с очередью ожидания на 12 месяцев — это релиз реально работающего кода, которым можно начать пользоваться прямо сейчас.