GitHub-радар
DeepInfer: как DeepSeek обслуживает свои ИИ-модели на серверах
DeepInfer — движок, которым DeepSeek обслуживает свои ИИ-модели в проде. Прочитав этот гайд, поймёшь, что это и нужно ли оно тебе.
Это не новая модель, а программа, которая эффективно запускает уже обученную модель DeepSeek-V4.1-Flash на мощных серверах.
Когда пригодится
Пригодится, если ты администрируешь кластер серверных GPU и хочешь обслуживать модель DeepSeek сам. Не подходит для ноутбука или одной видеокарты в десктопе.
Плюсы
- Открытый код: можно изучить, как DeepSeek обслуживает модели внутри
- Детерминированная выборка — одинаковый ответ при повторных запросах
- Структурированный вывод: ответы по заданному шаблону, например JSON-схеме
Минусы
- Нужны серверные GPU: новейшие NVIDIA SM100 или Huawei Ascend 950
- Это частичный релиз — нет системы повторного использования памяти (KV-кэш) и балансировки нагрузки
- Сама модель DeepSeek, по мнению автора, слабее Opus и Fable на практике
Как поставить — по шагам
- 1Проверь железо: нужны видеокарты NVIDIA SM100 или нейропроцессоры Huawei Ascend 950.
- 2Если такого железа нет, не пытайся ставить движок на свой компьютер — он там не заработает.
- 3Открой кодового агента (Claude Code или Codex) в папке своего проекта.
- 4Отправь агенту текст из блока ниже.
- 5Прочитай ответ агента про возможности и требования и реши, нужен ли тебе этот движок.
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Попроси своего агента прочитать README на https://github.com/deepseek-ai/DeepInfer и собрать короткую справку: какие из заявленных возможностей движка (одна модель DeepSeek-V4.1-Flash, детерминированная выборка, структурированный вывод) реально пригодятся, и хватит ли твоего железа — учитывая, что нужны серверные NVIDIA SM100 или Huawei Ascend 950.
Серверный класс, не домашний: нужны видеокарты NVIDIA SM100 — новейшее поколение дата-центровых GPU — или нейропроцессоры Huawei Ascend 950. Собственные бенчмарки авторы снимали на кластере в десятки карт: 4 GPU для prefill и 64 для decode. Обычный ноутбук или одна видеокарта в десктопе тут не подойдут.
Открыть на GitHub▌ Ещё находки