GitHub-радар
Запусти модель DeepSeek на 763 млрд параметров на одной видеокарте
Обычно модель такого размера запускают на сервере с большим количеством видеокарт, а эту сжатую версию можно запустить на одном десктопе с игровой видеокартой от 12 ГБ.
Это сжатая версия большой языковой модели DeepSeek: её ужали так, что она помещается на одну игровую видеокарту с 12 ГБ памяти, хотя исходная модель намного больше. Остальной вес модели лежит на диске.
Когда пригодится
Пригодится, если у тебя десктоп с видеокартой от 12 ГБ и около 250 ГБ свободного места и хочется попробовать мощную модель локально. Не стоит ставить, если у тебя только ноутбук, Mac или мало места на диске.
Плюсы
- Помещается на одну игровую видеокарту, а не на сервер с множеством карт
- Самая мягкая версия почти не теряет качество по тестам авторов
- Работает полностью локально, на своём компьютере, без доступа в интернет
Минусы
- Нужен отдельный инструмент запуска — привычный llama.cpp эту модель пока не поддерживает
- Требует около 250 ГБ свободного места на диске и видеокарту от 12 ГБ
- Обычный ноутбук или Mac не подойдут — нужен десктоп с игровой картой
Как поставить — по шагам
- 1Проверь, что у тебя десктоп с видеокартой от 12 ГБ и около 250 ГБ свободного места на диске
- 2Открой своего ИИ-агента (Claude Code, Codex) в папке проекта
- 3Отправь агенту текст из блока ниже
- 4Дождись, пока агент скачает версию IQ2_XXS и установит нужный для запуска инструмент
- 5Проверь, что агент показал реальный ответ модели на тестовый запрос
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Скачай и запусти у меня локально сжатую версию DeepSeek-V4.1-Flash-1017 отсюда: https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF — возьми вариант IQ2_XXS, поставь инструмент для запуска, который авторы указали в карточке модели (обычный llama.cpp эту модель пока не поддерживает), и покажи, что модель отвечает.
Нужен отдельный десктоп с игровой видеокартой от 12 ГБ памяти и около 250 ГБ свободного места на диске под веса модели. Обычный ноутбук или Mac это не потянет. Привычный Ollama пока не запустит эту модель, нужен инструмент, который авторы указали в карточке.
Открыть на Hugging Face▌ Ещё находки