GitHub-радар
ИИ-модель уровня GLM-5.3, которая влезает в одну видеокарту
GLM-5.3-SLIM-GGUF — обрезанная версия большой языковой модели GLM-5.3: убрали четверть «экспертов» (внутренних подсетей) без переобучения, и теперь модель влезает на одну мощную видеокарту или Mac Studio вместо целого дата-центра.
Это большая языковая модель (ИИ вроде ChatGPT), у которой убрали часть внутренних блоков, чтобы она занимала меньше памяти и обходилась меньшим железом.
Когда пригодится
Пригодится, если у тебя есть видеокарта NVIDIA B200 или Mac Studio от 192 ГБ памяти и ты хочешь запустить мощную языковую модель локально; на обычном ноутбуке или домашнем ПК она не запустится.
Плюсы
- На 24.6% компактнее исходной модели почти без потери качества
- Умещается на одной видеокарте вместо кластера серверов
- 92.7% на тесте по программированию HumanEval
- Готовые инструкции по установке и запуску на странице модели
Минусы
- Нужна видеокарта NVIDIA B200 или Mac Studio от 192 ГБ — домашнего железа не хватит
- Качество измеряли только сами авторы, независимой проверки нет
Как поставить — по шагам
- 1Открой карточку модели по ссылке huggingface.co/Scantist/GLM-5.3-SLIM-GGUF и прочитай требования к железу.
- 2Проверь, есть ли у тебя Mac Studio от 192 ГБ памяти или видеокарта NVIDIA B200 — без этого модель не запустить.
- 3Отправь агенту текст из блока ниже, чтобы он объяснил разницу с исходной моделью и нужное железо простыми словами.
- 4Если железо подходит, попроси агента помочь установить llama.cpp и скачать файлы модели по инструкции со страницы.
- 5Запусти сервер модели по инструкции и отправь тестовый запрос, чтобы проверить, что всё работает.
- 6Сравни ответы модели со своей задачей — учти, что замеры качества делали только авторы, а не независимая сторона.
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Открой карточку модели GLM-5.3-SLIM-GGUF: https://huggingface.co/Scantist/GLM-5.3-SLIM-GGUF — объясни простыми словами, чем версия с 192 экспертами отличается от исходной на 256, и какое железо нужно, чтобы её запустить.
Нужен Mac Studio от 192 ГБ памяти или серверная видеокарта NVIDIA B200 — на домашнем железе не запустить.
Открыть на Hugging Face▌ Ещё находки