GitHub-радар

Ling-3.0-tiny: быстрый reasoning на MacBook

inclusionAI анонсировала выпуск своей новой модели Ling-3.0-tiny — это MoE-модель на 7.9B с режимом размышления, работающая со скоростью 86–90 токенов/сек на MacBook M4 Pro и использующая ~8GB RAM.

01inclusionAI/Ling-3.0-tiny 35315k загрузок/мес7.9B параметровtext-generation

Ling-3.0-tiny — гибридная рассуждающая модель на MoE-архитектуре, которую предложила inclusionAI: всего 7.9B параметров, но на каждый токен используется только 1.3B. За счёт архитектуры KDA-MLA и разреженной MoE на 128 экспертов (на каждый токен активны 8 роутинговых + 1 общий эксперт) модель выдаёт высокую скорость генерации. На MacBook M4 Pro в режиме FP8 она выдаёт 86–90 токенов в секунду и расходует около 8.34 ГБ памяти в окне контекста 8K. С помощью масштабирования YaRN окно контекста можно увеличить до 256K токенов. Если выставить enable_thinking=true, temperature=1.0, top_p=0.95, модель сначала порассуждает шаг за шагом, а потом выдаст итоговый ответ. Попробовать можно через SGLang (готовый docker-образ), отдельную ветку vLLM или открытый pull request для Ollama под apple silicon.

Зачем это вайб-кодеру

Это маленькая, но быстрая рассуждающая модель, которая нормально работает на обычном макбуке. Идеально подходит для случаев, когда нужны пошаговые рассуждения, а платить за облачные вычисления не на что. inclusionAI — китайская ИИ-группа. Учтите, что pull request с поддержкой Ollama пока не смержен. Самый стабильный способ запустить эту модель — через SGLang с docker-образом.

Как поставить

Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:

Поставь мне модель Ling-3.0-tiny от inclusionAI: https://huggingface.co/inclusionAI/Ling-3.0-tiny — запусти через SGLang (Docker) по инструкции на карточке модели и покажи, как её вызвать с включённым режимом рассуждения (enable_thinking=true).

Обычный ноутбук от 16 ГБ оперативки — в формате FP8 модель занимает около 8 ГБ и выдаёт 86–90 токенов в секунду на MacBook с чипом M4 Pro.

Открыть на Hugging Face