GitHub-радар
Ling-3.0-tiny: быстрый reasoning на MacBook
inclusionAI анонсировала выпуск своей новой модели Ling-3.0-tiny — это MoE-модель на 7.9B с режимом размышления, работающая со скоростью 86–90 токенов/сек на MacBook M4 Pro и использующая ~8GB RAM.
Ling-3.0-tiny — гибридная рассуждающая модель на MoE-архитектуре, которую предложила inclusionAI: всего 7.9B параметров, но на каждый токен используется только 1.3B. За счёт архитектуры KDA-MLA и разреженной MoE на 128 экспертов (на каждый токен активны 8 роутинговых + 1 общий эксперт) модель выдаёт высокую скорость генерации. На MacBook M4 Pro в режиме FP8 она выдаёт 86–90 токенов в секунду и расходует около 8.34 ГБ памяти в окне контекста 8K. С помощью масштабирования YaRN окно контекста можно увеличить до 256K токенов. Если выставить enable_thinking=true, temperature=1.0, top_p=0.95, модель сначала порассуждает шаг за шагом, а потом выдаст итоговый ответ. Попробовать можно через SGLang (готовый docker-образ), отдельную ветку vLLM или открытый pull request для Ollama под apple silicon.
Зачем это вайб-кодеру
Это маленькая, но быстрая рассуждающая модель, которая нормально работает на обычном макбуке. Идеально подходит для случаев, когда нужны пошаговые рассуждения, а платить за облачные вычисления не на что. inclusionAI — китайская ИИ-группа. Учтите, что pull request с поддержкой Ollama пока не смержен. Самый стабильный способ запустить эту модель — через SGLang с docker-образом.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Поставь мне модель Ling-3.0-tiny от inclusionAI: https://huggingface.co/inclusionAI/Ling-3.0-tiny — запусти через SGLang (Docker) по инструкции на карточке модели и покажи, как её вызвать с включённым режимом рассуждения (enable_thinking=true).
Обычный ноутбук от 16 ГБ оперативки — в формате FP8 модель занимает около 8 ГБ и выдаёт 86–90 токенов в секунду на MacBook с чипом M4 Pro.
Открыть на Hugging Face▌ Ещё находки