GitHub-радар
Ling-3.0-tiny: быстрый reasoning на MacBook
inclusionAI анонсировала выпуск своей новой модели Ling-3.0-tiny — это MoE-модель на 7.9B с режимом размышления, работающая со скоростью 86–90 токенов/сек на MacBook M4 Pro и использующая ~8GB RAM.
Ling-3.0-tiny — это гибридная MoE reasoning-модель, разработанная inclusionAI, у которой 7.9B параметров в общей сложности, но на каждый токен активируется всего 1.3B параметров. Благодаря архитектуре KDA-MLA и разреженной MoE на 128 экспертов (8 маршрутизируемых + 1 общий эксперт активны на токен) модель поддерживает быстрый инференс. Она может работать со скоростью 86–90 токенов в секунду на MacBook M4 Pro в режиме FP8, используя ~8.34 GB RAM при контекстном окне в 8K. С помощью YaRN-масштабирования размер контекстного окна можно увеличить до 256K токенов. При enable_thinking=true, temperature=1.0, top_p=0.95 модель сначала выполняет пошаговое рассуждение, а затем выдаёт финальный ответ. Получить доступ к этой модели можно через SGLang (готовый docker-образ), специальную ветку vLLM или открытый pull request для Ollama под apple silicon.
Зачем это вайб-кодеру
Это небольшая, но быстрая reasoning-модель, которая может работать на обычном Macbook — отлично подходит для ситуаций, когда хочется пошагового рассуждения, но нет денег на облачные вычислительные ресурсы. inclusionAI — команда из Китая. Обратите внимание, что поддержка Ollama пока находится в виде pull request и ещё не влита. На данный момент самый стабильный способ использовать эту модель — SGLang с docker-образом.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Поставь мне модель Ling-3.0-tiny от inclusionAI: https://huggingface.co/inclusionAI/Ling-3.0-tiny — запусти через SGLang (Docker) по инструкции на карточке модели и покажи, как её вызвать с включённым режимом рассуждения (enable_thinking=true).
Обычный ноутбук от 16 ГБ оперативки — в формате FP8 модель занимает около 8 ГБ и выдаёт 86–90 токенов в секунду на MacBook с чипом M4 Pro.
Открыть на Hugging Face▌ Ещё находки