GitHub-радар
Запусти у себя открытую модель, которая думает глубже своего размера
SenseNova-Loop-9B — бесплатная модель для рассуждений, кода, работы с инструментами и задач с картинками. Её можно запустить на своём компьютере, если у видеокарты хватает памяти.
Это открытая модель на 9 миллиардов параметров. Средние слои она проходит дважды, поэтому думает глубже, чем обычно позволяет такой размер. Она понимает текст и картинки и отвечает текстом.
Когда пригодится
Модель пригодится, если у тебя мощная видеокарта и ты хочешь проверить локальную модель на рассуждениях, коде или картинках. Для серьёзной работы, где нужна надёжность, лучше выбрать проверенный инструмент.
Плюсы
- Лицензия Apache 2.0: пользоваться можно бесплатно
- Понимает и текст, и картинки
- 4-битная версия весит около 4,9 ГБ
- За раз читает до 512 000 токенов (кусочков слов)
Минусы
- Нужна видеокарта примерно с 10 ГБ памяти, для Mac данных нет
- Нужна особая сборка llama.cpp от авторов модели
- Все цифры из тестов дали сами авторы, со стороны их не проверяли
Как поставить — по шагам
- 1Проверь, сколько памяти у твоей видеокарты: для 4-битной версии нужно около 10 ГБ.
- 2Отправь агенту текст из блока ниже. Он объяснит, чем модель необычна, и скажет, хватит ли тебе памяти.
- 3Попроси агента собрать llama.cpp (программу для запуска моделей) из репозитория OpenSenseNova/llama.cpp на GitHub.
- 4Запусти модель командой llama serve -hf sensenova/SenseNova-Loop-9B-GGUF:Q4_K_M -ngl 99 -c 4096 --port 8000.
- 5Дай модели простую задачу и проверь ответ. Авторы предупреждают, что с кодом и инструментами она работает неровно.
Текст для агента
Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):
Открой страницу https://huggingface.co/sensenova/SenseNova-Loop-9B-GGUF, объясни простыми словами, чем эта модель отличается от обычных моделей на 9 млрд параметров, и скажи, хватит ли памяти на моём компьютере для запуска 4-битной версии через их сборку llama.cpp.
Обычный ноутбук не гарантирован. По оценке авторов, нужно около 10 ГБ памяти видеокарты при тексте до 64 тысяч токенов и около 15 ГБ при 256 тысячах, с 4-битными весами. Сами 4-битные веса занимают около 4,9 ГБ. Для Mac цифр в карточке нет.
Открыть на Hugging Face▌ Ещё находки