GitHub-радар

Запусти у себя открытую модель, которая думает глубже своего размера

SenseNova-Loop-9B — бесплатная модель для рассуждений, кода, работы с инструментами и задач с картинками. Её можно запустить на своём компьютере, если у видеокарты хватает памяти.

01sensenova/SenseNova-Loop-9B-GGUF 17181k загрузок/мес9B параметровimage-text-to-text

Это открытая модель на 9 миллиардов параметров. Средние слои она проходит дважды, поэтому думает глубже, чем обычно позволяет такой размер. Она понимает текст и картинки и отвечает текстом.

Когда пригодится

Модель пригодится, если у тебя мощная видеокарта и ты хочешь проверить локальную модель на рассуждениях, коде или картинках. Для серьёзной работы, где нужна надёжность, лучше выбрать проверенный инструмент.

Плюсы

  • Лицензия Apache 2.0: пользоваться можно бесплатно
  • Понимает и текст, и картинки
  • 4-битная версия весит около 4,9 ГБ
  • За раз читает до 512 000 токенов (кусочков слов)

Минусы

  • Нужна видеокарта примерно с 10 ГБ памяти, для Mac данных нет
  • Нужна особая сборка llama.cpp от авторов модели
  • Все цифры из тестов дали сами авторы, со стороны их не проверяли

Как поставить — по шагам

  1. 1Проверь, сколько памяти у твоей видеокарты: для 4-битной версии нужно около 10 ГБ.
  2. 2Отправь агенту текст из блока ниже. Он объяснит, чем модель необычна, и скажет, хватит ли тебе памяти.
  3. 3Попроси агента собрать llama.cpp (программу для запуска моделей) из репозитория OpenSenseNova/llama.cpp на GitHub.
  4. 4Запусти модель командой llama serve -hf sensenova/SenseNova-Loop-9B-GGUF:Q4_K_M -ngl 99 -c 4096 --port 8000.
  5. 5Дай модели простую задачу и проверь ответ. Авторы предупреждают, что с кодом и инструментами она работает неровно.

Текст для агента

Текст для шага с агентом — скопируй и отправь (Claude Code, Codex, любой):

Открой страницу https://huggingface.co/sensenova/SenseNova-Loop-9B-GGUF, объясни простыми словами, чем эта модель отличается от обычных моделей на 9 млрд параметров, и скажи, хватит ли памяти на моём компьютере для запуска 4-битной версии через их сборку llama.cpp.

Обычный ноутбук не гарантирован. По оценке авторов, нужно около 10 ГБ памяти видеокарты при тексте до 64 тысяч токенов и около 15 ГБ при 256 тысячах, с 4-битными весами. Сами 4-битные веса занимают около 4,9 ГБ. Для Mac цифр в карточке нет.

Открыть на Hugging Face