GitHub-радар
Colibrì: обучайте ИИ-модели с триллионом параметров на собственном компьютере!
Colibrì — это движок для инференса, объединяющий хранилище, оперативную память и GPU в один уровень памяти, что позволяет развёртывать передовые MoE-модели с числом параметров до 2,8 триллиона на вашем персональном компьютере.
Colibrì — это чистый C-движок для инференса (никаких зависимостей от других движков, единый файл ядра!) для передовых MoE-моделей на вашем персональном компьютере. Он объединяет хранилище, оперативную и видеопамять в один уровень памяти: плотное общее ядро (~17 млрд параметров, ~9,9 ГБ при int4) остаётся в оперативной памяти, а 19 456 маршрутизируемых экспертов (~19 МБ каждый при int4, ~370 ГБ на диске) подгружаются по мере необходимости с помощью LRU-кэша для каждого слоя. Поддерживаемые модели: Kimi K3 (2,8T) от Moonshot AI, GLM-5.2 (744B), Inkling (975B), DeepSeek V4 Flash (284B), Qwen3.6 (35B-A3B), OLMoE (7B). Встроенный сервер, совместимый с OpenAI API, позволяет клиентам, поддерживающим этот API (например, Claude Code от Anthropic), подключаться к локально развёрнутой модели. Бэкенды: CPU, CUDA, Metal, NUMA. Веб-дашборд с realtime-статистикой и живой визуализацией всего набора из 19 456 экспертов.
Зачем это вайб-кодеру
Развёртывайте на своём персональном компьютере модели, которые раньше требовали GPU уровня дата-центра, экономя на оплате API и сохраняя приватность своих данных. Гарантированная деградация производительности при нехватке оперативной памяти означает, что вы всегда будете знать, какого качества результат вы получаете.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Установи colibri отсюда: https://github.com/JustVugg/colibri (возьми готовый релиз под мою ОС), помоги выбрать и скачать модель по docs/quickstart.md и запусти ./coli web.
Обычный ноутбук от 10 ГБ оперативки, Mac на M-чипе подойдёт. Видеокарта не обязательна, но нужен большой SSD — модели занимают сотни гигабайт.
Открыть на GitHub▌ Ещё находки