← Все новости·2026-09-30·3 мин чтения
Стартап из YC под названием Magnitude ускоряет локальные модели для AI-агентов

Стартап из YC под названием Magnitude ускоряет локальные модели для AI-агентов

Стартап YC S25 запускает Magnitude — open source движок для локального инференса, который оптимизируется под железо вашего устройства и бесплатно интегрируется с Claude Code и другими агентами!

aiopensource

Мне кажется, этот стартап из YC нащупал кое-что важное лично для меня: локальный инференс. Они выпустили open source движок для локального инференса AI-моделей под названием Magnitude, который оптимизирует вычисления под железо вашего устройства. Например, по их оценкам, на Apple Metal скорость генерации вырастет на 92%, а обработка промпта — на 9% по сравнению с llama.cpp. Если вы используете NVIDIA CUDA, то увидите прирост на 19% и 23% в скорости генерации и обработке промпта соответственно, плюс снижение потребления памяти на агента на 27%. Лучше всего то, что это бесплатно и распространяется по лицензии Apache 2.0. Плюс он без труда интегрируется (всего один клик!) с Claude Code, Codex, OpenCode и прочими — или с любым другим инструментом через API, совместимый с OpenAI.

Он не сделает открытые модели лучше, но заставит их работать быстрее на вашем железе. Это приятно, если вы хотите пользоваться открытой моделью, но для агентной работы этого часто недостаточно. Насколько мне известно, нет ни одной бесплатной открытой модели, способной сравниться по качеству с лучшими платными моделями в агентных задачах. Но если вы просто экспериментируете, выполняете простые повторяющиеся задачи или у вас просто нет денег на подписку, то возможность запустить более быстрый и менее требовательный к памяти локальный движок инференса может пригодиться. При этом он и не пытается заменить дорогую модель, что тоже хорошо. А быстрая интеграция с Claude Code и Codex — это довольно круто, ведь можно посмотреть, насколько хорошо локальная модель справляется именно с вашей задачей, не прерывая основной рабочий процесс.

Источник: github.com

Бесплатный курс

Хватит читать про ИИ — начни строить с ним

Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.

Начать →
ЕАЕвгений Арсентьев

Автор

Евгений Арсентьев

PhD · Founder & CEO, Dad4Kids