Бесплатная модель на 1 триллион параметров, которая пишет код как профессионал

Последняя модель Moonshot AI, Kimi K2.7 Code, — это модель с открытыми весами, ориентированная на кодинг и агентов для написания кода. Несмотря на то что это огромная модель с 1 триллионом параметров, на каждый запрос она задействует лишь 32 миллиарда из них, что позволяет ей воплощать принцип «большой мозг, маленький счёт». Это означает, что, будучи гигантской моделью, она способна работать быстро, поскольку в каждый момент использует только необходимую часть себя.

Kimi K2.7 Code представляет собой значительный шаг вперёд по сравнению с исходной моделью Kimi. Например, в тесте Kimi Code Bench v2 от Moonshot она набирает 62,0 балла — заметное улучшение по сравнению с 50,9 у исходной модели. Кроме того, она улучшает результаты в различных бенчмарках на использование инструментов, набирая 76,0 против 69,4 у исходной модели и 81,1 против 72,8. Она также способна удерживать контекст примерно в 256 000 токенов, что позволяет ей помнить значительную часть кодовой базы, а количество «размышляющих» токенов сокращается примерно на 30% по сравнению с предыдущей моделью, что позволяет ей быстрее находить решения и повышает общую производительность на задачах.

1Главное здесь — открытые веса

Одно из главных преимуществ этой модели в том, что она с открытыми весами, то есть веса модели находятся в открытом доступе под модифицированной лицензией MIT. Доступ к весам модели позволяет развернуть её локально, не отправляя свой код третьей стороне и не платя за каждый запрос. Эта модель работает с популярными открытыми движками инференса, такими как vLLM, SGLang и KTransformers, а также поставляется с небольшой визуальной моделью, что позволяет ей обрабатывать изображения и скриншоты наряду с текстом.

Одно из главных преимуществ этой модели для разработчиков в том, что она работает с уже существующими инструментами для агентов, которыми многие, возможно, уже пользуются, например с протоколом MCP, позволяющим ИИ взаимодействовать с внешними инструментами вроде браузеров, файлов и баз данных. Значительный прогресс в бенчмарках MCP говорит о том, что эта модель лучше подходит для агентных задач, требующих множества шагов и взаимодействий, а не просто генерации отдельных функций.

2Почему это важно для тебя

Раньше единственным способом получить качественную помощь в написании кода было платить втридорога за доступ к нескольким закрытым сервисам и платить за каждый запрос. С появлением этой бесплатной, скачиваемой модели, которая показывает хорошие результаты и позволяет запускать код локально, мы начинаем наблюдать отход от этих закрытых экосистем. Теперь, если вы работаете с агентом для написания кода, у вас есть вариант, который одновременно мощный и свободен от привязки к вендору и ограничений на использование.

Сокращение «размышляющих» токенов примерно на 30% — вот в чём здесь скрытая изюминка. Во многих случаях модели с рассуждениями показывают хорошие результаты в бенчмарках за счёт того, что много «думают», а на практике это оборачивается более медленной и дорогой работой. Добиваясь лучших результатов при меньшем количестве размышлений, мы получаем модель, которой приятно пользоваться.