GitHub-радар
Рассуждающий классификатор обгоняет Kev и Jev в тестах
PostHog выпустила рассуждающую версию классификатора в духе Jev: модель ненадолго думает перед ответом и, по собственным тестам, точнее Kev-9B и Jev. Нужна серьёзная видеокарта или Mac с большим объёмом памяти.
Это вариант подхода «маленькая модель не генерирует полный ответ, а вместо этого выдаёт вероятности по заранее заданным вопросам», который мы уже видели раньше. Здесь вопросы вроде «к какому отделу относится этот запрос?», «стоит ли эскалировать эту проблему?», «насколько раздражён клиент?». Но фишка Jeeves в том, что она сначала «думает» над ответом: по словам авторов, это занимает ~0.3 сек без рассуждений против медианных 3.3 сек на одной GPU H100 с рассуждениями. Авторы сообщают, что Jeeves превосходит и Kev-9B, и Jev на новых данных (0.889 против 0.822 и 0.857) и на открытых уровнях JevBench (0.935 против 0.866 у Jev). Учтите, что показатели Kev и Jev в таблице выше указаны со слов самих авторов этих моделей, так что относитесь к ним с осторожностью. Эту модель создала PostHog, компания из сферы продуктовой аналитики, вдохновившись open source проектом Kev.
Зачем это вайб-кодеру
Если вам нужна высокая точность на пограничных случаях и вы не против использовать GPU (или Mac с большим объёмом RAM), это стоит попробовать — по словам авторов, по точности она заметно превосходит предыдущие модели. Но на ноутбуке она не заработает, если только у вас не огромный объём RAM (веса требуют 21 ГБ памяти) и нет доступа к GPU с поддержкой FP8 (быстрый режим требует GPU). Также учтите, что это просто классификатор: он отвечает только на заранее заданные вопросы о тексте, а не генерирует код и не выполняет другие задачи.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Разверни модель из этого репозитория: https://github.com/PostHog/jeeves — у меня на сервере с видеокартой (или на Mac с 48+ ГБ памяти, если такой есть), подключи её вместо обычного классификатора заявок и покажи ответ на тестовый текст.
Нужна видеокарта с CUDA или Mac с 48 и более гигабайтами памяти — одни веса в bf16 весят 21 гигабайт, на обычном ноутбуке не запустить.
Открыть на GitHub▌ Ещё находки