GitHub-радар
SemIf: семантические решения без генерации текста
Открытый инструмент читает вероятности ответа прямо из локальной модели — без генерации текста, без парсинга JSON, в 5,21 раза быстрее обычного запроса к языковой модели.
SemIf — открытый инструмент, который воспроизводит подход TypeSafe Jev: читает вероятности ответа прямо из локальной модели, вместо того чтобы генерировать текст. Ты передаёшь текст и схему вопросов — каждый вопрос это выбор из вариантов или да/нет — и получаешь вероятность каждого варианта без единого сгенерированного токена. На RTX 3090 21 бинарное решение занимает 1.023 секунды, тогда как autoregressive JSON занял бы 5.332 секунды: в 5.21 раза быстрее. На Apple Silicon работает через MLX-бэкенд с параллельными решениями — без видеокарты. Есть демо в браузере, запускается без установки. Проект раньше назывался OpenJev, не аффилирован с TypeSafe.
Зачем это вайб-кодеру
Если агент разбирает входящие — сортирует заявки, направляет тикеты, проверяет условия — SemIf заменяет полный запрос к модели на чтение вероятностей напрямую: быстрее и дешевле за каждое решение. Всё локально, облачных ключей не нужно. Я бы взял это для потоковой сортировки там, где генерация текста заменена условием в коде.
Как поставить
Скопируйте и отправьте своему агенту — Claude Code, Codex, любому:
Посмотри проект SemIf: https://github.com/TheoLeeCJ/SemIf — это инструмент для классификации текста без генерации. Установи по README на моём Mac (MLX-бэкенд), запусти пример из examples/decisions.jsonl и покажи результаты; спроси у меня, если понадобится путь к модели.
На Mac с Apple Silicon — через MLX-бэкенд, видеокарта не нужна. На Windows/Linux нужна NVIDIA GPU от 8 ГБ видеопамяти для модели 4B.
Открыть на GitHub▌ Ещё находки