Qwen3 у тебя на Mac: инструмент, который показывает, как думает нейросеть

Иногда выходит репозиторий, от которого абстрактная идея вдруг становится осязаемой. jlens-qwen36 — из таких. Он запускает модель на 27 миллиардов параметров — Qwen3.6 — целиком на твоём Mac, и позволяет буквально смотреть, как она думает, слой за слоем.

Я прочитал кучу объяснений, как работает нейросеть. Ни одно не зашло так, как клики по этой сетке. так что расскажу, что это и почему стоит потратить вечер.

1Что делает инструмент

jlens-qwen36 — визуальный дебаггер для локальной нейросети. Он грузит Qwen3.6-27B (4-бит) через фреймворк Apple MLX, поэтому всё крутится на Apple Silicon: без облака, без API-ключа, ничего не уходит с машины. А дальше показывает внутренности модели как кликабельную сетку слоёв и позиций токенов.

Кликаешь на ячейку — видишь топ-10 слов, к которым сеть тянется в этой точке по глубине и позиции. Ранние слои похожи на шум; глубокие — заостряются на реальном ответе. Наблюдать, как происходит эта фокусировка, и есть вся магия.

2Локальная нейросеть лучше ChatGPT?

Честно: по чистому качеству — нет, модель на 27B у тебя на ноуте не обгонит облачный флагман. Но это неправильная линейка. Локальная нейросеть выигрывает в другом: полная приватность, без подписки, без лимитов и — как доказывает этот инструмент — возможность заглянуть внутрь. Для обучения такая прозрачность дороже пары баллов в бенчмарке.

3В чём подвох запуска локально?

В основном железо. Модель на 27B, даже в 4 битах, хочет Mac с приличным объёмом единой памяти — не базовую комплектацию, а нормально укомплектованный M-серии. Если твоя машина тянет, дальше стоимость почти нулевая: только электричество.

4Кому это на самом деле нужно

Если ты строишь на ИИ или пишешь промпты, то возможность увидеть, как модель сужается от «примерно related слов» до «ответа», даёт интуицию, которой не даст ни один график бенчмарка. Начинаешь чувствовать, почему одни промпты попадают, а другие бродят. И эта интуиция тихо делает тебя лучше в работе.

Ты наконец можешь заглянуть внутрь модели уровня флагмана на железе, которое у тебя уже есть. Год назад эта фраза звучала бы абсурдно.

5Как запустить у себя

Два пути. Просто посмотреть — есть живое демо прямо в браузере, без установки, на jlens.wezzard.com (режим только для чтения). Запустить по-настоящему — нужен Mac на Apple Silicon и около 24 ГБ свободной оперативки.

git clone https://github.com/WeZZard/jlens-qwen36.git
cd jlens-qwen36 && uv sync

# готовая линза (3.3 ГБ, две части) — скачать и собрать
gh release download v0.2-fulldepth --repo WeZZard/jlens-qwen36 \
  --pattern '*.npz.part-*' --dir data/lens/
cat data/lens/*.npz.part-* > data/lens/lens.npz && rm data/lens/*.part-*

uv run python -m uvicorn jlens_qwen.serve:app --host 127.0.0.1 --port 8765
# открой http://127.0.0.1:8765/

Первый запуск сам скачает модель (~15 ГБ) с HuggingFace — дай ему минуту. Потом открываешь страницу, смотришь, как сетка стримит по строке на токен, и кликаешь любую ячейку, чтобы закрепить топ-10.

300+ звёзд за несколько дней говорят мне, что не я один тихо ждал возможности залезть под капот. Если у тебя мощный Mac — это самый весёлый способ понять, как работают нейросети.