GitHub-радар
APEX: открытый аппаратный чип для запуска LLM на FPGA
Sigmantic AI опубликовала APEX — полностью открытый, верифицированный аппаратный проект трансформерного декодера, запускающего настоящие языковые модели прямо на FPGA. Ключевое решение: KV-кеш сжимается прямо в железе, поэтому скорость не падает с ростом длины диалога.
APEX — это открытая (open source) RTL-реализация полного слоя transformer-декодера. APEX создали автономные агенты верификации Sigmantic AI. На скорости 0,56 токена в секунду APEX запускает Qwen2.5-0.5B на настоящих FPGA (это ускорение в 140 раз). Перед релизом APEX побитово точно проверяется против эталонной NumPy-модели — для всех блоков.
Зачем это вайб-кодеру
APEX держит постоянную скорость вывода в длинных диалогах за счёт сжатия KV-кэша прямо на устройстве. APEX полностью открыт и воспроизводится простым git clone — для железа под ИИ это, в общем-то, неслыханно!
▌ Ещё находки