▌ GitHub-радар
gateGPT: GPT прямо в железе, 56к токенов/сек
Рабочий трансформер, который целиком живёт в железе на FPGA — без процессора и без видеокарты. Выдаёт токены десятками тысяч в секунду и за пару дней набрал сотни звёзд.
gateGPT — это целая маленькая GPT, написанная на Verilog и запущенная на FPGA Xilinx Virtex-5, то есть модель живёт в специально собранном железе, а не как программа на процессоре или видеокарте. Это один блок трансформера с вниманием, кэшем ключей-значений и арифметикой в фиксированной точке, который генерирует имена по одной букве. На частоте 80 МГц он выдаёт примерно 56–69 тысяч токенов в секунду, и каждый этап автор сверил с эталоном на Python до бита.
Зачем это вайб-кодеру
Это редкая возможность вживую увидеть, что такое языковая модель, если убрать все фреймворки: перемножения матриц, внимание и сэмплинг, превращённые в логические вентили. Если вам любопытно, как ИИ устроен внутри, нагляднее уже некуда.
Ещё находки