GitHub-радар
gateGPT: GPT прямо в железе, 56к токенов/сек
Рабочий трансформер, который целиком живёт в железе на FPGA — без процессора и без видеокарты. Выдаёт токены десятками тысяч в секунду и за пару дней набрал сотни звёзд.
gateGPT — это полная реализация небольшой модели GPT на Verilog, которая работает на FPGA Xilinx Virtex-5. Другими словами, это физическая реализация модели, а не программная, которая работает на CPU или GPU. Это один слой трансформера с вниманием и кэшем пар ключ-значение, который использует арифметику с фиксированной точкой, чтобы выводить человеческие имена по одному символу за раз. На частоте 80 МГц он способен выдавать примерно 56 000–69 000 токенов в секунду, и всё это проверено на соответствие тому же коду на Python.
Зачем это вайб-кодеру
Довольно редко удаётся получить доступ к чему-то настолько близкому к «настоящим» языковым моделям — никаких библиотек не нужно! Только логические вентили, которые выполняют умножение матриц, внимание и сэмплирование. Хочешь понять, как на самом деле работает ИИ? Это максимально реально, насколько это вообще возможно!
▌ Ещё находки