GitHub-радар
Языковая модель на 28 млн параметров — в чипе за $8
Разработчик запустил языковую модель на 28,9 миллиона параметров на микроконтроллере ESP32-S3 — чип размером с монету стоит около $8 и имеет 512 КБ оперативной памяти. Генерирует текст прямо на устройстве со скоростью около 9,5 токена в секунду — без интернета.
Разработчик запустил языковую модель на 28,9 миллиона параметров на микроконтроллере ESP32-S3 — чип стоит около $8 и имеет всего 512 КБ оперативной памяти. До этого на таком железе запускали модели в 260 тысяч параметров; здесь их примерно в 100 раз больше. Секрет — техника Per-Layer Embeddings из Gemma: большая часть модели лежит в медленной flash-памяти, а в оперативную подгружается лишь крошечный нужный кусок на каждый токен.
Зачем это вайб-кодеру
Это доказывает: ИИ умеет работать на сверхдешёвом железе без облака и без API — никаких подписок, никакого интернета. Модель пока пишет только простые коротенькие истории, но сам подход к памяти открывает дорогу к более умному ИИ в повседневных девайсах дешевле чашки кофе.
▌ Ещё находки