AMD покупает Taalas, которая встраивает весовые параметры ИИ-моделей прямо в железо

Производитель чипов AMD купил Taalas — канадский стартап, который специализируется на встраивании весов нейросетей прямо в кремний. Их чипы могут запускать Llama 3.1–8B со скоростью больше 16 000 токенов в секунду, а это заметно быстрее, чем на GPU. Сумму сделки не раскрыли, но технологию планируют встроить в свои ускорители Instinct. Похожим путём идёт и Google, работая над штукой под названием Gemini.

В каждом таком чипе зашита одна-единственная модель (перепрограммировать её нельзя), но если у тебя сервис, которому нужно решать одну конкретную задачу (модерация контента, синтез речи или встроенные ИИ-агенты), и важно, чтобы это делалось быстро (больше 16 000 токенов в секунду на пользователя), такие чипы могут полностью изменить твою бизнес-модель. Это ещё один шаг к железу, заточенному под одну-единственную модель.