Почему в 2026 году H100 простаивают? И чем их заменяют?
IEEE Spectrum объясняет, почему Nvidia H100 (используемые в большинстве AI-приложений) недогружены (простаивают 50–80% времени) из-за ограничения по памяти. Новые игроки вроде Cerebras, Etched и др. меняют расклад.
Пока мы спорим о возможностях новых моделей ИИ, важно понимать, почему чипы Nvidia H100 (самые распространённые для задач ИИ) часто простаивают (50–80% времени) из-за ограничений по памяти. Новые чипы решают эту проблему по-другому. Например, чип Cerebras WSE-3 размером с целую пластину (с тарелку для обеда) с 44 ГБ памяти на кристалле способен обрабатывать 1000+ токенов в секунду. При этом Etched Sohu может запускать Llama 70B со скоростью 500 000 токенов в секунду.
Скорость и стоимость инференса влияют на то, каких агентов мы можем строить сегодня (и каких пока не можем). Nvidia уже выпустила формат NVFP4 (4-битное сжатие, которое даёт ускорение в 3 раза с потерей точности менее 1%). Трудно предсказать, какая архитектура выйдет победителем, но каждый новый чип приближает нас к раскрытию потенциала ИИ для разработчиков, которые уже используют его сегодня.
Источник: spectrum.ieee.org
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи