Llmspeed: скорость локальной модели до покупки видеокарты

Прежде чем тратить деньги на видеокарту под локальную модель ИИ, полезно понять, какими будут реальные ощущения от неё. Llmspeed — бесплатный калькулятор: выбираешь железо, от RTX 3090 до Mac Studio, выбираешь модель — и видишь смоделированную скорость ответа, токены в секунду и время до первого слова.

Цифры берутся из открытых замеров сообщества — с сабреддита r/LocalLLaMA (онлайн-форум про локальные модели ИИ) и с localscore.ai (сайт, который собирает бенчмарки скорости для моделей ИИ). Для комбинаций, которые ещё никто не замерял, показывается оценка на основе характеристик железа. Сам инструмент в открытом доступе (open source), код и данные лежат на GitHub (сайт для хранения и обмена кодом).

Заявления, что локальная модель на ноутбуке не уступает Opus или Fable (топовым моделям Anthropic) в реальной агентной работе, не выдерживают проверки, если дело серьёзное. Но прежде чем покупать видеокарту под локальную модель, полезнее увидеть на экране, насколько она медленнее облачной, чем узнать это уже после покупки.