Инженеры Amazon выжимают Anthropic Claude ради снижения расходов.
Amazon дистиллирует модели Anthropic Claude, чтобы получить более дешёвые версии в преддверии новой схемы ценообразования по токенам от Anthropic, которая значительно поднимет расходы, когда их контракт будет продлеваться в следующем году.
По данным источников, Amazon дистиллирует модели Anthropic Claude, обучая более дешёвую модель на выходных данных более крупной модели Anthropic. Они делают это, чтобы не платить повышенные сборы по новой схеме ценообразования по токенам от Anthropic, которая вступит в силу, когда закончится их текущий контракт в следующем году.
Они также рассматривают использование других моделей, например разработанных OpenAI, или собственного семейства моделей Nova. Любопытно видеть, как один из крупнейших инвесторов в сфере ИИ, пообещавший вложить в Anthropic до 25 миллиардов долларов, пытается подстраховаться.
Почему это важно для рынка
Дистилляция модели заключается в том, что дорогая модель используется для генерации обучающих данных, на которых затем обучается меньшая и быстрая модель. В результате получается модель, которая сохраняет большую часть функциональности, но требует меньше вычислительных мощностей и токенов. Хотя подход вполне законный, с проприетарными моделями тут всё непросто, поскольку в них часто есть пункты, запрещающие создавать на их основе похожие продукты.
Таких случаев в мире корпоративного ИИ становится всё больше. Флагманские модели по-прежнему стоят недёшево, и многие организации обнаруживают, что могут добиться 70–80% производительности всего за 10–15% стоимости — через дистилляцию или переход на альтернативные модели. Это создаёт непростую задачу для исследовательских лабораторий ИИ, которым нужно найти способ оставаться прибыльными, не теряя клиентов из-за роста цен и не срезая маржу до минимума.
Источник: the-decoder.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме

Автор
Евгений Арсентьев
PhD · Founder & CEO, Dad4Kids
Статьи · Свежие статьи