
Своя нейросеть вместо подписки: почему для агента рано и где она уже выгоднее
Подписка на сильную модель стоит денег, а бесплатные модели выходят чуть ли не каждую неделю, и по их собственным таблицам они почти не хуже. Хочется скачать такую модель, поставить у себя и больше не платить. Для основной работы агента это пока не выход, и дело не в скорости. Большую модель дома просто негде разместить. А маленькая ошибается чуть чаще на каждом шаге, и на длинной задаче эти ошибки складываются в провал. Вы поймёте, почему не стоит верить таблицам из анонсов, и узнаете, как попросить агента сравнить модели на тридцати–ста ваших реальных примерах. А если вы всё же запускаете модель на ноутбуке, узнаете, какую настройку проверить первой: по умолчанию модель помнит слишком мало текста, чтобы агент мог с ней работать. Вторая половина — о том, где своя маленькая модель уже выгоднее: на одной узкой однотипной задаче, если обучить её на ваших собственных данных. Всю техническую часть берёт на себя агент. Вы узнаете, сколько нужно примеров и сколько стоит железо, и о трёх ловушках: правилах Anthropic и OpenAI об обучении на их ответах, чужих личных данных и безопасности чужой модели на вашем сервере. В конце — мой прогноз, когда модели на своём компьютере догонят лучшие платные.
Расшифровка
Нажмите на абзац, чтобы слушать с этого места.
Добрый вечер, стартаперы и вайб-кодеры! Сегодня я вам расскажу, можно ли поставить свою нейросеть у себя на компьютере и отказаться от подписки за двести долларов в месяц. Скажу сразу: для основной работы агента пока нельзя, и я объясню, почему дело тут вовсе не в скорости. А потом покажу, где своя маленькая модель действительно выигрывает и почему я сам во многих своих проектах уже обхожусь без больших.
Вопрос этот сейчас звучит отовсюду. За последние недели вышло сразу несколько открытых моделей, у каждой в анонсе красивая таблица, а одна по собственным замерам почти догоняет Opus. И у многих возникает простая мысль: зачем платить, если можно скачать бесплатно? Из выпуска вы унесёте три вещи. Вы поймёте, откуда берётся разрыв между своими и передовыми моделями. Вы узнаете, как поручить агенту проверить любую модель на ваших задачах. И вы будете знать, какие ловушки ждут того, кто решит учить свою модель.
Начнём с того, что такое своя модель. Некоторые компании выкладывают веса модели в открытый доступ. Веса — это, по сути, сама обученная нейросеть, огромный файл с числами. Вы его скачиваете, запускаете на своём компьютере через программу вроде Ollama, и модель отвечает вам без интернета и без подписки. Самое известное семейство таких моделей — Qwen от китайской Alibaba. Есть Llama от Meta, есть Kimi, есть GLM и ещё десятки других.
У открытых моделей есть и тёмная сторона, о которой многие слышали. Это так называемые нецензурные версии: в модели правят веса так, чтобы она перестала отказывать. Таких сборок на площадке Hugging Face тысячи, есть они и для Qwen. Отдельные сборки площадка убирает, но копии от других авторов остаются. Говорят, что люди через такие модели решают какие-то вопросы, а результат потом несут в передовые модели. Описаний такой схемы в открытых источниках я не нашёл, и призывать к ней я не буду: правила Anthropic и OpenAI прямо запрещают обходить их ограничения. Некоторые такие сборки запускают, но есть и обычная Qwen, и дальше я говорю только о ней и о других обычных открытых моделях.
Теперь к главному. Открытая модель — значит, веса можно скачать. Но это вовсе не значит, что её можно запустить дома. Возьмём Kimi K3 от китайской компании Moonshot и её свежую версию K3.1 Pro. По тестам самой Moonshot она почти вровень с Opus 5.5. А весят её официальные файлы больше полутора тысяч гигабайт, и это уже в сжатом виде.
Почему это проблема? Модель во время работы должна целиком лежать в быстрой памяти видеокарты. Не на диске, а именно в памяти, иначе она будет отвечать мучительно долго. Модель можно сжать, это похоже на то, как сжимают фотографию: файл становится меньше, но мелкие детали теряются. Так вот, файлы Kimi уже сжаты, и всё равно ей нужно больше полутора терабайт видеопамяти. Ни одна домашняя видеокарта и ни один компьютер Mac столько в одиночку не вмещают.
Тут обычно возражают: подождите, у Kimi на каждом слове работает только малая часть модели. Это правда. Она устроена как команда из множества узких специалистов, и на каждом шаге включаются лишь некоторые. Но держать в памяти приходится всю команду сразу, потому что заранее неизвестно, кто понадобится на следующем слове.
Теперь в деньгах. Самый скромный сервер, куда Kimi помещается, — это восемь новейших серверных видеокарт. Такой сервер предлагали примерно за полмиллиона долларов. А чтобы модель работала с полной длиной текста, на которую она рассчитана, NVIDIA предлагает сервер побольше, и на видеокартах прошлого поколения это около полутора миллионов. Так что полмиллиона, а то и миллион долларов — это честная цена нормального запуска.
Есть энтузиасты, которые собирают для этого кластер из четырёх компьютеров Mac Studio с максимальной памятью. Вместе это почти девяносто тысяч долларов. Модель на нём работает, но медленно. У агента вроде Claude Code переписка с моделью легко доходит до ста тысяч токенов. По замеру начала сентября, чтобы просто прочитать такой объём, такому кластеру нужно около семи минут. И так на каждом шаге агента. Это игрушка для одного терпеливого человека, а не рабочий инструмент.
И забавная деталь. Через облако у самой Moonshot та же модель стоит два доллара за миллион входящих токенов и десять за миллион исходящих. Это дешевле, чем Opus. Получается, открытость весов дома вам ничего не даёт, а в облаке это просто ещё один платный сервис.
Хорошо, большую модель дома не запустить. Но есть модели поменьше, которые помещаются на MacBook или на одну игровую видеокарту. Почему бы не взять их хотя бы для простых задач? Мой ответ такой: по сути, выбора сейчас особого нет. Даже простая задача, если её нужно выполнять без ошибок, сегодня требует хоть и слабой, но передовой модели. Какой-нибудь недорогой Sonnet или маленькие модели OpenAI вроде GPT Terra или GPT Luna. Ни Qwen, ни Llama на ноутбуке с этим не справятся. И маленькие передовые модели быстро становятся надёжнее. Про GPT Terra, которая вышла в конце октября, OpenAI заявляет, что доля выдуманных ответов у неё упала с восьмидесяти восьми процентов до тридцати восьми. Это слова самой компании, но направление показательное.
Самое интересное — понять почему. Многие думают, что вся разница в скорости. Мол, моя модель на видеокарте ответит за тридцать секунд, ну подожду. Но даже когда она отвечает быстро, рядом с Opus она не стоит. Причин несколько, и самая важная — то, как ошибки складываются по шагам.
Посмотрите, как работает агент. Он читает файл, понимает, что в нём, вносит правку, запускает, читает ошибку, снова правит. Это цепочка шагов, и каждый шаг может пойти не так. Допустим, модель делает каждый шаг правильно в девяноста пяти случаях из ста. Звучит прилично. Но задачу из двадцати шагов она пройдёт без единого сбоя только примерно в трети случаев. А если модель права на каждом шаге в девяноста девяти случаях из ста, то двадцать шагов пройдут в восьмидесяти двух случаях из ста.
Вдумайтесь: разница в четыре пункта на одном шаге превращается в разницу больше чем вдвое на всей задаче. В жизни всё немного мягче, но суть верная. Исследователи заметили и ещё одну вещь. Модель работает хуже, когда в её памяти уже лежат её собственные прошлые ошибки. Одна ошибка тянет за собой следующую.
Вот почему скорость тут ни при чём. Быстрая модель просто быстрее приходит к провалу. Если на каждом шаге она чуть слабее, то длинную задачу она проваливает почти всегда. А работа агента над вашим проектом — это и есть длинные задачи.
Вторая причина — объём знаний. Исследователи посчитали, что модель может хранить примерно два бита знаний на каждый свой параметр, то есть на каждое число внутри неё. Меньше чисел — меньше знаний. А когда модель чего-то не знает, она не молчит, а выдумывает. OpenAI сама пишет об этом в описании своих открытых моделей. На их тесте с вопросами о фактах меньшая модель, которая влезает на одну игровую видеокарту, выдумывала ответ в девяноста одном случае из ста. Модель покрупнее — в семидесяти восьми. Тоже много, но разница заметна.
Третья причина — то самое сжатие. Чтобы модель влезла в память ноутбука, её числа огрубляют. Лёгкое сжатие почти незаметно, потери меньше процента. Сильное уже бьёт по делу: на задачах с длинным текстом в одном исследовании потери доходили до пятидесяти девяти процентов. И вот что важно для нас с вами: на неанглийских языках точность может падать до пяти раз сильнее, чем на английском. Если вы говорите с моделью по-русски, сжатие бьёт по вам сильнее.
А при самом грубом сжатии модель начинает ходить по кругу: длинные рассуждения с повторами, обрывы мысли, ответа так и нет. Посмотрите, что сейчас выкладывают под видом большой модели на одну видеокарту. Например, урезанную версию GLM: у неё убрали четверть специалистов и ещё сильно сжали. Авторы сами пишут, что эти две потери складываются. А сравнения с полной версией не дают.
Четвёртая причина — работа с инструментами. Агент всё время что-то вызывает: прочитать файл, запустить команду, поискать в интернете. Маленькая Qwen в одной такой проверке в среднем справлялась примерно в шестидесяти двух случаях из ста. А на задачах, где вызовы идут один за другим, как в настоящей работе агента, — только в тридцати пяти. Один шаг маленькая модель делает сносно, цепочку — нет.
Пятая причина совсем приземлённая, и она, по-моему, самая частая. Это память на текст, её называют контекстом. Это то, сколько текста модель держит в голове одновременно. На бумаге у модели может быть двести пятьдесят шесть тысяч токенов или даже миллион. Но Ollama по умолчанию подстраивает этот размер под видеокарту. Если видеопамяти меньше двадцати четырёх гигабайт, ставится всего четыре тысячи токенов. При этом сама Ollama пишет, что агентам и инструментам для кода нужно не меньше шестидесяти четырёх тысяч.
То есть на обычном ноутбуке модель по умолчанию помнит в шестнадцать раз меньше, чем нужно агенту. Агент забывает начало своей работы и начинает ходить кругами. Люди видят это и говорят: локальная модель тупит. А она просто не видит половину задачи.
Поэтому, если вы всё-таки решили попробовать локальную модель, сначала уберите эту ловушку. Иначе вы оцените не модель, а урезанную память. Скажите своему агенту: проверь, какой размер контекста стоит у модели в Ollama, поставь не меньше шестидесяти четырёх тысяч, если хватает памяти, и посчитай, сколько памяти это займёт. Сам контекст тоже занимает место, и немалое. И добавьте: подбери версию модели с лёгким сжатием, которая помещается в мою память вместе с таким контекстом.
Но есть и шестая причина, самая глубокая. Работать агентом модель учится не по книжкам. Её тренируют на огромном количестве задач, где результат можно проверить, и поощряют за правильное решение. Такие задачи делают люди вручную, и это очень дорого. По оценкам исследователей, одна такая задача стоит от двухсот до двух тысяч долларов. Копия сложного рабочего сервиса для тренировки — около трёхсот тысяч. А про Anthropic журналисты писали, что она обсуждала траты на такие тренировочные площадки больше чем на миллиард долларов.
Это главное богатство передовых лабораторий, и его не скачаешь вместе с весами. Открытые модели догоняют в том числе за счёт копирования. Anthropic в феврале сообщала примерно о двадцати четырёх тысячах фальшивых аккаунтов, через которые выкачивали ответы Claude, и целились как раз в работу агента и код. Но копия ответов переносит умение не полностью. А в маленькую модель — ещё хуже.
Тут вы можете сказать: но я же видел таблицы, где открытая модель почти как Opus. Давайте разберёмся с таблицами. Тот же Kimi по замерам самой Moonshot набирает шестьдесят пять и семь против шестидесяти шести и четырёх у Opus 5.5. Почти ничья. А на независимом математическом тесте Kimi набирает пятьдесят четыре процента, а передовые модели — от восьмидесяти до восьмидесяти пяти.
Ещё нагляднее вышло с одним известным независимым рейтингом. В конце октября его авторы сделали больше половины задач закрытыми: их нельзя заранее подсмотреть и подогнать под них модель. И разрыв между лучшими открытыми и закрытыми моделями сразу вырос с трёх баллов до двенадцати. В четыре раза, как только задачи перестали быть известными заранее. Свежая американская модель Ripple в своём анонсе показывает восемьдесят с половиной баллов на тесте для агентов, а в независимой сводке у неё около пятидесяти семи. Считают там немного иначе, но направление понятно. К чести авторов, они сами пишут, что такие результаты трудно повторить.
И есть одно наблюдение, которое меня, честно говоря, удивило. Один исследователь прогнал одни и те же открытые модели в разных агентных оболочках. Оболочка — это программа вокруг модели, которая даёт ей инструменты и ведёт по задаче, например Claude Code или Codex. Результат одной и той же модели в разных оболочках менялся на десятки пунктов. А разные модели в одной и той же оболочке тоже давали очень разный результат. Вывод простой: если вы подключите открытую модель к Claude Code, вы не получите уровень Claude. Оболочка хорошая, но умение решать задачи сидит в самой модели.
Теперь честно о другой стороне. Передовые модели тоже далеко не всесильны. За последние две недели вышли сразу три независимые проверки на реальной работе. В первой брали двести сорок настоящих заказов с фриланс-биржи, результат оценивали живые эксперты. Лучшей оказалась новая Fable 5.2: она выполнила сорок один процент заказов. Opus 5.5 — двадцать один. Год назад лучший результат был два с половиной процента. Прогресс огромный, но больше половины работы всё равно не сделано.
Во второй проверке агенты дорабатывали реальные веб-приложения по просьбам пользователей. Лучшая модель выполняла в среднем около семидесяти процентов требований. Но полностью правильно — только в двадцати шести случаях из ста. А на старом тесте те же агенты набирали больше девяноста девяти процентов. В третьей, самой сложной проверке на профессиональной работе ни один агент не поднялся выше двенадцати процентов.
Что из этого следует для вас. Если даже лучшие модели проваливают большую часть реальной работы, у маленькой модели всё будет хуже. И ещё важнее: таблице из анонса верить нельзя. Верить можно только проверке на ваших собственных задачах.
Вот совет, который я считаю главным в этом выпуске. Прежде чем менять модель на любой задаче, скажите своему агенту: собери от тридцати до ста реальных примеров этой задачи из моих данных с правильными ответами, прогони их через текущую модель и через новую, посчитай, сколько решено полностью верно, и покажи мне все провалы. Оценку ставьте простую: прошло или не прошло, без шкал от одного до пяти. Anthropic в своей документации тоже пишет, что хороший набор проверок — самый важный шаг. А OpenAI советует вкладываться в дообучение модели только после того, как настроены проверки.
Теперь о деньгах, ведь вся эта история начинается с желания сэкономить. Подписка стоит двести долларов в месяц. Mac Studio с максимальной памятью стоит больше двадцати двух тысяч. Это больше девяти лет подписки, и Kimi в него всё равно не помещается. Аренда одной игровой видеокарты круглые сутки обойдётся примерно от двухсот пятидесяти до шестисот пятидесяти долларов в месяц. Это сравнимо с подпиской, а модель на такой карте будет уровня небольшой сжатой Qwen.
И вот мой взгляд. Бизнесу экономить на подписке за двести долларов, когда вокруг такая конкуренция, абсурдно. Ваш конкурент не будет возиться с Qwen на ноутбуке. Он запустит у себя Opus 5.5 и уйдёт вперёд, пока вы настраиваете память модели и ищете, почему агент ходит кругами.
Есть и ещё один момент, о котором мало кто думает. Цена за токен — это не цена готовой задачи. Anthropic сама пишет, что Sonnet 5.5 на высоком уровне усилия по цене задачи приближается к Opus 5.5. Дешёвая модель дольше думает, чаще ошибается, больше переделывает. И в итоге выходит не так дёшево, как обещает прайс.
А если хочется дёшево, есть маленькие модели в облаке, и стоят они копейки. Haiku 5.5 и GPT-6 Luna — десять центов за миллион входящих токенов. Китайская Hy4 Flash от Tencent — семь центов. На небольших объёмах это заметно дешевле, чем держать арендованную видеокарту, и ничего не нужно настраивать.
И цены у передовых падают. Компания Vercel, через которую идут запросы к разным моделям, посчитала, что в октябре средний токен у неё стоил меньше половины апрельской цены. Но общие траты всё равно растут. Их объяснение: модели становятся лучше быстрее, чем дешевеют. Иначе говоря, на передовые модели тратят всё больше, потому что они всё больше умеют.
И о новинках. Говорят, скоро выйдет новый Opus. Официально этого никто не объявлял, есть только догадки пользователей. Последний Opus, версия пять и пять, вышел двадцать второго сентября. А девятого ноября Anthropic выпустила Fable 5.2, и она на двадцать процентов дешевле предыдущей версии. Передовые модели не стоят на месте, и это ещё один довод не сидеть на старой модели ради экономии.
А теперь поворот, и для меня он важный. Всё, что я сказал, касается универсальной работы агента. Но есть огромное количество задач, которые можно отдать своим маленьким моделям. Одной модели — одну задачу. И дообучить её под эту задачу. Причём для этого не нужно быть инженером по машинному обучению. Всё техническое, о чём я дальше расскажу, ваш агент сделает по вашей просьбе: подготовит данные, подберёт и арендует видеокарту, обучит, проверит. Ваша часть работы — дать ему хорошие примеры и посмотреть на результат проверки. Решать, хороша ли модель, будете вы, а не таблица и не агент.
Расскажу про себя. Всего рассказать не могу, но я уже обучил очень много моделей под прикладные задачи своего бизнеса. У нас есть медицинские проекты на американский рынок. И во многих местах мы уже не используем передовые модели, чтобы экономить токены. Используем свои локальные, потому что это реально выгоднее. Я за то, чтобы обучать простые нейросети для простых задач.
У этого есть понятный механизм. Большая модель знает всё понемногу. Но правильные ответы на вашу узкую задачу живут в ваших данных, а не в интернете, и большая модель их просто не видела. Хороший пример — инвестиционный фонд Bridgewater. Вместе с лабораторией Thinking Machines они дообучили открытую Qwen на своих закрытых данных для шести финансовых задач. Например, важна ли эта статья для инвестора или намекает ли документ центробанка на изменение ставки. Дообученная модель дала почти восемьдесят пять процентов точности против семидесяти восьми у лучшей передовой модели. И обошлась почти в четырнадцать раз дешевле.
Честная оговорка: у Bridgewater модель была очень большая, не для ноутбука. Но есть и исследование с маленькими. Авторы дообучили триста десять моделей на тридцати одной задаче. Небольшие модели после дообучения обошли тогдашний GPT-4 в среднем на десять пунктов. Но GPT-4 всё равно выиграл в шести задачах из тридцати одной, и в основном это были широкие задачи, например написание кода. Узкая обученная модель побеждает на своём узком месте, а широкая работа остаётся за большими.
То же самое видно по рынку. Та же Vercel посчитала свою статистику за октябрь. Открытые модели дают у них семьдесят одну с половиной процента всех токенов, но только двадцать три процента денег. Массовую дешёвую работу компании уже отдают открытым моделям, а платят в основном за сложную работу передовых.
Как это устроено. Всю модель заново не переучивают. К ней дописывают небольшую насадку и обучают на ваших примерах только её, а основная модель остаётся как была. Поэтому насадку для небольшой модели можно обучить на обычной игровой видеокарте. Примеров нужно не миллионы. Для начала хватает от пятидесяти до сотни хороших примеров, а для надёжного результата лучше больше тысячи. У многих столько уже лежит в истории заявок, писем или документов.
Про железо я говорю так: для таких задач хватит аренды видеокарты примерно за двести долларов в месяц или своей карты за пару тысяч. И цены это подтверждают. Игровая видеокарта в аренде стоит меньше доллара в час. Если гонять её не круглые сутки, а по часам, двести долларов в месяц — правильный порядок. А новая топовая игровая карта по официальной цене стоила около двух тысяч долларов.
И ещё одна удобная вещь. На одном сервере можно держать несколько маленьких моделей и переключаться между ними. Нужна одна — она загружается в память, другая выгружается. Это штатная возможность. Ollama, например, сама выгружает модель через пять минут после последнего запроса. Агент может настроить сервер так, чтобы нужная модель включалась сама, как только к ней пришёл запрос.
Какую работу отдавать маленькой модели? Тут у Anthropic есть честный опыт. Они пробовали схему, где главная модель раздаёт подзадачи дешёвым помощникам. Деньги это экономит, но доля успешных решений немного падает. А там, где задача — одна связная цепочка, одна сильная модель оказалась выгоднее во всех замерах. Meta описывает похожую схему для своих новых моделей: большая модель планирует, маленькая выполняет объём.
Правило из этого простое. Маленькой модели отдают независимые однотипные задачи: разобрать письма, разложить заявки по категориям, вытащить поля из документов. Есть и хороший пример для тех, у кого чужие личные данные. Локальная модель у вас на машине заменяет в тексте имена, телефоны и другие личные сведения на условные метки. В облако уходит уже очищенный текст. Ответ возвращается, и метки обратно меняются на настоящие данные. Это узкая задача, и маленькая модель с ней справляется. А одну длинную связную задачу, вроде доработки вашего приложения, лучше оставить сильной модели.
Попросите агента так: найди в моём проекте повторяющиеся однотипные шаги, оцени для каждого объём в месяц и цену на текущей модели и предложи, что можно отдать дешёвой модели и как проверять её ответы. А дальше — проверка на ваших примерах, как я говорил.
Но прежде чем вы скажете агенту «сделай мне свою модель», есть три ловушки, о которых мало кто знает.
Ловушка первая — откуда брать данные. Самая очевидная мысль: попросить Claude или ChatGPT подготовить примеры, а на них обучить свою маленькую модель. Так вот, это нарушает их правила. Anthropic запрещает использовать ответы Claude для обучения моделей без её разрешения. OpenAI запрещает использовать свои ответы для моделей, которые с ней конкурируют. А через три дня, двадцатого ноября, у OpenAI вступает в силу ещё более строгое правило. Нельзя с помощью её моделей готовить обучающие данные и тренировочные задачи для моделей, которые должны её заменить. Даже если саму модель вы не обучаете, а только готовите данные.
Есть ли тут исключения для внутренних инструментов, из правил понятно плохо, это вопрос к юристу. Самый безопасный путь — ваши собственные реальные данные с проверенными ответами. Поэтому просите агента так: собери обучающий набор из моих прошлых данных с проверенными ответами, отложи пятую часть для проверки, подбери и арендуй подходящую видеокарту, дообучи насадку и сравни новую модель с текущей на отложенной части. Отложенная часть нужна, чтобы модель проверялась на примерах, которых она не видела.
Ловушка вторая — чужие личные данные. Многие думают: своя модель, значит, данные никуда не уходят. Не совсем. Если модель крутится на арендованной видеокарте, владелец этой видеокарты тоже посредник. Для медицинских данных в Америке это прямо записано: облачный поставщик, который хранит или обрабатывает такие данные, отвечает за них по закону, даже если данные зашифрованы. С ним нужен специальный договор о защите медицинских данных. Anthropic и OpenAI такой договор подписывают для своего платного программного доступа, а обычные подписки с окном чата под это не подходят. Так что своя модель — это вопрос того, сколько у вас посредников, а не волшебный пропуск.
Ловушка третья — безопасность. Чужая модель на вашем сервере — это чёрный ящик внутри вашей системы. В конце октября компания Cohere проверила одну открытую модель Qwen в роли агента. Модель в редких случаях сама пыталась отправить файл в облачное хранилище Alibaba в Пекине. Причём в своих рассуждениях писала, что ничего вызывать не будет. А когда её подталкивали дописать команду, она в четверти, а то и в трети случаев пыталась добраться до ключей доступа сервера. Проще говоря, к его паролям.
Cohere советует относиться к чужой модели как к непроверенной программе и по умолчанию не пускать её в сеть. Их слова: рассуждения модели — это не защита. Была и другая история: в апреле нашли дыру, из-за которой скачанный файл модели мог запустить на сервере чужую программу, и такие файлы проходили стандартные проверки площадки. Поэтому, если запускаете свою модель для агента, скажите ему: запусти её в изолированном контейнере без выхода в интернет, разреши только нужные адреса и записывай каждый вызов инструмента.
Теперь о будущем. Я думаю, что будущее за локальными моделями. Скорее всего, где-то через два года каждый сможет запустить у себя модель, которая будет вести агентное программирование на уровне Opus 5.5. Сам я пока для этого локальные модели не использую, но думаю, что мы все к этому придём.
Данные этому прогнозу не противоречат. Исследователи ещё в прошлом году посчитали, что модели, которые помещаются на одну топовую игровую видеокарту, догоняют передовой уровень по тестам примерно за полгода-год. В реальной работе отставание, скорее всего, дольше. Но есть поправка: передовые модели за это время тоже убегают. По одной оценке, каждые три-четыре месяца они могут довести до конца задачу вдвое длиннее, чем раньше. Так что локальная модель догоняет прошлогодний уровень, а не сегодняшний.
А как долго будут бежать передовые, зависит от денег больших лабораторий. И тут важен потолок обучения. Передовые компании вынуждены гнаться, как в пирамиде: каждую новую модель они окупают, а деньги тут же уходят на обучение следующей, ещё более дорогой. Эту логику описывал сам глава Anthropic Дарио Амодей на условных цифрах. Допустим, модель обучили за сто миллионов долларов, а за следующий год она принесла двести миллионов выручки. Сама по себе она прибыльна. Но компания в целом всё время в минусе, потому что уже учит следующую, гораздо более дорогую модель. По его условному примеру минус растёт так: сто миллионов в первый год, восемьсот во второй и восемь миллиардов в третий.
Если эта пирамида схлопнется, компании окажутся в глубоком убытке. Возможно, в этом и есть пузырь. Даже Сэм Альтман из OpenAI в сентябре говорил, что видит первые признаки того, что ему кажется неустойчивой глупостью.
Но я думаю, что схлопывания, скорее всего, не будет. Гонка держится, пока впереди есть цель, а до общего искусственного интеллекта, по всей видимости, ещё несколько лет. Альтман, правда, в августе говорил, что ждёт такую систему к концу этого года. Но пока он ничего не объявил и сам признаёт, что чёткую границу тут провести трудно. Так что гонка, скорее всего, продолжится. Передовые модели будут уходить вперёд, а открытые будут их догонять.
Давайте соберу всё вместе. Для основной работы агента, для кода и длинных задач, где ошибка стоит дорого, сегодня нужна передовая модель, и слабость маленьких моделей не в скорости, а в том, как их ошибки складываются по шагам. Своя маленькая модель окупается на одной узкой повторяющейся задаче, если обучить её на ваших собственных данных, держать взаперти и проверить на ваших примерах. А любой выбор модели, своей или чужой, решает не таблица из анонса, а ваша собственная проверка на тридцати–ста реальных случаях. Так что на вопрос из начала выпуска мой ответ такой: подписку не бросайте, а свои маленькие модели заводите рядом с ней, под узкие задачи. Именно там они уже сегодня экономят деньги, а через пару лет, думаю, смогут гораздо больше.
На этом всё. С вами был Евгений Арсентьев, создатель Arsminal, терминала для управления агентами: вся команда агентов работает в одном окне, как чаты в мессенджере. Основатель ArsentevAI, Dad4Kids и ReelsZavod. Попробуйте Arsminal бесплатно на arsminal.com. А если вашему бизнесу нужен контент-завод, который с помощью искусственного интеллекта сам выпускает тысячи роликов для соцсетей, пишите мне в Телегу. Спасибо, что послушали.