← Все новости·2026-11-12·3 мин чтения

Apple вычислила предел для обучения ИИ под человека

Apple опубликовала исследование о пределах выравнивания языковых моделей: best-of-N почти достигает теоретического максимума, а PPO и GRPO заметно уступают ему.

aiappleresearchalignment

Apple AI research опубликовали статью о том, как обучать языковые модели так, чтобы они были согласованы с человеческими ценностями. Согласованность здесь означает, что выходы модели корректируются так, чтобы лучше соответствовать нашим предпочтениям, при этом сохраняя её способности. Они выводят верхнюю границу возможного улучшения качества ответа при условии, что модели разрешено отклоняться от исходного решения лишь на некоторую постоянную величину. Best-of-N, когда генерируется N вариантов ответа и затем выбирается тот, что получил самую высокую оценку, почти достигает этой границы. А вот PPO и GRPO — два распространённых алгоритма обучения с подкреплением (когда модель учат давать правильные ответы через вознаграждения) — показывают себя довольно слабо.

PPO и GRPO использует большинство организаций, которые занимаются файнтюнингом языковых моделей, так что этот разрыв напрямую касается их. Часть потерянного качества объясняется выбором алгоритма обучения, а не объёмом доступных данных или вычислительных ресурсов. Кроме того, они показывают, что усреднение нескольких оценок вознаграждения помогает предотвратить reward hacking — ситуацию, когда модель начинает оптимизироваться под саму функцию вознаграждения, а не реально решать поставленную задачу.

Мы не знаем, обобщается ли эта верхняя граница на модели крупнее тех, что рассматривались в статье. Мы также не знаем, повлияет ли это на то, как OpenAI, Google или Anthropic обучают свои модели, поскольку ни одна из этих компаний не раскрывает достаточно информации о процессе обучения.

Источник: machinelearning.apple.com

Бесплатный курс

Хватит читать про ИИ — начни строить с ним

Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.

Начать →
ЕАЕвгений Арсентьев

Автор

Евгений Арсентьев

PhD · Founder & CEO, Dad4Kids