Система ИИ Meta теперь отвечает за половину всей модерации

Половина всей модерации контента в Meta сейчас автоматизирована с помощью языковых моделей. Уже в 2025 году Meta добилась значительных успехов в модерации на основе ИИ: половина всех решений по модерации контента теперь принимается ИИ, а не людьми. И они не собираются останавливаться. К концу 2026 года Meta превысит порог в 90% ИИ-модерации для определённых типов контента. Компания, стоящая за миллиардами ежедневных взаимодействий, отдаёт модерацию контента на откуп ИИ.

Данные Meta подтверждают эту стратегию. По их утверждению, их модели ИИ на 13% реже ошибаются и на 10% чаще выявляют реальные нарушения, чем модераторы-люди, — это по результатам тестов, начатых в марте. Языковые модели отлично справляются с нюансами: сарказмом, меняющимся сленгом и контекстуальными значениями, — с которыми жёстким алгоритмам классификации трудно совладать. Кроме того, они перешли с модели Gemini от Google на собственную разработанную внутри модель Muse Spark.

1Сотрудники бьют тревогу

Но это Meta рассказывает о самой себе. Сотрудники сообщили журналистам, что ИИ внедряют слишком быстро, не оставляя достаточно времени, чтобы выявить возможные проблемы до того, как они дойдут до реальных пользователей. Их модели продолжают по ошибке удалять контент или занижать его видимость (шэдоу-бан), хотя он не нарушает никаких правил. На платформе с миллиардами пользователей даже небольшая доля ошибочной классификации может серьёзно затронуть миллионы людей, чьи посты удаляются без видимой причины.

И есть ещё одна причина, по которой Meta не особо хочет об этом говорить. Использование ИИ вместо людей для модерации сэкономит им миллиарды долларов в год, и они уже наращивают темпы увольнения подрядчиков, которые занимаются этой работой. Они рассказывают историю про повышение качества, тогда как аналитики видят в этом способ сократить расходы. И то, и другое верно.

2Что происходит, когда ИИ становится судьёй

Эта история важна, потому что она показывает, что происходит, когда мы отдаём ИИ контроль над важными решениями, влияющими на высказывания миллиардов людей. Ошибки модерации контента не просто доставляют неудобства пользователям — они заставляют молчать активистов, удаляют сатиру и стирают историю. При модераторах-людях существуют процедуры для обжалования решений и исправления ошибок. Но когда модели ИИ систематически ошибаются при доле внедрения 90%, механизмы обратной связи работают иначе: медленнее, их труднее обнаружить, и масштаб у них шире.

Если вы разрабатываете продукты на основе ИИ, эта история показывает, насколько сильно может отличаться измеренная точность от реального использования. Модель, которая в целом на 13% точнее, всё равно может допускать серьёзные ошибки в отдельных категориях. А если эти категории достаточно велики, то «отдельные категории» превращаются в «миллионы решений в день». Лучшие практики включают постепенное внедрение, отслеживание ошибок с участием людей и механизмы исправления. Именно этого и просят сотрудники Meta.