Детектор ИИ назвал все человеческие тексты написанными ИИ

Гильдия авторов США проверила пять инструментов для определения ИИ-текстов на десяти статьях профессиональных авторов 2020–2022 годов — написанных ещё до того, как ChatGPT стал массовым явлением, и однозначно человеческих по происхождению. Результаты разошлись резко: два инструмента справились почти идеально, два провалились с треском, один оказался где-то посередине. Тест показал нечто важное для любого автора, студента или специалиста, чьи тексты могут проверяться AI-детектором: инструменты принципиально отличаются по надёжности, а худшие из них ошибаются на каждом тексте.

Pangram правильно определил все десять статей как написанные человеком — ноль ложных срабатываний. Grammarly тоже показал хорошие результаты: 0–9% ложных тревог на проверенных текстах. Originality.ai в большинстве случаев давал 0–1% ложных срабатываний. На другом конце шкалы — Sidekicker, который счёл каждую статью преимущественно сгенерированной ИИ, а две из десяти отнёс к ИИ с уверенностью 100%. ZeroGPT оказался непредсказуемым: процент ложных тревог варьировался от 5,3% до 76,3% в зависимости от текста.

Парадокс в основе AI-детекции

Гильдия указала на проблему, которая делает точное обнаружение ИИ структурно сложным: чем лучше пишет человек, тем больше его текст похож на ИИ-текст. Языковые модели обучались преимущественно на профессиональных текстах — именно таких отполированных, связных, хорошо структурированных работах, которые и создают профессиональные авторы. В итоге статистические паттерны, по которым можно поймать ИИ, и паттерны мастерской человеческой прозы оказались очень близки. Глава Pangram Макс Сперо отметил, что модели выдают себя «единообразием, особенно в построении аргументов» — но не обязательно в тщательно выстроенных текстах.

Это создаёт тревожную асимметрию. Слабый ИИ-текст легче поймать: он даёт более узкую, повторяющуюся структуру аргументации. Но качественный текст с участием ИИ — и качественный человеческий текст — детектор может не различить. Предупреждение Гильдии вытекает именно из этого: ни один детектор не должен быть единственным основанием для решения. Для автора ложное обвинение — это не мелкая ошибка: оно может стоить контракта, отклонённой работы или удара по репутации.

Что из этого следует для авторов и разработчиков

Если ваши тексты могут проверяться AI-детектором — как студент, журналист или подрядчик — этот тест даёт конкретный ориентир. Разрыв между Pangram (0% ложных срабатываний) и Sidekicker (100% на каждом тексте) — это не мелкая разница в настройках. Это принципиальное различие в качестве инструментов. Не все AI-детекторы одинаковы, и полагаться на неправильный — не нейтральный выбор.

Для тех, кто встраивает AI-детекцию в платформы — проверку на плагиат, скрининг заявок, модерацию контента — урок тот же: проверьте инструмент на выборке из известных человеческих текстов, прежде чем использовать его в ситуациях с реальными последствиями. Тест Гильдии авторов не был технически сложным — десять статей и пять инструментов. То, что такая элементарная проверка обнаруживает настолько разительные различия, должно насторожить всех, кто считает AI-детекцию решённой задачей.