26 методов тестирования AI-агентов сравнили — все, кроме одного, ухудшают результат

Дэн Лу, разработчик и инженер, провёл большой эксперимент с 26 разными способами направлять AI-агентов при написании кода. Он попробовал TDD, инструменты формальной верификации (Verus, Lean 4), фаззинг, property-based тестирование (Proptest, QuickCheck) и многое другое. Его целью было реализовать алгоритм сжатия Zstd на Rust с помощью GPT-5.6 Sol и Codex. Каждый эксперимент он повторил 80 раз при двух разных уровнях сложности.

1TDD и формальные методы: обратный эффект

Использование TDD удвоило количество написанных тестов, но снизило качество кода. В 67 случаях из 160 тесты падали ещё до того, как агент вообще начинал писать код! Verus и Lean 4 выглядели неплохо, но оказалось, что они про математику, а не про код. Ни одного нетривиального бага не было найдено ни в одном из 160 запусков Kani.

2Поверхностная имитация вместо понимания

Агенты не понимают, зачем вы хотите использовать тот или иной метод. Они просто копируют его. Они берут обычные тесты и подгоняют их под конкретный фреймворк. Они пишут простые тесты с одинаковыми входными данными. И создают тесты на палиндромы, когда нужно проверять алгоритм. Использование инструмента Hegel сделало всё на 26–41% дороже, не улучшив корректность.

3Что работает: базовая инструкция и живой человек

Без каких-либо специальных техник агент справлялся в среднем неплохо. Он даже обходил некоторые "умные" подходы. Только одна настройка улучшила результаты: мой собственный метод. У меня была хорошо выстроенная стратегия тестирования, созданная человеком, разбирающимся в предметной области. Здесь есть системный изъян. Ведущие AI-лаборатории не создали необходимых RL-окружений, чтобы агенты могли научиться правильно тестировать. А тестирование — это критически важно!