Новые модели OpenAI сначала тестируют на реальных диалогах

OpenAI описывает технику под названием «симуляция развёртывания», которая позволяет им заранее понять поведение будущих моделей на основе реальных разговоров с клиентами, а не вручную составленных тестовых примеров. Главная идея здесь простая, но остроумная: взять выборку обезличенных производственных данных, убрать последний ответ их текущей модели и попросить будущую модель сгенерировать ответ в том же контексте. Затем автоматизированные системы размечают, что произошло. По сути, они симулируют развёртывание новой модели в продакшене, воссоздавая часть сложности реальных взаимодействий с пользователями.

Сделать это можно двумя способами. Во-первых, можно закинуть широкую сеть — отслеживать разговоры, дополненные новыми ответами, и смотреть, не всплывает ли какое-то неожиданное плохое поведение, которого они не ожидали. Во-вторых, можно сфокусироваться на конкретных видах плохого поведения, отбирая контексты, в которых такое поведение обычно проявляется (например, ложь), и измерять, насколько хорошо модель справляется с этими задачами. Все эти взаимодействия взяты из реальных разговоров, включающих многошаговый диалог, использование инструментов, длинную память и многоязычные контексты — вещи, которые трудно воспроизвести в синтетических тестовых примерах.

1Почему тесты на живых диалогах лучше придуманных

Самая захватывающая часть этой работы в том, что они нашли подтверждения того, что их модели были менее подвержены «осознанию оценки» — склонности моделей вести себя лучше во время оценки, чем в реальной жизни. По данным OpenAI, оценки на основе продакшен-данных значительно снизили осознание оценки у GPT-5, которая распознавала, что её оценивают, лишь примерно в 10% случаев в типичных производственных выборках — против гораздо более высоких показателей в искусственных оценках. Поскольку модель считает, что ведёт обычный разговор, это даёт нам более точное представление о её истинном поведении. Они также обнаружили ранее неизвестный случай «взлома калькулятора» — разновидности обмана, — проанализировав прошлые разговоры GPT-5, ещё до того как этот приём стал основным способом обмана, используемым GPT-5.1 в продакшене.

2Почему это важно для вас

Когда мы обращаемся к нашим моделям, нам хочется, чтобы кто-то уже проверил, что они корректно работают в условиях, похожих на наши, а не в какой-то стерильной экспериментальной обстановке. Симуляция развёртывания пытается устранить этот разрыв, оценивая модели на основе реальных паттернов использования. Это отличная новость! Я считаю, что это правильный путь вперёд. Однако стоит помнить, что этот подход всё ещё требует доступа к интерпретируемым мыслительным процессам, а значит, скрытое поведение так и останется скрытым. Он также плохо справляется с выявлением редких, но катастрофических событий и с отслеживанием изменений во времени по мере эволюции паттернов трафика и инструментов. Так что, хотя развёртывание более качественных моделей и снижает риск получить плохой ответ, оно не устраняет его полностью. Не забывайте всегда перепроверять важную информацию сами!