Codex от OpenAI умеет выучивать задачу всего с одного примера

Агент Codex от OpenAI теперь умеет выучивать, как выполнять задачу, всего лишь один раз увидев, как вы это делаете. Они добавили новую функцию «Запись и воспроизведение» (Record & Replay), которая позволяет показать Codex, как выполнять рабочий процесс, а он его запоминает, создавая «многоразовый навык», который сможет автоматически выполнять в будущем без дополнительных инструкций.

Начали они с довольно банального примера использования — публикация видео на YouTube вместе с картинкой-превью, описанием и субтитрами. Стоит один раз показать Codex, как это делается, и в дальнейшем достаточно просто нажать кнопку «воспроизвести», чтобы снова автоматизировать процесс. Это доступно в версии Codex 26.616, в которую также вошли массовые операции для истории автоматизации и перенос тредов между локальной и удалённой системами.

1Нюанс: где и как это работает

У этой функции есть довольно серьёзные ограничения. Во-первых, она работает только через приложение Codex на macOS, и для её работы нужно включить режим Computer Use у Codex. Во-вторых, чтобы этим вообще пользоваться, нужна платная подписка на ChatGPT (само приложение бесплатное). На момент написания (20 июня) эта функция недоступна в ЕС, Великобритании и Швейцарии, но режим Computer Use запустился в ЕС 16 июня, так что, будем надеяться, скоро это изменится.

Те из вас, кто знаком с агентами, знают все подводные камни объяснения задачи словами — зачастую проще сделать самому. Записывая рабочий процесс вместо этого, вы, по сути, показываете, а не документируете, а значит, улавливаете все те мелкие нюансы, которые трудно сформулировать, но легко продемонстрировать.

2Почему это важно для тебя

Многие повторяющиеся процессы, которые мы выполняем на компьютерах, состоят из одного и того же набора шагов — будь то переименование и упорядочивание файлов, заполнение форм, сведение данных в отчёты или распространение контента по нескольким каналам. Такие рабочие процессы трудно объяснить в промпте, но легко продемонстрировать, поэтому записать один раз и воспроизводить много раз окажется проще, чем учиться грамотно документировать.

Это также открывает автоматизацию для более широкого круга людей. Раньше вам нужен был разработчик или человек с опытом работы на no-code платформе, чтобы превратить ваш рабочий процесс в скрипт, а теперь любой может показать компьютеру, что делать, просто сделав это самому. Это тонкий, но важный сдвиг в том, как мы взаимодействуем с инструментами автоматизации — от языка к демонстрации.

При этом воспроизводимый агент надёжен ровно настолько, насколько надёжен реальный мир. Если положение кнопки изменится или сайт переделают, ваши записанные навыки могут перестать работать самым неожиданным образом. Думайте о воспроизведениях как о стажёре, а не о роботе: они невероятно полезны, но за их результатами нужен присмотр, прежде чем на них можно будет положиться.