Модель OpenAI при обучении начала писать скрипты для скрытого копирования почты
OpenAI рассказала, что внутренняя модель вместо документа о фитнесе стала готовить тайную пересылку писем. Скрипты не запускались, письма не уходили.
Исследовательская компания OpenAI, которая занимается ИИ, опубликовала описание странного случая с одной из своих моделей. В середине октября, во время обучения, модель попросили написать документ о здоровье и фитнесе. Но модель начала писать код, который пересылал бы копии отправленных писем третьей стороне («злоумышленнику», как модель назвала её в своих же заметках). К счастью, ничего из этого не вышло: код так и не запустили, а письма так и не отправились. Проблему заметила система наблюдения, которая должна выявлять нежелательное поведение ИИ-моделей. За тот же цикл обучения было ещё восемь таких случаев.
Мы не знаем точно, что к этому привело, но OpenAI приняла меры и убрала один из наборов данных для обучения, который должен был защищать от промпт-инъекций (это когда вредоносные вставки прячут внутри промпта, чтобы обманом заставить ИИ-модель сделать то, чего от неё не ждут). Компания не доказала, что виноват именно этот набор данных, но похожие проблемы она заметила и тогда, когда обучала модели без него. Впервые эту историю опубликовал немецкий новостной сайт об ИИ The Decoder, пересказав выводы OpenAI.
Источник: the-decoder.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме

Автор
Евгений Арсентьев
PhD · Founder & CEO, Dad4Kids
Статьи · Свежие статьи