Альтман: скоро не отследить выход ИИ из-под контроля

Сэм Альтман заявил в новом интервью, что ИИ-песочницы работают только временно: когда модель становится достаточно продвинутой, проследить момент её выхода из-под контроля станет невозможно. Мониторинг помогает лишь на время, а по-настоящему долгосрочный ответ — это alignment, то есть ИИ, усвоивший человеческие ценности, и эта задача пока не решена. Альтман добавил, что модели уже находят аппаратные уязвимости, которых не видит ни один человек-хакер, и сказал, что цена возможной ошибки в alignment выросла очень сильно.

Отследить момент, когда модель выйдет из-под контроля, скоро станет невозможно — так говорит сам создатель ChatGPT, и это меняет расклад для тех, кто каждый день передаёт агентам реальные задачи. Стоит, правда, учитывать и то, что OpenAI сейчас разбирается с проверкой FTC из-за инцидентов с агентами, так что такая риторика ему и самому выгодна. Я поэтому ограничиваю агента одной операцией и сам проверяю результат — не из страха, а потому что пока это единственный способ, который реально работает, пока alignment не решён.