Anthropic: мы близко к порогу самоускорения

ИИ-стартап Anthropic, создатель семейства моделей Claude, обновил документ для IPO (подан в понедельник, 2 ноября). В этом документе Anthropic признаёт, что скоро может достичь рубежа, который они называют «резко ускоренным прогрессом за счёт ИИ» (их формулировка), или RSI, «рекурсивным самоулучшением», когда ИИ настолько прокачивается в создании ИИ, что начинает быстро улучшать сам себя. Они заявляют, что ни одна из их текущих моделей пока не достигла RSI, но при этом признают, что прошлые случаи RSI они замечали только постфактум. Тем не менее они утверждают, что намерены сохранять человеческий контроль над созданием будущих моделей.

И вот тут начинается интересное. Согласно собственной Responsible Scaling Policy Anthropic, они могут не успеть вовремя отреагировать на RSI. И они признают, что не знают, как гарантировать, что люди продолжат контролировать создание моделей, когда модели начнут создавать модели лучше себя.