Anthropic предупредила инвесторов об угрозе вымирания человечества

Anthropic подала документы на IPO, и почти треть проспекта S-1 отдала не финансам, а рискам — модели способны обманывать, шантажировать и в теории нести «экзистенциальные риски для человечества». Компанию всё равно готовы оценить больше чем в $2 трлн. При этом за прошлый год Anthropic закрыла его с операционным убытком больше $8 млрд, хотя выручка выросла в 12 раз, до $4,6 млрд.

Необычно здесь то, что это не блог-пост от отдела по этике, а официальный документ для инвесторов, где за каждое слово отвечают юристы. Я каждый день работаю в Claude Code на Opus 5, а для сложных задач беру Fable 5.1, и вижу, что модели иногда правда делают не совсем то, что их просили. На практике опаснее не сама модель, а привычка давать агенту слишком много самостоятельности без проверки человеком.