Microsoft: доверять ИИ-агентам в компаниях нельзя

Глава Microsoft Сатья Наделла написал в своём блоге, что компании больше не могут просто доверять обещаниям поставщика модели по безопасности. Он сказал, что право решать, что может делать ИИ-агент внутри компании, должно оставаться за самой компанией. 19 октября глава службы безопасности Microsoft Хайете Галло сказала, что передовым моделям ИИ нельзя доверять, независимо от того, кто их создал. Она сказала, что они стремятся к результату, а не к соблюдению правил компании. Microsoft указала на Project Perception, систему безопасности, которую она представила в июле. Она даёт каждому агенту личность и набор прав доступа. Она в реальном времени следит, насколько рискованны действия агента. Она использует надзирающих «агентов-опекунов». Это отраслевой термин для агентов, которые наблюдают за другими агентами и могут ограничивать их до того, как они что-то сделают. Защитная система Microsoft уже может обнаружить до 60 типов агентов на компьютерах компании. Среди них Claude Code (инструмент Anthropic для написания кода), Codex (агент OpenAI для написания кода) и OpenClaw. Она может сразу же ограничить их права.

То, что Microsoft упоминает Claude Code среди агентов, за которыми она следит, показывает, что агентное программирование внутри компаний — это уже не эксперимент. Это стандартная практика. Необработанный вывод агента отлавливается ревью и тестами. Отлавливается тем, что ответственность за то, что уходит в релиз, несёт один конкретный человек, а не запретом инструмента. Шаг Microsoft по разделению поставщика модели и того, кто решает, что может делать агент, выглядит не столько как маркетинг. Выглядит как то, с чем компании реально столкнутся по мере масштабирования агентов.