Anthropic предлагает закон о безопасности ИИ с порогом в 50 жизней

Anthropic, компания, стоящая за моделями Claude, продвигает в Конгрессе США законопроект о безопасности ИИ. Законопроект позволит властям заблокировать выпуск модели только при «предвидимом, неотвратимом риске». Это значит 50 и более смертей или ущерб свыше миллиарда долларов. Опасность должна исходить от биологического оружия, модели, уклоняющейся от собственных ограничений, или кибератаки. Ни одно федеральное ведомство не может принять такое решение в одиночку. Сначала риск оценивают независимые эксперты, зарегистрированные в Министерстве торговли и получающие оплату независимо от своих выводов. Если они обнаружат катастрофический риск, у них есть 72 часа, чтобы уведомить Министерство торговли. После этого Министерство торговли должно обратиться к федеральному судье в Вашингтоне за одобрением любой остановки. Законопроект не устанавливает срока для этого последнего шага.

Для ИИ-лабораторий это проводит чёткую границу, привязанную к реальному вреду, а не к размеру модели или медийному шуму. Ни одно ведомство не может заблокировать выпуск без предварительного одобрения судьи. Один момент остаётся открытым. Техническое издание TechCrunch отмечает, что неясно, может ли оплата от лабораторий всё же влиять на решения экспертов. Их оплата не привязана к результату, но всё же поступает от тех самых лабораторий, которые проверяются. Если законопроект пройдёт в нынешнем виде, компании получат предсказуемую, узкую процедуру для редкого катастрофического случая. Это лучше, чем бессрочная угроза, что выпуск любой новой модели может быть задержан без объяснений.