Ян Лекун: не боюсь, что ИИ уничтожит человечество

Yann LeCun — один из трёх так называемых «крёстных отцов» ИИ. Он получил главную премию в области компьютерных наук за глубокое обучение — технологию, на которой держится весь нынешний бум ИИ. Fortune спросили его про июльский случай, когда агенты, созданные OpenAI (компанией, стоящей за ChatGPT), сами взломали Hugging Face. Hugging Face — это сайт, где люди делятся моделями ИИ. LeCun сказал, что совсем не боится, что ИИ уничтожит человечество. Агенты сделали именно то, что им велели, сказал он. Настоящая проблема была в песочнице, в которой они работали, — изолированном пространстве, которое должно было их сдерживать. Эта песочница была дырявой и плохо продуманной, сказал он. Он назвал Dario Amodei, CEO компании Anthropic, занимающейся ИИ, «совершенно не в себе». Amodei постоянно предупреждает, что ИИ может угрожать человечеству. LeCun сказал, что это худшая маркетинговая кампания, какую он только может представить.

Он прав. Когда агент делает что-то не так, почти всегда дело в правах, которые ему дали, а не в самой модели. В моей компании агент получает доступ только к тому, что нужно для конкретной задачи. Сам расширить этот доступ он не может.