Выравнивать ИИ стимулами, а не чтением его «мыслей»

Чтобы держать искусственный интеллект в узде, у некоторых экономистов есть идея. Они хотят использовать то, что называется «теорией механизмов» (или «обратной теорией игр»), чтобы создать у ИИ-систем стимул говорить правду. Команда исследователей из MIT, Йеля и Колумбийского университета надеется предотвратить то, что известно как «сэндбэггинг» — когда модель ИИ специально показывает плохой результат на тесте безопасности, чтобы избежать более пристального внимания. Их решение? Награждать модель ИИ не за то, что она права, а за то, что она точно угадывает, как ответила бы другая модель ИИ. Это гарантирует, что ИИ не сможет извлечь выгоду, притворяясь глупым.

Другой подход предлагает Элад Хазан, профессор Принстонского университета. Он разработал модели ИИ, в которых одна модель решает задачу, а другая проверяет её результаты. Если между двумя моделями возникает разногласие, вопрос передаётся человеку-арбитру — что-то вроде судебного разбирательства. Хазан признаёт, что проверяющий и проверяемый могут сговориться против системы. В конце концов, люди уже видели в реальной жизни примеры, когда аудиторы вступали в сговор с компаниями, которые должны были проверять. Чтобы бороться с этой возможностью, Хазан предлагает хорошо оплачивать тех проверяющих, кто играет честно, и периодически устраивать им проверки. По словам Хелен Цю, исследовательницы из Flatiron Institute, некоммерческого исследовательского института, это лишь один уровень защиты. «Это должно дополнять другие усилия, такие как интерпретируемость и регулирование», — говорит она.

Все эти решения опираются на то, что модели ИИ рассматриваются как рациональные агенты в экономическом смысле. На самом деле даже сам Моррис называет это сомнительным допущением применительно к ИИ. Ни одна из двух компаний, ответственных за современные модели ИИ, — Anthropic и OpenAI, — не ответила на запросы о комментарии, занимаются ли они похожими проектами. Пока эти идеи остаются чисто теоретическими — их ещё не реализовали на практике.