Google DeepMind провела первый двойной слепой эксперимент над искусственным интеллектом

Первый в мире двойной слепой тест ИИ, использующий криптографию для защиты от вмешательства. Google DeepMind совместно с Сингапурским институтом безопасности ИИ, OpenMined, AVERI и MLCommons провели первый в мире двойной слепой тест языковой модели — Gemini Flash Lite. Двойное слепое тестирование — это процесс, при котором тестовые вопросы скрыты от разработчиков, а веса модели скрыты от тех, кто её оценивает. Таким образом ни одна из сторон не может скорректировать свой подход, зная о вводных данных другой стороны.

1Как работает защита от подтасовки

Для этого Google DeepMind использовала Confidential Space от Google Cloud — криптографически защищённую среду. Это значит, что тест устроен так, что оценивающая сторона не может получить веса модели, а Google не видит тестовые вопросы до начала теста. В итоге обе стороны получают результаты теста, но ни одна из них не может получить доступ к данным другой стороны.

2Зачем это нужно всей отрасли

Загрязнение бенчмарков ИИ — хорошо известная проблема в индустрии ИИ. Если модель ИИ видит тестовые вопросы ещё на этапе обучения, её показатели эффективности оказываются несправедливо завышены. При обычном тестировании компания знает, на каком бенчмарке её будут проверять, и может — намеренно или нет — подстроить модель под него. Двойное слепое тестирование исключает такую возможность. Если эта техника получит широкое распространение, мы наконец сможем получить объективные рейтинги ИИ-систем, что изменит и то, как выбираются модели, и то, насколько мы доверяем заявлениям компаний.