JudgeGPT для пакистанских судов: 38,50 доллара отдачи на каждый вложенный доллар

Это крупнейшее из когда-либо проводившихся рандомизированных испытаний ИИ-инструмента в государственном секторе. Команда исследователей из ETH Цюриха, Имперского колледжа Лондона и Российской экономической школы развернула JudgeGPT — систему на основе генерации с дополненным поиском (RAG), построенную на GPT-4, — для 1559 судей в 118 судах Пакистана (это примерно половина всех судей первой инстанции в стране).

JudgeGPT обучен на корпусе из 129 235 документов, включая 128 292 судебных дела и 943 закона Пакистана. Результаты показывают, что в округах, где судьи прошли специальное обучение, показатель закрытия дел вырос на 6,3% — то есть каждый округ смог обрабатывать на 1848 дел в год больше. ROI: 38,50 доллара на доллар вложений в базовом сценарии, 10 долларов на доллар вложений в консервативном сценарии.

Обученные судьи пользовались системой намного чаще (около 60 сессий вместо примерно 20) и задавали больше вопросов (200+ против менее 50), причём использовали её по-другому — например, для редактирования и суммирования документов, а не для поиска законов (а ведь именно там галлюцинации, скорее всего, наносят наибольший вред).

Ухудшения качества принятия решений не произошло. Доля обжалований не изменилась, а качество решений даже немного выросло. Также не было выявлено роста дискриминации по признаку пола или религии. Вывод: ИИ способен повысить продуктивность организаций государственного сектора — но только если научить людей правильно им пользоваться.