Anthropic выпустила FlashProve — проверку, какая модель ИИ ответила

Anthropic, компания, которая занимается исследованиями в области ИИ, 3 ноября выпустила новый open source инструмент FlashProve — он позволяет проверять подлинность ответа модели. Это как проверка подписи на документе. Для этого Anthropic даёт «отпечатки» для каждой своей модели. Эти отпечатки можно прогнать на своей машине, чтобы проверить подлинность ответа модели, не раскрывая её веса (параметры). Идея в том, чтобы не допустить пары вещей: 1) чтобы лаборатория ИИ незаметно подменила более дорогую модель на более дешёвую и 2) чтобы кто-то посторонний мог определить, какая модель использовалась для выполнения задачи (например, при проверке кода на уязвимости).

Это снимает серьёзную проблему для тех, кто платит за модели через API, — ведь поставщик теоретически может подменить модель на более дешёвую без вашего ведома. Отмечу, что это пока лишь прототип, и ни одна лаборатория ИИ (включая саму Anthropic) ещё не встроила эту технологию в свои продукты. Когда технология дозреет, стоит ожидать, что эта функция появится в таких инструментах, как Claude, — там можно будет проверять подлинность ответа агента точно так же, как сейчас проверяют его стоимость и производительность.