ИИ-чат-боты читают рентгеновские снимки — и уверенно ошибаются

Бенчмарк RadLE 2.0, созданный лабораторией CRASH в университете Ашока (Индия), оценил 16 разных моделей ИИ (таких как Claude Fable 5, Gemini 3 Pro, Muse Spark 1.1, Grok 4.5) на наборе из 200 рентгеновских снимков. Он измеряет три вещи: диагностическую точность, уверенность и понимание того, что вопрос выходит за рамки компетенции модели.

Лучший ИИ набрал 758 из 2000 баллов, тогда как рентгенолог-человек набрал 988,7. Но главный результат не в разнице сырых баллов: многие очень точные модели показали результат хуже, чем их менее точные собратья, из-за самоуверенности при неверных ответах. Особенно это касается моделей, которые дают неправильные ответы с высокой уверенностью, — а именно это RadLE 2.0 строго наказывает. Почти все модели с открытым исходным кодом и специализированные медицинские модели пытались ответить на всё подряд и дорого за это заплатили.

«Многие модели набрали бы значительно больше баллов, если бы чаще отказывались отвечать». Claude Fable 5 показал лучший результат в категории «калиброванная уверенность», а Gemini 3 Pro достиг почти человеческого уровня, но ни одна модель не смогла сравниться с рентгенологом-человеком. Как подчёркивают авторы, ИИ-модели должны уметь говорить «я не знаю, спросите человека», прежде чем мы позволим им принимать самостоятельные решения.