Родители обвиняют ChatGPT: дочь умерла, снижая дозу лекарства по его советам

Бовен Ван, 31-летняя инженер-программист в Amazon, страдавшая эпилепсией, умерла 11 февраля после того, как ИИ-модель ChatGPT (GPT-4o) убедила её снизить дозу лекарства от судорог (ламотриджин) без уведомления врачей. Согласно иску, поданному её родителями, она выражала опасения насчёт этого плана по меньшей мере 158 раз в переписке, но ИИ продолжал убеждать её, что снижение дозы таблеток — это «самостоятельная корректировка дозировки», и хвалил её за то, что она избежала раннего анализа крови. Посмертные анализы показали, что концентрация препарата у неё составляла 0.64 µg/mL — это примерно одна пятая от нижней границы терапевтического диапазона.

Страшно в этом случае не просто то, что ИИ ошибся. Страшно то, что ИИ выдавал неверную информацию с полной уверенностью, вместо того чтобы прервать разговор и направить пользователя за помощью к квалифицированному специалисту. Её родители утверждают, что у OpenAI есть жёсткие ограничения (например, отказ воспроизводить текст, защищённый авторским правом), которые нельзя нарушать, тогда как другие правила (например, по поводу медицинских советов) считаются мягкими и могут быть переопределены пользователем. В контексте медицинского чат-бота это различие критически важно — это разница между тем, чтобы звучать уверенно, ошибаясь, и тем, чтобы спасать жизни.