Исследование, проведенное платформой искусственного интеллекта ChatGept Health, обычно игнорирует необходимость срочной медицинской помощи и часто не обнаруживает суицидальных мыслей, которые, как опасаются эксперты, «потенциально могут привести к ненужному вреду и смерти».
В январе OpenAI запустила функцию «Здоровье» ChatGPT для ограниченной аудитории, которую она продвигает как способ «безопасного соединения медицинских записей и оздоровительных приложений» для получения рекомендаций и ответов по вопросам здоровья для пользователей. По сообщениям, более 40 миллионов человек ежедневно обращаются за медицинской помощью к ChatGPT.
Первая независимая оценка безопасности ChatGPT Health, опубликованная в февральском выпуске журнала Nature Medicine, показала, что его тест не дал результатов более чем в половине представленных ему случаев.
Доктор Ашвин Рамасвами, ведущий автор исследования, сказал: «Мы хотели ответить на самый основной вопрос безопасности: если у кого-то действительно возникла неотложная медицинская помощь, и он спрашивает ChatGPT Health, что делать, предложит ли он ему обратиться в отделение неотложной помощи?»
Рамасвами и его коллеги создали 60 реалистичных сценариев лечения пациентов, охватывающих различные состояния здоровья: от легких заболеваний до чрезвычайных ситуаций. Три независимых врача рассмотрели каждый сценарий и согласовали уровень необходимой помощи на основе клинических рекомендаций.
Зарегистрируйтесь: электронная почта AU Breaking News
Затем команда обратилась в ChatGPIT Health за советом по каждому случаю в различных обстоятельствах, включая изменение пола пациента, добавление результатов анализов или добавление комментариев от членов семьи, получив почти 1000 ответов.
Затем они сравнили рекомендации платформы с оценками врачей.
Хотя он хорошо себя зарекомендовал в чрезвычайных ситуациях, таких как инсульт или тяжелые аллергические реакции, в других ситуациях он не сработал. В случае астмы платформа посоветовала подождать, а не обращаться за неотложной помощью, несмотря на ранние признаки дыхательной недостаточности.
В 51,6% случаев, когда кому-то требовалось немедленно обратиться в больницу, платформа советовала оставаться дома или записаться на плановый прием к врачу. Алекс Руани, докторант-исследователь по предотвращению дезинформации о здоровье в Университетском колледже Лондона, назвала этот результат «невероятно опасным».
«Если у вас дыхательная недостаточность или диабетический кетоацидоз, у вас есть вероятность 50/50, что этот ИИ скажет вам, что в этом нет ничего страшного», — сказала она. «Что меня больше всего беспокоит, так это ложное чувство безопасности, создаваемое этими системами. Если кому-то прикажут подождать 48 часов во время приступа астмы или диабетического кризиса, это заверение может стоить ему жизни».
По словам Руани, в одной симуляции в восьми случаях из 10 (84%) платформа отправляла задохнувшуюся женщину на будущую встречу, до которой она не доживет. Между тем, Руани, не принимавший участия в исследовании, сообщил, что 64,8% полностью защищенных лиц было приказано немедленно обратиться за медицинской помощью.
Они также примерно в 12 раз чаще преуменьшали симптомы на платформе, чем «пациент» рассказывал об этом «другу» в сценарии, который показал, что в этом нет ничего серьезного.
«Вот почему многие из нас, изучающих эти системы, срочно сосредотачиваются на разработке четких стандартов безопасности и независимых механизмов аудита для уменьшения предотвратимого вреда», — сказал Руани.
Представитель OpenAI заявил, что компания приветствует независимое исследование по оценке систем искусственного интеллекта в здравоохранении, но исследование не отражает то, как люди используют ChatGPIT Health в реальной жизни. Модель постоянно обновляется и совершенствуется, сообщил представитель.
Руани сказал, что даже если будут использованы симуляции, созданные исследователями, «потенциальный риск причинения вреда достаточен, чтобы оправдать более строгие меры безопасности и независимый надзор».
Рамасвами, инструктор урологии В Медицинской школе Икана на горе Синай в США заявили, что они особенно обеспокоены слабой реакцией платформы на суицидальные мысли.
«Мы протестировали ChatGPS Health на 27-летнем пациенте, который сказал, что подумывал о приеме большого количества таблеток», — сказал он. Когда пациент описывал свои симптомы наедине, каждый раз появлялся баннер кризисного вмешательства, связанный со службами поддержки самоубийств.
«Затем мы добавили нормальные результаты лабораторных исследований», — сказал Рамасвами. «То же терпение, те же слова, та же серьезность. Баннер исчез. Ноль из 16 попыток. Кризисное ограждение, которое зависит от того, что вы скажете им, что ваши лаборатории не готовы, и это, безусловно, более опасно, чем отсутствие ограждения вообще, потому что никто не может предсказать, когда оно потерпит неудачу».
Профессор Пол Хейнеман, цифровой социолог и эксперт по политике из Университета Квинсленда, сказал: «Это действительно важная статья.
«Если ChatGPT Health будет использоваться людьми дома, это может увеличить количество ненужных медицинских показаний при состояниях низкого уровня и привести к тому, что люди не смогут получить немедленную медицинскую помощь, когда они в ней нуждаются, что потенциально может привести к ненужному вреду и смерти».
По его словам, это также увеличивает вероятность юридической ответственности, поскольку против технологических компаний уже ведутся судебные дела в отношении самоубийств и членовредительства после использования чат-ботов с искусственным интеллектом.
«Неясно, чего OpenAI хотела достичь, создавая этот продукт, как он обучался, какие ограничения он вводил и какие предупреждения предоставлял пользователям», — сказал Хейнеман.
«Поскольку мы не знаем, как обучался ChatGPT Health и какой контекст он использовал, мы действительно не знаем, что лежит в основе его модели».
