В новом исследовании, проведенном Калифорнийским университетом в Сан-Диего (UC), ученые обнаружили, что по сравнению с “обычными” врачами ChatGPT более чуткий и дает более качественные ответы на реальные вопросы о здоровье.
Можно ли заменить врачей?
Виртуальное или онлайн здравоохранение, само по себе форма ИИ, появилось в разгар пандемии COVID-19 как способ предоставить людям доступ к медицинским работникам, пока они находятся на самоизоляции.
Однако популярность удаленного здравоохранения во время пандемии создала дополнительную нагрузку в 1,6 раза на врачей. Каждое электронное сообщение добавляло более двух минут работы медику в нерабочее время. Увеличение нагрузки привело к тому, что 62% врачей в США сообщили о симптомах выгорания — рекордно высоком уровне — и повысило вероятность того, что сообщения пациентов останутся без ответа.
Это побудило исследователей из Калифорнийского университета задуматься о роли ИИ, в частности ChatGPT, в медицине. Они задались вопросом, сможет ли ChatGPT точно отвечать на вопросы, которые пациенты задают своим врачам.
«Возможно, ChatGPT может сдать медицинский экзамен на получение лицензии, — заявил соавтор исследования доктор Дэйви Смит, врач и профессор Медицинской школы Калифорнийского университета в Сан-Диего, — но прямые ответы на вопросы пациентов, точные и чуткие, — это совсем другое дело».
Чтобы получить большую и разнообразную выборку, исследовательская группа обратилась к сабреддиту Reddit AskDocs (r/AskDocs), в котором более 480 000 участников публикуют медицинские вопросы, на которые отвечают лицензированные, проверенные медицинские работники.
Исследователи случайным образом отобрали 195 уникальных вопросов из r/AskDocs, передали исходный запрос в ChatGPT (версия 3.5, – прим. ред.) и попросили его сгенерировать ответ, а три лицензированных медицинских работника оценивали каждый вопрос и соответствующий ответ, не зная, исходил ли он от врача или от ChatGPT.
Оценщиков сначала спросили, какой ответ был «лучше». Затем они должны были оценить качество предоставленной информации (очень плохое, плохое, приемлемое, хорошее или очень хорошее) и эмпатию или манеру поведения “у постели больного” (не эмпатическая, слегка эмпатическая, умеренно эмпатическая, эмпатическая, очень эмпатическая). Оценщики предпочли ответы ChatGPT в 79% случаев.
«Сообщения ChatGPT содержали детализированную и точную информацию, которая часто затрагивала больше аспектов в вопросах пациентов, чем ответы врачей»,
сказала соавтор исследования Джессика Келли.
Также было обнаружено, что ChatGPT дает более качественные ответы. Ответы «хорошо» или «очень хорошо» были в 3,6 раза выше для ChatGPT, чем для врачей (ChatGPT 78,5% по сравнению с врачами 22,1%). В свою очередь, ИИ был более чутким. «Чуткие» или «очень чуткие» ответы были в 9,8 раз выше для ChatGPT, чем для врачей (ChatGPT 45,1% по сравнению с врачами 4,6%).
Это не означает, что врачи незаменимы, говорят исследователи; им нужно использовать ChatGPT как инструмент обучения для улучшения своей практики.
«Хотя наше исследование противопоставило ChatGPT медикам, окончательное решение не заключается в том, чтобы полностью уволить вашего врача», — добавил соавтор исследования Адам Поляк. «Коллаборация медицинских специалистов с ИИ улучшит их ответы и сделает их более чуткими».
Исследователи говорят, что инвестиции в ChatGPT и другие ИИ положительно повлияют на здоровье пациентов и работу врачей.
«Мы могли бы использовать эти технологии для обучения врачей общению с пациентами, для создания новых систем медицинской безопасности и оказания помощи врачам путем предоставления более качественной и эффективной помощи»,
уверен автор исследования Марк Дредзе.
В будущем исследователи планируют провести рандомизированные контролируемые испытания, чтобы оценить, как использование ИИ в медицине влияет на результаты как для врачей, так и для пациентов.
