ChatGPT не смог сдать экзамены Американского колледжа гастроэнтерологии и не способен генерировать точную медицинскую информацию для пациентов, предупреждают врачи.
В исследовании, проведенном врачами из Института медицинских исследований Файнштейна, были протестированы оба варианта ChatGPT — на основе старой модели OpenAI GPT-3.5 и новейшей системы GPT-4. Академическая группа скопировала и вставила в бота вопросы с несколькими вариантами ответов, взятые из тестов самооценки Американского колледжа гастроэнтерологии (ACG) 2021 и 2022 годов, и проанализировала ответы программного обеспечения.
Интересно, что менее продвинутая версия на основе GPT-3.5 правильно ответила на 65,1% из 455 вопросов, тогда как более мощная GPT-4 набрала 62,4%. Как это произошло, трудно объяснить, поскольку OpenAI скрывает, как обучает свои модели. Его представители сообщили нам, по крайней мере, что обе модели были обучены на данных, датированных не позднее сентября 2021 года.
В любом случае, ни один из результатов не был достаточно хорош, чтобы достичь 70-процентного порога для сдачи экзаменов.
Арвинд Триндаде, адъюнкт-профессор Института медицинских исследований Файнштейна и старший автор исследования, опубликованного в Американский журнал гастроэнтерологиисказал Регистр.
«Хотя оценка не далека от прохождения или получения 70 процентов, я бы сказал, что для медицинской консультации или медицинского образования оценка должна быть выше 95».
«Я не думаю, что пациенту будет комфортно с врачом, который знает только 70 процентов своей области медицины. Если мы требуем таких высоких стандартов для наших врачей, мы должны требовать таких же высоких стандартов и от медицинских чат-ботов», — добавил он.
Американский колледж гастроэнтерологии готовит врачей, и его тесты используются в качестве практики при сдаче официальных экзаменов. Чтобы стать сертифицированным гастроэнтерологом, врачи должны пройти обследование Американского совета по внутренним болезням и гастроэнтерологии. Это требует знаний и изучения, а не только интуиции.
ChatGPT генерирует ответы, предсказывая следующее слово в заданном предложении. ИИ изучает общие закономерности в своих обучающих данных, чтобы выяснить, какое слово должно идти дальше, и частично эффективен при запоминании информации. Хотя технология быстро совершенствуется, она не идеальна и часто склонна к галлюцинациям ложных фактов, особенно если ее тестируют на нишевые темы, которые могут отсутствовать в ее обучающих данных.
«Основная функция ChatGPT состоит в том, чтобы предсказать следующее слово в строке текста, чтобы получить ожидаемый ответ на основе доступной информации, независимо от того, является ли такой ответ фактически правильным или нет. Он не имеет никакого внутреннего понимания темы или проблемы, “, поясняет газета.
Триндади сообщил нам, что, возможно, связанная с гастроэнтерологией информация на веб-страницах, используемых для обучения программному обеспечению, неточна, и что следует использовать лучшие ресурсы, такие как медицинские журналы или базы данных.
Однако эти ресурсы недоступны и могут быть заблокированы за платным доступом. В этом случае ChatGPT, возможно, не был достаточно подвержен экспертным знаниям.
«Результаты применимы только к ChatGPT — другие чат-боты должны быть проверены. Суть проблемы заключается в том, где эти чат-боты получают информацию. В его нынешнем виде ChatGPT не следует использовать для медицинских консультаций или медицинского образования», — заключил Триндейд. ®
