Google находится под давлением американского законодателя, чтобы он объяснил, как он обучает и развертывает своего медицинского чат-бота Med-PaLM 2 в больницах.
В письме интернет-гиганту сегодня сенатор Марк Уорнер (D-VA) также призвал интернет-гиганта не подвергать пациентов риску в спешке с коммерциализацией технологии.
Med-PaLM 2 основан на Googleбольшая языковая модель PaLM 2 и точно настроена на медицинскую информацию. Система может генерировать письменные ответы на медицинские запросы, обобщать документы и извлекать данные. Google представила модель в апреле и сказала, что избранная группа Google Клиенты облачных сервисов тестировали программное обеспечение.
По словам сенатора Уорнера, одним из таких тестеров является VHC Health, больница в Вирджинии, связанная с клиникой Майо. В письме к Google руководитель Сундар Пичаи, Warner сказал, что он обеспокоен тем, что генеративный ИИ поднимает «сложные новые вопросы и риски», особенно при применении в отрасли здравоохранения.
«Хотя искусственный интеллект, несомненно, обладает огромным потенциалом для улучшения ухода за пациентами и улучшения состояния здоровья, я обеспокоен тем, что преждевременное внедрение непроверенных технологий может привести к подрыву доверия к нашим медицинским работникам и учреждениям, усугублению существующих расовых различий в показателях здоровья и увеличению риск ошибок в диагностике и оказании помощи», — написал он. [PDF].
«Эта гонка за завоевание доли рынка очевидна и вызывает особую обеспокоенность в отрасли здравоохранения, учитывая смертельные последствия ошибок в клинических условиях, падение доверия к учреждениям здравоохранения в последние годы и чувствительность здравоохранения к информация.”
В своем письме сенатор изложил дюжину наборов вопросов для Googleруководители ответят. Эти запросы включали:
и наконец…
Все довольно хорошие моменты, которые следует поднять или выделить.
Большие языковые модели склонны генерировать ложную информацию, которая звучит убедительно, поэтому можно опасаться, что бот уверенно раздает вредные медицинские советы или ошибочно влияет на чьи-то решения о здоровье. Национальная ассоциация расстройств пищевого поведения, например, отключила своего чат-бота Tessa после того, как предложила людям считать калории, еженедельно взвешиваться и следить за жировыми отложениями — поведение, которое считается нелогичным для здорового выздоровления.
А GoogleВ исследовательской работе, написанной DeepMind и подробно описывающей Med-PaLM 2, признается, что «ответы модели были не такими благоприятными, как ответы врачей», и получили низкие оценки с точки зрения точности и релевантности.
Warner хочет, чтобы Пичаи поделился дополнительной информацией о том, как модель развертывается в клинических условиях, и хочет знать, собирает ли мегакорпорация данные о пациентах от тех, кто тестирует ее технологию, и какие данные использовались для ее обучения.
Он подчеркнул, что Google ранее хранила и анализировала данные пациентов без их явного ведома или согласия в сделках с больницами в США и Великобритании под баннером Project Nightingale.
“Google публично не предоставила документацию по Med-PaLM 2, в том числе воздержалась от раскрытия содержания данных обучения модели. Включает ли учебный корпус Med-PaLM 2 защищенную информацию о здоровье?» — спросил он.
представитель Google отрицал, что Med-PaLM 2 был чат-ботом, каким люди его знают сегодня, и сказал, что модель тестируется клиентами, чтобы выяснить, как она может быть полезна для отрасли здравоохранения.
«Мы считаем, что искусственный интеллект может преобразовать здравоохранение и медицину, и стремимся исследовать безопасность, справедливость, доказательства и конфиденциальность в основе», — сказал представитель. Регистр в заявлении.
«Как было заявлено в апреле, мы делаем Med-PaLM 2 доступной для избранной группы организаций здравоохранения для ограниченного тестирования, изучения вариантов использования и обмена отзывами — критически важный шаг в создании безопасных и полезных технологий. Эти клиенты сохраняют контроль над своими Med-PaLM 2 — это не чат-бот, а доработанная версия нашей большой языковой модели PaLM 2, предназначенная для кодирования медицинских знаний».
Представитель не подтвердил, что Google будет отвечать на вопросы сенатора Уорнера. ®
