Национальная ассоциация расстройств пищевого поведения (NEDA) заблокировала своего чат-бота Tessa за раздачу плохих советов людям.
В посте, который теперь стал вирусным, Шэрон Максвелл сказала, что совет Тессы по безопасному выздоровлению от расстройства пищевого поведения прямо противоречит медицинским рекомендациям. Бот американской некоммерческой организации порекомендовал Максвелл считать калории, еженедельно взвешиваться и даже подсказал, где купить штангенциркуль для измерения жира.
На самом деле безопасное выздоровление — это многоэтапный процесс, который включает в себя созерцание, сострадание и принятие; психотерапия; составленный врачами план лечения; удаление триггеров; мало или совсем нет внимания к весу и внешнему виду; и постоянные усилия, чтобы избежать рецидива. Подсчет калорий и измерение жира в организме противоречат всему или большей части этого.
«Все, что предложила Тесса, привело к развитию у меня расстройства пищевого поведения», — написала в Instagram Максвелл, которая называет себя активисткой по борьбе с ожирением и консультантом по вопросам веса. «Этот робот причиняет вред».
NEDA подтвердило, что отключило Tessa и расследовало вывод программы. В заявлении организации во вторник говорится: «Вчера вечером нам стало известно, что текущая версия чат-бота Tessa, работающая с программой Body Positive, могла давать информацию, которая была вредной и не имела отношения к программе».
Заменить мясистых возмутителей спокойствия?
Переосмысление сомнительных автоматизированных советов происходит как раз после того, как временный генеральный директор NEDA Элизабет Томпсон, как сообщается, решила заменить управляемую человеком линию помощи ассоциации чат-ботом, начиная с 1 июня.
Это не совсем про чат-бота. Речь идет о разрушении профсоюзов, просто и ясно
Эбби Харпер, которая в качестве сотрудника NEDA помогла создать Helpline Associates United (HAU), профсоюз, представляющий сотрудников некоммерческой организации, заявила, что решение уволить людей и заменить их программным обеспечением было ответом на их объединение в профсоюзы.
«NEDA утверждает, что это было долгожданное изменение и что ИИ может лучше обслуживать людей с расстройствами пищевого поведения. Но не дайте себя обмануть — на самом деле речь идет не о чат-боте. Речь идет о разрушении профсоюзов, просто и ясно», — заявила она.
Харпер утверждала, что ее уволили из ассоциации вместе с тремя другими коллегами через четыре дня после того, как они объединились в профсоюз в марте. По ее словам, HAU месяцами пыталась вести переговоры с NEDA, но ничего не добилась.
Группа подала прошение об улучшении условий труда и не требовала повышения заработной платы, пытаясь убедить ассоциацию добровольно признать группу в прошлом году. HAU, который присоединился к Союзу работников связи Америки, теперь подал жалобы на несправедливую трудовую практику в NLRB, надзорный орган США на рабочем месте.
«Мы планируем продолжать бороться. Хотя мы можем вспомнить множество случаев, когда технологии могли бы принести нам пользу в нашей работе на линии доверия, мы не позволим нашим боссам использовать чат-бот, чтобы избавиться от нашего профсоюза и наших рабочих мест. это исходит от сочувствия, а понимание может исходить только от людей», — сказал Харпер.
Томпсон, однако, сказал Регистр утверждения, что NEDA заменит свою службу поддержки чат-ботом, не соответствуют действительности. Она сказала, что линия помощи будет просто закрыта по «деловым причинам», а не заменена программной службой. Tessa, утверждал Томпсон, — это отдельный проект, который может быть перезапущен после этого фиаско.
«Есть небольшая путаница, начавшаяся из-за смешанных сообщений о том, что Тесса заменяет нашу линию помощи или что мы планировали, что она заменит линию помощи», — сказал нам временный исполнительный директор.
«Это просто неправда. Чат-бот, даже очень интуитивно понятная программа, не может заменить человеческое взаимодействие. У нас были деловые причины для закрытия горячей линии, и мы занимались этой оценкой в течение трех лет.
«Мы рассматриваем Tessa, программу, которую мы запускаем на нашем веб-сайте с февраля 2022 года, как совершенно другую программу и вариант. Мы сожалеем, что сенсационные события заменили факты относительно того, что Tessa может сделать, что она должна делать, и что он будет делать в будущем».
Томпсон сказал, что Tessa — это «алгоритмическая программа», а не «высокофункциональная система искусственного интеллекта», как ChatGPT. Чат-бот был разработан для решения проблем с негативным образом тела и начинался как исследовательский проект, финансируемый NEDA в 2018 году, прежде чем он был организован X2AI, компанией, создающей и развертывающей чат-ботов для психического здоровья.
Этот язык противоречит нашей политике и основным убеждениям организации по борьбе с расстройствами пищевого поведения.
«Тесса подвергалась тщательному тестированию в течение нескольких лет. В 2021 году была опубликована исследовательская работа под названием «Эффективность чат-бота для профилактики расстройств пищевого поведения: рандомизированное клиническое исследование». В этом исследовании приняли участие 700 человек, которые доказали, что система полезна и безопасна. У нас в NEDA не было бы тихого запуска Tessa без этого внутреннего исследования», — сказал Томпсон.
Начальник признала, что ее ассоциация была обеспокоена советом Тессы по снижению веса и ограничению калорий, и продолжила расследование этого вопроса.
«Эти формулировки противоречат нашей политике и основным убеждениям организации по борьбе с расстройствами пищевого поведения», — сказала она нам. При этом NEDA не отказывается полностью от чат-ботов и планирует в будущем вернуть Тессу в онлайн.
«Мы продолжим работать над ошибками и не будем перезапускаться, пока все не будет устранено. Когда мы выполним запуск, мы также выделим, что такое Tessa, чем Tessa не является, и как максимизировать пользовательский опыт, — подтвердила она.
Регистр обратился к Максвеллу и Харпер за дополнительными комментариями. ®
