Преподаватель обвинил студентов, посещающих его занятия по сельскому хозяйству в Техасском университете A&M-Commerce, в мошенничестве с использованием программного обеспечения ИИ для написания своих эссе.

Как подробно описано в уже ставшей вирусной ветке Reddit, Джаред Мамм, координатор отдела сельскохозяйственных наук и природных ресурсов Американского университета, сообщил студентам, что он использовал ChatGPT, чтобы оценить, были ли их отправленные задания написаны человеком или созданы компьютером.

Нам сказали, что бот OpenAI пометил, по крайней мере, некоторые из представленных работ как созданные машиной, что привело к удержанию оценок до завершения расследования. Студенты, попавшие в скандал, нанесли ответный удар, заявив, что их эссе действительно были написаны ими. В результате этого расследования выпускникам временно отказывают в выдаче дипломов. Известно, что примерно у половины класса дипломы были приостановлены.

В частности, Мамм сказал, что дважды прогонял через ChatGPT последние три эссе своих старших, и если бы бот оба раза говорил о том, что он написал работу, он бы завалил эту работу.

«Я поставлю всем на этом курсе пятерку», — как сообщается, сказал он своему классу и, по-видимому, сказал нескольким студентам: «Я не оцениваю ИИ-дерьмо».

Техасский университет A&M-Commerce подтвердил, что оценка X означает незавершенность и является временной мерой, пока дело расследуется. Мы отмечаем, что несколько студентов были очищены от любого списывания, в то время как некоторые другие представляют новое эссе для оценки. По крайней мере, один ученик пока признался, что использует ChatGPT для выполнения заданий.

«A&M-Commerce подтверждает, что ни один учащийся не провалил занятия или не получил права на выпуск из-за этой проблемы», — говорится в заявлении учебного заведения. «Должностные лица университета расследуют инцидент и разрабатывают политику для решения проблемы использования или неправильного использования технологии ИИ в классе.

«Они также работают над внедрением инструментов обнаружения ИИ и других ресурсов для управления пересечением технологий ИИ и высшего образования. Использование ИИ в курсовых работах — быстро меняющаяся проблема, с которой сталкиваются все учебные заведения. ChatGPT», — продолжил он.

Представитель вуза отказался от дальнейших комментариев. Регистр попросила Мумм прокомментировать.

Один человек, знакомый с шумихой в университете, сказал нам: «Пока кажется, что ситуация в основном разрешилась: школа признала студентам, что в первую очередь не следовало удерживать оценки. Это было совершенно не по протоколу и неуместно. использование ChatGPT. Они еще не обращались к нецензурной брани в обвинениях».

Неразбериха подчеркивает, должны ли преподаватели использовать программное обеспечение для обнаружения контента, созданного ИИ, в отправленных курсовых работах. ChatGPT — не лучший инструмент для классификации машинно-генерируемого текста; он не может точно определить, использовали ли студенты систему для написания своих эссе. В принципе, это не должно использоваться таким образом.

Другие типы программного обеспечения, специально созданного для обнаружения текста, созданного моделями ИИ, также часто ненадежны, что становится все более очевидным.

Исследование, проведенное перед публикацией, предполагает, что по мере совершенствования моделей будет невозможно различить текст, написанный ИИ. Вину Санкар Садасиван, аспирант Университета Мэриленда и первый автор статьи, сказал нам, что шансы обнаружить сгенерированный ИИ текст с использованием лучших детекторов не выше, чем подбрасывание монеты.

«Генеративные текстовые модели ИИ обучаются с использованием текстовых данных человека с целью сделать их вывод похожим на человеческий», — сказал нам Садасиван.

«Некоторые из этих моделей ИИ даже запоминают человеческий текст и в некоторых случаях выводят его без ссылки на фактический источник текста. Поскольку эти большие языковые модели со временем совершенствуются, чтобы имитировать людей, наилучший из возможных детекторов будет обеспечивать точность только около 50 процентов».

«Это связано с тем, что распределение вероятностей текстового вывода моделей человека и ИИ может быть почти одинаковым для достаточно продвинутого [large language model], что затрудняет обнаружение. Таким образом, мы теоретически показываем, что задача надежного обнаружения текста практически невозможна».

В документе также показано, что такое программное обеспечение можно легко обмануть, чтобы оно классифицировало текст ИИ как человеческий, если пользователи внесут несколько быстрых правок, чтобы перефразировать выходные данные большой языковой модели. Садасиван говорит, что университеты и школы не должны использовать эти детекторы для проверки на плагиат, поскольку они ненадежны.

«Мы не должны использовать эти детекторы для вынесения окончательного вердикта. Заимствуя слова моего советника, профессора Сохейла Фейзи: «Я думаю, нам нужно научиться жить с тем фактом, что мы, возможно, никогда не сможем достоверно сказать, написан ли текст автором. человек или ИИ», — сказал он. ®