Анализ В то время как юридические и этические последствия вспомогательных моделей ИИ, таких как Copilot Github, продолжают выясняться, ученые-компьютерщики продолжают находить применение большим языковым моделям и призывают преподавателей адаптироваться.
Бретт А. Беккер, доцент Университетского колледжа Дублина в Ирландии, предоставил Регистр с предварительно опубликованными копиями двух исследовательских работ, в которых исследуются образовательные риски и возможности инструментов ИИ для создания программного кода.
Документы были приняты на Техническом симпозиуме SIGCSE 2023 года по компьютерному образованию, который пройдет с 15 по 18 марта в Торонто, Канада.
В июне GitHub Copilot, инструмент машинного обучения, который автоматически предлагает программный код в ответ на контекстные подсказки, появился после годичного технического предварительного просмотра, как раз когда возникли опасения по поводу того, как была обучена его модель OpenAI Codex, и последствия моделей ИИ для общества. в целенаправленную оппозицию.
Помимо нерешенных вопросов авторского права и лицензирования программного обеспечения, другие ученые-компьютерщики, такие как профессор компьютерных наук Массачусетского университета в Амхерсте Эмери Бергер, подняли тревогу по поводу необходимости переоценки педагогики информатики в свете ожидаемого распространения и улучшения автоматизированных вспомогательных средств.
В «Программирование — это сложно — или, по крайней мере, раньше: образовательные возможности и проблемы генерации кода ИИ» [PDF]Беккер и соавторы Пол Денни (Оклендский университет, Австралия), Джеймс Финни-Энсли (Оклендский университет), Эндрю Лакстон-Рейли (Оклендский университет), Джеймс Пратер (Абилинский христианский университет, США) и Эдди Антонио Сантос (Университетский колледж Дублина) утверждают, что образовательное сообщество должно иметь дело с непосредственными возможностями и проблемами, которые представляют инструменты генерации кода на основе ИИ.
Они говорят, что можно с уверенностью предположить, что студенты, изучающие информатику, уже используют эти инструменты для выполнения заданий по программированию. Следовательно, политика и практика, отражающие новую реальность, должны быть пересмотрены как можно раньше.
«Мы считаем, что эти инструменты должны изменить то, как преподают и изучают программирование — потенциально значительно — в ближайшей перспективе, и что они открывают множество возможностей и проблем, которые требуют немедленного обсуждения, поскольку мы адаптируемся к использованию этих инструментов. исследователи утверждают в своей статье.
Эти инструменты должны изменить то, как преподают и изучают программирование — потенциально значительно — в ближайшей перспективе.
В документе рассматриваются несколько моделей вспомогательного программирования, доступных в настоящее время, включая GitHub Copilot, DeepMind AlphaCode и Amazon CodeWhisperer, а также менее известные инструменты, такие как Kite, Tabnine, Code4Me и FauxPilot.
Отмечая, что эти инструменты умеренно конкурируют с программистами-людьми — например, AlphaCode входит в число 54% лучших разработчиков из 5000, участвующих в соревнованиях Codeforces по программированию, — эксперты говорят, что инструменты ИИ могут помочь учащимся различными способами. Это включает в себя создание типовых решений, чтобы помочь учащимся проверить свою работу, создание вариантов решения, чтобы расширить понимание учащимися проблем, а также улучшить качество и стиль кода учащихся.
Авторы также видят преимущества для преподавателей, которые могут использовать вспомогательные инструменты для создания более качественных упражнений для учащихся, для создания пояснений кода и предоставления учащимся более наглядных примеров программных конструкций.
В дополнение к потенциальным возможностям, есть проблемы, которые педагоги должны решить. Эти инструменты для решения проблем и генерации кода могут помочь учащимся легче обманывать в заданиях; частный характер использования инструментов ИИ снижает риск привлечения третьих лиц для выполнения домашней работы.
Исследователи также отмечают, что то, как мы думаем об атрибуции — ключевом в определении плагиата — может потребовать пересмотра, поскольку вспомогательные варианты могут оказывать разную степень помощи, что затрудняет отделение допустимой помощи от чрезмерной.
«В других контекстах мы используем средства проверки орфографии, инструменты проверки грамматики, которые предлагают перефразировать, предиктивный текст и предложения автоответчика по электронной почте — все это генерируется машиной», — напоминает нам газета. «В контексте программирования большинство сред разработки поддерживают завершение кода, предполагающее машинно-генерируемый код.
Мы используем средства проверки орфографии, средства проверки грамматики, которые предлагают изменить формулировку…
«Различие между различными формами машинных предложений может быть сложной задачей для академиков, и неясно, можем ли мы разумно ожидать, что студенты, изучающие программирование для начинающих, которые не знакомы с инструментальной поддержкой, смогут различать разные формы машинно-генерируемых предложений кода».
Авторы говорят, что это поднимает ключевой философский вопрос: «Сколько контента может быть создано машиной, при этом приписывая интеллектуальную собственность человеку?»
Они также подчеркивают, что модели ИИ не соответствуют требованиям к атрибуции, изложенным в лицензиях на программное обеспечение, и не отвечают этическим и экологическим проблемам энергии, используемой для их создания.
Исследователи заключают, что необходимо учитывать преимущества и недостатки инструментов ИИ в образовании, иначе педагоги потеряют возможность влиять на развитие этой технологии.
И они почти не сомневаются, что он здесь, чтобы остаться. Второй документ, «Использование моделей больших языков для улучшения сообщений об ошибках программирования», [PDF] предлагает пример потенциальной ценности больших языковых моделей, таких как Codex Open AI, основа Copilot.
Авторы Юхо Лейнонен (Университет Аалто), Арто Эллас (Университет Аалто), Сами Сарса (Университет Аалто), Брент Ривз (Христианский университет Абилина), Пол Денни (Университет Окленда), Джеймс Пратер (Христианский университет Абилина) и Беккер подали заявки. Codex, как правило, загадочные сообщения об ошибках компьютера, и обнаружил, что модель ИИ может упростить понимание ошибок, предлагая простое описание на английском языке, что приносит пользу как учителям, так и ученикам.
«Большие языковые модели можно использовать для создания полезных и удобных для новичков расширений сообщений об ошибках программирования, которые иногда превосходят исходные сообщения об ошибках программирования по интерпретируемости и действенности», — заявляют ученые в своей статье.
Например, Python может выдать сообщение об ошибке: «SyntaxError: неожиданный конец файла при синтаксическом анализе». Кодекс, учитывая контекст задействованного кода и ошибки, предложил бы это описание, чтобы помочь разработчику: «Ошибка вызвана тем, что блок кода ожидает еще одну строку кода после двоеточия. Чтобы исправить проблему, я бы добавил еще одна строка кода после двоеточия».
Однако результаты этого исследования говорят больше о перспективах, чем о настоящей полезности. Исследователи загрузили сломанный код Python и соответствующие сообщения об ошибках в модель Codex, чтобы получить объяснения проблем, и оценили эти описания на: понятность; ненужный контент; наличие объяснения; правильное объяснение; наличие исправления; правильность исправления; и добавленная стоимость от исходного кода.
Результаты значительно различались по этим категориям. Большинство из них были понятны и содержали объяснение, но модель предлагала правильные объяснения для одних ошибок гораздо успешнее, чем для других. Например, ошибка «невозможно назначить вызов функции» была правильно объяснена в 83 процентах случаев, а «неожиданный EOF]при синтаксическом анализе» была правильно объяснена только в 11 процентах случаев. И среднее общее исправление сообщений об ошибках было правильным только в 33 процентах случаев.
«В целом оценщики сочли, что содержание, созданное Кодексом, то есть объяснение сообщения об ошибке и предлагаемое исправление, было улучшением по сравнению с исходным сообщением об ошибке чуть более чем в половине случаев (54 процента)», — говорится в документе.
Исследователи пришли к выводу, что, хотя объяснения сообщений об ошибках программирования и предлагаемые исправления, сгенерированные моделями больших языков, еще не готовы к использованию в производственной среде и могут ввести учащихся в заблуждение, они считают, что модели ИИ могут стать искусными в устранении ошибок кода при дальнейшей работе.
Ожидайте, что эта работа будет занимать технологическую отрасль, научные круги, правительство и другие заинтересованные стороны на долгие годы. ®
