Ученые проверили Copilot на GitHub с точки зрения безопасности и заявили, что они обнаружили, что примерно в 40% случаев код, сгенерированный помощником по программированию, в лучшем случае содержит ошибки, а в худшем – потенциально уязвим для атак.
Copilot прибыл с несколькими предостережениями, такими как его склонность к созданию неправильного кода, его склонность к раскрытию секретов и его проблемы с оценкой лицензий на программное обеспечение. Но помощник по программированию ИИ, основанный на нейронной сети OpenAI Codex, также имеет еще один недостаток: как и люди, он может создавать ненадежный код.
Возможно, это неудивительно, учитывая, что Copilot был обучен на исходном коде с GitHub и поглотил все ошибки в нем. Тем не менее, пять специалистов, связанных с инженерной школой Тандон Нью-Йоркского университета, сочли необходимым количественно оценить степень, в которой Copilot выполняет изречение «мусор на входе, мусор на выходе».
