В статье, опубликованной в журнале Patterns, исследователи показывают, что компьютерные программы, обычно используемые для определения того, был ли текст написан искусственным интеллектом, склонны ошибочно относить статьи, написанные не носителями английского языка, к числу сгенерированных ИИ. Исследователи предостерегают от использования подобных детекторов текстов, написанных искусственным интеллектом, из-за их ненадежности, что может негативно сказаться на людях, в том числе студентах и соискателях.
«Наша текущая рекомендация заключается в том, что мы должны быть крайне осторожны и, возможно, стараться избегать использования таких детекторов, насколько это возможно», — говорит старший автор исследования Джеймс Зоу из Стэнфордского университета. «Это может иметь значительные последствия, если эти детекторы используются для проверки таких вещей, как заявления о приеме на работу, вступительные сочинения в колледж или школьные задания».
Такие инструменты искусственного интеллекта, как чат-бот ChatGPT компании OpenAI, могут составлять эссе, решать задачи по естественным наукам и математике, а также создавать компьютерный код. Преподаватели по всему миру все больше обеспокоены использованием ИИ в работах учащихся, и многие из них начали использовать детекторы GPT для проверки заданий учащихся. Эти детекторы представляют собой платформы, которые, как утверждается, способны определить, что текст сгенерирован искусственным интеллектом, однако их надежность и эффективность пока не проверены.
Цзоу и его команда испытали семь популярных детекторов GPT. Они прогнали через детекторы 91 сочинение на английском языке, написанное не носителями английского языка для общепризнанного экзамена на знание английского языка, называемого Test of English as a Foreign Language, или TOEFL. Более половины эссе были ошибочно помечены как написанные искусственным интеллектом, причем один из детекторов признал написанными искусственным интеллектом почти 98% эссе. Для сравнения, детекторы смогли правильно классифицировать более 90% сочинений, написанных восьмиклассниками из США, как написанные человеком.
Цзоу объясняет, что алгоритмы этих детекторов работают на основе оценки сложности текста, то есть того, насколько неожиданным является выбор слов в сочинении. «Если вы используете обычные английские слова, детекторы дадут низкий балл, что означает, что сочинение, скорее всего, будет помечено как сгенерированное ИИ. Если же вы используете сложные слова, то алгоритмы с большей вероятностью классифицируют его как написанное человеком», — говорит он. Это связано с тем, что большие языковые модели, такие как ChatGPT, обучены генерировать текст с низким уровнем сложности, чтобы лучше имитировать речь обычного человека, добавляет Цзоу.
В результате более простой выбор слов, используемый авторами, не являющимися носителями английского языка, делает их более уязвимыми для пометки «написанные с использованием искусственного интеллекта».
Затем команда поместила написанные человеком эссе TOEFL в ChatGPT и попросила его отредактировать текст, используя более сложный язык, включая замену простых слов на сложную лексику. Детекторы GPT отметили эти эссе, отредактированные искусственным интеллектом, как написанные человеком.
«Мы должны с большой осторожностью использовать любые из этих детекторов в учебных аудиториях, поскольку в них все еще много предвзятости, и их легко обмануть, используя лишь минимальное количество подсказок», — говорит Зоу. Использование детекторов GPT может иметь последствия и за пределами сферы образования. Например, поисковые системы, такие как Google, обесценивают контент, созданный искусственным интеллектом, что может невольно заставить замолчать авторов, не являющихся носителями английского языка.
Хотя инструменты ИИ могут оказать положительное влияние на обучение студентов, детекторы GPT должны быть усовершенствованы и оценены до начала их использования. По мнению Цзоу, одним из способов совершенствования таких детекторов может стать тренировка алгоритмов на более разнообразных видах письменных работ.
