Можно ли обмануть ИИ-детектор: эксперименты с редактированием и переводом
Habr ·
Что осталось за кадром в прошлый раз? В статье «О вузовских ИИ‑детекторах: что они могут, а чего нет. Неочевидные результаты собственного тестирования» [ https://habr.com/ru/articles/1101184/ ] я сделала вывод о том, что актуальные версии Думейта, Антиплагиата и GPTZero позволяют корректно определить автора текста, и предложила для этого более эффективный подход, основанный на оценке доли человеческого текста вместо доли ИИ. Однако на том этапе тестирования я использовала только исходные/первичные тексты, которые либо не подвергались никакой доработке (мои собственные тексты и их сгенерированные «близнецы»), либо тексты с неизвестным происхождением и детектированным смешанным авторством. Между тем в настоящее время остается все меньше и меньше студенческих работ, в написании которых ИИ не поучаствовал тем или иным способом - в качестве поисковика, генератора, переводчика или редактора. Работы ИИ-детекторам все прибавляется, а вместе с ней растет и количество претензий к оценкам детекторов, которые высказываются уже не только нерадивыми студентами, но и отличниками. Утверждается, в частности, что даже полностью человеческий текст детекторы могут оценивать как написанный с существенным участием ИИ. Особенно поразительна история студентки Кемеровского университета Ангелины, которая «вынуждена была 13 раз переписывать диплом», пока Антиплагиат не оценил его как авторский. К сожалению, все такие утверждения, как правило, голословны - очень бы хотелось проверить реальные случаи и понять, в чем именно может быть причина ложноположительных оценок ИИ. Читать далее