Детектор ИИ-текста своими руками: какие признаки нейрослопа ловит код и какие остаются живому редактору
Habr ·

Я разложил по проверкам своего детектора ИИ-текста 12 признаков нейрослопа, то есть текста, который выдала нейросеть и никто не вычитал. Кодом ловятся пять, из них два частично. Остальные семь держатся только на правилах для редактора. На пробе мимо скрипта прошли две типичные фразы-вводки: «В этой статье мы рассмотрим» и «Вывод простой» с двоеточием. Онлайн-детекторы отвечают процентом и не говорят, что править. Сам процент тоже ненадёжен: в работе Liang и соавторов семь детекторов в среднем приняли за машинные 61% эссе TOEFL, написанных людьми, для которых английский не родной. OpenAI свой классификатор закрыла летом 2023 года из-за низкой точности. Узкая проверка устроена по-другому: она называет фразу и правило, и с каждым срабатыванием можно спорить отдельно. Редакторы Википедии ведут открытый список признаков ИИ-текста и прямо пишут, что признак указывает на возможную проблему и сам по себе ничего не доказывает. Мой скрипт исходит из того же: он ищет следы невычитанного текста, авторство он не определяет. Общий балл этого детектора уже разбирали на Хабре . Читать далее
Я разложил по проверкам своего детектора ИИ-текста 12 признаков нейрослопа, то есть текста, который выдала нейросеть и никто не вычитал. Кодом ловятся пять, из них два частично. Остальные семь держатся только на правилах для редактора. На пробе мимо скрипта прошли две типичные фразы-вводки: «В этой статье мы рассмотрим» и «Вывод простой» с двоеточием. Онлайн-детекторы отвечают процентом и не говорят, что править. Сам процент тоже ненадёжен: в работе Liang и соавторов семь детекторов в среднем приняли за машинные 61% эссе TOEFL, написанных людьми, для которых английский не родной. OpenAI свой классификатор закрыла летом 2023 года из-за низкой точности. Узкая проверка устроена по-другому: она называет фразу и правило, и с каждым срабатыванием можно спорить отдельно. Редакторы Википедии ведут открытый список признаков ИИ-текста и прямо пишут, что признак указывает на возможную проблему и сам по себе ничего не доказывает. Мой скрипт исходит из того же: он ищет следы невычитанного текста, авторство он не определяет. Общий балл этого детектора уже разбирали на Хабре . Читать далее