Генеративные модели обучаются на текстах людей, но их стиль «письма» все еще остается специфическим: ИИ строит однообразные и шаблонные фразы, слишком предсказуемую структуру предложений, использует много повторов. Кроме того, нейросети часто создают несуществующие ссылки, делают логические ошибки, используют прямые кальки при переводе с английского языка на русский.
Перспективный способ быстро распознавать машинное происхождение текстов — использовать ИИ-алгоритмы. Но большинство из них плохо работают с текстами на русском языке и различают только две категории текстов: написанных человеком или полностью сгенерированных ИИ. Главная сложность — распознать нейросеть в тексте, который изначально написан человеком и пропущен через модель для улучшения стиля и исправления ошибок.
Для решения этой задачи ученые из лаборатории компьютерных технологий ИТМО разработали детектор, который по содержанию и стилю определяет, кем написан текст: человеком, ИИ или ИИ с перефразированием. Алгоритм работает с высокой точностью — при анализе 5,5 тысяч русскоязычных материалов он в 94% случаев правильно определил, кем написан текст: человеком или ИИ. В случае, когда среди источников текстов был третий вариант — «ИИ с перефразированием», алгоритм различал категории со средней точностью в 80%.
Детектор опирается на две независимые большие языковые модели (LLM) и сравнивает, насколько текст «удивительный» или «неожиданный» для них. Если мнение моделей сильно расходится, то текст, скорее всего, написан нейросетью. Для корректной работы с русским языком исследователи добавили анализ лингвистических признаков текста: длины слов и предложений, распределения частей речи, разнообразия лексики, читаемости и других. На основе всех признаков классификатор-нейросеть выдает один из трех ответов о происхождении текста: «человек», «ИИ», «перефразированный ИИ».
Исследователи обучали классификатор самостоятельно. Для этого авторы создали свой корпус из более чем четырех тысяч текстов на русском: написанных людьми (научные статьи, эссе и новости), перефразированных человеческих текстов и полностью сгенерированных ИИ (ChatGPT, Gemini, DeepSeek) текстов на те же темы.
Отдельный инструмент — обфускатор — представляет собой «точечный» редактор, созданный на основе наработок детектора. Алгоритм очищает текст от лишних переносов, превращает списки в абзацы и помечает или переписывает «подозрительные» предложения, сохраняя смысл и читаемость. С одной стороны, инструмент пригодится для проверки устойчивости детекторов: для этого сгенерированный ИИ текст нужно «переписать» с помощью обфускатора и прогнать через детектор. С другой стороны, модуль поможет при подготовке текстов к публикации без стилистических признаков ИИ. При этом авторы выступают против использования инструмента для маскировки источников и подчеркивают важность корректной маркировки ИИ-контента.
Алгоритм пригодится в сфере образования для проверки работ, в медиа для маркировки ИИ-контента, а также поможет отслеживать халатное использование ИИ в важных отчетах и переписке внутри компаний за счет автоматической проверки текстов. Демоверсия алгоритма уже опубликована в открытом доступе на Hugging Face Spaces: любой зарегистрированный пользователь может добавить текст и увидеть метрики.
«Сейчас мы разрабатываем удобный интерфейс для нашего сервиса и готовим пакетную обработку, которая позволит анализировать несколько текстов одновременно и ускорить процесс. Осенью мы будем набирать дополнительную команду из молодых исследователей, чтобы развивать проект, а уже к весне попытаемся внедрить сервис в пилотном режиме в ИТМО — для поиска и исправления машинного текста в дипломных работах студентов», — рассказал научный руководитель проекта, сотрудник факультета информационных технологий и программирования ИТМО Вячеслав Шаламов.
Вячеслав Шаламов. Фото из личного архива спикера
