В Вышке обсудили, как преподавателю понять, написал ли студент работу самостоятельно или с помощью ИИ, какие признаки выдают ИИ-генерацию и почему не существует универсального способа ее распознавания. В центре внимания также оказались роль профессиональной экспертизы и формирование культуры честного использования цифровых инструментов.

Активное распространение инструментов искусственного интеллекта ставит перед системой образования новые вызовы, связанные с академической честностью. На Мастерской учителя магистерской программы «Педагогическое образование» Института образования НИУ ВШЭ эксперты обсудили, как отличать сгенерированные тексты от самостоятельных работ и какие подходы помогают выстраивать честные правила использования ИИ в обучении.

Докладчицей выступила доцент и заместитель директора Департамента образовательных программ, эксперт Центра поддержки цифрового обучения Мадина Давлатова. Она подчеркнула, что позитивно относится к цифровым инструментам, но возникает необходимость отличать самостоятельно написанные студентом или школьником тексты от сгенерированных с помощью ИИ. Поскольку количество последних ежедневно растет, увеличивается и число кейсов академической недобросовестности.

Она поинтересовалась у участников, насколько активно, по их представлениям, они сами и их учащиеся применяют инструменты ИИ, а также о причинах их использования. Мадина Давлатова отметила, что экономия времени, которую преподаватели часто называют одной из причин обращения к ИИ, не всегда оказывается реальной: сопоставимые временные затраты могут уходить на формулировку промптов, последующие итерации и ручную корректировку текста. Вместе с тем важным преимуществом генеративных инструментов, по ее мнению, является их способность помогать преодолевать страх чистого листа.

Мадина Давлатова подчеркнула, что четких инструкций, позволяющих безошибочно отличить сгенерированный текст от написанного человеком, не существует, так как ИИ использует те же слова и конструкции, что и человек. При этом важно понимать, что и люди, и автоматические детекторы могут ошибаться. В ходе эксперимента, когда экспертам предложили для слепого рецензирования пять авторских и пять сгенерированных аннотаций статей, 68% респондентов верно определили искусственные тексты, а 14% ошибочно отнесли к ним работы, написанные людьми. Детектор, созданный на основе ИИ, справился с заданием лучше.

Среди методов определения текстов, написанных с использованием ИИ, докладчица выделила статистические визуализаторы, показывающие фрагменты с вероятной генерацией; Zero-shot — метод, проверяющий устойчивость текста при замене и перестановке слов (если смысл сохраняется, текст, вероятно, сгенерирован); детекторы применения ИИ; а также систему «Антиплагиат» и технологии водяных знаков, сохранение которых подтверждает искусственный характер текста. По ее мнению, наиболее удобным для работы с русскоязычными текстами является «Антиплагиат», тогда как Zero-shot чаще используется для англоязычных материалов. Кроме того, у этого детектора визуально понятный интерфейс, в котором «подозрительные» фрагменты выделяются цветом.

Однако, отметила Мадина Давлатова, алгоритмы детекторов достаточно хрупкие. Если пользователь, прибегающий к генерации, заменит несколько слов или изменит их порядок, модель может ошибиться. Так, исследования показывают, что детекторы демонстрируют определенную предвзятость к инофонам, интерпретируя ошибки в падежах, словоупотреблении и пунктуации как признаки генерации. Аналогичные проблемы возникают и при анализе цитат из нормативных актов или высказываний известных людей, однако в таких случаях педагог может проверить их подлинность.

Поэтому, полагает она, преподавателю важно опираться и на собственную экспертизу, включая профессиональную насмотренность, и сравнивать представленные работы с предыдущими заданиями учащихся.

Докладчица поделилась и практическими наблюдениями, которые помогают выявлять генерацию. В содержательной части таких текстов тезисы часто декларируются, но не раскрываются, мысли остаются незавершенными, примеры чрезмерно обобщены, в них отсутствуют конкретные детали и факты, не выражена собственная позиция автора. Кроме того, одни и те же суждения могут повторяться без выводов, что связано с ограничениями модели.

Среди лексических сигналов генерации она назвала большое количество вводных слов и логических связок, заглавные буквы после двоеточий, чрезмерное использование речевых шаблонов, а также либо слишком бедный, либо, напротив, чрезмерно богатый словарный запас. Характерным признаком может быть и стилистическая однородность текста без типичных для человеческого письма отклонений.

На искусственное происхождение текста может указывать и его структура: параграфы часто сбалансированы и содержат одинаковое число абзацев, в них много безличных предложений и перечислений, не всегда логически связанных между собой, а также обобщений к каждому параграфу и тексту в целом.

Опытные пользователи ИИ способны учитывать эти маркеры и обходить подозрения, дорабатывая промпты и внося правки вручную, однако далеко не все готовы тратить на это дополнительные усилия.

Для эффективного противодействия имитации самостоятельной работы и поддержания академической честности, по мнению Мадины Давлатовой, важно с самого начала определять правила и границы применения ИИ в учебном процессе и регулярно к ним возвращаться. Автоматически ставить ноль и отказывать в приеме работы — неверный подход. Сама докладчица не возражает против использования ИИ при выполнении рутинных задач, например при подготовке списка литературы. Однако при выявлении значительного количества признаков генерации она подробно описывает учащемуся соответствующие маркеры, прикладывает скриншоты фрагментов, которые считает сгенерированными, и в случае, если работа полностью или в значительной степени создана с помощью ИИ, предлагает переписать ее. Если же автор настаивает на самостоятельной подготовке текста, Мадина Давлатова задает дополнительные вопросы, ответы на которые позволяют оценить уровень самостоятельности и креативности при написании эссе или решении задачи. Она подчеркнула, что перед подготовкой итоговых работ по модулю или курсу необходимо четко обозначать пределы применения ИИ.

«Академическая честность важна, особенно в контексте применения ИИ. Если не научить учащихся правильно использовать эти инструменты и не определить границы допустимого, это может негативно сказаться на их образовательном опыте», — сказала докладчица.

Для снижения вероятности генерации работ она рекомендовала разнообразить типы заданий, оценивать оригинальность и вклад автора, а также запрашивать промежуточные материалы — фрагменты, черновики, описание процесса получения артефактов, что повышает уверенность в корректности выполненной работы.

Чтобы ИИ помогал, а не вредил учебному процессу, можно определить уровень его применения по пятиступенчатой шкале: полный запрет; использование для генерации идей и структурирования; применение для поиска литературы и редактирования; оценка и модификация результатов, полученных с помощью ИИ; и, наконец, полная интеграция ИИ в учебный процесс, что уже практикуется в ряде китайских университетов.

Учитель обществознания частной общеобразовательной школы «Новая школа» Максим Скоморохов отметил, что если раньше ученики при выполнении заданий чаще всего брали первую ссылку из поисковой выдачи, как правило Википедию, то теперь они используют голосового помощника Алису от Яндекса, при этом разные учащиеся могут получать разные ответы. Однако если на конкретный вопрос о малоизвестной стране несколько команд школьников дают идентичные формулировки, это может свидетельствовать о применении генерации.

Руководитель департамента правового регулирования бизнеса Факультета права НИУ ВШЭ, профессор Наталья Ерпылева обратила внимание, что в правовых текстах ИИ нередко выдумывает кейсы и даже нормативные акты, хотя в последнее время фиктивные цитаты, авторы и их работы в сгенерированных материалах встречаются реже.

Подводя итоги семинара, Мадина Давлатова предположила, что нормативы применения ИИ при выполнении учебных работ и методики определения генерации будут формироваться еще долго, однако возвращение к устным экзаменам она считает нецелесообразным. По ее мнению, нормы использования ИИ следует закреплять в этических принципах университета и правилах поведения.

Она также подчеркнула, что экспертность преподавателя остается ключевым фактором: если отдельные фрагменты, выглядящие как сгенерированные, являются точными цитатами из нормативной или научной литературы, они не должны учитываться при оценке «искусственности» работы.

По наблюдениям докладчицы, учащиеся чаще всего используют генерацию при создании презентаций, добавляя «для красоты» оформление, созданное ИИ или с его помощью. Если же текст презентации основан на конспекте, применение генерации на раннем этапе обычно хорошо заметно: иногда пользователи забывают удалить из текста рекомендации «чужого разума».

При написании эссе и других письменных работ вероятность генерации возрастает при наличии чрезмерно подробных инструкций со стороны преподавателя: чем детальнее описан ожидаемый результат, тем выше риск обращения к ИИ.