Профессор Гарвардского университета и исследователь OpenAI Боаз Барак (Boaz Barak) сообщил, что система обнаружения искусственного интеллекта ошибочно классифицировала эссе его дочери как полностью сгенерированное ИИ. Инцидент вызвал дискуссию о надежности таких инструментов в образовательной среде.
Боаз Барак, профессор компьютерных наук Гарвардского университета и участник программы по выравниванию ИИ в OpenAI, опубликовал пост о ложноположительном результате детектора машинного текста. По его словам, эссе, написанное его дочерью вручную для школьного задания, было помечено системой как на 100% сгенерированное искусственным интеллектом. Барак не уточнил, какой именно инструмент использовался для проверки, однако отметил, что подобные ошибки ставят под вопрос применимость таких технологий в образовании.
Инцидент поднимает проблему ложных срабатываний детекторов ИИ, которые все чаще внедряются в учебных заведениях для борьбы с плагиатом. Исследователи отмечают, что современные модели не способны надежно отличать человеческий текст от машинного, особенно если речь идет о коротких или стилистически простых работах. «Эти системы не учитывают контекст — они анализируют статистические паттерны, которые могут совпадать у человека и машины», — прокомментировал ситуацию Паскуале Минервини (Pasquale Minervini), специалист по машинному обучению из Эдинбургского университета.
В ответ на пост Барака другие пользователи поделились аналогичными случаями. Сьюзан Чжан (Susan Zhang), инженер Meta, отметила, что подобные ошибки характерны для детекторов, обученных на ограниченных наборах данных. «Если модель не видела примеров текстов, написанных подростками, она будет ошибаться», — написала она. В свою очередь, эксперты призывают образовательные учреждения пересмотреть подходы к проверке работ, делая ставку на содержательный анализ, а не на автоматизированные инструменты.
В блоге OpenAI ранее признавалось, что детекторы ИИ несовершенны и могут давать ложные результаты. Компания рекомендовала использовать их лишь как вспомогательный инструмент, а не как единственное основание для принятия решений.