Тибо Соттьё (Thibault Sottiaux), ведущий инженер OpenAI по направлению Codex, обратился к разработчикам с просьбой привести примеры задач, которые существующие модели ИИ для программирования пока не способны выполнить.
В своём посте в социальной сети X Соттьё предложил сообществу поделиться конкретными сценариями, где инструменты на базе ИИ, такие как Codex или GitHub Copilot, терпят неудачу. Цель инициативы — выявить слабые места моделей и определить направления для дальнейших улучшений. По словам инженера, речь идёт о задачах, которые «человек может решить за разумное время, но ИИ не справляется даже при наличии чётких инструкций».
Откликнувшиеся разработчики привели примеры из разных областей: от работы с низкоуровневым кодом и оптимизации производительности до специфических задач вроде написания драйверов для устаревшего оборудования или интеграции с закрытыми корпоративными системами. Один из участников обсуждения, Брендан Долан-Гэвитт (Brendan Dolan-Gavitt), профессор Нью-Йоркского университета, отметил, что модели часто ошибаются в задачах, требующих глубокого понимания контекста или работы с нестандартными API. «ИИ может сгенерировать код, который выглядит правильно, но не учитывает ограничения конкретной среды выполнения», — написал он.
Обсуждение также затронуло вопросы безопасности и надёжности. Некоторые разработчики указали, что модели склонны предлагать решения с уязвимостями, если задача требует нестандартного подхода или работы с недокументированными особенностями систем. В частности, упоминались случаи, когда ИИ генерировал код с потенциальными уязвимостями типа «race condition» или некорректно обрабатывал исключения в критически важных приложениях.
Инициатива Соттьё вызвала интерес не только среди инженеров, но и в академической среде. Нейтан Бенаич (Nathan Benaich), партнёр венчурного фонда Air Street Capital, назвал сбор обратной связи «важным шагом для повышения практической применимости ИИ-инструментов». По его словам, подобные обсуждения помогают сместить фокус исследований с абстрактных метрик точности на реальные сценарии использования.