Исследователь в области машинного обучения Себастьян Рашка (Sebastian Raschka) привлёк внимание к научной работе, которая ставит под сомнение эффективность использования контекстных файлов, созданных большими языковыми моделями (LLM), для повышения производительности ИИ-агентов, пишущих код.
Себастьян Рашка, ведущий специалист по ИИ в компании Lightning AI и автор книги «Python для машинного обучения», опубликовал в X пост с анализом недавнего исследования. В работе оценивалась практика добавления в репозитории специальных контекстных файлов, автоматически сгенерированных LLM, — таких как README-AI или аналогичные решения. Предполагалось, что эти файлы помогут ИИ-агентам лучше ориентироваться в коде и точнее выполнять задачи.
Однако результаты исследования оказались неутешительными. Как пишет Рашка, эксперименты показали, что наличие таких файлов не только не улучшает качество работы ИИ-кодогенераторов, но в некоторых случаях даже снижает его. Авторы работы тестировали несколько популярных агентов, включая Devin, OpenHands и другие, на наборе из 150 задач. Прироста производительности не зафиксировано ни по одному из ключевых метрик: точности выполнения задач, скорости или количеству ошибок.
«Это важный сигнал для индустрии, — отметил Рашка. — Мы часто полагаемся на эвристики вроде „больше контекста — лучше результат“, но данные говорят об обратном». Он подчеркнул, что проблема может крыться в качестве самих сгенерированных файлов: LLM склонны создавать избыточные или нерелевантные описания, которые только запутывают агентов.
Исследование также обращает внимание на альтернативные подходы — например, динамическое формирование контекста на основе конкретной задачи или использование структурированных метаданных вместо свободного текста. Пока эти методы остаются предметом дальнейших экспериментов.
Источники: X-пост Себастьяна Рашки (Sebastian Raschka), 7 июня 2026; исследование, упомянутое в публикации.