Исследователи из Anthropic выяснили, что точность генерации кода моделью Claude возрастает с 77% до 91% при увеличении уровня предметной экспертизы пользователей. Результаты основаны на анализе взаимодействия разработчиков с ИИ-ассистентом.
Компания Anthropic опубликовала данные, демонстрирующие прямую зависимость между квалификацией пользователей и успешностью работы ИИ-модели Claude в задачах программирования. Согласно исследованию, при взаимодействии с опытными специалистами модель генерирует корректный код в 91% случаев, тогда как для менее подготовленных пользователей этот показатель составляет 77%.
Анализ проводился на основе реальных сценариев использования Claude в качестве инструмента разработки. Исследователи отмечают, что ключевым фактором повышения эффективности стало умение пользователей формулировать точные и структурированные запросы. В частности, эксперты чаще применяли специфические термины предметной области и детализированные инструкции, что позволяло модели точнее интерпретировать задачи.
Результаты подчеркивают важность обучения пользователей для максимально эффективного взаимодействия с ИИ-системами. Как пишет один из авторов исследования, Кэмерон Вулф (Cameron R. Wolfe), «качество входных данных определяет качество выходных — это правило работает и для больших языковых моделей». В Anthropic не раскрывают детали методологии, но указывают, что выборка включала разработчиков с различным уровнем опыта.
Публикация вызвала дискуссию среди специалистов по машинному обучению. Некоторые эксперты, в том числе Равид Шварц-Зив (Ravid Shwartz-Ziv), отмечают, что аналогичная зависимость наблюдается и у других ИИ-моделей, однако масштаб разницы между группами пользователей в случае Claude оказался неожиданно высоким.
Источники: X-пост Кэмерона Вулфа (Cameron R. Wolfe), 16 июня; публикация на платформе Digg.