Компания OpenAI заявила, что популярный бенчмарк для оценки возможностей моделей в решении задач программирования SWE-Bench Pro достиг уровня шума в 70% и больше не позволяет надежно сравнивать передовые модели. Об этом сообщается в официальном посте компании от 8 июля.
OpenAI прекращает использование бенчмарка SWE-Bench Pro, который ранее применялся для оценки способности моделей исправлять ошибки в реальном коде. По данным компании, бенчмарк достиг «потолка шума» в 70% — это означает, что дальнейшее улучшение результатов моделей на этом тесте не отражает реального прогресса в их возможностях. В OpenAI подчеркнули, что бенчмарк стал слишком насыщенным, чтобы надежно разделять топовые модели.
Решение вызвало дискуссию среди разработчиков и исследователей. Сооснователь Databricks Матей Захария (Matei Zaharia) отметил, что в компании уже давно используют собственные бенчмарки для оценки агентов на реальных задачах в многомиллионных кодовых базах. «Академические бенчмарки полезны, но каждая компания должна тестировать модели на своих задачах», — написал он в X.
Ряд экспертов поддержали решение OpenAI. Исследователь из Университета Иллинойса Талия Рингер (Talia Ringer) назвала ситуацию «ужасной», но признала необходимость обновления методов оценки. Профессор Уортонской школы бизнеса Итан Моллик (Ethan Mollick) выразил недоумение по поводу того, что OpenAI не публикует результаты другого бенчмарка — GDPval, разработанного для оценки автономных возможностей моделей на сложных задачах.
Вместо SWE-Bench Pro OpenAI предлагает использовать кастомизированные тесты, адаптированные под конкретные задачи и кодовые базы. Сооснователь стартапа Superconductor Сергей Караев (Sergey Karayev) продемонстрировал пример такого подхода: компания создала собственный бенчмарк на базе Rails-кода и регулярно обновляет его с учетом новых моделей, включая Grok 4.5.
Проблема насыщения бенчмарков не нова. Ранее аналогичные претензии высказывались и к другим тестам, включая медицинские бенчмарки для ИИ. Исследователь Танishq Абрахам (Tanishq Abraham) отметил, что многие оценки в индустрии «сломаны и неэффективны».