Исследователь из Кембриджского университета Херби Брэдли (Herbie Bradley) утверждает, что закрытые лаборатории, такие как OpenAI и Google DeepMind, используют строгие внутренние системы оценки моделей, чтобы предотвратить их оптимизацию под публичные тесты.
Херби Брэдли, научный сотрудник Кембриджского университета и соавтор исследования по оценке языковых моделей, опубликовал тезисы, ставящие под сомнение объективность публичных бенчмарков в индустрии ИИ. По его словам, ведущие компании, разрабатывающие закрытые модели, применяют внутренние системы оценки, которые жёстче и разнообразнее общедоступных тестов. Это позволяет избежать ситуации, когда модели «подгоняются» под известные публичные метрики, что может искажать реальную картину их возможностей.
Брэдли отмечает, что проблема переобучения под бенчмарки становится особенно острой по мере роста конкуренции между лабораториями. В условиях, когда результаты тестов напрямую влияют на инвестиции и репутацию, у разработчиков появляется стимул оптимизировать модели именно под эти тесты, а не под реальные задачи. «Внутренние оценки часто включают сценарии, которые никогда не публикуются, — пишет исследователь. — Это снижает риск того, что модель будет хорошо работать только на известных данных».
При этом Брэдли не называет конкретные примеры таких практик, ссылаясь на закрытость индустрии. Однако его утверждения перекликаются с более ранними обсуждениями в сообществе, где критики указывали на ограниченность публичных бенчмарков вроде MMLU или HellaSwag. В частности, в прошлом году группа исследователей из Стэнфорда и MIT опубликовала работу, показывающую, как модели могут демонстрировать высокие результаты на тестах, не обладая реальным пониманием задач.
Вопрос о прозрачности оценки моделей остаётся одним из ключевых в дискуссиях о регулировании ИИ. Если закрытые лаборатории действительно полагаются на непубличные метрики, это может затруднить независимую верификацию их заявлений о прогрессе.
Источники: X-пост Херби Брэдли (Herbie Bradley), 4 июля 2026 года; блог Digg Tech.