В сети появились утекшие данные о новой модели OpenAI — GPT-5.6 Sol, которая набрала 7,8% на бенчмарке ARC-AGI-3, значительно опередив конкурентов. Однако результаты вызвали вопросы у экспертов из-за изменений в методологии оценки.
В соцсети X распространились скриншоты таблицы с результатами тестирования неопубликованной модели OpenAI — GPT-5.6 Sol. Согласно данным, модель показала рекордный результат в 7,8% на бенчмарке ARC-AGI-3, который оценивает способность систем к абстрактному мышлению. Предыдущий лидер, модель Opus 4.8 от Anthropic, набирала лишь 1,5%.
Эксперты отмечают, что GPT-5.6 Sol не только превзошла конкурентов по точности, но и продемонстрировала высокую эффективность. Как пишет Грег Камрадт (Greg Kamradt), исследователь в области ИИ, модель достигла 92,5% на ARC-AGI-2 при стоимости на порядок ниже, чем у предшественницы — GPT-5.5 Pro, выпущенной три месяца назад. При этом на более сложном бенчмарке ARC-AGI-3 результат оказался скромнее, но всё равно беспрецедентным для отрасли.
Однако данные вызвали скепсис у части сообщества. Лисан аль Гаиб (Lisan al Gaib), аналитик в области машинного обучения, указал на изменение правил оценки: если ранее лимит затрат на тестирование составлял 10 тыс. долларов, то для GPT-5.6 Sol он был увеличен до 25 тыс. «При официальной методологии оценки модель набрала бы 0%», — утверждает он. Кроме того, в другой таблице, опубликованной аль Гаибом, модель показала худшие результаты в математических задачах по сравнению с предыдущими версиями, что также вызвало вопросы.
Айдан Маклафлин (Aidan McLaughlin), сотрудник OpenAI, опубликовал подборку графиков, сравнивающих GPT-5.6 Sol с конкурирующими моделями, включая Claude от Anthropic. В частности, модель OpenAI обошла Fable 5 по соотношению стоимости и производительности на бенчмарке DeepSWE 1.1, который оценивает способность систем к решению инженерных задач.
Пока OpenAI официально не комментировала утечку. Результаты тестирования, если они подтвердятся, могут стать важным шагом в развитии систем искусственного интеллекта, однако споры вокруг методологии оценки подчёркивают необходимость прозрачных и стандартизированных бенчмарков.