Новая версия модели OpenAI — GPT-5.6-Sol — продемонстрировала превосходство над конкурентами, включая Claude Fable-5 от Anthropic, в ключевом бенчмарке для оценки навыков программирования DeepSWE, при этом обойдясь дешевле в расчете на задачу. Об этом свидетельствуют данные, опубликованные в X (Twitter) исследователями и разработчиками.
Модель GPT-5.6-Sol, разработанная OpenAI, впервые заняла первое место в рейтинге Code Arena Frontend, опередив по ряду показателей Claude Fable-5 — флагманскую модель Anthropic для решения задач в области программной инженерии. Однако основным достижением стала победа в бенчмарке DeepSWE, который оценивает способность моделей работать с реальными репозиториями кода, а не просто генерировать отдельные функции.
По данным исследователя Рохана Паула (Rohan Paul), GPT-5.6-Sol решает около 72–73% задач в DeepSWE при средней стоимости выполнения одной задачи в $8,4. Для сравнения, Claude Fable-5 справляется с 70% задач, но обходится в $13–22 за каждую. Бенчмарк DeepSWE включает 113 задач, требующих навигации по репозиториям, диагностики ошибок, редактирования кода, использования инструментов и многократных исправлений. Тестирование проводится на 91 репозитории и охватывает пять языков программирования.
Результаты вызвали бурную реакцию в сообществе. Сооснователь платформы t3.gg Тео Браун (Theo Browne) отметил, что GPT-5.6-Sol показывает «значительно лучшие результаты» в сравнении с предыдущими версиями, хотя другие эксперты, в том числе аналитик Джед1 Куант (Jed1 Quant), утверждают, что модели находятся «примерно на одном уровне». В то же время ряд комментаторов обратили внимание на экономическую эффективность новой модели OpenAI.
В своем информационном бюллетене Паул подчеркнул, что DeepSWE — это не просто тест на генерацию кода, а инструмент для оценки способности моделей выполнять сложные инженерные задачи в реальных условиях. Каждая задача предполагает внесение изменений в существующий репозиторий, а успешность решения проверяется автоматическими верификаторами.
Помимо DeepSWE, GPT-5.6-Sol также занял первое место в рейтинге Code Arena Frontend, что подтверждает его лидерство в нише моделей для программирования. На фоне этого успеха OpenAI продолжает укреплять позиции на рынке, где конкуренция между разработчиками ИИ-моделей обостряется с каждым релизом.