Компания Anthropic представила обновлённую версию языковой модели Claude 3.5 Sonnet с увеличенным до 1 млн токенов контекстным окном. Модель показала рекордный результат на бенчмарке SWE-bench Pro — 63,2%.
Anthropic обновила флагманскую модель семейства Claude, расширив её возможности работы с длинными текстами. Новая версия Claude 3.5 Sonnet поддерживает контекст до 1 млн токенов, что позволяет обрабатывать документы объёмом до 700 тыс. слов или кодовые базы из десятков тысяч строк. По данным компании, модель стала первой среди публично доступных, преодолевшей отметку в 60% на бенчмарке SWE-bench Pro, предназначенном для оценки способности ИИ-систем решать реальные задачи по исправлению ошибок в программном коде.
Результат в 63,2% на SWE-bench Pro означает, что модель корректно справляется с более чем шестью из десяти задач, требующих анализа кода, выявления багов и их исправления. Для сравнения: предыдущая версия Claude 3 Sonnet показывала на этом тесте около 43%, а конкурирующие модели от OpenAI и Google DeepMind — менее 50%. Anthropic не раскрывает технические детали улучшений, но в блоге компании отмечается, что ключевую роль сыграли оптимизация архитектуры трансформера и новые методы посттренировочной настройки.
Модель доступна пользователям через API и веб-интерфейс Claude.ai. Стоимость токена осталась на уровне предыдущей версии: 3 доллара за миллион входных токенов и 15 долларов за миллион выходных. В Anthropic подчёркивают, что расширение контекста не привело к росту задержек при генерации ответов — среднее время отклика осталось в пределах 1–2 секунд для большинства запросов.
Эксперты отмечают, что увеличение контекстного окна до 1 млн токенов открывает новые возможности для применения ИИ в юриспруденции, медицине и научных исследованиях, где требуется анализ объёмных документов. «Это не просто количественное улучшение, а качественный скачок, — пишет в X аналитик компании SemiAnalysis Дилан Пател (Dylan Patel). — Теперь можно загружать в модель целые кодовые базы или медицинские карты пациентов за несколько лет и получать осмысленные ответы».
Вместе с новой моделью Anthropic анонсировала инструмент для визуализации внимания модели, который позволяет разработчикам анализировать, на какие части контекста ИИ обращает больше всего внимания при генерации ответа. Инструмент доступен в ограниченной бета-версии для корпоративных клиентов.