Исследовательская лаборатория ByteDance-Seed опубликовала результаты анализа производительности агентов искусственного интеллекта на основе 38 000 часов тестов, показав, что их эффективность подчиняется логарифмически-сигмоидному закону масштабирования.
Исследователи из ByteDance-Seed представили EdgeBench — бенчмарк для оценки агентов ИИ, который охватывает данные, собранные за 38 000 часов работы моделей. Анализ выявил, что производительность агентов растёт нелинейно: после определённого порога улучшения замедляются, следуя логарифмически-сигмоидной кривой. Этот вывод может скорректировать ожидания разработчиков относительно дальнейшего масштабирования подобных систем.
В основе исследования лежит работа команды под руководством Динхуая Чжана (Dinghuai Zhang), научного сотрудника лаборатории. Как отмечается в сопроводительном материале, EdgeBench позволяет тестировать агентов в различных сценариях — от простых задач до сложных многоэтапных операций. «Мы обнаружили, что после достижения 80% от максимальной производительности дальнейшие улучшения требуют экспоненциально больших затрат ресурсов», — пишет Чжан в своём посте.
Результаты исследования уже вызвали дискуссию в сообществе. Ряд экспертов, включая Равида Шварца-Зива (Ravid Shwartz-Ziv) из Нью-Йоркского университета, отметили, что логарифмически-сигмоидная зависимость может быть характерна не только для агентов, но и для других классов моделей ИИ. В то же время некоторые специалисты, в частности Сонглинь Ян (Songlin Yang) из ByteDance-Seed, подчеркнули, что EdgeBench — лишь первый шаг к созданию универсальной методологии оценки агентов.
Публикация данных совпала с растущим интересом к агентам ИИ как к следующему этапу развития технологий. Если ранее основное внимание уделялось языковым моделям, то теперь компании всё чаще инвестируют в разработку автономных систем, способных выполнять задачи без прямого вмешательства человека. Выводы ByteDance-Seed могут повлиять на стратегии масштабирования таких проектов.
Источники: X-пост Динхуая Чжана (Dinghuai Zhang), 2 июля 2026; блог ByteDance-Seed.