Компания Databricks провела внутреннее тестирование агентов для автоматизации программирования на базе собственного многомиллионного кодового репозитория. Результаты показали, что открытые модели, включая GLM-5.2, не уступают коммерческим аналогам от OpenAI и Anthropic по соотношению цены и качества, а выбор оптимальной инфраструктуры («харнеса») может сократить затраты вдвое.
Внутренний бенчмарк Databricks охватил более 3000 инженеров и кодовую базу, развёрнутую в трёх облачных платформах. Как сообщил сооснователь и генеральный директор компании Али Годси (Ali Ghodsi), исследование проводилось на реальных задачах — от рефакторинга до написания новых функций — и включало несколько языков программирования. Основной вывод: открытые модели для генерации кода перестали быть «игрушками» и вышли на уровень коммерческих решений.
По словам ведущего исследователя Databricks Юйчэня Цзиня (Yuchen Jin), модели GLM-5.2, OpenAI и Anthropic оказались на одной парето-границе эффективности. При этом стоимость выполнения задач варьировалась в зависимости не только от модели, но и от используемого «харнеса» — программной оболочки, управляющей взаимодействием с LLM. Так, простой харнес Pi, разработанный независимым инженером, продемонстрировал такую же успешность, как и фирменные решения от вендоров, но с двукратной экономией затрат. «Сравнивать модели по стоимости токена уже недостаточно. Ключевой метрикой становится стоимость выполнения задачи», — отметил Цзинь.
Технический директор Databricks Матей Захария (Matei Zaharia) подчеркнул, что результаты исследования легли в основу разработки платформы Omnigent AI — «мета-харнеса», позволяющего динамически переключаться между моделями и оболочками в зависимости от задачи. Компания также внедрила инструмент Unity AI Gateway для централизованного анализа и контроля использования LLM. Подробности бенчмарка опубликованы в корпоративном блоге Databricks.
Результаты вызвали дискуссию в профессиональном сообществе. Некоторые разработчики усомнились в методологии тестирования, указав на отсутствие независимой аудитории и потенциальный конфликт интересов. Другие, напротив, отметили практическую ценность исследования для оптимизации затрат на ИИ-инструменты в крупных проектах.