Глава Microsoft Сатья Наделла (Satya Nadella) и сооснователь Applied Compute Яш Патил (Yash Patil) выступили за отказ от универсальных метрик оценки моделей искусственного интеллекта в пользу частных бенчмарков, адаптированных под бизнес-задачи.
Крупные технологические компании и предприятия должны отказаться от использования общих бенчмарков для оценки производительности моделей искусственного интеллекта. Об этом заявил глава Microsoft Сатья Наделла в дискуссии с сооснователем Applied Compute Яшем Патилом, чей пост на платформе X стал поводом для обсуждения в отрасли.
По словам Патила, универсальные метрики, такие как оценки в тестах MMLU или HellaSwag, не отражают реальную эффективность ИИ-систем в корпоративных сценариях. «Общие бенчмарки измеряют лишь способность модели отвечать на абстрактные вопросы, а не решать конкретные бизнес-задачи», — написал он. Патил предложил компаниям разрабатывать собственные тесты, учитывающие специфику их данных, процессов и требований к безопасности.
Наделла поддержал эту позицию, отметив, что Microsoft уже внедряет подобный подход в работе с корпоративными клиентами. «Каждое предприятие уникально, и его ИИ-решения должны оцениваться по тем критериям, которые важны именно для него», — заявил глава компании. Он также подчеркнул, что частные бенчмарки позволяют точнее отслеживать прогресс моделей в условиях ограниченного доступа к данным и строгих требований к конфиденциальности.
В дискуссии приняли участие и другие представители отрасли. Сооснователь Applied Compute Ли Мари Брасвелл (Leigh Marie Braswell) указала на проблему «гонки за метриками», когда компании оптимизируют модели под высокие баллы в общедоступных тестах, жертвуя при этом их применимостью в реальных задачах. Инвестор Эрик Вишрия (Eric Vishria) добавил, что частные бенчмарки могут стать конкурентным преимуществом для предприятий, так как позволят быстрее адаптировать ИИ под изменяющиеся бизнес-условия.
Applied Compute, основанная в 2025 году, специализируется на разработке инструментов для оценки и оптимизации ИИ-моделей в корпоративном секторе. Компания сотрудничает с Microsoft и другими крупными игроками рынка, помогая клиентам создавать кастомизированные системы тестирования.
Источники: X-пост Яша Патила, 26 июня 2026; X-пост Сатьи Наделлы, 26 июня 2026.