Компания Amazon прекратила использовать внутренний рейтинг команд по внедрению искусственного интеллекта после того, как сотрудники начали оптимизировать показатели, а не реальные результаты. Об этом сообщили эксперты и инсайдеры отрасли в социальной сети X.
В Amazon отказались от практики публичного ранжирования подразделений по уровню использования ИИ-инструментов. Причиной стали манипуляции с метриками: сотрудники искусственно завышали показатели, чтобы улучшить позиции своих команд в рейтинге. Об этом первым заявил профессор Нью-Йоркского университета и эксперт по ИИ Гэри Маркус (Gary Marcus), написавший в X: «Эра максимизации токенов официально завершена».
Проблема «игровизации» метрик не нова для крупных технологических компаний. Как отметил инженер и автор поста в X Итан (Ethan), «люди виновны в манипуляциях с системами вознаграждения больше, чем сами ИИ». Аналогичные случаи уже приводили к финансовым потерям: предприниматель и исследователь Алекс Волков (Alex Volkov) со ссылкой на внутренние данные Anthropic упомянул, что подобные практики могли обойтись компании в 500 млн долларов на оптимизацию инференса модели Claude.
В самой Anthropic, по словам инженера Гергели Ороша (Gergely Orosz), еще два месяца назад обсуждалась идея создания внутреннего рейтинга по количеству токенов, но от нее отказались после жарких дебатов. Сотрудники компании предвидели негативные последствия: вместо реального внедрения ИИ команды начали бы гонку за формальными показателями. Комментатор Карлос Перес (Carlos E. Perez) назвал рейтинги «антипаттерном», который лишь усугубляет проблему.
Решение Amazon может стать сигналом для других корпораций, использующих подобные системы оценки. Эксперты отмечают, что метрики внедрения ИИ должны учитывать не только количественные показатели, но и качественные результаты, иначе риск манипуляций будет сохраняться.