Создатель бенчмарка LisanBench Лун Ван (Lisan al Gaib) проанализировал 4000 постов в X и обнаружил, что средняя тональность упоминаний Anthropic составила 6,63 балла против 4,89 у OpenAI. Исследование опубликовано 6 июня.
Лун Ван, разработчик инструмента оценки качества языковых моделей LisanBench, представил результаты анализа тональности упоминаний двух ведущих разработчиков ИИ — Anthropic и OpenAI — в социальной сети X. Согласно данным, собранным с помощью модели Lisan al Gaib, средний балл сентимента для Anthropic достиг 6,63, тогда как OpenAI получила 4,89 по шкале от 0 до 10.
Ван отметил, что исследование основано на выборке из 4000 постов, опубликованных за последние три месяца. В качестве ключевых факторов, повлиявших на результаты, он назвал реакцию пользователей на релизы моделей Claude 3.5 Sonnet и обновления политики безопасности Anthropic. «Пользователи чаще отмечают прозрачность и этические подходы Anthropic, что отражается в более высоких оценках», — написал Ван в сопроводительном посте.
Результаты исследования вызвали дискуссию среди экспертов по ИИ. Профессор Нью-Йоркского университета Гэри Маркус (Gary Marcus) в комментарии к посту Вана указал на ограниченность выборки и потенциальные искажения, связанные с активностью отдельных сообществ в X. При этом он признал, что данные LisanBench могут служить индикатором общественного восприятия брендов в индустрии.
Исследование не включало сравнение с другими игроками рынка, такими как Google DeepMind или Mistral AI, однако Ван заявил о планах расширить анализ в будущем. Полные результаты и методология доступны в техническом отчёте на платформе Digg.
Источники: X-пост Лун Вана (Lisan al Gaib), 6 июня; блог Digg.