Андрей Карр (Andrew Carr), независимый исследователь в области машинного обучения, опубликовал анализ, в котором ставит под сомнение научную ценность подхода, использованного в модели Kimi 2.5 для обучения модели кодирования без дистилляции. Критику поддержал профессор Университета Карнеги — Меллона Грэм Нойбиг (Graham Neubig).
В своём анализе Карр обратил внимание на так называемые «traces» — следы работы модели Kimi 2.5, которые, по его словам, демонстрируют попытку обойти классический метод дистилляции моделей. Дистилляция предполагает передачу знаний от более крупной модели к меньшей, что позволяет сократить вычислительные затраты при сохранении качества. Однако в случае Kimi 2.5, как утверждает исследователь, разработчики использовали альтернативный подход, эффективность которого вызывает вопросы.
Грэм Нойбиг, эксперт по обработке естественного языка и профессор Университета Карнеги — Меллона, поддержал критику Карра. В своём комментарии он отметил, что избегание дистилляции не всегда оправдано с научной точки зрения, особенно если речь идёт о создании моделей для специфических задач, таких как генерация кода. По его словам, «традиционные методы дистилляции остаются золотым стандартом для обеспечения баланса между производительностью и ресурсоёмкостью».
Подход Kimi 2.5, разработанной китайской компанией Moonshot AI, ранее позиционировался как инновационный шаг в области обучения моделей кодирования. Однако публикация Карра и реакция Нойбига могут спровоцировать дискуссию о том, насколько оправданы альтернативные методы обучения в условиях, когда дистилляция уже доказала свою эффективность.
Анализ Карра доступен в его блоге, где подробно разбираются технические аспекты подхода Kimi 2.5.
Источники: X-пост Андрей Карр (Andrew Carr), 15 июля 2026; блог Андрей Карр.