Исследователи из Китая представили результаты эксперимента, в котором модель GLM-4-9B-Chat, обученная методом дистилляции, показала качество, сопоставимое с Claude 3 Opus, при этом используя значительно меньше исходных данных. Работа ставит под сомнение распространённое мнение о необходимости огромных объёмов обучающей информации для достижения высоких показателей.
Китайская лаборатория Zhipu AI опубликовала результаты тестирования модели GLM-4-9B-Chat, которая продемонстрировала уровень производительности, близкий к одной из ведущих коммерческих моделей — Claude 3 Opus от Anthropic. Особенность подхода заключается в использовании метода дистилляции: вместо обучения на гигантских массивах данных модель «училась» на ответах более крупных систем, что позволило сократить объём необходимой информации.
Авторы исследования утверждают, что их работа опровергает тезис о неизбежности дефицита высококачественных данных для обучения передовых моделей ИИ. В частности, GLM-4-9B-Chat обучалась на наборе из 10 трлн токенов, что на порядки меньше, чем объёмы данных, используемые для обучения сопоставимых по качеству моделей. При этом на ряде бенчмарков, включая MMLU и HumanEval, модель показала результаты, не уступающие Claude 3 Opus.
Один из участников обсуждения, инженер и исследователь Бефф Джезос (Beff Jezos), отметил, что эксперимент «переворачивает представления о масштабировании моделей». «Если дистилляция позволяет достигать таких результатов с меньшими затратами, это может изменить экономику разработки ИИ», — написал он в своём посте. При этом другие эксперты, включая представителей западных лабораторий, воздержались от комментариев, сославшись на необходимость независимой верификации данных.
Результаты исследования опубликованы в техническом отчёте Zhipu AI, где подробно описаны методология дистилляции и архитектура модели. В документе также приводятся сравнительные тесты с другими открытыми и коммерческими моделями, включая Llama 3 и GPT-4.
Источники: X-пост Беффа Джезоса (Beff Jezos), 19 июня 2026; технический отчёт Zhipu AI.