Специалисты лаборатории Redwood Research Райан Гринблатт (Ryan Greenblatt) и Натан Ламберт (Nathan Lambert) оспорили утверждение разработчика Сальваторе Санфилиппо (Salvatore Sanfilippo) о принципиальной невозможности дистилляции языковых моделей с использованием API сторонних сервисов.
В центре дискуссии оказался метод дистилляции моделей — процесса, при котором компактная модель обучается на выходах более крупной системы. Санфилиппо, известный как создатель базы данных Redis, ранее утверждал, что API-запросы к закрытым моделям (например, через платные сервисы) не позволяют эффективно воспроизводить их поведение из-за ограничений доступа к внутренним состояниям и архитектуре.
Гринблатт и Ламберт, сотрудники некоммерческой исследовательской организации Redwood Research, опубликовали развёрнутый ответ, в котором привели контрпримеры успешной дистилляции через API. По их словам, ключевым фактором является не столько доступ к «сырым» данным модели, сколько грамотный подбор обучающего распределения и стратегии оптимизации. «Даже при ограниченном API можно добиться высокой точности воспроизведения, если правильно сконструировать набор запросов», — отметил Гринблатт в своём посте.
Авторы подчеркнули, что дистилляция через API уже применяется на практике, в том числе для создания специализированных моделей с меньшими вычислительными затратами. При этом они признали, что метод имеет ограничения: например, сложно воспроизвести поведение модели в редких или нестандартных сценариях. В качестве доказательства работоспособности подхода Ламберт сослался на недавние эксперименты Redwood Research, результаты которых планируется опубликовать в отдельном техническом отчёте.
Дискуссия отражает более широкий спор о возможностях и границах использования закрытых моделей для разработки открытых аналогов. Сторонники API-дистилляции утверждают, что она снижает порог входа для исследователей, не имеющих доступа к мощным вычислительным ресурсам. Критики, в свою очередь, указывают на риски нарушения лицензионных соглашений и потенциального ухудшения качества конечных моделей.