Старший научный сотрудник Meta Лукас Бейер (Lucas Beyer) инициировал дискуссию о целесообразности масштабирования параметров в моделях смеси экспертов (MoE), после того как команда DeepSeek усомнилась в преимуществах активных параметров перед общим числом параметров в таких архитектурах.
В центре спора — публикация исследователей из DeepSeek, которые в июне представили новую версию своей языковой модели DeepSeek-V2. В сопроводительном техническом отчёте они утверждали, что при оценке производительности MoE-архитектур ключевым показателем должно быть не общее число параметров, а количество активных параметров, задействованных при обработке конкретного запроса. По их данным, модели с меньшим числом активных параметров могут демонстрировать сопоставимое или даже превосходящее качество при меньших вычислительных затратах.
Лукас Бейер, работающий в подразделении Meta FAIR (Fundamental AI Research), в своём посте в X подверг критике этот подход. Он отметил, что упор на активные параметры игнорирует фундаментальные ограничения MoE-архитектур, включая сложности с распределением нагрузки между экспертами и рост затрат на коммуникацию между ними. «Если мы говорим о масштабировании, то должны учитывать не только активацию, но и общую архитектурную эффективность», — написал Бейер. Его позицию поддержали несколько исследователей, включая Александра Дориа (Alexander Doria) из Hugging Face, который указал на проблемы с оптимизацией маршрутизации в MoE-моделях.
В ответ на критику представители DeepSeek, в том числе пользователь X под ником Teortaxes, отстаивали свою методологию. Они подчеркнули, что их подход позволяет снизить потребление памяти и ускорить обучение без потери качества. «Наши результаты показывают, что при правильной настройке MoE-архитектуры могут быть более эффективными, чем плотные модели, даже при меньшем числе активных параметров», — заявил один из авторов исследования. Дискуссия также затронула вопросы воспроизводимости результатов: ряд участников, включая Викашь Кумара (Vikhyat Kumar) из NVIDIA, потребовали предоставить доступ к исходным данным и коду для независимой проверки.
Спор выходит за рамки технических деталей и затрагивает более широкую проблему оценки производительности языковых моделей. Традиционно в индустрии принято сравнивать модели по общему числу параметров, однако рост популярности MoE-архитектур ставит этот подход под вопрос. Эксперты отмечают, что без единых стандартов оценки сложно объективно сравнивать модели разных архитектур, что может замедлить прогресс в области.