Компания DeepSeek и исследователи Пекинского университета опубликовали фреймворк DSpark, который позволяет увеличить скорость работы языковой модели DeepSeek-V4 до 85% за счёт технологии speculative decoding. Разработка была анонсирована 27 июня.
Китайская компания DeepSeek, специализирующаяся на разработке больших языковых моделей, совместно с исследователями Пекинского университета представила фреймворк DSpark. Технология основана на методе speculative decoding — подходе, который позволяет ускорить генерацию текста моделями за счёт параллельной обработки нескольких токенов.
По данным разработчиков, DSpark обеспечивает прирост производительности до 85% для модели DeepSeek-V4 без потери качества выходных данных. Фреймворк оптимизирован для работы на современных аппаратных платформах, включая графические процессоры NVIDIA, и поддерживает интеграцию с другими языковыми моделями.
«Speculative decoding — это не новая идея, но её практическая реализация в DSpark демонстрирует значительный прогресс в оптимизации inference-процессов», — отметил в комментарии для сообщества разработчиков Лун Ван (Lun Wang), один из авторов публикации. Технические детали фреймворка доступны в репозитории на GitHub, а также в сопроводительной статье на arXiv.
Разработка DSpark стала очередным шагом DeepSeek в гонке за повышение эффективности ИИ-моделей. Компания, основанная в 2023 году, ранее выпустила открытую языковую модель DeepSeek-V2, которая конкурирует с решениями от Meta и Mistral AI. Сотрудничество с Пекинским университетом подчёркивает стремление Китая к технологической независимости в области искусственного интеллекта.
Источники: X-пост Teortaxes▶️ (DeepSeek), 27 июня; репозиторий DSpark на GitHub; статья на arXiv.