Китайская компания DeepSeek-AI и исследователи Пекинского университета представили открытую библиотеку DSpark, которая позволяет увеличить производительность вывода больших языковых моделей (LLM) до 400% за счёт технологии speculative decoding. Разработка опубликована в репозитории на GitHub.
DeepSeek-AI, разработчик одной из крупнейших китайских языковых моделей, совместно с учёными Пекинского университета выпустили инструмент DSpark, предназначенный для оптимизации инференса LLM. Библиотека использует метод speculative decoding — подход, при котором модель предсказывает несколько токенов одновременно, а затем верифицирует их параллельно. По данным разработчиков, это позволяет повысить пропускную способность системы до четырёх раз без потери качества генерации.
Технология speculative decoding не нова, но её реализация в DSpark адаптирована для работы с современными архитектурами трансформеров и поддерживает популярные фреймворки, включая PyTorch и TensorRT. В документации к проекту отмечается, что библиотека совместима с моделями, обученными на базе DeepSeek, а также с открытыми моделями других разработчиков, такими как Llama и Mistral. Исходный код DSpark доступен на GitHub под лицензией Apache 2.0.
Представители DeepSeek-AI не комментировали публикацию, однако в сопроводительной документации к библиотеке подчёркивается, что DSpark разрабатывался с учётом потребностей индустрии: «Эффективный инференс критически важен для развёртывания LLM в производственных средах, где задержки и стоимость вычислений остаются ключевыми ограничениями». Ранее компания уже открывала часть своих наработок, включая модель DeepSeek-V2, которая позиционировалась как конкурент GPT-4.
Открытие исходного кода DSpark может ускорить внедрение speculative decoding в коммерческие продукты. Аналогичные подходы уже используются в решениях от NVIDIA и Google, однако китайская разработка отличается простотой интеграции и поддержкой широкого спектра аппаратных платформ. Эксперты отмечают, что подобные инициативы способствуют снижению барьеров для стартапов и исследовательских групп, не имеющих доступа к мощным вычислительным ресурсам.
Источники: X-пост Пит Скоморох (Pete Skomoroch), 28 июня 2026; репозиторий DSpark на GitHub.