Стартап PrismML представил открытую языковую модель Bonsai 27B, оптимизированную для запуска на мобильных устройствах без облачных вычислений. Модель доступна в вариантах с 1-битным и троичным сжатием.
PrismML, разработчик решений для локального развёртывания моделей искусственного интеллекта, объявил о выпуске Bonsai 27B — языковой модели с 27 млрд параметров, адаптированной для работы на смартфонах. Модель распространяется под открытой лицензией и использует методы экстремального сжатия: доступны версии с 1-битным и троичным (ternary) представлением весов.
По заявлению компании, Bonsai 27B сохраняет приемлемое качество генерации текста при значительном снижении требований к вычислительным ресурсам. Троичная версия модели, например, занимает в 8 раз меньше памяти, чем аналогичная модель в формате FP16, что позволяет запускать её на устройствах с ограниченной оперативной памятью. Технические детали реализации PrismML опубликовал в сопроводительном блоге.
Выпуск Bonsai 27B отражает тренд на децентрализацию ИИ-инфраструктуры. Ранее аналогичные решения для мобильных устройств представляли Qualcomm, MediaTek и Google, однако PrismML делает ставку на открытый исходный код и более агрессивные методы сжатия. Пока неизвестно, какие производители смартфонов планируют интегрировать модель в свои продукты.