Немецкий стартап Soofi представил открытую модель смешанной экспертизы (MoE) Mamba 30B, обученную на немецком и английском языках, и опубликовал весь пайплайн предобучения под открытой лицензией.
Soofi, берлинская компания, специализирующаяся на разработке языковых моделей для немецкоязычного рынка, выпустила Mamba 30B — модель смешанной экспертизы (Mixture of Experts) на базе архитектуры Mamba. Модель поддерживает немецкий и английский языки и, по данным разработчиков, показывает конкурентоспособные результаты на бенчмарках для немецкого языка.
В отличие от многих коммерческих моделей, Soofi полностью открыла исходный код и пайплайн предобучения. Это включает не только веса модели, но и инструменты для токенизации, обучения и оценки. Как отмечается в документации проекта, такой подход должен упростить адаптацию модели для специфических задач и снизить порог входа для исследователей и разработчиков.
Модель Mamba 30B построена на архитектуре Mamba, которая позиционируется как более эффективная альтернатива трансформерам для некоторых типов задач. В основе лежит механизм избирательной обработки данных, позволяющий модели динамически фокусироваться на релевантных частях входных данных. Soofi утверждает, что это обеспечивает высокую производительность при меньших вычислительных затратах по сравнению с традиционными архитектурами.
Выпуск Mamba 30B стал частью стратегии Soofi по развитию открытых языковых моделей для немецкого языка. Ранее компания уже представляла меньшие модели, но 30B — первая в линейке, использующая архитектуру MoE, что позволяет масштабировать возможности без пропорционального роста вычислительных ресурсов.
Подробности о модели и инструменты для работы с ней доступны в репозитории проекта на GitHub.
Источники: блог Soofi, документация проекта Mamba 30B.