Новости 19:00, 16 июня 2026
Поделиться

Mistral AI использует график скорости обучения DeepSeek-V2 для тренировки моделей в формате FP8

Эли Бакуш (Elie Bakouch), независимый исследователь в области машинного обучения, заявил, что сооснователь Mistral AI Гийом Лампль (Guillaume Lample) применяет аналогичный DeepSeek-V2 график скорости обучения при тренировке моделей с использованием 8-битного формата с плавающей точкой (FP8). Об этом свидетельствуют данные, опубликованные в социальной сети X.

Эли Бакуш обнаружил, что Mistral AI, французский разработчик моделей искусственного интеллекта, повторяет подход китайской компании DeepSeek при обучении своих моделей. Речь идёт о графике скорости обучения (learning rate schedule), который используется в процессе тренировки нейросетей в формате FP8. Этот формат позволяет сократить потребление памяти и ускорить вычисления без значительной потери точности.

По словам Бакуша, Гийом Лампль, сооснователь и научный директор Mistral AI, не подтвердил и не опроверг эту информацию напрямую. Однако анализ технических деталей, опубликованных в открытых источниках, указывает на сходство подходов. DeepSeek-V2, представленный в мае 2024 года, стал одной из первых крупных языковых моделей, эффективно использующих FP8 для снижения затрат на обучение.

Применение FP8 — часть более широкой тенденции оптимизации вычислительных ресурсов в индустрии ИИ. Ранее о переходе на этот формат заявляли и другие компании, включая NVIDIA и Microsoft, однако Mistral AI может стать одним из первых европейских разработчиков, масштабно внедривших эту технологию. Эксперты отмечают, что такой подход позволяет снизить стоимость обучения моделей на 30–40% при сохранении сопоставимого качества.

В то же время Бакуш подчеркнул, что сходство графиков скорости обучения не означает полного копирования архитектуры DeepSeek-V2. Mistral AI продолжает развивать собственные подходы, включая оптимизацию внимания и структуры трансформеров. Официальных комментариев от компании на момент публикации не поступало.

Источники: X-пост Эли Бакуша (Elie Bakouch), 15 июня 2026 года.