Стартап Humans&, основанный бывшим сотрудником Google DeepMind Жоржем Хариком (Georges Harik), опубликовал открытый метод обучения с подкреплением (RL) в 4-битном формате, который устраняет нестабильности при тренировке многоагентных моделей с длинным горизонтом планирования. Решение не уступает по качеству 8-битным аналогам.
Команда исследователей из Humans& представила открытый рецепт для обучения с подкреплением (reinforcement learning, RL) в 4-битном формате, который позволяет эффективно тренировать многоагентные системы без потери качества. Метод, получивший название NVFP4-RL, решает проблему нестабильности обучения, характерную для низкопрецизионных вычислений, и подходит для задач с длинным горизонтом планирования.
Как сообщила в X научный сотрудник Humans& Нилуфар Мир (Niloofar Mire), новый подход не приводит к деградации результатов по сравнению с 8-битными системами. В сопроводительном блоге команда подробно описала технические детали реализации, включая особенности аппаратной оптимизации. «Мы открыли исходный код нашего 4-битного RL-рецепта, который работает нативно на оборудовании», — отметила Мир.
Разработка вызвала интерес в сообществе специалистов по машинному обучению. Инженер-исследователь из некоммерческой организации ApplyWise Эндрю Карр (Andrew Carr) в комментарии к публикации подчеркнул, что подобные решения демонстрируют объём инженерной работы, необходимой для масштабирования RL-систем. По его словам, команда Humans& не только добилась стабильности низкопрецизионного обучения, но и подготовила качественную документацию.
В то же время некоторые эксперты выразили скепсис относительно ограничений метода. Сооснователь стартапа Mistral AI Эли Бакуш (Elie Bakouch) указал, что распределение значений в представленном решении неравномерно и сконцентрировано в узком диапазоне, что может ограничивать его применимость. В ответ на критику исследователь из Meta Хорас Хи (Horace He) сослался на работу Джека Кука (Jack Cook) о распределении весов в низкопрецизионных моделях.
Humans& позиционирует себя как лабораторию, специализирующуюся на разработке открытых алгоритмов для обучения агентов в сложных средах. Компанию основал в 2025 году Жорж Харик, ранее возглавлявший направление инноваций в Google DeepMind.