Компания Recursive, основанная бывшими сотрудниками Meta и DeepMind, запустила платформу для автоматизации исследований в области машинного обучения, которая установила новые рекорды производительности на моделях NanoGPT и оптимизации GPU-ядер. Об этом сообщили основатели стартапа в социальной сети X.
Recursive разработал инструмент, способный самостоятельно проводить эксперименты, анализировать результаты и генерировать гипотезы для улучшения моделей машинного обучения. По словам сооснователя компании Лун Вана (Lun Wang), платформа уже превзошла ручные настройки в задачах оптимизации архитектуры NanoGPT — облегчённой версии популярной языковой модели.
Инструмент Recursive использует методы автоматического машинного обучения (AutoML) для поиска оптимальных конфигураций моделей и гиперпараметров. Как отметил другой сооснователь, Юаньдун Тянь (Yuandong Tian), ранее работавший в Meta, платформа сокращает время на эксперименты с нескольких недель до нескольких дней. В частности, она автоматически оптимизировала ядра GPU для ускорения обучения, что позволило добиться прироста производительности на 15% по сравнению с базовыми реализациями.
«Наша цель — сделать исследования в ML более доступными и воспроизводимыми, — заявил Ван. — Автоматизация рутинных задач позволяет учёным сосредоточиться на формулировке новых гипотез».
Платформа Recursive уже привлекла внимание исследователей из академических кругов и индустрии. В числе первых пользователей — сотрудники Университетского колледжа Лондона и лаборатории искусственного интеллекта Meta. Компания планирует открыть доступ к инструменту для ограниченного круга партнёров в ближайшие месяцы.
Результаты работы Recursive опубликованы в техническом отчёте на сайте компании. В документе подробно описаны методы оптимизации и сравнительные тесты с существующими подходами.