Системный инженер Ясин Махди (Yacine Mahdi) рекомендовал исследователям в области искусственного интеллекта обучать модели на одной графической карте с циклом тренировки менее минуты, чтобы увеличить скорость экспериментов. Подход, который он назвал «маршрутом ETH Zurich», поддержали специалисты из Google DeepMind и других компаний.
Практика быстрого обучения небольших моделей становится популярной среди исследователей ИИ как способ ускорить накопление знаний. Ясин Махди, системный инженер, работающий в области машинного обучения, предложил сосредоточиться на моделях, которые можно обучить на одной GPU менее чем за минуту. По его словам, такой подход позволяет проводить больше экспериментов и быстрее получать результаты — ключевой фактор для исследовательского прогресса.
В качестве примера Махди привёл библиотеку PufferLib, которая оптимизирована для подобных задач. «Чем больше моделей вы обучаете, тем больше узнаёте», — написал он в своём посте. Идея вызвала интерес у коллег: Лукас Бейер (Lucas Beyer), научный сотрудник Google DeepMind, уточнил, что аналогичный подход использовался им ещё во время работы в RWTH Aachen, до перехода в ETH Zurich.
Подход Махди поддержал и Сандер Дилеман (Sander Dieleman), ещё один сотрудник Google DeepMind. Он отметил, что в исследованиях ИИ часто применяется метод проб и ошибок: «Если вы можете тестировать больше гипотез, вы узнаете больше — и больше из них сработает». Дилеман подчеркнул, что такой подход помог ему в работе на платформе Kaggle, но актуален и для академических исследований.
Бейер также опубликовал развёрнутый пост о своём проекте BiternionNets, который иллюстрирует преимущества быстрого обучения моделей. По его словам, работа Махди и других исследователей вдохновила его подробнее рассказать о собственном опыте.