Генеральный партнёр венчурного фонда Andreessen Horowitz Мартин Касадо (Martín Casado) заявил, что разработка открытых моделей искусственного интеллекта столкнётся с дефицитом вычислительных мощностей и данных для дистилляции на сумму до $2 млрд. Его тезис вызвал критику со стороны разработчиков и исследователей.
Мартин Касадо, один из ключевых инвесторов в сфере ИИ, опубликовал анализ, согласно которому опенсорс-сообщество недооценивает масштаб ресурсов, необходимых для обучения и дистилляции (сжатия) крупных языковых моделей. По его оценке, уже в ближайшие 12–18 месяцев разработчикам потребуется доступ к вычислительным мощностям и данным на сумму около $2 млрд, чтобы конкурировать с проприетарными моделями от ведущих лабораторий.
Касадо подчеркнул, что основная проблема — не столько стоимость обучения базовых моделей, сколько затраты на их дистилляцию: создание облегчённых версий, которые сохраняют качество, но требуют меньше ресурсов для запуска. «Дистилляция — это новый тренировочный цикл, и он может оказаться дороже, чем обучение оригинальной модели», — написал он. При этом доступ к необходимым данным и GPU для независимых команд ограничен, что создаёт риск монополизации рынка крупными игроками.
Тезис Касадо вызвал дискуссию среди специалистов. Исследователь из Google DeepMind Майтра Рагху (Maithra Raghu) и сооснователь компании Sakana AI Соня Хуан (Sonya Huang) отметили, что проблема действительно существует, но её масштаб зависит от стратегии разработки. Так, Рагху указала на возможность использования синтетических данных и альтернативных архитектур, которые могут снизить зависимость от дорогих вычислительных ресурсов. «Вопрос не в том, *нужны* ли $2 млрд, а в том, как оптимизировать процесс, чтобы обойтись меньшими затратами», — прокомментировала она.
В то же время часть разработчиков раскритиковала позицию Касадо как пессимистичную. Инженер и исследователь Кэмерон Вулф (Cameron R. Wolfe) назвал оценку завышенной, указав на примеры успешных опенсорс-проектов, которые обучались на ограниченных ресурсах. «Проблема есть, но она не фатальна. Сообщество уже находит способы обходить ограничения — от распределённых вычислений до краудсорсинга данных», — написал он.
Дискуссия высветила структурные вызовы для опенсорс-ИИ: даже при наличии открытых моделей их доработка и адаптация требуют ресурсов, доступных далеко не всем участникам рынка. При этом, как отметили опрошенные эксперты, вопрос не столько в деньгах, сколько в инфраструктуре — доступе к GPU, качественным данным и инструментам для эффективной дистилляции.