Компания Factory, специализирующаяся на оптимизации инференса больших языковых моделей, выпустила инструмент Factory Router, который автоматически выбирает наиболее эффективную модель для выполнения запроса, обещая сократить расходы на 25%. Об этом сообщили основатели стартапа и отраслевые эксперты в социальной сети X.
Factory Router — это система маршрутизации, которая анализирует входящие запросы к ИИ и направляет их к наиболее подходящей модели в зависимости от сложности задачи, стоимости и доступности ресурсов. По словам соучредителя Factory Мэтта Шуммера (Matt Shumer), инструмент использует собственные алгоритмы оценки производительности моделей, чтобы минимизировать затраты без ущерба для качества ответов.
Как отметил в своём посте инженер и исследователь ИИ Карлос Перес (Carlos E. Perez), подобные решения становятся критически важными на фоне роста расходов на инференс: «Крупные компании уже тратят миллионы долларов в месяц на API вызовов к моделям. Автоматизация выбора модели — это следующий логический шаг для снижения издержек». Перес также подчеркнул, что Factory Router может быть особенно полезен для стартапов и средних компаний, которые не могут позволить себе содержать собственные инфраструктуры для работы с несколькими моделями.
Представители Factory не раскрыли подробностей о том, какие именно модели поддерживает Router, однако в отраслевых обсуждениях упоминались интеграции с API OpenAI, Anthropic и открытыми моделями вроде Llama. В блоге компании утверждается, что система уже прошла тестирование у нескольких корпоративных клиентов, но конкретные результаты не приводятся.
Эксперты также обратили внимание на то, что Factory Router — не первый инструмент такого рода: аналогичные решения разрабатывают Hugging Face, Together AI и ряд других компаний. Однако, по словам аналитика Rohan Paul, подход Factory отличается акцентом на экономическую эффективность: «Большинство маршрутизаторов оптимизируют под скорость или качество, а здесь основной фокус — на стоимости».