Криптовалютная платформа Coinbase снизила затраты на использование искусственного интеллекта на 46% благодаря оптимизации инфраструктуры, включая динамическую маршрутизацию запросов, открытые модели и кэширование промптов. Об этом сообщил технический директор компании Аравинд Сринивас (Aravind Srinivas) в социальной сети X.
Coinbase удалось значительно сократить расходы на ИИ-инфраструктуру без потери качества сервиса. По словам Сриниваса, ключевыми факторами стали три технических решения: динамическая маршрутизация запросов между моделями, переход на открытые весовые модели и внедрение кэширования промптов. Эти меры позволили компании снизить затраты на 46% за последние месяцы.
Динамическая маршрутизация предполагает автоматический выбор наиболее подходящей модели для каждого запроса в зависимости от его сложности и требований к точности. Это позволяет избежать избыточных вычислений и использовать более дешёвые модели там, где это возможно. Открытые весовые модели, в свою очередь, снижают зависимость от проприетарных решений, таких как API от OpenAI или Anthropic, которые часто обходятся дороже.
Кэширование промптов — ещё один способ оптимизации: часто повторяющиеся запросы сохраняются в кэше, что сокращает количество обращений к моделям. Сринивас отметил, что эти подходы не только снижают издержки, но и повышают надёжность системы, так как уменьшают зависимость от сторонних провайдеров.
В отрасли подобные практики набирают популярность на фоне роста затрат на ИИ-инфраструктуру. Ранее о снижении расходов за счёт оптимизации сообщали и другие технологические компании, включая крупные облачные платформы. Однако Coinbase стала одним из первых публичных примеров, где удалось добиться столь значительного сокращения затрат без ущерба для функциональности.
В комментариях к посту Сриниваса другие эксперты отметили, что опыт Coinbase может стать ориентиром для компаний, стремящихся масштабировать использование ИИ при ограниченных бюджетах. В частности, генеральный директор Box Аарон Леви (Aaron Levie) назвал подход «прагматичным» и подчеркнул, что оптимизация инфраструктуры станет критически важной для бизнеса в ближайшие годы.
Источники: X-пост Аравинда Сриниваса, 27 июня 2026 года; Digg.