Токийский стартап Sakana AI выпустил платформу Fugu для оркестрации моделей искусственного интеллекта, однако ряд исследователей и разработчиков усомнились в обоснованности заявлений компании о достижении «передового уровня» производительности.
Sakana AI, основанная бывшими сотрудниками Google DeepMind и Meta, объявила о запуске Fugu — платформы, предназначенной для динамического объединения небольших специализированных моделей ИИ в более сложные системы. По словам соучредителя компании Лун Вана (Lun Wang), Fugu позволяет «комбинировать модели как строительные блоки», достигая результатов, сопоставимых с крупными универсальными моделями, но с меньшими затратами на обучение и эксплуатацию.
В блоге Sakana AI утверждается, что Fugu превосходит по ряду метрик такие модели, как Llama 3.1 405B и GPT-4o, в задачах логического вывода и генерации кода. Однако эти заявления вызвали критику со стороны независимых исследователей. Так, Мэтью Берман (Matthew Berman), разработчик и автор канала о ИИ, указал на отсутствие в открытом доступе исходных данных и методик тестирования, которые подтвердили бы преимущества платформы. «Без прозрачных бенчмарков такие сравнения остаются маркетингом», — написал он в своём посте.
Другие комментаторы отметили, что подход Sakana AI напоминает уже существующие решения, такие как Mixture of Experts (MoE), но с акцентом на модульность. Эли Бакуш (Elie Bakouch), инженер из Hugging Face, предположил, что Fugu может быть полезна для нишевых приложений, но «называть её „передовой“ преждевременно». В свою очередь, представители Sakana AI пока не ответили на запросы о предоставлении дополнительных доказательств.
Платформа Fugu доступна в закрытой бета-версии для избранных партнёров. Компания планирует опубликовать технический отчёт с подробностями архитектуры и результатами тестирования в ближайшие недели.