Inferock
Платформа «подотчётного» инференса LLM: маршрутизация через ваши ключи, управляемый serverless-инференс и метрики качества каждого вызова.
Описание
Inferock — платформа «подотчётного» инференса для LLM: маршрутизирует вызовы через ваши ключи провайдеров (Watch), управляемый serverless-инференс (Serve) или выделенные мощности (Dedicated). Независимо измеряет качество и стоимость каждого вызова, трейсит неудачные ответы и начисляет сервисные кредиты за непригодные результаты.
Основные функции
- Роутинг через свои ключи
- Serverless и выделенный инференс
- Метрика качества каждого вызова
- Трейсинг неудачных ответов
- Сервисные кредиты за сбои
