Inferock
Una plataforma de inferencia de LLM responsable: enrutamiento a través de tus propias claves, inferencia serverless gestionada y métricas de calidad para cada llamada.
Descripción
Inferock es una plataforma de inferencia de LLM responsable: enruta las llamadas a través de tus claves de proveedor (Watch), inferencia serverless gestionada (Serve) o capacidad dedicada (Dedicated). Mide de forma independiente la calidad y el coste de cada llamada, rastrea las respuestas fallidas y emite créditos de servicio por resultados inservibles.
Funciones principales
- Enrutamiento a través de tus propias claves
- Inferencia serverless y dedicada
- Métricas de calidad por llamada
- Seguimiento de respuestas fallidas
- Créditos de servicio por fallos
