Inferock
Eine rechenschaftspflichtige LLM-Inference-Plattform: Routing über eigene Schlüssel, verwaltete Serverless-Inference und Qualitätsmetriken für jeden Aufruf.
Beschreibung
Inferock ist eine rechenschaftspflichtige LLM-Inference-Plattform: Sie routet Aufrufe über Ihre Provider-Schlüssel (Watch), verwaltete Serverless-Inference (Serve) oder dedizierte Kapazität (Dedicated). Sie misst Qualität und Kosten jedes Aufrufs unabhängig, verfolgt fehlgeschlagene Antworten und stellt Serviceguthaben für unbrauchbare Ergebnisse aus.
Hauptfunktionen
- Routing über eigene Schlüssel
- Serverless- und dedizierte Inference
- Qualitätsmetriken pro Aufruf
- Verfolgung fehlgeschlagener Antworten
- Serviceguthaben für Fehler
