LatencyAnalysisScorer
Analysiert die Latenz über Pipeline-Stufen hinweg.
Übersicht
Analysiert die Latenz über Pipeline-Stufen hinweg.
Anwendungsfälle
- Allgemeine KI-Evaluierung und Qualitätsbewertung
Funktionsweise
Dieser Scorer evaluiert Antworten mit LLM-as-Judge-Technologie. Ein großes Sprachmodell erhält konkrete Evaluierungskriterien und die zu bewertenden Inhalte. Anschließend wird sein Urteil analysiert, um einen Score und eine ausführliche Begründung zu erzeugen.
Eingabeschema
| Parameter | Typ | Erforderlich | Beschreibung |
|---|
Ausgabeschema
| Feld | Typ | Beschreibung |
|---|---|---|
| score | any | - |
| passed | any | - |
| reasoning | any | - |
| metadata | any | - |
Score-Interpretation
Verwandte Scorer
ErrorPropagationScorer
Analysiert die Fehlerausbreitung über Pipeline-Stufen hinweg....
RAG-PipelinePipelineCoordinationScorer
Bewertet, wie gut Pipeline-Stufen zusammenarbeiten....
RAG-PipelineQueryProcessingEvaluator
Bewertet das Verständnis und die Verarbeitungsqualität von Anfragen. Bewertet Klarheit, Absichtserke...
RAG-PipelineRerankingEvaluator
Bewertet die Wirksamkeit der Reranking-Phasen....
Häufig gestellte Fragen
Wann sollte ich diesen Scorer verwenden?
Verwenden Sie LatencyAnalysisScorer, wenn Sie die Aspekte pipeline Ihrer KI-Ausgaben evaluieren möchten. Der Scorer eignet sich besonders für allgemeine ki-evaluierung und qualitätsbewertung.
Warum benötigt dieser Scorer keine erwartete Ausgabe?
Dieser Scorer evaluiert Qualitätsaspekte, für die kein Vergleich mit einer Referenzantwort erforderlich ist. System-Prompt und Kontext dienen als implizite Ground Truth.
Kann ich den Schwellenwert anpassen?
Ja, der Standardschwellenwert von 7 lässt sich bei der Konfiguration des Scorers anpassen.
Kurzinfo
Möchten Sie LatencyAnalysisScorer ausprobieren?
Starten Sie die Evaluierung Ihrer KI-Agenten mit der umfassenden Scorer-Bibliothek von Noveum.ai.
Weitere Scorer entdecken
Entdecken Sie 112 kalibrierte LLM-as-Judge-Scorer für umfassende KI-Evaluierungen