ContextCompletenessScorer
Bewertet, ob der bereitgestellte Kontext alle notwendigen Informationen enthält, um die Antwort vollständig zu unterstützen. Bewertet, ob der Kontext vollständig genug ist, um die Anfrage umfassend zu beantworten, und hilft so, die Effektivität des Abrufsystems zu bewerten.
Übersicht
Bewertet, ob der bereitgestellte Kontext alle notwendigen Informationen enthält, um die Antwort vollständig zu unterstützen. Bewertet, ob der Kontext vollständig genug ist, um die Anfrage umfassend zu beantworten, und hilft so, die Effektivität des Abrufsystems zu bewerten.
Anwendungsfälle
- Allgemeine KI-Evaluierung und Qualitätsbewertung
Funktionsweise
Dieser Scorer evaluiert Antworten mit LLM-as-Judge-Technologie. Ein großes Sprachmodell erhält konkrete Evaluierungskriterien und die zu bewertenden Inhalte. Anschließend wird sein Urteil analysiert, um einen Score und eine ausführliche Begründung zu erzeugen.
Eingabeschema
| Parameter | Typ | Erforderlich | Beschreibung |
|---|---|---|---|
| output_text | str | Ja | Generated answer |
| input_text | str | Ja | Original question |
| context | list[str] | str | Ja | Retrieved context to evaluate for completeness |
Ausgabeschema
| Feld | Typ | Beschreibung |
|---|---|---|
| score | float | Completeness score (0-10) |
| passed | bool | True if context is complete |
| reasoning | str | Completeness analysis |
| metadata | dict | Missing information if any |
Score-Interpretation
Standardschwellenwert: 7/10
Verwandte Scorer
AnswerCompletenessScorer
Bewertet die Vollständigkeit und Abdeckung von KI-generierten Antworten. Bewertet, ob die Antwort al...
MehrfachkontextConflictResolutionScorer
Bewertet, wie gut eine Antwort widersprüchliche Informationen über mehrere Kontextabschnitte hinweg ...
MehrfachkontextContextConsistencyScorer
Bewertet die Konsistenz einer Antwort über mehrere Kontextabschnitte hinweg. Identifiziert Fälle, in...
MehrfachkontextContextFaithfulnessScorerPP
Erweiterte Faithfulness-Prüfung mit detaillierter Analyse einzelner Behauptungen. Extrahiert zunächs...
Häufig gestellte Fragen
Wann sollte ich diesen Scorer verwenden?
Verwenden Sie ContextCompletenessScorer, wenn Sie die Aspekte multi-context and completeness Ihrer KI-Ausgaben evaluieren möchten. Der Scorer eignet sich besonders für allgemeine ki-evaluierung und qualitätsbewertung.
Warum benötigt dieser Scorer keine erwartete Ausgabe?
Dieser Scorer evaluiert Qualitätsaspekte, für die kein Vergleich mit einer Referenzantwort erforderlich ist. System-Prompt und Kontext dienen als implizite Ground Truth.
Kann ich den Schwellenwert anpassen?
Ja, der Standardschwellenwert von 7 lässt sich bei der Konfiguration des Scorers anpassen.
Kurzinfo
Möchten Sie ContextCompletenessScorer ausprobieren?
Starten Sie die Evaluierung Ihrer KI-Agenten mit der umfassenden Scorer-Bibliothek von Noveum.ai.
Weitere Scorer entdecken
Entdecken Sie 112 kalibrierte LLM-as-Judge-Scorer für umfassende KI-Evaluierungen