RAGAnswerQualityScorer
Bewertet die Gesamtqualität der RAG-generierten Antworten. Bewertet die Übereinstimmung zwischen Frage und Antwort, misst, wie gut die Antwort die Frage direkt beantwortet und angemessene Details liefert.
Übersicht
Bewertet die Gesamtqualität der RAG-generierten Antworten. Bewertet die Übereinstimmung zwischen Frage und Antwort, misst, wie gut die Antwort die Frage direkt beantwortet und angemessene Details liefert.
Anwendungsfälle
- RAG-basierte Frage-Antwort-Systeme
Funktionsweise
Dieser Scorer evaluiert Antworten mit LLM-as-Judge-Technologie. Ein großes Sprachmodell erhält konkrete Evaluierungskriterien und die zu bewertenden Inhalte. Anschließend wird sein Urteil analysiert, um einen Score und eine ausführliche Begründung zu erzeugen.
Eingabeschema
| Parameter | Typ | Erforderlich | Beschreibung |
|---|---|---|---|
| output_text | str | Ja | RAG-generated answer |
| input_text | str | Ja | Original query |
| context | dict | str | list | Nein | Retrieved context |
Ausgabeschema
| Feld | Typ | Beschreibung |
|---|---|---|
| score | float | Answer quality score (0-10) |
| passed | bool | True if quality is acceptable |
| reasoning | str | Quality analysis |
| metadata | dict | Quality metrics |
Score-Interpretation
Standardschwellenwert: 7/10
Verwandte Scorer
QuestionAnswerAlignmentScorer
Bewertet die Übereinstimmung zwischen Fragen und Antworten. Beurteilt, wie gut die Antwort die Frage...
AntwortqualitätAnswerCompletenessScorer
Bewertet die Vollständigkeit und Abdeckung von KI-generierten Antworten. Bewertet, ob die Antwort al...
AntwortqualitätCitationQualityScorer
Bewertet die Qualität der Quellenangaben und Zitationen in Antworten. Bewertung der Genauigkeit, Vol...
AntwortqualitätInformationDensityScorer
Bewertet die Informationsdichte und Vielfalt der KI-generierten Antworten. Bewertet, wie information...
Häufig gestellte Fragen
Wann sollte ich diesen Scorer verwenden?
Verwenden Sie RAGAnswerQualityScorer, wenn Sie die Aspekte quality and rag Ihrer KI-Ausgaben evaluieren möchten. Der Scorer eignet sich besonders für rag-basierte frage-antwort-systeme.
Warum benötigt dieser Scorer keine erwartete Ausgabe?
Dieser Scorer evaluiert Qualitätsaspekte, für die kein Vergleich mit einer Referenzantwort erforderlich ist. System-Prompt und Kontext dienen als implizite Ground Truth.
Kann ich den Schwellenwert anpassen?
Ja, der Standardschwellenwert von 7 lässt sich bei der Konfiguration des Scorers anpassen.
Kurzinfo
Möchten Sie RAGAnswerQualityScorer ausprobieren?
Starten Sie die Evaluierung Ihrer KI-Agenten mit der umfassenden Scorer-Bibliothek von Noveum.ai.
Weitere Scorer entdecken
Entdecken Sie 112 kalibrierte LLM-as-Judge-Scorer für umfassende KI-Evaluierungen