Noveum.ai
RAG-Pipeline-ScorerLLM-as-Judge

QueryProcessingEvaluator

Bewertet das Verständnis und die Verarbeitungsqualität von Anfragen. Bewertet Klarheit, Absichtserkennung, Vorverarbeitungseffizienz, Spezifität, Komplexität und Mehrdeutigkeit von Eingabefragen mit konfigurierbaren Gewichten.

Zurück zu den ScorernDokumentation ansehen

Übersicht

Bewertet das Verständnis und die Verarbeitungsqualität von Anfragen. Bewertet Klarheit, Absichtserkennung, Vorverarbeitungseffizienz, Spezifität, Komplexität und Mehrdeutigkeit von Eingabefragen mit konfigurierbaren Gewichten.

ragrule-basedtrace-evaluationquerypreprocessingpipeline

Anwendungsfälle

  • RAG-basierte Frage-Antwort-Systeme

Funktionsweise

Dieser Scorer evaluiert Antworten mit LLM-as-Judge-Technologie. Ein großes Sprachmodell erhält konkrete Evaluierungskriterien und die zu bewertenden Inhalte. Anschließend wird sein Urteil analysiert, um einen Score und eine ausführliche Begründung zu erzeugen.

Eingabeschema

ParameterTypErforderlichBeschreibung
predictionstrJaQuery to evaluate
weightsdictNeinWeights for different aspects (clarity, specificity, etc.)

Ausgabeschema

FeldTypBeschreibung
scorefloatQuery quality score (0-10)
reasoningstrQuery analysis
detailsdictPer-aspect scores

Score-Interpretation

Standardschwellenwert: 7/10

9-10AusgezeichnetDie Antwort erfüllt alle Evaluierungskriterien vollständig
7-8GutDie Antwort erfüllt die meisten Kriterien mit geringfügigen Mängeln
5-6AusreichendDie Antwort erfüllt die Kriterien teilweise und muss verbessert werden
3-4SchwachDie Antwort weist erhebliche Mängel auf
0-2Nicht bestandenDie Antwort erfüllt die grundlegenden Kriterien nicht

Verwandte Scorer

RAG-Pipeline

RetrievalStageEvaluator

Umfassende Leistungsbewertung der Retrieval-Stufe, die Precision, Recall, Ranking, Ähnlichkeit und D...

RAG

RetrievalF1Scorer

F1-Score, der Precision und Recall für die kontextuelle Bewertung kombiniert. Berechnet das harmonis...

RAG

AggregateRAGScorer

Kombiniert mehrere Retrieval-Scorer mit gewichtetem Durchschnitt für eine umfassende RAG-Bewertung. ...

RAG

ContextualPrecisionScorerPP

Berechnet die Precision abgerufener Chunks anhand numerischer Relevanzwerte. Precision = Anzahl der ...

Häufig gestellte Fragen

Wann sollte ich diesen Scorer verwenden?

Verwenden Sie QueryProcessingEvaluator, wenn Sie die Aspekte rag and rule-based Ihrer KI-Ausgaben evaluieren möchten. Der Scorer eignet sich besonders für rag-basierte frage-antwort-systeme.

Warum benötigt dieser Scorer keine erwartete Ausgabe?

Dieser Scorer evaluiert Qualitätsaspekte, für die kein Vergleich mit einer Referenzantwort erforderlich ist. System-Prompt und Kontext dienen als implizite Ground Truth.

Kann ich den Schwellenwert anpassen?

Ja, der Standardschwellenwert von 7 lässt sich bei der Konfiguration des Scorers anpassen.

Kurzinfo

KategorieRAG-Pipeline
EvaluierungstypLLM-as-Judge
Erwartete Ausgabe erforderlichNein
Standardschwellenwert7/10

Möchten Sie QueryProcessingEvaluator ausprobieren?

Starten Sie die Evaluierung Ihrer KI-Agenten mit der umfassenden Scorer-Bibliothek von Noveum.ai.

Kostenlos testenDokumentation ansehen

Weitere Scorer entdecken

Entdecken Sie 112 kalibrierte LLM-as-Judge-Scorer für umfassende KI-Evaluierungen

Alle Scorer ansehenVertrieb kontaktieren