Noveum.ai
RAG-ScorerLLM-as-Judge

SourceAttributionScorer

Bewertet die Qualität der Quellenangaben und Zitationen in Antworten.

Zurück zu den ScorernDokumentation ansehen

Übersicht

Bewertet die Qualität der Quellenangaben und Zitationen in Antworten.

rag

Anwendungsfälle

  • RAG-basierte Frage-Antwort-Systeme

Funktionsweise

Dieser Scorer evaluiert Antworten mit LLM-as-Judge-Technologie. Ein großes Sprachmodell erhält konkrete Evaluierungskriterien und die zu bewertenden Inhalte. Anschließend wird sein Urteil analysiert, um einen Score und eine ausführliche Begründung zu erzeugen.

Eingabeschema

ParameterTypErforderlichBeschreibung

Ausgabeschema

FeldTypBeschreibung
scoreany-
passedany-
reasoningany-
metadataany-

Score-Interpretation

9-10AusgezeichnetDie Antwort erfüllt alle Evaluierungskriterien vollständig
7-8GutDie Antwort erfüllt die meisten Kriterien mit geringfügigen Mängeln
5-6AusreichendDie Antwort erfüllt die Kriterien teilweise und muss verbessert werden
3-4SchwachDie Antwort weist erhebliche Mängel auf
0-2Nicht bestandenDie Antwort erfüllt die grundlegenden Kriterien nicht

Verwandte Scorer

RAG

AggregateRAGScorer

Kombiniert mehrere Retrieval-Scorer mit gewichtetem Durchschnitt für eine umfassende RAG-Bewertung. ...

RAG

AnswerRelevancyScorer

Bewertet, wie relevant die generierte Antwort für die Eingabefrage ist. Bewertet, ob die Antwort dir...

RAG

ContextualPrecisionScorerPP

Berechnet die Precision abgerufener Chunks anhand numerischer Relevanzwerte. Precision = Anzahl der ...

RAG

ContextualPrecisionScorer

Misst die Precision des abgerufenen Kontexts anhand des Anteils der Chunks, die tatsächlich zur Bean...

Häufig gestellte Fragen

Wann sollte ich diesen Scorer verwenden?

Verwenden Sie SourceAttributionScorer, wenn Sie die Aspekte rag Ihrer KI-Ausgaben evaluieren möchten. Der Scorer eignet sich besonders für rag-basierte frage-antwort-systeme.

Warum benötigt dieser Scorer keine erwartete Ausgabe?

Dieser Scorer evaluiert Qualitätsaspekte, für die kein Vergleich mit einer Referenzantwort erforderlich ist. System-Prompt und Kontext dienen als implizite Ground Truth.

Kann ich den Schwellenwert anpassen?

Ja, der Standardschwellenwert von 7 lässt sich bei der Konfiguration des Scorers anpassen.

Kurzinfo

KategorieRAG
EvaluierungstypLLM-as-Judge
Erwartete Ausgabe erforderlichNein
Standardschwellenwert7/10

Möchten Sie SourceAttributionScorer ausprobieren?

Starten Sie die Evaluierung Ihrer KI-Agenten mit der umfassenden Scorer-Bibliothek von Noveum.ai.

Kostenlos testenDokumentation ansehen

Weitere Scorer entdecken

Entdecken Sie 112 kalibrierte LLM-as-Judge-Scorer für umfassende KI-Evaluierungen

Alle Scorer ansehenVertrieb kontaktieren