Noveum.ai
RAG-ScorerLLM-as-Judge

SourceAttributionScorer

Bewertet die Qualität der Quellenangaben und Zitationen in Antworten.

Zurück zu den ScorernDokumentation ansehen

Übersicht

Bewertet die Qualität der Quellenangaben und Zitationen in Antworten.

rag

Anwendungsfälle

  • RAG-basierte Frage-Antwort-Systeme

Funktionsweise

Dieser Scorer evaluiert Antworten mit LLM-as-Judge-Technologie. Ein großes Sprachmodell erhält konkrete Evaluierungskriterien und die zu bewertenden Inhalte. Anschließend wird sein Urteil analysiert, um einen Score und eine ausführliche Begründung zu erzeugen.

Eingabeschema

ParameterTypErforderlichBeschreibung

Ausgabeschema

FeldTypBeschreibung
scoreany-
passedany-
reasoningany-
metadataany-

Score-Interpretation

9-10AusgezeichnetDie Antwort erfüllt alle Evaluierungskriterien vollständig
7-8GutDie Antwort erfüllt die meisten Kriterien mit geringfügigen Mängeln
5-6AusreichendDie Antwort erfüllt die Kriterien teilweise und muss verbessert werden
3-4SchwachDie Antwort weist erhebliche Mängel auf
0-2Nicht bestandenDie Antwort erfüllt die grundlegenden Kriterien nicht

Verwandte Scorer

RAG

AggregateRAGScorer

Kombiniert mehrere Retrieval-Scorer mit gewichtetem Durchschnitt für eine umfassende RAG-Bewertung. ...

RAG

AnswerRelevancyScorer

Bewertet, wie relevant die generierte Antwort für die Eingabefrage ist. Bewertet, ob die Antwort dir...

RAG

ContextualPrecisionScorerPP

Berechnet die Precision abgerufener Chunks anhand numerischer Relevanzwerte. Precision = Anzahl der ...

RAG

ContextualPrecisionScorer

Misst die Precision des abgerufenen Kontexts anhand des Anteils der Chunks, die tatsächlich zur Bean...

Häufig gestellte Fragen

Wann sollte ich diesen Scorer verwenden?

Verwenden Sie SourceAttributionScorer, wenn Sie die Aspekte rag Ihrer KI-Ausgaben evaluieren möchten. Der Scorer eignet sich besonders für rag-basierte frage-antwort-systeme.

Warum benötigt dieser Scorer keine erwartete Ausgabe?

Dieser Scorer evaluiert ohne Referenzantwort anhand der konkreten Eingabefelder seines Schemas. Diese Felder sind Belege für die Prüfung; sie gelten nicht automatisch als faktische Ground Truth.

Kann ich den Schwellenwert anpassen?

Der angezeigte Standardschwellenwert dieses Scorers ist 7. Wenn die Konfiguration des Evaluierungsauftrags einen Schwellenwert bereitstellt, prüfen Sie ihn vor dem Speichern anhand der nativen Skala des Scorers. Die gespeicherte Bestanden-Entscheidung verwendet diese scorerspezifische Konfiguration.

Kurzinfo

KategorieRAG
EvaluierungstypLLM-as-Judge
Erwartete Ausgabe erforderlichNein
Standardschwellenwert7/10

Möchten Sie SourceAttributionScorer ausprobieren?

Starten Sie die Evaluierung Ihrer KI-Agenten mit der umfassenden Scorer-Bibliothek von Noveum.ai.

Kostenlos startenDokumentation ansehen

Weitere Scorer entdecken

Entdecken Sie 112 veröffentlichte Scorer in 15 Kategorien: 82 Premium-, 30 kostenlose, 76 modellgestützte sowie 36 dedizierte Sprach- und Audio-Scorer

Alle Scorer ansehenVertrieb kontaktieren