Format-ScorerRegelbasiert

JSONSchemaScorer

Prüft, ob eine JSON-Ausgabe einem vorgegebenen JSON-Schema entspricht. Validiert die JSON-Syntax sowie die erwarteten Felder, Typen und Einschränkungen.

Übersicht

Prüft, ob eine JSON-Ausgabe einem vorgegebenen JSON-Schema entspricht. Validiert die JSON-Syntax sowie die erwarteten Felder, Typen und Einschränkungen.

formatagentrule-basedtrace-evaluationjsonschemastructured-output

Anwendungsfälle

  • Evaluierung autonomer KI-Agenten
  • Validierung strukturierter Ausgaben

Funktionsweise

Dieser Scorer validiert Ausgaben mithilfe einer deterministischen regelbasierten Evaluierung anhand konkreter Kriterien. Vordefinierte Regeln und Muster bewerten die Antwort und liefern konsistente, reproduzierbare Ergebnisse ohne LLM-Inferenz.

Eingabeschema

ParameterTypErforderlichBeschreibung
predictionstrJaJSON text to validate
context.schemadictJaJSON Schema for validation

Ausgabeschema

FeldTypBeschreibung
scorefloat10.0 if schema-compliant, 0.0 otherwise
passedboolTrue if compliant
reasoningstrValidation errors if any
metadatadictSchema validation details

Score-Interpretation

Standardschwellenwert: 10/10

10Vollständige ÜbereinstimmungDie Ausgabe entspricht exakt dem erwarteten Format oder Wert
0Keine ÜbereinstimmungDie Ausgabe entspricht nicht dem erwarteten Format oder Wert

Häufig gestellte Fragen

Wann sollte ich diesen Scorer verwenden?

Verwenden Sie JSONSchemaScorer, wenn Sie die Aspekte format and agent Ihrer KI-Ausgaben evaluieren möchten. Der Scorer eignet sich besonders für evaluierung autonomer ki-agenten.

Warum benötigt dieser Scorer keine erwartete Ausgabe?

Dieser Scorer evaluiert ohne Referenzantwort anhand der konkreten Eingabefelder seines Schemas. Diese Felder sind Belege für die Prüfung; sie gelten nicht automatisch als faktische Ground Truth.

Kann ich den Schwellenwert anpassen?

Der angezeigte Standardschwellenwert dieses Scorers ist 10. Wenn die Konfiguration des Evaluierungsauftrags einen Schwellenwert bereitstellt, prüfen Sie ihn vor dem Speichern anhand der nativen Skala des Scorers. Die gespeicherte Bestanden-Entscheidung verwendet diese scorerspezifische Konfiguration.

Kurzinfo

KategorieFormat
EvaluierungstypRegelbasiert
Erwartete Ausgabe erforderlichNein
Standardschwellenwert10/10

Möchten Sie JSONSchemaScorer ausprobieren?

Starten Sie die Evaluierung Ihrer KI-Agenten mit der umfassenden Scorer-Bibliothek von Noveum.ai.

Weitere Scorer entdecken

Entdecken Sie 112 veröffentlichte Scorer in 15 Kategorien: 82 Premium-, 30 kostenlose, 76 modellgestützte sowie 36 dedizierte Sprach- und Audio-Scorer