LlmTtftScorer
Scorer für LLM Time to First Token (TTFT).
Übersicht
Scorer für LLM Time to First Token (TTFT).
Anwendungsfälle
- Allgemeine KI-Evaluierung und Qualitätsbewertung
Funktionsweise
Dieser Scorer validiert Ausgaben mithilfe einer deterministischen regelbasierten Evaluierung anhand konkreter Kriterien. Vordefinierte Regeln und Muster bewerten die Antwort und liefern konsistente, reproduzierbare Ergebnisse ohne LLM-Inferenz.
Eingabeschema
| Parameter | Typ | Erforderlich | Beschreibung |
|---|
Ausgabeschema
| Feld | Typ | Beschreibung |
|---|---|---|
| score | any | - |
| passed | any | - |
| reasoning | any | - |
| metadata | any | - |
Score-Interpretation
Verwandte Scorer
E2eLatencyScorer
Misst die End-to-End-Latenz (E2E)....
SprachverzögerungEndOfTurnDelayScorer
Misst die Verzögerung bei der Erkennung des Endes einer Gesprächsrunde....
SprachverzögerungLlmLatencyScorer
Misst die LLM-Latenz in Millisekunden....
SprachverzögerungOnUserTurnCompletedDelayScorer
Misst die Callback-Verzögerung nach Abschluss einer Nutzereingabe....
Häufig gestellte Fragen
Wann sollte ich diesen Scorer verwenden?
Verwenden Sie LlmTtftScorer, wenn Sie die Aspekte latency Ihrer KI-Ausgaben evaluieren möchten. Der Scorer eignet sich besonders für allgemeine ki-evaluierung und qualitätsbewertung.
Warum benötigt dieser Scorer keine erwartete Ausgabe?
Dieser Scorer evaluiert Qualitätsaspekte, für die kein Vergleich mit einer Referenzantwort erforderlich ist. System-Prompt und Kontext dienen als implizite Ground Truth.
Kann ich den Schwellenwert anpassen?
Ja, der Standardschwellenwert von 7 lässt sich bei der Konfiguration des Scorers anpassen.
Kurzinfo
Möchten Sie LlmTtftScorer ausprobieren?
Starten Sie die Evaluierung Ihrer KI-Agenten mit der umfassenden Scorer-Bibliothek von Noveum.ai.
Weitere Scorer entdecken
Entdecken Sie 112 kalibrierte LLM-as-Judge-Scorer für umfassende KI-Evaluierungen