Agent
Bewertet, ob die Tool-Aufrufe und Antworten des Agenten seiner zugewiesenen Rolle und Aufgabe entsprechen.
Für Details klickenSkala: 0–10, pass ≥ 7
Bibliothek veröffentlichter Scorer
112 veröffentlichte Scorer für umfassende KI-Evaluierung
Evaluieren Sie KI-Agenten mit einer gemischten Bibliothek modellgestützter, deterministischer, audiomodellbasierter und signalbasierter Scorer in 15 Kategorien mit nativen numerischen, booleschen und Label-Ausgaben.
LLM-as-Judge-Technologie
Umfassende Abdeckung
Referenzfreie Optionen
112
Produktions-Scorer
15
Qualitätskategorien
76+
LLM-as-Judge-Metriken
Konfigurieren Sie kompatible Prüfungen aus einer gemischten Scorer-Bibliothek und prüfen Sie anschließend das native Ergebnis und die gespeicherte Bestanden-Entscheidung jedes Scorers
Warum Scorer und Evals von Noveum.ai?
LLM-as-Judge-Technologie
Die Bibliothek enthält 76 modellgestützte Scorer für Prüfungen, die von der Begründung eines Bewertungsmodells profitieren; deterministische, audiomodellbasierte und signalbasierte Scorer decken andere Aufgaben ab.
Referenzfreie Optionen
Verwenden Sie Scorer ohne erwartete Ausgabe, wenn die erforderlichen Aufgaben-, Antwort-, Kontext- oder Rollenfelder verfügbar sind. Fügen Sie geprüfte Referenzen für Prüfungen hinzu, die diese benötigen.
Umfassende Abdeckung
112 veröffentlichte Scorer decken die KI-Qualität von der Halluzinationserkennung bis zur Bias-Bewertung ab.
Enterprise-tauglich
Evaluieren Sie repräsentative Produktionsdaten mit Deployment- und Supportoptionen, die auf Enterprise-Anforderungen abgestimmt werden können.
Vollständig anpassbar
Erstellen Sie individuelle Scorer für Ihre geschäftlichen Anforderungen. Erweitern Sie bestehende Scorer oder entwickeln Sie neue.
Trace-basierte Evaluierung
Evaluieren Sie die in strukturierten Dataset-Elementen erfassten Workflow-Vorgänge, einschließlich verfügbarer Tool-Aufrufe, Reasoning-Felder und mehrstufiger Kontexte.
36 Sprach- und Audio-Scorer
Sprachagenten, über die erfassten Gesprächsphasen hinweg evaluiert
Eine dedizierte Suite aus 36 Sprach- und Audio-Scorern deckt Spracherkennung, Synthesequalität, Latenz und Gesprächsdynamik ab. Die Eingabeanforderungen unterscheiden sich je Scorer; verwenden Sie zugeordnete produktive oder synthetische Gesprächsdaten mit den erforderlichen Feldern.
Stufe 1
Speech-to-Text
Wurde der Anrufer korrekt und schnell genug verstanden?
SttEfficacyScorerWordAccuracyScorerSttOverSuppressionScorerTranscriptionDelayScorerSttLatencyScorer
Stufe 2
Schlussfolgerung
Begann das Modell ohne unnötige Stille zu antworten?
LlmTtftScorerLlmLatencyScorer
Stufe 3
Text-to-Speech
Klang der Agent natürlich, klar und korrekt?
MispronunciationScorerAudioBreakageScorerMosScorerToneClarityScorerTtsTtfbScorerTtsLatencyScorer
Stufe 4
Gesprächsdynamik
Unterbrechungen, Gesprächsanteil, Tempo, Stimmung und Gesprächsabschluss.
E2eLatencyScorerEndOfTurnDelayScorerAiInterruptUserScorerTalkRatioScorerAgentWpmScorerSentimentCsatScorerAppropriateCallTerminationScorer
Referenzfreie Optionen für Prüfungen, die keine erwartete Ausgabe benötigen
Audio-native Scorer hören den tatsächlichen Anruf
Funktioniert mit zugeordneten produktiven und synthetischen Gesprächsdaten
Alle Scorer entdecken
Mehr als 112 Scorer in 15 Kategorien durchsuchen und filtern
112 von 112 Scorern werden angezeigt
Agent
Bewertet, wie gut der Agent den relevanten Kontext während der gesamten Interaktion aufrechterhält und nutzt. Beurteilt, ob Antworten angesichts der Aufgabe, Rolle und verfügbaren Informationen des Agenten angemessen sind. Auch nützlich für die RAG-Kontextbewertung.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Agent
Bewertet den logischen Ablauf und die Kohärenz der Antworten des Agenten während des gesamten Gesprächs. Beurteilt, ob der Agent über alle Interaktionen hinweg konsistent argumentiert und klar kommuniziert.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Agent
Misst, inwieweit der Agent die definierten Ziele erfolgreich erreicht. Analysiert den vollständigen Agenten-Trace, um festzustellen, ob und wie effektiv das ursprüngliche Ziel erfüllt wurde.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Agent
Bewertet die Genauigkeit und Angemessenheit der an Tools übermittelten Parameter. Überprüft, ob die Parameterwerte sinnvoll sind und mit dem Aufgabenkontext übereinstimmen. Bewertet die Parameter jedes Tool-Aufrufs einzeln.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Agent
Misst, wie effektiv der Agent bei der Erfüllung seiner zugewiesenen Aufgabe voranschreitet. Bewertet die logische Schrittreihenfolge, die Effizienz der durchgeführten Maßnahmen und ob der Agent einen bedeutenden Fortschritt in Richtung des Ziels macht.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Agent
Bewertet, ob Tools gemäß den Vorgaben korrekt eingesetzt wurden. Überprüft die richtigen Parametertypen, erforderliche Felder und gültige Wertbereiche. Vergleicht tatsächliche Tool-Aufrufe mit erwarteten Tool-Aufrufmustern.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Agent
Bewertet, ob der Agent geeignete Tools für die jeweilige Aufgabe ausgewählt hat. Bewertet, ob die gewählten Tools mit den Aufgabenanforderungen übereinstimmen und ob es bessere Alternativen gab. Verwendet LLM-basierte Analyse, um die Qualität der Toolauswahl zu bewerten.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Konversation
LLM-Richter, der bewertet, ob die aktuelle Antwort des Assistenten dem erwarteten Ablauf aus dem System-Prompt und dem Gesprächsverlauf folgt. Liefert einen JSON-Score von 0 bis 10 mit Begründung.
Für Details klickenSkala: 0–10, pass ≥ 7
Konversation
Bewertet, wie relevant jede Antwort für den aktuellen Gesprächskontext und die Benutzeranfrage ist. Bewertet, ob die Antworten thematisch bleiben, die eigentliche Frage des Nutzers beantworten und thematische Kohärenz mit dem laufenden Dialog aufrechterhalten.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Konversation
Ein zusammengesetzter Scorer, der mehrere konversationelle Bewertungsmetriken zu einer einzigen umfassenden Bewertung kombiniert. Aggregiert Wissensspeicherung, Relevanz, Vollständigkeit und Rollentreue mit konfigurierbaren Gewichten.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Konversation
Misst, wie gut eine KI ihre zugewiesene Rolle oder Persona während eines Gesprächs erfüllt. Bewertet Konsistenz in Tonfall, Vokabular, Wissensgrenzen und Verhaltensmustern, die die zugewiesene Rolle definieren. Überschneidet sich mit der Sicherheit bei Persona-Compliance.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Konversation
Bewertet die Erfüllung von Absichten durch Analyse von Nutzerintentionen und -erfüllung.
Für Details klickenSkala: 0–10, pass ≥ 7
Konversation
Bewertet, wie gut eine KI Informationen über Gesprächsphasen hinweg speichert und nutzt. Bewertet, ob das Modell sich die zuvor im Gespräch geteilten Informationen merkt und korrekt anwendet, wodurch Widersprüche vermieden und Konsistenz aufrechterhalten werden.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Konversation
Regelbasierter Wiederholungs-Scorer, der mit difflib SequenceMatcher die Ähnlichkeit zwischen der aktuellen und der vorherigen Assistentennachricht in conversation_context vergleicht.
Für Details klickenSkala: 0–10, pass ≥ 7
Konversation
Bewertet, wie gut der Agent seine definierte Rolle und Persönlichkeit während des gesamten Gesprächs einhält. Bewertet die Konsistenz im Verhalten, Ton und Entscheidungsfindung, die mit der zugewiesenen Rolle übereinstimmt. Entscheidend für Sicherheit und Persona-Compliance.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Telefonie und Anrufe
Bewertet anhand des Transkripts, ob das Gespräch oder die Sitzung angemessen beendet wurde.
Für Details klickenSkala: 0–10, pass ≥ 7
Telefonie und Anrufe
Bewertet den logischen Ablauf und die Kohärenz der Assistentenantworten allein anhand des Transkripts. Es ist kein Trace erforderlich.
Für Details klickenSkala: 0–10, pass ≥ 7
Telefonie und Anrufe
Erkennt, wann Nutzer aussteigen oder ein Gespräch abbricht. Gibt Ablaufdimensionen und drop_off_node_id zurück.
Für Details klickenSkala: 0–10, pass ≥ 7
Telefonie und Anrufe
Bewertet die Einhaltung von Anweisungen und Rollen im gesamten Gesprächstranskript.
Für Details klickenSkala: 0–10, pass ≥ 7
Telefonie und Anrufe
Bewertet die Nutzerstimmung und die vorhergesagte Kundenzufriedenheit (CSAT) im Gespräch.
Für Details klickenSkala: 0–10, pass ≥ 7
Sprache und Audio
Berechnet die Sprechrate des Agenten in Wörtern pro Minute aus dem Text der Assistentenantworten und der per VAD ermittelten Sprechzeit. conversation_context ist optional, wird aber für eine genaue WPM-Berechnung benötigt.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Zählt Unterbrechungen durch den Agenten, wenn er zu sprechen beginnt, während der Nutzer noch spricht. Null Ereignisse entsprechen einem Score von 10.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Ermittelt die mittlere Grundfrequenz in Hz auf dem Assistentenkanal mit librosa yin und bildet sie für den Schwellenvergleich auf 1 bis 10 ab.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Verwendet Silero VAD für Stereo-Gesprächsaudio und bewertet die Antwortlatenz vom Nutzer zum Agenten auf einer Skala von 1 bis 10. Eine niedrigere Latenz ist besser.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Misst mit Silero VAD die Dauer gleichzeitiger Sprache. Weniger Überlappung ergibt einen höheren Score. Die Metadaten enthalten overlap_s und overlap_ratio.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Bildet die RMS-Energie des Assistentenkanals auf einen Score von 1 bis 10 ab. Der Messbereich liegt ungefähr zwischen -50 dBFS und -5 dBFS.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Scorer zur Bewertung des Audiobruchs und der technischen Qualität bei TTS-generierter Sprache.
Für Details klickenSkala: 1–10, higher is better
Sprache und Audio
Erkennt Kauderwelsch oder nicht-kohärente Assistentensprache mittels multimodalem Modell; Metadaten können is_gibberish.
Für Details klickenSkala: 1–10, higher is better
Sprache und Audio
Scorer zur Bewertung von falscher Aussprache in TTS-generierter Sprache.
Für Details klickenSkala: 1–10, higher is better
Sprache und Audio
Bewertet die Sprache des Assistenten mit einer Mean-Opinion-Score-Rubrik von 1 bis 10 und einem multimodalen, audiofähigen Modell.
Für Details klickenSkala: 1–10, higher is better
Sprache und Audio
Die Aussprachequalität wird nur anhand des Assistenten-Audios beurteilt (kein Referenztranskript).
Für Details klickenSkala: 1–10, higher is better
Sprache und Audio
Scorer zur Bewertung überlappender Sprache in Sprachgesprächen.
Für Details klickenSkala: 1–10, higher is better
Sprache und Audio
Bewertet die Übereinstimmung des Transkripts mit dem gesprochenen Audio auf einer Skala von 1 bis 10. Verarbeitet JSON-Score und Begründung. Die Metadaten können wer_estimate, Auslassungen, Halluzinationen, Ersetzungen und Schweregrad enthalten.
Für Details klickenSkala: 1–10, higher is better
Sprache und Audio
Paarweiser Detektor für übermäßige Unterdrückung mit zwei physikalisch fundierten Signalen: musikalisches Rauschen anhand des zeitlichen Kurtosis-Verhältnisses zwischen bereinigtem und rohem Signal im Sprachband sowie abgeflachte Modulation anhand des Verlusts der Hüllkurvenenergie bei 4 bis 16 Hz. Verwendet kein LLM und keine GPU, sondern numpy, librosa und soundfile. Laufzeit etwa 30 ms pro Paar.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Agent-zu-Nutzer-Sprachzeitverhältnis aus VAD-Intervallen. Metadaten umfassen talk_ratio, user_speech_s und agent_speech_s.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Bewertet Ton und Klarheit der Assistentensprache allein anhand des Audios. Liefert einen Score von 1 bis 10 mit Begründung.
Für Details klickenSkala: 1–10, higher is better
Sprache und Audio
Zählt Unterbrechungen durch den Nutzer, wenn er zu sprechen beginnt, während der Agent noch spricht. Die Metadaten enthalten stop_time_after_interruption_s.
Für Details klickenSkala: 0–10, measured from audio
Sprache und Audio
Scorer zur Bewertung der Wortgenauigkeit in TTS-generierter Sprache.
Für Details klickenSkala: 1–10, higher is better
Sprachverzögerung
Misst die End-to-End-Latenz (E2E).
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Misst die Verzögerung bei der Erkennung des Endes einer Gesprächsrunde.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Misst die LLM-Latenz in Millisekunden.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Scorer für LLM Time to First Token (TTFT).
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Misst die Callback-Verzögerung nach Abschluss einer Nutzereingabe.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Scorer für die Audiodauer des STT-Eingangs.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Scorer für STT-Latenz.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Scorer für die Dauer der STT-Bearbeitung.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Misst die STT-Transkriptionsverzögerung.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Scorer für die von TTS erzeugte Audiodauer.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Scorer für die Dauer der TTS-Synthese.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Scorer für TTS-Latenz.
Für Details klickenSkala: ms → 0–10 (10 = ideal)
Sprachverzögerung
Scorer für TTS Time to First Byte (TTFB).
Für Details klickenSkala: ms → 0–10 (10 = ideal)
RAG
Kombiniert mehrere Retrieval-Scorer mit gewichtetem Durchschnitt für eine umfassende RAG-Bewertung. Ermöglicht konfigurierbare Gewichte für verschiedene Metriken, um einen einzigen aggregierten Wert zu berechnen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Bewertet, wie relevant die generierte Antwort für die Eingabefrage ist. Bewertet, ob die Antwort direkt auf die gefragte Frage eingeht, ob sie beim Thema bleibt und nützliche Informationen liefert. Fundamentale RAG-Metrik.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Umfassender Scorer zur Erkennung mehrerer Arten von Voreingenommenheit. Erkennt geschlechtsbezogene, ethnische, kulturelle, politische und weitere Verzerrungen in KI-generierten Antworten und liefert Details zum Schweregrad.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Berechnet die Precision abgerufener Chunks anhand numerischer Relevanzwerte. Precision = Anzahl der abgerufenen relevanten Chunks ÷ Gesamtzahl der abgerufenen Chunks. Verwendet eine LLM-basierte Relevanzbewertung.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Misst die Precision des abgerufenen Kontexts anhand des Anteils der Chunks, die tatsächlich zur Beantwortung der Frage beitragen. Eine hohe Precision steht für überwiegend nützliche Informationen mit wenig irrelevantem Inhalt.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Berechnet den Recall abgerufener Chunks anhand einer Schätzung aller verfügbaren relevanten Chunks. Recall = Anzahl der abgerufenen relevanten Chunks ÷ geschätzte Gesamtzahl relevanter Chunks. Verwendet eine LLM-basierte Schätzung.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Misst den Recall des abgerufenen Kontexts anhand des Anteils erfolgreich abgerufener relevanter Informationen. Hilft, Lücken in der Retrieval-Abdeckung zu erkennen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Misst, wie treu die generierte Antwort zum gegebenen Kontext ist. Kritische RAG-Metrik, die bewertet, ob die Antwort auf abgerufenen Dokumenten basiert und diese unterstützt, Halluzinationen und nicht belegten Behauptungen erkennt.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Implementiert den RAGAS-Rahmen (Retrieval Augmented Generation Assessment) für eine umfassende RAG-Bewertung. Kombiniert Antwortrelevanz, Treue, Kontextgenauigkeit und Metriken zur Kontexterinnerung.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Bewertet die Vielfalt der abgerufenen Kontextchunks unter Verwendung des Kosinusabstands zwischen den Einbettungen. Höhere Werte deuten auf vielfältigere abgerufene Inhalte hin, was Redundanzen bei den Ergebnissen verringert.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
F1-Score, der Precision und Recall für die kontextuelle Bewertung kombiniert. Berechnet das harmonische Mittel beider Werte für eine ausgewogene Retrieval-Bewertung.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Berechnet Ranking-Metriken für abgerufenen Kontext, darunter MRR (Mean Reciprocal Rank), NDCG und MAP. Bewertet, wie gut das Retrieval-System relevante Dokumente vor irrelevanten einordnet.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Berechnet die semantische Ähnlichkeit zwischen Anfrage und abgerufenem Kontext anhand von Satz-Embeddings. Verwendet Kosinusähnlichkeit zwischen Embeddings und greift auf textbasierte Ähnlichkeit zurück, falls das Embedding-Modell nicht verfügbar ist.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG
Bewertet die Qualität der Quellenangaben und Zitationen in Antworten.
Für Details klickenSkala: 0–10, pass ≥ 7
Mehrfachkontext
Bewertet, wie gut eine Antwort widersprüchliche Informationen über mehrere Kontextabschnitte hinweg verarbeitet. Führt paarweise Vergleiche durch, um Konflikte zu erkennen, und bewertet die Effektivität der Lösung.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Mehrfachkontext
Bewertet, ob der bereitgestellte Kontext alle notwendigen Informationen enthält, um die Antwort vollständig zu unterstützen. Bewertet, ob der Kontext vollständig genug ist, um die Anfrage umfassend zu beantworten, und hilft so, die Effektivität des Abrufsystems zu bewerten.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Mehrfachkontext
Bewertet die Konsistenz einer Antwort über mehrere Kontextabschnitte hinweg. Identifiziert Fälle, in denen die Antwort in manchen Kontexten treu sein kann, aber mit anderen nicht übereinstimmt.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Mehrfachkontext
Erweiterte Faithfulness-Prüfung mit detaillierter Analyse einzelner Behauptungen. Extrahiert zunächst sachliche Behauptungen aus der Antwort und prüft anschließend jede davon anhand des Kontexts. Besonders geeignet zur Erkennung partieller Halluzinationen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Mehrfachkontext
Erweiterte Faithfulness-Prüfung mit detaillierter Analyse einzelner Behauptungen.
Für Details klickenSkala: 0–10, pass ≥ 7
Mehrfachkontext
Bewertet, wie gut eine Antwort durch den gegebenen Kontext gestützt ist. Prüft, ob Behauptungen auf das Ausgangsmaterial zurückgeführt werden können. Eine zentrale Metrik für die Zuverlässigkeit von RAG.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Mehrfachkontext
Bewertet, wie gut eine Antwort mehrere Kontextabschnitte angemessen gewichtet und priorisiert. Bewertet, ob die Antwort den relevantesten Kontext korrekt betont.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Halluzination
Extrahiert einzelne sachliche Behauptungen aus dem Ausgabetext und prüft jede davon anhand des Kontexts. Liefert detaillierte Ergebnisse einschließlich unterstützender oder widersprüchlicher Belege und Konfidenzwerten.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Halluzination
Bewertet die sachliche Genauigkeit des Ausgabetextes anhand des bereitgestellten Kontexts. Prüft, ob Aussagen mit den Fakten im Kontext übereinstimmen, und erkennt Ungenauigkeiten sowie unbelegte Behauptungen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Halluzination
Entdeckt Halluzinationen und faktische Unstimmigkeiten in generierten Antworten, indem es mit Quelldokumenten und Wissensdatenbanken vergleicht und unbegründete oder widersprüchliche Behauptungen markiert.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertet die Vollständigkeit und Abdeckung von KI-generierten Antworten. Bewertet, ob die Antwort alle Aspekte der Frage behandelt und den verfügbaren Kontext effektiv nutzt.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertet die Qualität der Quellenangaben und Zitationen in Antworten. Bewertung der Genauigkeit, Vollständigkeit, Spezifität und Angemessenheit von Quellenangaben.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertet die Klarheit und Kohärenz von KI-generierten Antworten. Bewertet Sprachklarheit, Struktur, logischen Fluss und Konsistenz. Misst, wie gut die Antwort ihre Botschaft vermittelt.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertet die Informationsdichte und Vielfalt der KI-generierten Antworten. Bewertet, wie informationsreich eine Antwort im Verhältnis zur Frage ist, misst den Inhaltswert und den Füller-Inhalt.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertet die Übereinstimmung zwischen Fragen und Antworten. Beurteilt, wie gut die Antwort die Frage direkt beantwortet, relevant bleibt und ein angemessenes Detailniveau bietet.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertet die Gesamtqualität der RAG-generierten Antworten. Bewertet die Übereinstimmung zwischen Frage und Antwort, misst, wie gut die Antwort die Frage direkt beantwortet und angemessene Details liefert.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertung der technischen Genauigkeit domänenspezifischer Antworten. Bewertet die Korrektheit technischer Konzepte, Verfahren, Terminologie und quantitativer Informationen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertet die Konsistenz und Genauigkeit der domänenspezifischen Terminologie. Bewertet die korrekte Verwendung von Domänenbegriffen, durchgehend einheitliche Terminologie und die Einhaltung von Domänenstandards.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Antwortqualität
Bewertet die Konsistenz des Tons und die Angemessenheit der Antworten. Beurteilt, ob der Ton zur Domäne passt, ob er durchgehend konsistent bleibt und mit der Gesprächshistorie übereinstimmt.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG-Pipeline
Analysiert die Fehlerausbreitung über Pipeline-Stufen hinweg.
Für Details klickenSkala: 0–10, pass ≥ 7
RAG-Pipeline
Analysiert die Latenz über Pipeline-Stufen hinweg.
Für Details klickenSkala: 0–10, pass ≥ 7
RAG-Pipeline
Bewertet, wie gut Pipeline-Stufen zusammenarbeiten.
Für Details klickenSkala: 0–10, pass ≥ 7
RAG-Pipeline
Bewertet das Verständnis und die Verarbeitungsqualität von Anfragen. Bewertet Klarheit, Absichtserkennung, Vorverarbeitungseffizienz, Spezifität, Komplexität und Mehrdeutigkeit von Eingabefragen mit konfigurierbaren Gewichten.
Trace-kompatibelSkala: 0–10, pass ≥ 7
RAG-Pipeline
Bewertet die Wirksamkeit der Reranking-Phasen.
Für Details klickenSkala: 0–10, pass ≥ 7
RAG-Pipeline
Analysiert die Ressourcennutzung über die Pipeline-Stufen hinweg.
Für Details klickenSkala: 0–10, pass ≥ 7
RAG-Pipeline
Umfassende Leistungsbewertung der Retrieval-Stufe, die Precision, Recall, Ranking, Ähnlichkeit und Diversität kombiniert.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Sicherheit
Bewertet, ob das Modell schädliche oder unangemessene Anfragen sachgerecht ablehnt. Prüft, ob gefährliche Anfragen erkannt und angemessene Ablehnungen formuliert werden. Wichtig für Compliance und Guardrails.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Sicherheit
Bewertet Inhalte anhand von Moderationsrichtlinien. Prüft mehrere Kategorien, darunter Gewalt, Hassrede, nicht jugendfreie Inhalte und Selbstverletzung. Eine zentrale Metrik für die Plattformsicherheit.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Sicherheit
Erkennt konkrete Verstöße gegen Sicherheitsrichtlinien in generierten Inhalten. Liefert detaillierte Angaben zu verbotenen Inhaltstypen, Verstößen und Schweregraden.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Sicherheit
Bewertet, ob generierte Inhalte schädliche Ratschläge oder gefährliche Empfehlungen enthalten. Erkennt Ratschläge, die den Nutzern physischen, finanziellen, rechtlichen oder psychischen Schaden zufügen könnten.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Sicherheit
Misst das Ausmaß toxischen Inhalts im generierten Text. Bewertet Text auf verschiedene Formen von Toxizität, einschließlich Beleidigungen, Drohungen, Fluchwörter und Belästigung, mit spezifischer Identifikation von toxischen Elementen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Voreingenommenheit und Fairness
Bewertung der kulturellen Sensibilität und Angemessenheit erzeugter Inhalte. Bewertet, ob der Text kulturelle Unterschiede respektiert, kulturelle Aneignung vermeidet und Sensibilität gegenüber vielfältigen kulturellen Praktiken und Überzeugungen bewahrt.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Voreingenommenheit und Fairness
Bewertet Inhalte auf altersbedingte Diskriminierung oder Stereotype. Identifiziert altersdiskriminierende Sprache, Annahmen über Fähigkeiten basierend auf dem Alter oder stereotype Darstellungen verschiedener Altersgruppen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Voreingenommenheit und Fairness
Bewertet, ob der erzeugte Inhalt geschlechtsspezifische Vorurteile oder Stereotype enthält. Analysiert Text auf implizite oder explizite Geschlechterdiskriminierung, stereotype Darstellungen oder Sprache, die Merkmale oder Rollen ungerechtfertigt mit bestimmten Geschlechtern assoziiert.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Voreingenommenheit und Fairness
Erkennt rassistische oder ethnische Vorurteile in generierten Inhalten. Verwendet ein LLM, um Stereotype, diskriminierende Sprache oder unfaire Assoziationen aufgrund von Rasse oder Ethnie zu identifizieren. Untersucht sowohl explizite Aussagen als auch subtile sprachliche Muster.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Genauigkeit
Berechnet die Genauigkeit anhand von Teilstring- oder Token-Übereinstimmungen zwischen Vorhersage und Ground Truth. Weniger streng als ExactMatchScorer und daher für Teilübereinstimmungen geeignet.
Für Details klickenSkala: 0–10, pass ≥ 7
Genauigkeit
Bewertet, ob die Vorhersage exakt mit der Ground Truth übereinstimmt. Geeignet für Aufgaben mit eindeutig erwarteten Ausgaben, etwa Codegenerierung oder Klassifikationslabels.
Für Details klickenSkala: 0–10, pass ≥ 7
Genauigkeit
Berechnet den F1-Score auf Token-Ebene zwischen Vorhersage und Ground Truth. Kombiniert Precision und Recall und eignet sich für extraktive Aufgaben sowie Named Entity Recognition.
Für Details klickenSkala: 0–10, pass ≥ 7
Genauigkeit
Bewertet die Vorhersagegenauigkeit anhand mehrerer akzeptabler Muster oder Antworten. Ideal für Aufgaben, bei denen mehrere richtige Antworten vorhanden sind, mit Regex-Unterstützung für flexible Musteranpassungen.
Für Details klickenSkala: 0–10, pass ≥ 7
NLP-Metriken
Berechnet den BLEU-Score (Bilingual Evaluation Understudy) zwischen Vorhersage und Ground Truth. Misst die n-Gramm-Precision mit Brevity Penalty und eignet sich für maschinelle Übersetzung und die Evaluation von Zusammenfassungen.
Für Details klickenSkala: 0–10, pass ≥ 7
NLP-Metriken
Berechnet die Ähnlichkeit anhand der Levenshtein-Distanz zwischen Vorhersage und Ground Truth. Misst die minimale Anzahl einzelner Zeichenänderungen, die zur Umwandlung einer Zeichenfolge in die andere erforderlich sind.
Für Details klickenSkala: 0–10, pass ≥ 7
NLP-Metriken
Berechnet ROUGE-Scores für die Evaluation von Textzusammenfassungen. Umfasst ROUGE-1 für Unigramme, ROUGE-2 für Bigramme und ROUGE-L für die längste gemeinsame Teilsequenz.
Für Details klickenSkala: 0–10, pass ≥ 7
Format
Prüft, ob die Vorhersage ein gültiges E-Mail-Adressformat enthält. Verwendet reguläre Ausdrucksabgleichung, um korrekt formatierte E-Mail-Adressen in eigenständigen Zeichenfolgen oder Text zu überprüfen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Format
Prüft, ob die Vorhersage gültiges JSON enthält. Der regelbasierte Scorer versucht, die Vorhersage als JSON zu parsen, und liefert bei erfolgreichem Parsing einen Score von 10. Geeignet für strukturierte Ausgabeaufgaben.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Format
Prüft, ob eine JSON-Ausgabe einem vorgegebenen JSON-Schema entspricht. Validiert die JSON-Syntax sowie die erwarteten Felder, Typen und Einschränkungen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Format
Überprüft, dass URLs in der Vorhersage korrekt formatiert und optional zugänglich sind. Extrahiert URLs aus Text, validiert deren Format und kann optional prüfen, ob sie sich auf gültige Ressourcen auflösen.
Trace-kompatibelSkala: 0–10, pass ≥ 7
Finden Sie die richtigen Scorer für Ihren Anwendungsfall
Haben Sie die passenden Scorer?
RAG-Systeme evaluieren
- AnswerRelevancyScorer
- FaithfulnessScorer
- ContextualPrecisionScorer
- ContextualRecallScorer
- RAGASScorer
- AnswerRelevancyScorer
- FaithfulnessScorer
- ContextualPrecisionScorer
- ContextualRecallScorer
- RAGASScorer
Sicherheit und Compliance
- ToxicityScorer
- ContentSafetyViolationScorer
- IsHarmfulAdviceScorer
- ContentModerationScorer
- AnswerRefusalScorer
- ToxicityScorer
- ContentSafetyViolationScorer
- IsHarmfulAdviceScorer
- ContentModerationScorer
- AnswerRefusalScorer
Bias-Erkennung
- NoGenderBiasScorer
- NoRacialBiasScorer
- NoAgeBiasScorer
- CulturalSensitivityScorer
- BiasDetectionScorer
- NoGenderBiasScorer
- NoRacialBiasScorer
- NoAgeBiasScorer
- CulturalSensitivityScorer
- BiasDetectionScorer
Alles, was Sie über die Scorer von Noveum.ai wissen müssen
Häufig gestellte Fragen
What are evaluation scorers?
Evaluation scorers assess different aspects of AI agent behavior. Depending on the scorer, they use model-backed judging, deterministic rules, audio models, or measured signals, and some require particular dataset fields or expected outputs.
How many scorers does Noveum.ai have?
Noveum.ai publishes 112 scorers across 15 categories: 82 Premium, 30 Free, 76 model-backed, and 36 dedicated voice and audio scorers. Categories include RAG, hallucination, bias, safety, voice, and more.
Do I need to provide expected outputs?
Not always. Requirements vary by scorer. Many checks are reference-free; instruction and role checks can use a system prompt, while factual checks may require retrieved context, a reference answer, or tool evidence.
Can I create custom scorers?
Yes. Create a custom model-judged criterion from a rubric prompt, map its placeholders to dataset fields, choose a judge model, and set the pass threshold.
Which scorers should I use for my use case?
It depends on your specific needs. For RAG systems, use our RAG scorers (Faithfulness, ContextualPrecision, etc.). For agent evaluation, use Agent scorers. For safety compliance, use Safety and Bias scorers. Browse our categories to find the right fit.
How do scorers impact performance?
Evaluation time and credit cost vary by scorer, model, item count, and data shape. Noveum runs configured eval jobs asynchronously, supports bounded batches and filters, and shows a credit estimate before a manual run.
Can I use scorers in my own code?
Use Noveum eval-job APIs to start configured evaluations from CI or another service, then poll the run and read its results. The tracing SDK records application behavior; it does not execute the entire scorer catalog inline.
What's the difference between LLM-based and rule-based scorers?
LLM-based scorers use advanced language models to evaluate nuanced quality aspects like relevancy and faithfulness. Rule-based scorers use deterministic algorithms for objective metrics like JSON validation or exact matching. Both have their place depending on your needs.
Was sind Evaluierungs-Scorer?
Evaluierungs-Scorer bewerten unterschiedliche Aspekte des Verhaltens von KI-Agenten. Je nach Scorer verwenden sie modellgestützte Bewertungen, deterministische Regeln, Audiomodelle oder gemessene Signale; einige benötigen bestimmte Dataset-Felder oder erwartete Ausgaben.
Wie viele Scorer bietet Noveum.ai?
Noveum.ai veröffentlicht 112 Scorer in 15 Kategorien: 82 Premium-, 30 kostenlose, 76 modellgestützte sowie 36 dedizierte Sprach- und Audio-Scorer. Zu den Kategorien gehören RAG, Halluzinationen, Bias, Sicherheit, Sprache und weitere.
Muss ich erwartete Ausgaben bereitstellen?
Nicht immer. Die Anforderungen unterscheiden sich je Scorer. Viele Prüfungen sind referenzfrei; Prüfungen zu Anweisungen und Rollen können einen System-Prompt verwenden, während Faktenprüfungen möglicherweise abgerufenen Kontext, eine Referenzantwort oder Tool-Belege benötigen.
Kann ich individuelle Scorer erstellen?
Ja. Erstellen Sie anhand eines Rubrik-Prompts ein benutzerdefiniertes, modellbewertetes Kriterium, ordnen Sie seine Platzhalter Dataset-Feldern zu, wählen Sie ein Bewertungsmodell und legen Sie den Schwellenwert für das Bestehen fest.
Welche Scorer eignen sich für meinen Anwendungsfall?
Das hängt von Ihren Anforderungen ab. Verwenden Sie für RAG-Systeme unsere RAG-Scorer wie Faithfulness und ContextualPrecision, für Agentenevaluierungen die Agenten-Scorer und für Sicherheits-Compliance die Sicherheits- und Bias-Scorer. Durchsuchen Sie unsere Kategorien, um die passende Auswahl zu finden.
Wie wirken sich Scorer auf die Leistung aus?
Evaluierungsdauer und Credit-Kosten unterscheiden sich je Scorer, Modell, Elementanzahl und Datenstruktur. Noveum führt konfigurierte Evaluierungsaufträge asynchron aus, unterstützt begrenzte Batches und Filter und zeigt vor einer manuellen Ausführung eine Credit-Schätzung an.
Kann ich Scorer in meinem eigenen Code verwenden?
Starten Sie konfigurierte Evaluierungen aus CI oder einem anderen Dienst über die Noveum-APIs für Evaluierungsaufträge, fragen Sie anschließend die Ausführung ab und lesen Sie die Ergebnisse. Das Tracing-SDK zeichnet Anwendungsverhalten auf; es führt nicht den gesamten Scorer-Katalog inline aus.
Was unterscheidet LLM-basierte von regelbasierten Scorern?
LLM-basierte Scorer nutzen fortschrittliche Sprachmodelle, um differenzierte Qualitätsaspekte wie Relevanz und Faithfulness zu evaluieren. Regelbasierte Scorer verwenden deterministische Algorithmen für objektive Metriken wie JSON-Validierung oder exakte Übereinstimmungen. Je nach Anforderung sind beide Ansätze sinnvoll.
Kostenlos starten
Bereit, Ihre KI-Agenten zu evaluieren?
Starten Sie mit 112 veröffentlichten Scorern. Keine Kreditkarte erforderlich.