Tracen, evaluieren und anhand von Belegen handeln

Die Closed-Loop-Evaluierungsschichtfür produktive KI-Agenten.

Verwandeln Sie Stichproben aus Produktions-Traces in Dataset-Elemente, wenden Sie ausgewählte kompatible Scorer an, untersuchen Sie die Belege und bündeln Sie wiederkehrende Fehler zu Empfehlungen, die Ihr Team verifizieren kann.

Demo buchen Kostenlos starten

Kostenloser Tarif · begleitete Einrichtung bis zum ersten Trace

SOC 2 Type II in Bearbeitung · Prüfung der DSGVO-Anforderungen · Bereitstellungsoptionen für Unternehmen

agent.py

from noveum_trace.integrations.langchain import (
    NoveumTraceCallbackHandler,
)
 
handler = NoveumTraceCallbackHandler()
 
agent.invoke({"input": question},
    config={"callbacks": [handler]})

Neueste Noveum-Aktivität

Heute 1.248 Agentenausführungen erfasst

NovaEval markierte hallucination_rate · 7,1 %

NovaPilot-Bericht fertig · 4 Probleme · 2 Empfehlungen

Instrumentieren Sie den Agenten, konfigurieren Sie eine Evaluierung und ordnen Sie die daraus entstehenden Belege.

Open-Source-SDKPython · REST-Ingest · OpenTelemetry-orientiert

Hohes VolumenErfassung von Produktions-Traces

SOC 2 Type IIIn Bearbeitung · DSGVO

Produktiv im Einsatz bei

MyOperatorund KI-Plattformteams in Telekommunikation, Immobilien und Finanzdienstleistungen

Funktioniert mit Ihrem Stack

OpenAIAnthropicLangChainLangGraphLiveKitPipecatCrewAIOpenTelemetry

Eine einheitliche Plattform

Eine Plattform zur Evaluierung von KI-Agenten, vom Trace bis zur empfohlenen Maßnahme

Die meisten Monitoring-Tools enden bei einer Warnung. Noveum verbindet das fehlerhafte Signal mit Traces, Scorer-Belegen, synthetischen Durchläufen und priorisierten Empfehlungen, damit Engineers entscheiden und prüfen können, was geändert werden soll.

Observability

noveum-trace

Das quelloffene Python-SDK zeichnet instrumentierte LLM-Aufrufe, Tool-Aufrufe, Retrieval-Vorgänge und Agentenschritte als strukturierte Spans auf. Fügen Sie benutzerdefinierte Spans und Attribute für anwendungsspezifische Arbeit hinzu. Zu den unterstützten Integrationen gehören LangChain, LangGraph, LiveKit, Pipecat und CrewAI.

Tiefe Framework-Integrationen
Threads und Multi-Agenten-Graphen
Ausfallsicherer Transport

Tracing mit hohem Volumen · OpenTelemetry-orientiert · Apache-2.0-SDK

Authentifizierter noveum-trace Explorer mit Trace-Suche, verschachteltem Span-Ablauf und ausgewählten Retrieval-Attributen

Kunden

Das sagen unsere Kunden.

Von Langfuse gewechselt

“Spans und Traces direkt in der Plattform analysieren und Probleme dort erkennen zu können, hat uns viel Debugging-Zeit gespart. Zuvor gingen wir Protokolle manuell durch, kopierten Traces in Claude Code, analysierten Probleme und setzten anschließend Korrekturen um.”

Wartungs- und Deployment-Aufwand nach dem Wechsel von Langfuse deutlich reduziert

KI-gestütztes Debugging direkt an Spans und Traces innerhalb der Plattform

KI-empfohlene Scorer auf Grundlage der tatsächlich erfassten Protokolle und Traces

CrewAI-Integration als individuelle Anforderung angefragt, schnell geliefert und eingebunden

AI Engineering-Team · DarGlobal

Sprachagenten im großen Maßstab

“Statt tagelang Agentenfehler zu debuggen, prüfen wir jetzt priorisierte Belege und Empfehlungen an einem Ort.”

84→95%+

Erfolgsquote der Anrufe

200×

schnellere Iteration

4- bis 6×

Antwortqualität

10 min

Trace → priorisierte Empfehlung

Lead AI Engineer bei MyOperator

Fallstudie lesen

Jeden Agenten evaluieren

Eine Plattform zur Evaluierung von Chat-, Sprach- und Workflow-Agenten

Chat-Agenten

Verwandeln Sie ausgewählte Produktions-Traces in strukturierte Dataset-Elemente, wählen Sie kompatible Scorer aus der veröffentlichten Bibliothek und vergleichen Sie konfigurierte Evaluierungsergebnisse.

Chatbots evaluieren

Sprachagenten

Transkripte zeigen nicht, was bei einem Anruf schiefging. Testen Sie einen konfigurierten Sprachagenten mit wiederverwendbaren Personas und Szenarien und wenden Sie anschließend ausgewählte kompatible Prüfungen aus 36 Sprach- und Audio-Scorern an.

Sprachagenten evaluieren

Workflow-Agenten

Mehrstufige Agenten versagen oft zwischen den einzelnen Schritten. Evaluieren Sie Tool-Aufrufe, Routing und Ergebnisse über den gesamten Workflow.

Workflow-Agenten evaluieren

Enterprise-tauglich

Ihre Agenten, Ihre Daten, Ihre Infrastruktur

Stimmen Sie Optionen für die Bereitstellung in Ihrer VPC, On-Premise oder mit eigenem ClickHouse mit Noveum ab. Prüfen Sie die daraus entstehenden Datenflüsse, SSO-, Zugriffskontroll-, Audit- und Betriebsgrenzen für die gewählte Vereinbarung.

SOC 2 Type II in BearbeitungPrüfung der DSGVO-AnforderungenSSO- / SAML-OptionenOrganisationsbasierte ZugriffskontrollenPrüfung der AuditierbarkeitBYO-ClickHouse-OptionOn-Premise-Option

Für die Erfassung großer Trace-Mengen ausgelegt · On-Premise- und BYO-ClickHouse-Optionen

Enterprise entdecken

FAQ

Die wichtigsten Fragen von Enterprise-Teams.

Was ist Noveum?

Noveum ist eine Plattform zur Evaluierung produktiver Chat-, Sprach- und Workflow-Agenten. Sie zeichnet instrumentierte Durchläufe auf, bietet eine Bibliothek mit 112 veröffentlichten Scorern, unterstützt konfigurierte Sprach- und Chattests und verwandelt Belege aus evaluierten Fehlern in priorisierte Empfehlungen.

Was unterscheidet NovaPilot?

NovaPilot analysiert ein ausgewähltes evaluiertes Dataset und erstellt einen strukturierten Bericht: Gesamtzustand, Scorer-Leistung, wiederkehrende Fehlermuster, Erkenntnisse zum System-Prompt sowie priorisierte Empfehlungen mit Konfidenz und Aufwand. NovaPilot empfiehlt Änderungen. Ihr Team implementiert und verifiziert sie.

Kann ich Noveum On-Premise betreiben?

Für geeignete Enterprise-Projekte können Optionen für On-Premise, Ihre VPC und BYO ClickHouse abgestimmt werden. Architektur, verwaltete Abhängigkeiten, Datenflüsse, verfügbare Kontrollen und betriebliche Verantwortung hängen von der Vereinbarung ab. SOC 2 Type II ist in Bearbeitung.

Ändert NovaPilot meine Anwendung automatisch?

Nein. NovaPilot erstellt Empfehlungen auf Grundlage evaluierter Elemente, Traces und Scorer-Ergebnisse. Ihre Engineers entscheiden, was geändert wird, implementieren es in Ihrer Anwendung und führen neue Evaluierungen oder synthetische Tests aus, um das Ergebnis zu verifizieren.

Nächster Schritt

Schließen Sie Ihre Agenten an den Kreislauf an

Produktive KI-Agenten, denen Ihre Kunden vertrauen können.

Vertrieb kontaktieren Kostenlos starten

Im Produktivbetrieb bewährt bei Enterprise- und wachstumsstarken Teams