Observability
noveum-trace zeichnet instrumentierte LLM-Aufrufe, Tool-Aufrufe, Retrieval-Vorgänge und Agentenschritte als verbundene Spans auf, einschließlich Token-, Kosten- und Latenzmetadaten, sofern verfügbar. Verwenden Sie unterstützte Framework-Callbacks und benutzerdefinierte Operationen, um den Ausführungskontext zu erfassen, den Ihr Team benötigt.
Produktion
Trace-Volumen im großen Maßstab
Hierarchisch
Agenten- und Workflow-Traces
Begleitet
Einrichtung bis zum ersten Trace
01 - Funktionen
Zu den unterstützten Integrationen gehören LangChain, LangGraph, LiveKit, Pipecat und CrewAI. Jede Integration zeichnet die empfangenen Callbacks oder umschlossenen Operationen auf. Prüfen Sie die resultierenden Spans für Ihre Framework-Version und Ihren Workflow.
noveum-trace speichert bereitgestellte Token- und gemeldete Kostenmetadaten mit jedem Span. Fehlen gemeldete Kosten, kann die Analyse sie anhand eines erkannten Anbieters und Modells mit dem aktuellen Kostenregister schätzen.
Konversationsthreads, Agentenregister und Workflow-Graphen machen aufgezeichnete Multi-Agenten-Abläufe nachvollziehbar: wer was in welcher Reihenfolge ausgeführt hat.
Audio- und Bildartefakte werden gemeinsam mit den Spans hochgeladen und liefern die Grundlage für Sprach- und Bild-Evals.
Das SDK bündelt Exporte, wiederholt fehlgeschlagene Übertragungen und ist so ausgelegt, dass Fehler bei der Telemetrieübermittlung die Anwendung nicht beeinträchtigen. Prüfen Sie Verhalten und Mehraufwand in Ihrer eigenen Laufzeit.
Traces, Spans, Attribute und Ereignisse lassen sich sauber auf OTel-Konzepte abbilden. Ein eigens entwickeltes Übertragungsformat ist auf LLM-Workloads zugeschnitten.
02 - Integration
Initialisieren Sie das SDK, fügen Sie die unterstützte Integration für Ihren Stack hinzu und prüfen Sie den ersten Trace im Explorer. Unsere Engineers können Sie bei der Integration während des Onboardings begleiten.
from noveum_trace.integrations.langchain import ( NoveumTraceCallbackHandler,) handler = NoveumTraceCallbackHandler() agent.invoke( {"input": question}, config={"callbacks": [handler]},)Das wird erfasst
Python 3.9–3.13 · OpenTelemetry-orientiert · MCP-Server enthalten
03 - Technische Details
Ein spaltenbasierter Trace-Speicher, ein quelloffenes Python-SDK, ein integriertes Kostenregister und ein MCP-Server machen Agenten-Observability konkret abfragbar.
Speicher-Engine
Ein spaltenbasiertes ClickHouse-Backend für die Aggregation großer Trace-Mengen und eine effiziente Speicherung.
Quelloffenes Python-SDK
Python `noveum-trace` (3.9–3.13): Instrumentierung mit Kontextmanagern, ein Initialisierungsaufruf startet das Streaming der Spans.
Modell- und Kostenregister
Ein integriertes Register umfasst mehr als 40 Modelle von 11 Anbietern: OpenAI (gpt-4o, o1, o3, gpt-5), Anthropic Claude 3/3.5/4.5, Google Gemini 1.5/2.0/2.5, Cohere, Mistral, Meta Llama, DeepSeek, xAI Grok, Perplexity, Amazon Bedrock und AI21.
Kosten je Span
Erfasste Tokenzahlen und gemeldete Kosten bleiben dem jeweiligen Span zugeordnet. Die Analyse kann fehlende Kosten anhand erkannter Anbieter- und Modellmetadaten mit dem aktuellen Register schätzen.
Native Integrationen
Dokumentierte Integrationen für LangChain, LangGraph, LiveKit, Pipecat und CrewAI. Der Erfassungsumfang richtet sich nach den übermittelten Callbacks oder umschlossenen Operationen.
MCP-Server
Ein aus der aktuellen OpenAPI-Spezifikation generierter MCP-Server stellt Ihren eigenen Agenten unterstützte Noveum-Aktionen sowie kuratierte Ressourcen und geführte Prompts bereit.
Der Kreislauf
noveum-trace liefert Produktionsbelege für datasetbasierte Evaluierungen und NovaPilot-Analysen. NovaSynth kann einen konfigurierten Endpunkt vor oder nach der Bereitstellung testen, während eine verbundene Laufzeit NovaGuard-Richtlinien durchsetzt.
Im Produktivbetrieb bewährt bei Enterprise- und wachstumsstarken Teams