Echte Telefonanrufe
NovaSynth ruft Ihren Agenten über SIP mit Twilio, Plivo oder Vobiz sowie über LiveKit-Echtzeitaudio an. Echte Telefonie, echtes Audio und echte Latenz statt eines simulierten Transkripts.
SY
Simulation und synthetische Daten
Finden Sie Schwachstellen, bevor Ihre Kunden es tun.
NovaSynth konfrontiert Ihre Agenten mit synthetischen Nutzern: echte SIP-Anrufe und Chats mit Personas, Akzenten, Unterbrechungen und adversarialer Absicht. Vollständige Szenarien werden rekonstruiert und Ihr Agent oder eine mögliche Korrektur bis zum Ende ausgeführt. Tool-Aufrufe sind virtualisiert, Lesezugriffe werden wiederholt und Schreibzugriffe isoliert. So treten Fehler bereits bei der Probe auf und Korrekturen werden anhand des End-to-End-Ergebnisses statt nur einer Antwort validiert.
Echtes SIP
Anrufe an jede Telefonnummer
Sprache + Chat
eine Simulations-Engine
100+
Szenarien pro Durchlauf
app.noveum.ai: Anrufanalyse
01 - Funktionen
Synthetische Nutzer treffen auf reales Chaos.
Personas und Akzente
Frustrierte Wiederholungsanrufer, Nichtmuttersprachler und Menschen mit hohem Sprechtempo: synthetische Nutzer mit Zielen, Stimmungen und Akzenten.
Unterbrechungen und Barge-in
Dem Agenten mitten im Satz ins Wort fallen, schweigen oder das Thema wechseln: das Chaos realer Nutzer, jederzeit reproduzierbar.
Adversariale Szenarien
Prompt Injection, gezielte Richtlinienprüfungen, Anfragen außerhalb des vorgesehenen Umfangs und regulatorische Grenzfälle werden systematisch erzeugt.
Chat-Simulation
Dieselbe Persona-Engine steuert mehrstufige HTTP-Chats für textbasierte Agenten.
Regressionstest-Suites
Speichern Sie Szenarien-Batches und führen Sie vor jedem Release die vollständige Matrix aus Personas × Szenarien unter einer gemeinsamen Batch-ID erneut aus. So wird das Agentenverhalten zum CI-Prüfkriterium.
02 - Ein Durchlauf
Hunderte Szenarien vor dem Frühstück.
Jeder Anruf wird aufgezeichnet, als Trace erfasst und mit der vollständigen NovaEval-Suite bewertet, einschließlich des Audios selbst.
Szenarien-DurchlaufDURCHLAUF #88 · 240 SZENARIEN
Frustrierter WiederholungsanruferDritter Anruf wegen einer verspäteten RückerstattungSPRACHE · SIPOK
NichtmuttersprachlerAdressänderung mit starkem AkzentSPRACHE · SIPOK
Schneller UnterbrecherBricht mitten im Satz ab und ändert seine MeinungSPRACHE · SIPPRÜFEN
Prompt-Injection-VersuchFragt den Agenten nach seinem System-PromptCHATOK
Durchlauf #88: 240 Szenarien, 2 markiert. Der Agent sprach nach einem Tool-Aufruf über den Nutzer hinweg. Vor dem Release behoben.
03 - Technische Details
So funktioniert ein synthetischer Durchlauf.
Eine asynchrone Warteschlange, echte Telefonie- und Chat-Endpunkte, generierte Personas und Szenarien sowie virtualisierte Tools. Jeder synthetische Anruf wird als vollständiger Trace erfasst und End-to-End neu bewertet.
Warteschlangenarchitektur
Eine asynchrone Warteschlange auf Basis von BullMQ, PostgreSQL und Redis plant und parallelisiert Durchläufe. So laufen Hunderte Szenarien, ohne Ihre Umgebung zu blockieren.
Endpunkttypen
LiveKit-Echtzeitaudio, Telefonie über SIP mit Twilio, Plivo oder Vobiz und Chat über HTTP. Dieselbe Engine steuert Sprach- und Textagenten.
Persona- und Szenarienerzeugung
Personas mit Zielen, Stimmungen und Akzenten werden gemeinsam mit Szenarien erzeugt. Frustrierte Wiederholungsanrufer, Nichtmuttersprachler und Prompt-Injection-Tests entstehen systematisch statt in Handarbeit.
Batch-Matrix-Durchläufe
Führen Sie die vollständige Matrix aus Personas × Szenarien unter einer gemeinsamen Batch-ID aus. So wird der kombinatorische Raum abgedeckt, gruppiert und an einem Ort vergleichbar.
Tool-Virtualisierung
Lesezugriffe werden wiederholt und Schreibzugriffe isoliert. So lässt sich eine geänderte Entscheidung End-to-End prüfen, ohne Produktivsysteme zu beschreiben.
Erfasst und neu bewertet
Jeder synthetische Anruf wird als vollständiger Trace erfasst und mit denselben 112 Scorern wie im Produktivbetrieb neu bewertet, einschließlich des Audios. So werden Fehler bereits bei der Probe sichtbar.
Der Kreislauf
Teil eines geschlossenen Kreislaufs.
Simulationsdurchläufe erzeugen dieselben Traces und Evals wie der Produktivdatenverkehr. So kann NovaPilot beheben, was NovaSynth findet, noch vor dem Start.
Simulieren · NovaSynth
Nächster Schritt
Schließen Sie Ihre Agenten an den Kreislauf an
Produktive KI-Agenten, denen Ihre Kunden vertrauen können.
Im Produktivbetrieb bewährt bei Enterprise- und wachstumsstarken Teams