Frustrierter Wiederanrufer
Dritter Anruf wegen einer verspäteten Rückerstattung. Eskalationsrisiko erkannt, der Agent muss vor dem Tool-Lookup deeskalieren.
Voice · SIPWütendUS-Midwest
Video ansehen
Brechen Sie Ihre Agenten,bevor es Ihre Kunden tun.
NovaSynth schickt synthetische Nutzer an Ihre Agenten über echte SIP-Anrufe, LiveKit-Audio und Chat, mit Personas, Unterbrechungen und adversarischer Absicht, damit Fehler in der Probe auftauchen und Fixes end-to-end validiert werden.
Scrollen
Synthetische Nutzer mit Chaos aus der Realität.
Frustrierte Wiederanrufer, genervte Nutzer im Stau, Nutzer die mitten im Satz die Sprache wechseln, und vieles mehr - synthetische Nutzer mit Zielen, Stimmungen, Akzenten und Chaos aus der Realität.
Schneller Unterbrecher
Bricht mitten im Satz ab, ändert die Meinung, redet über den Agenten hinweg. Testet Turn-Taking und Erholung unter Druck.
Voice · SIPUngeduldigSchnelles US
Prompt-Injection-Versuch
Fordert den Agenten auf, seinen System-Prompt und Tool-Definitionen auszugeben. Testet Sicherheitsgrenzen und Ablehnungsverhalten.
ChatBerechnendNeutral
Echte Telefonate.
NovaSynth wählt Ihren Agenten über SIP via Twilio, Plivo oder Vobiz und LiveKit-Echtzeit-Audio. Echte Telefonie, echtes Audio, echte Latenz, kein gemocktes Transkript.
Synthetischer Nutzer
Dritter Anruf · verspätete Rückerstattung · im Stau
Sprache
Hintergrund · hupende Hörner
Spricht 00:15
Ihr Agent
Voice-Agent
Ausgabe
Still 00:15
Live-Transkript
LiveZeitstempel anzeigen
00:15U
[Hupen] Hallo, ich rufe schon wieder wegen meiner Rückerstattung an. Bestellung #4821. Es sind zwei Wochen vergangen.
Wie ein synthetischer Lauf wirklich abläuft.
Von Persona und Szenario über Scorer und Ursache bis zum validierten Fix - ein geschlossener Loop.
RUN #88 · PERSONA
Den Anrufer definieren
Legen Sie Persönlichkeit, Hintergrund, Sprache, Verhalten und Unterbrechungen fest, um realistische synthetische Anrufer zu erzeugen.
Für Skalierung gebaut.
Queue-Architektur
Eine asynchrone Queue auf BullMQ, PostgreSQL und Redis plant und parallelisiert Läufe. Hunderte Szenarien pro Lauf, ohne Ihre Umgebung zu blockieren.
→
Endpoint-Typen
Telefon-SIP (Twilio, Plivo, Vobiz), LiveKit, Pipecat, LangChain/LangGraph, OpenAI- und Anthropic-SDKs sowie Chat über HTTP. Auch Custom- oder From-Scratch-Agenten - per SDK oder leichte Hooks um Ihre LLM-Aufrufe.
- SIP✓
- LiveKit✓
- Pipecat✓
- Custom✓
Persona- & Szenario-Generierung
Personas mit Zielen, Stimmungen und Akzenten entstehen zusammen mit Szenarien: frustrierte Wiederanrufer, Nicht-Muttersprachler, Prompt-Injection-Probes. Systematisch, nicht von Hand geschrieben.
😠😐🗣️
Batch-Matrix-Läufe
Fahren Sie die volle Matrix aus Personas × Szenarien unter einer gemeinsamen Batch-ID. Abdeckung des kombinatorischen Raums, gruppiert und vergleichbar an einem Ort.
Nebenläufigkeit & Lasttests
Erhöhen Sie die Nebenläufigkeit, um zu sehen, wie viele Anrufe Ihr Agent gleichzeitig halten kann - bis zu 2.000 parallele Leitungen für Lasttests. Für normale funktionale Läufe niedrig halten; sagen Sie uns vor einem großen Lastlauf Bescheid, damit wir Leitungen provisionieren.
bis zu 2.000 parallele Leitungen
Tool-Virtualisierung
Reads werden replayed und Writes sandboxed, sodass eine geänderte Entscheidung end-to-end geübt wird, während Writes nie Produktionssysteme treffen.
READREPLAY
WRITESANDBOX
Erfasst & neu bewertet
Jeder synthetische Anruf wird als voller Trace erfasst und mit 30+ Voice-AI-Metriken (100+ plattformweit) bewertet, inklusive des Audios selbst, damit Fehler in der Probe auftauchen.
30+ Voice-Metriken
Von Happy-Path-Tests zur Probe echten Chaos.
Vorher
- Eine Handvoll Happy-Path-Gespräche testen und auf das Beste hoffen
- Testskripte von Hand schreiben, die bei jeder Prompt-Änderung veralten
- Einzelne Antworten statt kompletter Multi-Turn-Journeys bewerten
- Unterbrechungen, Akzente und das Chaos echter Anrufer auslassen
- Gemockte Transkripte statt echter Telefonie und echten Audios nutzen
- Fehler erst entdecken, nachdem echte Kunden sie erleben
Nachher
- Hunderte synthetische Nutzer mit Zielen, Stimmungen und Akzenten, systematisch erzeugt
- Unsere Agenten helfen, Edge Cases aus Ihrem Agent-Kontext zu erzeugen - Prompt, PRD, Workflows, Docs
- Eigene Szenarien einreichen und das System laufen lassen; fehlende Fälle werden aus diesem Kontext vorgeschlagen
- Unterbrechungen, Barge-in, Stille, Themenwechsel: Chaos aus der Realität, auf Abruf
- Echte SIP-Sprachanrufe und Chat. Echte Telefonie, echtes Audio, echte Latenz
- Jeder Anruf erfasst, getraced und mit 30+ Voice-AI-Metriken vor dem Release bewertet
Häufig gestellte Fragen
Ruft NovaSynth mein Live-Produktionssystem an?
Nein. NovaSynth ist Pre-Production. Unser Agent ruft den Agenten an, den Sie uns nennen - eine Testnummer, ein Staging-SIP oder einen neuen Agenten, den Sie noch nicht ausgeliefert haben. Starten Sie dort, sehen Sie den Mehrwert, und entscheiden Sie dann, wo sonst. Live-Produktions-Evaluierung ist ein separates Post-Production-Modul, das keine Anrufer simuliert.
Brauchen Sie meinen System-Prompt?
Bei einer Single-Agent-Architektur ja - legen Sie ihn in der Agent-Config ab, zusammen mit PRD, BRD, Workflow-Docs oder allem, was erklärt, was Ihr Agent tun soll. Besserer Kontext bedeutet bessere Personas, Szenarien und Empfehlungen. Bei Multi-Agenten keinen einzelnen Prompt einfügen; integrieren Sie unser SDK, damit wir alles aus Ihren Traces nehmen.
Was, wenn mein Provider den Prompt nicht freigibt?
Geben Sie uns stattdessen Kontext. Beschreiben Sie, was der Agent tut - Kreditfreigabe, Inkasso, Kundensupport - und wir arbeiten damit. Sie erhalten weiterhin Simulationen, Evaluierungen und einen Report. Empfehlungen sind ohne Einblick in die Entscheidungsfindung weniger präzise.
Bringen Sie Ihre Agenten in den Loop.
Produktive KI-Agenten, denen Ihre Kunden vertrauen können.