Fehlende Transparenz
In Terabytes an Logs ließ sich kaum ermitteln, warum ein Agent versagt hatte.
KundengeschichteKI-Sprachagenten • Enterprise-SaaS
MyOperator steigert die KI-Leistung durch autonome Optimierung um das 4- bis 6-Fache
Wie Indiens führende Callcenter-Plattform ihre unzuverlässigen KI-Agenten mit der rund um die Uhr aktiven autonomen Optimierung von Noveum produktionsreif machte.
Für Unternehmen entwickeltSDK-Integration mit 4 CodezeilenErgebnisse in < 24 Stunden
Verifizierte ErgebnisseGesamterfolgsquote84%95%+
Kontextrelevanz1.47/108.5/10
Rollenkonformität1.99/108.5/10
4 Codezeilen200xSchnellere Optimierung
Indiens führende Cloud-Callcenter-Plattform
MyOperator ist Indiens führendes cloudbasiertes Anrufmanagement-System. Mehr als 12.000 Unternehmen vertrauen der Plattform ihre KI-gestützte Kundenkommunikation an.
Cloud-CallcenterKI-SprachagentenEnterprise SaaS
01 - Der Kunde
Indiens führende Plattform für Unternehmenskommunikation
Seit der Gründung im Jahr 2013 hat sich MyOperator zur ersten Wahl für KI-gestützte Kommunikationslösungen auf Unternehmensniveau entwickelt. Intelligente Voicebots und KI-Agenten bearbeiten täglich Millionen von Kundeninteraktionen. Damit ist die Plattform ideal für fortschrittliche KI-Observability geeignet.
12,000+
Unternehmenskunden
100+
KI-Sprachagenten
50K+
Verarbeitete Anrufe pro Tag
Millionen+
KI-Interaktionen pro Monat
02 - Das Problem
Die Herausforderung: Fehlende Transparenz im großen Maßstab
Die KI-Agenten waren ein zentraler Bestandteil des Geschäfts von MyOperator. Doch dem Entwicklungsteam fehlte die nötige Transparenz. Bei der enormen Zahl an Interaktionen gab es keine effiziente Möglichkeit, die Ursachen von Agentenfehlern zu ermitteln.
Nicht skalierbarer manueller Aufwand
Die manuelle Prüfung von Gesprächen und Korrekturen war langsam, ineffizient und konnte mit dem Volumen nicht Schritt halten.
Subtile Fehler blieben unentdeckt
Nuancierte Probleme wie Halluzinationen oder eine Abweichung von der Persona waren im großen Maßstab von Menschen kaum zu erkennen.
“Wenn unsere Kunden ein Problem meldeten, wussten wir nicht, wo wir ansetzen sollten. Wir hatten zwar die Daten, konnten daraus aber keine Antworten gewinnen. Wir verbrachten mehr Zeit mit der Suche nach Problemen als mit deren Lösung.”
03 - Unsere Lösung
Unter der Haube: Die kontinuierliche Optimierung rund um die Uhr
Die Plattform von Noveum.ai ist mehr als ein Werkzeug. Sie ist eine dauerhaft aktive, autonome Lösung für Qualitätssicherung und Optimierung.
Läuft rund um die Uhr, ohne manuelles EingreifenWird fortlaufend wiederholt
1
Trace-Erfassung in Echtzeit
2
Automatisiertes ETL und Dataset-Anreicherung
3
Kontinuierliche Evaluierung mit über 20 Scorern
4
Analyse und Ursachenbestimmung mit NovaPilot
5
Evolutionäre Autokorrektur und Simulation
6
Bereitstellung verifizierter Korrekturen
Trace-Erfassung in Echtzeit
Nach der einfachen Integration mit nur vier Codezeilen in das LangChain-Setup von MyOperator erfasste die Plattform von Noveum.ai passiv rohe Produktions-Traces aus jeder Agenteninteraktion, ohne die Leistung zu beeinträchtigen.
Automatisiertes ETL und Dataset-Anreicherung
Ein fortlaufender ETL-Prozess (Extract, Transform, Load) wandelt rohe, unstrukturierte Traces in bereinigte, strukturierte Dataset-Einträge um. Dabei werden die Daten angereichert und für tiefgehende Analysen aufbereitet.
Kontinuierliche Evaluierung mit über 20 Scorern
Neue Dataset-Einträge werden sofort mit mehr als 20 spezialisierten Scorern von Noveum.ai evaluiert. Von Faktentreue bis Rollenkonformität liefern diese Scorer eine mehrdimensionale, quantitative Beurteilung jeder einzelnen Interaktion.
Analyse und Ursachenbestimmung mit NovaPilot
NovaPilot, der eigene Agent von Noveum.ai, analysiert die große Menge bewerteter Daten in Echtzeit. Er erkennt Muster, gruppiert Fehler und ermittelt durch Ursachenanalysen die zugrunde liegenden Leistungsprobleme.
Evolutionäre Autokorrektur und Simulation
Auf Grundlage seiner Analyse erzeugt NovaPilot Hunderte mögliche Korrekturen, etwa Änderungen am System-Prompt. Anschließend startet er einen evolutionären Optimierungsprozess und testet die Varianten über mehrere Generationen hinweg in Simulationen.
Bereitstellung verifizierter Korrekturen
Der siegreiche Prompt, dessen höchste Leistung mathematisch belegt ist, wird dem Entwicklungsteam bereit für das Deployment zur Verfügung gestellt. Der gesamte Zyklus von der Trace-Erfassung bis zur verifizierten Korrektur läuft kontinuierlich und ohne manuelles Eingreifen.
Diese einmal eingerichtete, dauerhaft aktive Pipeline verwandelte den reaktiven, manuellen Prozess von MyOperator in einen proaktiven, autonomen und kontinuierlichen Verbesserungszyklus.
04 - So wird optimiert
Evolutionäre Optimierung: Natürliche Selektion für KI-Prompts
Ähnlich wie bei der biologischen Evolution testet NovaPilot Hunderte mögliche Korrekturen über mehrere Generationen. Die leistungsstärksten Varianten bleiben bestehen und werden kombiniert, schwächere werden verworfen. So entstehen mathematisch belegte Verbesserungen.
01
Generieren
Mehr als 100 Prompt-Varianten erstellen
02
Simulieren
Jede Variante mit realen Daten testen
03
Evaluieren
Mit über 20 Metriken bewerten
04
Weiterentwickeln
Sieger behalten und Merkmale kombinieren
Auswahlprozess über mehrere Generationen
Generation 175 verworfen
100
Generation 217 verworfen
25
Generation 35 verworfen
8
Finale Auswahl2 verworfen
3
Verifizierter Sieger, bereit für die Produktion
Ohne evolutionäre Optimierung
- Manuelle A/B-Tests dauern Wochen
- Nur 2 bis 3 Varianten werden gleichzeitig getestet
- Keine Garantie für die optimale Lösung
- Menschliche Voreingenommenheit beeinflusst die Prompt-Auswahl
Mit der evolutionären Optimierung von NovaPilot
- Automatisierte Tests sind in Minuten abgeschlossen
- Mehr als 100 getestete Varianten pro Generation
- Mathematisch belegter optimaler Prompt
- Datengestützte Auswahl ohne menschliche Voreingenommenheit
05 - Die Korrekturen
Alle KI-generierten Korrekturen
NovaPilot testete Hunderte Prompt-Varianten über vier Generationen. Diese fünf verifizierten Korrekturen erzielten die größten Verbesserungen, jeweils mit ihrer gemessenen Wirkung:
136+
Getestete Prompt-Varianten
4
Evolutionsgenerationen
5
Verifizierte erfolgreiche Korrekturen
10min
Minuten bis zur Optimierung
explicit_domain_scope_constraint, Sieger aus Generation 4Als Pull Request bereitgestellt
Die von NovaPilot bereitgestellte Änderung
Vorher
"domain_scope": "You are ONLY authorized to answer questions directly related to Heyo products..."
Nachher, verifizierte Korrektur
"domain_scope": "You are ONLY authorized to answer questions directly related to Heyo products... For all other topics, respond politely that you can only assist with Heyo-related queries."
Die 5 erfolgreichsten verifizierten Korrekturen
Kritische Halluzinationen beheben
explicit_domain_scope_constraintProblem erkannt
Der Agent erfand Funktionen und ließ wichtige Angaben aus. Dadurch erhielten Benutzer falsche Informationen zu den Produktfunktionen.
Korrektur durch NovaPilot
Eine strikte Einschränkung des Themenbereichs definiert klare Grenzen und leitet themenfremde Fragen höflich um.
Erkennung von Halluzinationen+6.7
2.8/10
9.5/10
Rollenkonformität+6.7
2.5/10
9.2/10
Agentenidentität stärken
simplify_and_focus_identity_statementProblem erkannt
Der Agent war sich seiner Identität und Persona nicht sicher. Das führte zu widersprüchlichen und verwirrenden Antworten.
Korrektur durch NovaPilot
Eine vereinfachte, präzise Identitätsbeschreibung definiert Rolle und Persönlichkeit des Agenten eindeutig.
Rollenkonformität+7.0
2.2/10
9.2/10
Übereinstimmung von Frage und Antwort+8.4
1.1/10
9.5/10
SaaS-Kontext verdeutlichen
clarify_heyo_context_as_saas_platformProblem erkannt
Der Agent verstand nicht, dass er eine SaaS-Plattform repräsentierte. Dadurch traf er falsche Annahmen zu Produktbereitstellung und Support.
Korrektur durch NovaPilot
Ein ausdrücklicher SaaS-Kontext stellt klar, dass Heyo ein cloudbasierter Dienst mit Online-Support und Self-Service-Funktionen ist.
Rollenkonformität+7.0
2.2/10
9.2/10
Übereinstimmung von Frage und Antwort+8.5
1.0/10
9.5/10
Thematische Grenzen präzisieren
amplify_domain_constraint_with_examplesProblem erkannt
Der Agent beantwortete weiterhin gelegentlich themenfremde Fragen, besonders Sonderfälle, die von den ursprünglichen Regeln nicht abgedeckt waren.
Korrektur durch NovaPilot
Konkrete Beispiele für zulässige und themenfremde Fragen machen die Grenzen des Themenbereichs eindeutig.
Erkennung von Halluzinationen+5.7
3.8/10
9.5/10
Rollenkonformität+6.5
3.0/10
9.5/10
Faktentreue durchsetzen
truth_first_constraint_and_unknown_responseProblem erkannt
Der Agent stellte mitunter Vermutungen an, statt fehlendes Wissen einzugestehen. So entstanden selbstbewusste, aber falsche Antworten.
Korrektur durch NovaPilot
Eine Regel mit Vorrang für Faktentreue stellt Genauigkeit über vermeintliche Hilfsbereitschaft und bietet eine passende Vorlage für unbekannte Antworten.
Übereinstimmung von Frage und Antwort+8.6
0.9/10
9.5/10
Rollenkonformität+6.7
2.5/10
9.2/10
Weitere Verhaltenskorrekturen
Neben den zentralen Optimierungen erkannte und behob NovaPilot auch diese Verhaltensprobleme:
Der Agent erfand eigene Rückfragen, was zu einem uneinheitlichen Benutzererlebnis führte.
Eine neue kritische Regel, DIE REGEL 'KEINE IMPROVISATION' (KRITISCH), untersagt dem Agenten ausdrücklich, Fragen zu improvisieren.
Der Agent war sich seiner Identität nicht sicher und bezeichnete sich mitunter als 'Bot' oder 'Agent'.
Die Persona-Regel wurde verschärft: Du darfst niemals verraten, dass du ein Bot bist. Du bist eine menschliche Spezialistin namens Riva.
Der Agent versuchte, auf Kontodaten zuzugreifen, obwohl dies nicht möglich war. Für die Benutzer endete das Gespräch dadurch ohne hilfreiches Ergebnis.
Eine NO-API-Guardrail stellt klar, dass der Agent den Benutzerstatus nicht prüfen kann, und bietet einen eindeutigen Eskalationsweg.
Benutzer mit komplexen Anliegen hatten keinen klaren Weg zum menschlichen Support. Das führte zu Frustration und abgebrochenen Gesprächen.
Ein intelligentes Eskalationsprotokoll erkennt Anzeichen von Frustration und bietet proaktiv die Übergabe an einen Menschen an.
Was nicht funktionierte: Fehlgeschlagene Experimente
Nicht jede KI-generierte Korrektur war erfolgreich. Das hat NovaPilot aus den Fehlschlägen gelernt:
remove_hedging_from_domain_scopeHilfreiche Beispiele wurden aus dem Prompt entfernt, um ihn direkter und knapper zu gestalten.
Rückgang um 4,7 Punkte
add_verbose_context_explanationAusführliche Produkterklärungen sollten dem Agenten helfen, den Kontext besser zu verstehen.
Rückgang um 2,3 Punkte
strict_one_sentence_responsesAlle Antworten wurden zur besseren Kürze auf einen einzigen Satz beschränkt.
Rückgang um 3,1 Punkte
Warum Fehlschläge wichtig sind
Diese Fehlschläge sind wertvoll, denn sie belegen, dass der evolutionäre Prozess funktioniert. NovaPilot verwirft automatisch Änderungen, die die Leistung verschlechtern. So gelangen nur verifizierte Verbesserungen in die Produktion.
06 - Verifizierte Wirkung
Verifizierte Leistung und ein Paradigmenwechsel
Die KI-generierten Verbesserungen führten zusammen zu einer erheblichen Steigerung der Gesamtleistung:
Kontextrelevanz5.8x
1.47/10
8.5/10
Rollenkonformität4.3x
1.99/10
8.5/10
Gesamterfolgsquote+11%
84%
95%+
Die geschäftliche Transformation
20-30%
Weniger Aufwand in der KI-Entwicklung
Entlastete wertvolle Entwicklungsressourcen vom manuellen Debugging.
200x
Schnellerer Workflow
Verkürzte die Feedbackschleife von Wochen auf Minuten.
∞
Sicher skalieren
Ermöglichte dem Team, Hunderte Agenten zu verwalten, ohne die Teamgröße proportional zu erhöhen.
07 - Warum Noveum
Die Komplettlösung
MyOperator entschied sich für Noveum.ai, weil die umfassende End-to-End-Lösung weit über einfaches Monitoring hinausgeht.
Vollständig autonome Optimierung
NovaPilot übernahm den gesamten Lebenszyklus der Qualitätssicherung rund um die Uhr und ohne manuelles Eingreifen.
Verifizierbare, datengestützte Ergebnisse
Der evolutionäre Prozess schlug nicht nur Korrekturen vor, sondern belegte ihre Wirkung durch gründliche Simulationen mit Daten.
Beispiellose Geschwindigkeit und Agilität
Der zehnminütige Optimierungszyklus ermöglichte schnelle Iterationen und kontinuierliche Verbesserungen.
Fazit
Die Partnerschaft zwischen MyOperator und Noveum.ai belegt eine grundlegende Wahrheit des modernen KI-Stacks: Fehlende Transparenz ist keine Option. Qualität im großen Maßstab sicherzustellen ist eine maschinelle Herausforderung, die eine ebenso skalierbare Lösung erfordert.
Noveum.ai bietet diese Lösung mit einer 15-minütigen Integration und den rund um die Uhr aktiven, autonomen und evolutionären Funktionen von NovaPilot. Für jedes Unternehmen, das zuverlässige und leistungsstarke KI-Agenten einsetzen möchte, ist die Plattform unverzichtbar.
Möchten Sie Ihren KI-Betrieb transformieren?
Sorgen Sie für vollständige Transparenz
Erfahren Sie, wie Noveum.ai Ihre KI-Qualitätssicherung automatisiert und das volle Potenzial Ihrer Agenten erschließt.