Fehlende Transparenz
In Terabytes an Logs ließ sich kaum ermitteln, warum ein Agent versagt hatte.
KundengeschichteKI-Sprachagenten • Enterprise-SaaS
MyOperator 4- bis 6-fache KI-Leistung durch evidenzgeleitete Optimierung
Wie Indiens führende Callcenter-Plattform Produktionstraces, konfigurierte Evaluierungen und von Engineers geprüfte Empfehlungen nutzte, um ihre KI-Agenten zu verbessern.
Für Unternehmen entwickeltSDK-Integration mit 4 CodezeilenErgebnisse in < 24 Stunden
Verifizierte ErgebnisseGesamterfolgsquote84%95%+
Kontextrelevanz1.47/108.5/10
Rollenkonformität1.99/108.5/10
4 Codezeilen200xSchnellere Optimierung
Indiens führende Cloud-Callcenter-Plattform
MyOperator ist Indiens führendes cloudbasiertes Anrufmanagement-System. Mehr als 12.000 Unternehmen vertrauen der Plattform ihre KI-gestützte Kundenkommunikation an.
Cloud-CallcenterKI-SprachagentenEnterprise SaaS
01 - Der Kunde
Indiens führende Plattform für Unternehmenskommunikation
Seit der Gründung im Jahr 2013 hat sich MyOperator zur ersten Wahl für KI-gestützte Kommunikationslösungen auf Unternehmensniveau entwickelt. Intelligente Voicebots und KI-Agenten bearbeiten täglich Millionen von Kundeninteraktionen. Damit ist die Plattform ideal für fortschrittliche KI-Observability geeignet.
12,000+
Unternehmenskunden
100+
KI-Sprachagenten
50K+
Verarbeitete Anrufe pro Tag
Millionen+
KI-Interaktionen pro Monat
02 - Das Problem
Die Herausforderung: Fehlende Transparenz im großen Maßstab
Die KI-Agenten waren ein zentraler Bestandteil des Geschäfts von MyOperator. Doch dem Entwicklungsteam fehlte die nötige Transparenz. Bei der enormen Zahl an Interaktionen gab es keine effiziente Möglichkeit, die Ursachen von Agentenfehlern zu ermitteln.
Nicht skalierbarer manueller Aufwand
Die manuelle Prüfung von Gesprächen und Korrekturen war langsam, ineffizient und konnte mit dem Volumen nicht Schritt halten.
Subtile Fehler blieben unentdeckt
Nuancierte Probleme wie Halluzinationen oder eine Abweichung von der Persona waren im großen Maßstab von Menschen kaum zu erkennen.
“Wenn unsere Kunden ein Problem meldeten, wussten wir nicht, wo wir ansetzen sollten. Wir hatten zwar die Daten, konnten daraus aber keine Antworten gewinnen. Wir verbrachten mehr Zeit mit der Suche nach Problemen als mit deren Lösung.”
03 - Unsere Lösung
Unter der Haube: der Evaluierungs- und Prüfworkflow
Noveum verband Produktionstraces, strukturierte Datasets, konfigurierte Evaluierungen, NovaPilot-Berichte und die Prüfung durch Engineers in einem evidenzgeleiteten Workflow.
Geplante Berichte - Prüfung durch Engineers erforderlichNach der Umsetzung erneut evaluieren
1
Trace-Erfassung in Echtzeit
2
Automatisiertes ETL und Dataset-Anreicherung
3
Konfigurierte Evaluierung mit über 20 Scorern
4
Musteranalyse und Empfehlungen mit NovaPilot
5
Prüfung und Umsetzung durch Engineers
6
Teamvalidierung und Deployment
Trace-Erfassung in Echtzeit
Nach einer einfachen, vierzeiligen Integration in MyOperators LangChain-Setup begann die Noveum-Plattform, instrumentierte Produktionstraces zur Analyse zu erfassen.
Automatisiertes ETL und Dataset-Anreicherung
Ein fortlaufender ETL-Prozess (Extract, Transform, Load) wandelt rohe, unstrukturierte Traces in bereinigte, strukturierte Dataset-Einträge um. Dabei werden die Daten angereichert und für tiefgehende Analysen aufbereitet.
Konfigurierte Evaluierung mit über 20 Scorern
Strukturierte Dataset-Elemente wurden mit mehr als 20 ausgewählten Scorern evaluiert, die Kriterien wie Faktengenauigkeit und Rollentreue abdeckten.
Musteranalyse und Empfehlungen mit NovaPilot
NovaPilot analysierte die konfigurierten Evaluierungsergebnisse, gruppierte wiederkehrende Fehler und erstellte einen mit Belegen verknüpften Bericht zu Problemmustern und empfohlenen nächsten Schritten.
Prüfung und Umsetzung durch Engineers
Engineers prüften die priorisierten NovaPilot-Empfehlungen anhand der verknüpften Elemente und Traces und entschieden anschließend, welche Änderungen sie umsetzen.
Teamvalidierung und Deployment
Das Team testete umgesetzte Änderungen, verglich neue Evaluierungsergebnisse mit der Ausgangsbasis und behielt vor dem Deployment nur selbst geprüfte und bestätigte Änderungen bei.
Dieser Workflow verkürzte den Weg von einem Produktionsfehler zu Belegen, einer priorisierten Empfehlung, einer Engineering-Entscheidung und einer neuen Evaluierung.
04 - So analysiert es
Von Belegen zu einer geprüften Änderung
NovaPilot strukturiert evaluierte Fehler und empfiehlt Änderungen. Engineers entscheiden über die Umsetzung, testen das Ergebnis und halten menschliches Urteilsvermögen im Freigabeprozess.
01
Diagnostizieren
Probleme mit verknüpften Belegen gruppieren
02
Empfehlen
Evidenzbasierte Empfehlungen priorisieren
03
Umsetzen
Engineers wählen die Änderung aus und setzen sie um
04
Validieren
Evaluierungen vor der Freigabe erneut ausführen
Phasen der Engineering-Prüfung
Ausgangsbasis75 verworfen
100
Empfehlung17 verworfen
25
Umsetzung5 verworfen
8
Erneute Evaluierung2 verworfen
3
Vom Team validierte Änderung - bereit für eine Freigabeentscheidung
Ohne strukturierte Belege
- Engineers durchsuchen Rohprotokolle manuell
- Fehler lassen sich nur schwer gruppieren
- Änderungen fehlt eine gemeinsame Ausgangsbasis
- Der Prüfungskontext ist verstreut
Mit NovaPilot-Berichten
- Probleme werden mit Quellbelegen gruppiert
- Empfehlungen werden für die Prüfung priorisiert
- Evaluierungsergebnisse schaffen eine Ausgangsbasis
- Engineers behalten die Freigabeentscheidung
05 - Die Empfehlungen
Evidenzbasierte Empfehlungen
NovaPilot leitete aus den Evaluierungsbelegen Prompt-Empfehlungen ab. Das MyOperator-Team prüfte, implementierte und evaluierte diese fünf Änderungen; die gemessenen Ergebnisse sind nachfolgend dargestellt:
136+
Geprüfte Empfehlungskandidaten
4
Prüfiterationen
5
Vom Team validierte Änderungen
10min
Minuten für die Analyse
explicit_domain_scope_constraint - evidenzbasierte EmpfehlungAls Analysebericht bereitgestellt
Eine Beispieländerung, die das Team geprüft hat
Vorher
"domain_scope": "You are ONLY authorized to answer questions directly related to Heyo products..."
Danach - vom Team überprüfte Änderung
"domain_scope": "You are ONLY authorized to answer questions directly related to Heyo products... For all other topics, respond politely that you can only assist with Heyo-related queries."
Die 5 wichtigsten vom Team validierten Änderungen
Kritische Halluzinationen reduzieren
explicit_domain_scope_constraintProblem erkannt
Der Agent erfand Funktionen und ließ wichtige Angaben aus. Dadurch erhielten Benutzer falsche Informationen zu den Produktfunktionen.
NovaPilot-Empfehlung
NovaPilot empfahl eine strikte Einschränkung des Themenbereichs; das Team setzte sie um, definierte klare Grenzen und evaluierte das Ergebnis.
Erkennung von Halluzinationen+6.7
2.8/10
9.5/10
Rollenkonformität+6.7
2.5/10
9.2/10
Agentenidentität stärken
simplify_and_focus_identity_statementProblem erkannt
Der Agent war sich seiner Identität und Persona nicht sicher. Das führte zu widersprüchlichen und verwirrenden Antworten.
NovaPilot-Empfehlung
NovaPilot empfahl eine vereinfachte Identitätsbeschreibung; das Team setzte die klarere Definition von Rolle und Persönlichkeit um und evaluierte sie.
Rollenkonformität+7.0
2.2/10
9.2/10
Übereinstimmung von Frage und Antwort+8.4
1.1/10
9.5/10
SaaS-Kontext verdeutlichen
clarify_heyo_context_as_saas_platformProblem erkannt
Der Agent verstand nicht, dass er eine SaaS-Plattform repräsentierte. Dadurch traf er falsche Annahmen zu Produktbereitstellung und Support.
NovaPilot-Empfehlung
NovaPilot empfahl einen expliziten SaaS-Plattformkontext; das Team fügte ihn hinzu und evaluierte das resultierende Verhalten.
Rollenkonformität+7.0
2.2/10
9.2/10
Übereinstimmung von Frage und Antwort+8.5
1.0/10
9.5/10
Thematische Grenzen präzisieren
amplify_domain_constraint_with_examplesProblem erkannt
Der Agent beantwortete weiterhin gelegentlich themenfremde Fragen, besonders Sonderfälle, die von den ursprünglichen Regeln nicht abgedeckt waren.
NovaPilot-Empfehlung
NovaPilot empfahl konkrete Beispiele für zulässige und unzulässige Themen; das Team fügte sie hinzu und evaluierte die klareren Grenzen.
Erkennung von Halluzinationen+5.7
3.8/10
9.5/10
Rollenkonformität+6.5
3.0/10
9.5/10
Faktentreue durchsetzen
truth_first_constraint_and_unknown_responseProblem erkannt
Der Agent stellte mitunter Vermutungen an, statt fehlendes Wissen einzugestehen. So entstanden selbstbewusste, aber falsche Antworten.
NovaPilot-Empfehlung
NovaPilot empfahl eine wahrheitsorientierte Einschränkung und eine Antwortvorlage für unbekannte Sachverhalte; das Team setzte die Änderung um und evaluierte sie.
Übereinstimmung von Frage und Antwort+8.6
0.9/10
9.5/10
Rollenkonformität+6.7
2.5/10
9.2/10
Weitere Verhaltensempfehlungen
Neben den zentralen Erkenntnissen identifizierte NovaPilot diese Verhaltensprobleme und empfahl Änderungen zur Prüfung durch das Team:
Der Agent erfand eigene Rückfragen, was zu einem uneinheitlichen Benutzererlebnis führte.
Empfehlung: Fügen Sie eine Regel hinzu, die dem Agenten das Improvisieren von Fragen untersagt.
Der Agent war sich seiner Identität nicht sicher und bezeichnete sich mitunter als 'Bot' oder 'Agent'.
Empfehlung: Präzisieren Sie die Persona-Regel und das erforderliche Identitätsverhalten.
Der Agent versuchte, auf Kontodaten zuzugreifen, obwohl dies nicht möglich war. Für die Benutzer endete das Gespräch dadurch ohne hilfreiches Ergebnis.
Empfehlung: Halten Sie fest, dass der Kontostatus nicht geprüft werden kann, und geben Sie einen klaren Eskalationsweg an.
Benutzer mit komplexen Anliegen hatten keinen klaren Weg zum menschlichen Support. Das führte zu Frustration und abgebrochenen Gesprächen.
Empfehlung: Definieren Sie ein geprüftes Protokoll für das Angebot einer menschlichen Übergabe, wenn Anzeichen von Frustration auftreten.
Was nicht funktionierte: Fehlgeschlagene Experimente
Nicht jede vorgeschlagene Änderung verbesserte die gemessenen Ergebnisse. Das Team nutzte diese fehlgeschlagenen Experimente als Prüfbelege:
remove_hedging_from_domain_scopeHilfreiche Beispiele wurden aus dem Prompt entfernt, um ihn direkter und knapper zu gestalten.
Rückgang um 4,7 Punkte
add_verbose_context_explanationAusführliche Produkterklärungen sollten dem Agenten helfen, den Kontext besser zu verstehen.
Rückgang um 2,3 Punkte
strict_one_sentence_responsesAlle Antworten wurden zur besseren Kürze auf einen einzigen Satz beschränkt.
Rückgang um 3,1 Punkte
Warum Fehlschläge wichtig sind
Diese Fehlschläge lieferten wertvolle Belege. Das Engineering-Team verwarf Änderungen, die die Leistung verschlechterten, und behielt die Kontrolle darüber, was die Produktion erreichte.
06 - Verifizierte Wirkung
Verifizierte Leistung und ein Paradigmenwechsel
Die kumulative Wirkung der vom Team geprüften und evaluierten Änderungen führte zu den folgenden gemessenen Leistungssteigerungen:
Kontextrelevanz5.8x
1.47/10
8.5/10
Rollenkonformität4.3x
1.99/10
8.5/10
Gesamterfolgsquote+11%
84%
95%+
Die geschäftliche Transformation
20-30%
Weniger Aufwand in der KI-Entwicklung
Entlastete wertvolle Entwicklungsressourcen vom manuellen Debugging.
200x
Schnellerer Workflow
Verkürzte die Feedbackschleife von Wochen auf Minuten.
∞
Sicher skalieren
Ermöglichte dem Team, Hunderte Agenten zu verwalten, ohne die Teamgröße proportional zu erhöhen.
07 - Warum Noveum
Die Komplettlösung
MyOperator entschied sich für Noveum.ai, um instrumentierte Traces, konfigurierte Evaluierungen und evidenzgeleitete NovaPilot-Empfehlungen in einem Prüfworkflow zu verbinden.
Evidenzgeleiteter Prüfworkflow
NovaPilot-Berichte führten Problemmuster, Empfehlungen und evaluierte Quellelemente zusammen, während Engineers die Entscheidungen über Umsetzung und Freigabe behielten.
Verifizierbare, datengestützte Ergebnisse
Konfigurierte Evaluierungen gaben dem Team eine messbare Ausgangsbasis zum Vergleich selbst umgesetzter und geprüfter Änderungen.
Beispiellose Geschwindigkeit und Agilität
Schnellere Analysen und geordnete Belege halfen dem Team, den Engineering-Prüf- und Evaluierungskreislauf zu verkürzen.
Fazit
Die Partnerschaft zwischen MyOperator und Noveum.ai belegt eine grundlegende Wahrheit des modernen KI-Stacks: Fehlende Transparenz ist keine Option. Qualität im großen Maßstab sicherzustellen ist eine maschinelle Herausforderung, die eine ebenso skalierbare Lösung erfordert.
Noveum verbindet schnelle Tracing-Integration, konfigurierte Evaluierung und NovaPilot-Berichte, damit Teams Fehler untersuchen, Empfehlungen prüfen und eigene Änderungen anhand von Belegen bestätigen können.
Möchten Sie Ihren KI-Betrieb transformieren?
Sorgen Sie für vollständige Transparenz
Erfahren Sie, wie Noveum.ai Tracing-, Evaluierungs- und Empfehlungsbelege für Ihren KI-Qualitätsworkflow strukturieren kann.