Dataset-bezogene Analyse
Wählen Sie ein verknüpftes Dataset und filtern Sie die Elemente, die NovaPilot untersuchen soll. Der Ausführungsdialog zeigt vor dem Start die Anzahl passender Elemente und eine Kreditschätzung an.
PL
KI-gestützte Diagnose
Verwandeln Sie evaluierte Fehler in beleggestützte Empfehlungen.
NovaPilot analysiert ein ausgewähltes Projekt-Dataset, fasst die Scorer-Leistung zusammen, gruppiert wiederkehrende Fehlermuster, kennzeichnet mögliche Probleme im System-Prompt und priorisiert Empfehlungen nach Dringlichkeit, Konfidenz und Aufwand. Ihr Team implementiert und verifiziert die Änderung.
Priorisiert
beleggestützte Empfehlungen
2
Exportformate
Manuell + geplant
Analysemodi
Demoprojekt / Dataset support-conversations
novapilot/report-312Empfehlung: Rückerstattungsantworten im Richtlinienkontext verankern #312
NovaPilot-Bericht · 36 Elemente · 432 Scorer-Ergebnisse
Scorer-Belege
hallucination_rate7.1%FEHLGESCHLAGEN
tool_call_success81%BESTANDEN
goal_completion84%BESTANDEN
Betroffene Elemente und Traces zur Untersuchung verknüpft
Bereit zur technischen PrüfungBericht öffnen
01 - Funktionen
Ein Bericht, in dem die Belege verknüpft bleiben.
Scorer-Leistung
Vergleichen Sie Mittelwert, Fehlerquote, Abdeckung und validierte Fehler, statt eine einzelne aggregierte Zahl als vollständige Diagnose zu behandeln.
Beleggestützte Erkenntnisse
Fehlermuster und Erkenntnisse zum System-Prompt behalten die Kennungen betroffener Elemente oder Traces, damit Engineers die Ausgangsbelege prüfen können.
Priorisierte Empfehlungen
Empfehlungen behalten eine im Bericht definierte Kategorie und enthalten Priorität, Konfidenz, geschätzten Aufwand und die erwartete Auswirkung auf Scorer zur Triage.
Manuell oder geplant
Starten Sie eine Analyse bei Bedarf oder planen Sie eine wiederkehrende Dataset-Analyse. NovaPilot wird nicht automatisch nach jeder Evaluierung ausgeführt.
Teilbare Berichte
Laden Sie abgeschlossene Berichte als PDF oder Markdown herunter oder senden Sie einen Bericht per E-Mail an sich selbst oder berechtigte Organisationsmitglieder.
02 - Der Workflow
Fünf Schritte von bewerteten Daten zu einer messbaren Folgeprüfung.
NovaPilot erstellt Diagnose und Empfehlung. Ihr Team verantwortet die Implementierung und validiert das Ergebnis mit neuen Daten.
01
Auswählen
Wählen Sie ein verknüpftes Projekt-Dataset mit den evaluierten Elementen aus, die Sie analysieren möchten.
02
Eingrenzen
Nutzen Sie Anzahl-, Zeit-, Umgebungs-, Elementtyp-, Qualitäts- und Inhaltsfilter, um die Analyse zu fokussieren.
03
Analysieren
NovaPilot erstellt eine Zustandsübersicht, eine Scorer-Aufschlüsselung, wiederkehrende Muster und priorisierte Empfehlungen.
04
Prüfen
Prüfen Sie betroffene Elemente und Traces und wählen Sie anhand von Priorität, Konfidenz, Aufwand und erwarteter Auswirkung eine fokussierte Empfehlung aus.
05
Planen und neu evaluieren
Übergeben Sie die ausgewählte Empfehlung samt Belegen an das verantwortliche Team, definieren Sie die nächste Evaluierung und vergleichen Sie den daraus entstehenden Bericht mit der Ausgangsbasis.
03 - Technische Details
Inhalt eines abgeschlossenen Berichts.
Ein Bericht verbindet den ausgewählten Dataset-Umfang mit Scorer-Belegen, wiederkehrenden Fehlermustern und Empfehlungen, die Ihr Team untersuchen kann.
Gesamtzustand
Eine Note und ein Wert fassen die analysierte Stichprobe zusammen, ergänzt um die Anzahl der Elemente, Scores, Probleme sowie kritischen oder schwerwiegenden Probleme.
Scorer-Leistung
Die Scorer mit der niedrigsten und höchsten Leistung enthalten Mittelwert, Fehlerquote, Abdeckung und Kontext zu validierten Fehlern.
Fehlermuster
Wiederkehrende Probleme werden mit unterstützenden Belegen gruppiert. Betroffene Elemente oder Traces bleiben für die weitere Untersuchung verfügbar.
Erkenntnisse zum System-Prompt
Wenn die Belege dies stützen, benennt NovaPilot ein Problem im System-Prompt, dessen Schweregrad und eine vorgeschlagene Änderung.
Umsetzbare Empfehlungen
Jede Empfehlung enthält Kategorie, Priorität, Konfidenz, geschätzten Aufwand, erwartete Scorer-Veränderung und betroffene Belege.
Export und Zustellung
Abgeschlossene Berichte können als PDF oder Markdown heruntergeladen und von der vollständigen Berichtsseite per E-Mail versendet werden. Geplante Durchläufe verfolgen die Zustellung an Empfänger.
Der Kreislauf
Teil eines geschlossenen Kreislaufs.
NovaPilot verbindet evaluierte Belege mit der nächsten technischen Entscheidung. Es empfiehlt Änderungen, bearbeitet Ihre Anwendung jedoch nicht, validiert keine Änderung und öffnet keinen Pull Request.
Empfehlen · NovaPilot
Änderung im Verantwortungsbereich des Teams
Prüfen und bereitstellen ↺
Im Produktivbetrieb bewährt bei Enterprise- und wachstumsstarken Teams