Modellkostengrenzen
Legen Sie feste USD-Grenzen mit rollierenden Zeitfenstern von 1, 7 oder 30 Tagen oder mit einem Kalendermonat sowie optional einen niedrigeren weichen Schwellenwert fest.
GD
Kosten- und Ratenlimits
BetaSetzen Sie Grenzen, bevor die Nutzung außer Kontrolle gerät.
NovaGuard konfiguriert Modellkostengrenzen sowie Anfragen- und Tokenlimits auf Organisations- und Projektebene. Ihre verbundene Anwendung oder Ihr Gateway ruft die wirksamen Richtlinien ab, setzt BLOCK-Entscheidungen durch und meldet Nutzungsereignisse an Noveum zurück. Jetzt in der Beta.
2
Richtlinientypen
Organisation + Projekt
Richtlinienbereiche
Beta
Designpartner-Programm
NovaGuard · Richtlinien-EngineBETA
org_cost_cap · 30d rollingBLOCK
project_cost_cap · calendar monthBLOCK
request_limit · 1 minuteBLOCK
token_limit · 1 dayBLOCK
Gespeicherte Richtlinien benötigen eine verbundene Anwendung oder ein Gateway, das sie durchsetzt
01 - Funktionen
Praktische Kontrollen für Modellausgaben und Datenverkehr.
Anfragenlimits
Begrenzen Sie die Anzahl der Anfragen über Zeitfenster von einer Minute, einer Stunde oder einem Tag für die Organisation oder ein einzelnes Projekt.
Tokenlimits
Begrenzen Sie das Volumen der Eingabe- und Ausgabe-Tokens über dieselben Minuten-, Stunden- oder Tagesfenster wie bei den Anfragenlimits.
Organisations- oder Projektbereich
Erstellen Sie organisationsweite Standardwerte und projektspezifische Richtlinien. Der Endpunkt für wirksame Richtlinien löst die jeweils anwendbare Menge auf.
Fail-Closed-Option
Legen Sie neben Aktivierungsstatus und Priorität fest, ob ein durchsetzender Client geschlossen reagieren soll, wenn er den Richtlinienstatus nicht abrufen kann.
Nutzungs- und Blockierungsereignisse
Verbundene Clients melden erlaubte Nutzung zur Aktualisierung des Richtlinienstatus sowie blockierte Entscheidungen, die eine Benachrichtigung an den Verantwortlichen auslösen können.
02 - Funktionsweise
Konfigurieren. Durchsetzen. Melden.
Noveum verwaltet den Richtlinienstatus. Ihre Anwendung oder Ihr Gateway verantwortet die Entscheidung im Anfragepfad.
01
Limits konfigurieren
Erstellen Sie Kosten- oder Ratenlimit-Richtlinien, wählen Sie den Organisations- oder Projektbereich und legen Sie die relevanten Zeitfenster und Schwellenwerte fest.
02
In der Datenebene durchsetzen
Eine verbundene Anwendung oder ein Gateway ruft die wirksamen Richtlinien ab, führt Zähler im Anfragepfad und wendet die unterstützte Aktion BLOCK an.
03
Entscheidungen melden
Der durchsetzende Client sendet Ereignisse zu erlaubter Nutzung und Blockierungen an Noveum zurück, damit Zähler aktuell bleiben und blockierte Entscheidungen eine Benachrichtigung an den Verantwortlichen auslösen können.
NovaGuard befindet sich in der Beta. Die Richtlinienkonfiguration allein fängt keinen Datenverkehr ab. Für Blockierungen in der Produktion ist eine Integration in Ihre Anwendung oder Ihr Gateway erforderlich.
Beta beitreten03 - Technische Details
Steuerungsebene und Durchsetzungsgrenze.
NovaGuard stellt Richtlinien- und Nutzungs-APIs für Kosten- und Ratenkontrollen bereit. Die Durchsetzung im Anfragepfad verbleibt in der verbundenen Datenebene.
Richtlinien-API
Erstellen und aktualisieren Sie COST_CAP- oder RATE_LIMIT-Richtlinien mit Aktivierungsstatus, Priorität, Bereich, Fail-Closed-Präferenz und der unterstützten Zeitfensterkonfiguration.
Wirksame Richtlinienmenge
Ein eigener Endpunkt kombiniert anwendbare organisationsweite und projektspezifische Richtlinien für Clients und liefert einen ETag für effiziente Aktualisierungen.
Unterstützte Aktion
Aktuelle Kosten- und Ratenlimit-Richtlinien verwenden eine harte Aktion: BLOCK. Inhaltsmoderation, Umschreiben, Wiederholungsversuche und Richtlinien zur Eskalation an Menschen sind nicht Teil dieser Beta.
Durchsetzungsgrenze
Die Noveum-API speichert und ermittelt den Richtlinienstatus. Ihre verbundene Laufzeit oder Ihr Gateway wertet Zähler aus und blockiert Aufrufe vor der Nutzung des Modellanbieters.
Nutzungsberichte
Der Endpunkt für Projektnutzung akzeptiert erlaubte und blockierte Ereignisse mit Kosten, Tokens, Anfragezahl, Modell, Zeitstempel sowie optionalem Richtlinien- und Begründungskontext.
Zugriff und Bereitstellung
Organisationsbasierte Zugriffskontrollen schützen die Richtlinienverwaltung. Die umfassendere Noveum-Plattform unterstützt eine verwaltete Cloud und Bereitstellungsoptionen für Unternehmen.
Der Kreislauf
Teil eines geschlossenen Kreislaufs.
NovaGuard ergänzt den Qualitätskreislauf um Ausgaben- und Datenverkehrslimits. Es ersetzt NovaEval nicht, und die Durchsetzung in der Produktion hängt von Ihrer verbundenen Datenebene ab.
Änderung im Verantwortungsbereich des Teams
Prüfen und bereitstellen ↺
NovaGuard (Beta) - Kosten- und Ratenrichtlinien, die eine verbundene Datenebene durchsetzt
Im Produktivbetrieb bewährt bei Enterprise- und wachstumsstarken Teams