Nachweise — Ausgefülltes Artefakt
Bedrohungs-, Evaluations- und Abnahmespezifikation
Für das Gesteuerte Fallbearbeitungssystem: die Werte und Bedrohungen und wie sie gemindert werden, die Datensätze und Metriken, gegen die es gemessen wird, und die Kriterien, die erfüllt sein müssen, bevor es Betriebsbefugnis erhält.
Ausgefülltes Artefakt
Ein ausgefülltes Artefakt aus dem Referenzsystem. Kein Kundendokument.Schwellenwerte sind illustrativ für das synthetische Szenario, und es werden keine gemessenen Evaluationsergebnisse berichtet.
Bedrohungsmodell
Werte, Bedrohungen und was sie mindert.
Erstellt mit einer STRIDE-artigen Analyse der Werte des Systems. Jede Bedrohung nennt die in der Architektur bereits vorhandene Minderung — Bedrohungsmodell und Design sind ein Artefakt, nicht zwei.
| Wert | Bedrohung | Kategorie | Minderung |
|---|---|---|---|
| Fallannahme | Fehlerhafte oder feindliche Eingabe, die darauf abzielt, das Parsing oder die nachgelagerte Logik zu brechen | Manipulation | Serverseitige Schemavalidierung, Normalisierung und Längenbegrenzungen, bevor ein Fall in den Workflow eintritt. |
| Modell-Gateway | Prompt-Injection, versteckt in einem abgerufenen Dokument | Rechteausweitung | Aller Inhalt wird als Daten behandelt, niemals als Anweisungen; Werkzeuge laufen nur vom Orchestrator aus; das Aktionsregister ist eine Positivliste. |
| Falldaten | Exfiltration sensibler Daten über den Modellpfad | Offenlegung von Informationen | Kontextminimierung am Gateway, ein Protokoll dessen, was genau gesendet wurde, und Ausgang beschränkt auf Ziele der Positivliste. |
| Aktionspfad | Unautorisierte oder übermäßige Aktion an einem System der Aufzeichnung | Rechteausweitung | Aktionen nur über Integrationsadapter mit eingegrenzten Zugangsdaten; folgenreiche Aktionen erfordern eine Genehmigung am Gate. |
| Identität | Vortäuschung eines Akteurs oder gebrochene Zugriffskontrolle | Identitätsvortäuschung | Authentifizierte Identitäten, rollenbasierte Berechtigungen und geringste Rechte für jeden Menschen und Dienst. |
| Audit-Log | Manipulation des Protokolls, um eine Aktion zu verbergen | Manipulation / Abstreitbarkeit | Append-only-Protokoll mit Integritätsschutz, geschrieben vor Abschluss einer Aktion, unabhängig aufbewahrt. |
| Modell-Gateway | Dienstverweigerung oder außer Kontrolle geratene Kosten gegen das Modell | Dienstverweigerung | Ratenbegrenzung, Zeitüberschreitungen und geordnete Degradation zu einer manuellen Warteschlange, wenn das Modell nicht verfügbar ist. |
Evaluationsplan
Wie es gemessen wird.
Datensätze
- Ein beschrifteter Satz synthetischer Fälle über die routinemäßige Verteilung hinweg.
- Ein Satz feindlicher Dokumente (Injektionsversuche, widersprüchliche Quellen, unlesbare Dateien).
- Ein Satz von Grenzfällen (fehlende Felder, mehrdeutige Richtlinien, Anfragen außerhalb des Geltungsbereichs).
Metriken und Schwellenwerte
| Metrik | Methode | Schwellenwert |
|---|---|---|
| Extraktionsgenauigkeit | Extrahierte Felder mit Beschriftungen im synthetischen Satz vergleichen. | Pro Feld vor der Freigabe festgelegt |
| Verankerung (Groundedness) | Jede Aussage des Modells muss einem abgerufenen Zitat entsprechen; gemessen durch automatische Prüfung plus menschliche Stichprobenauditierung. | Keine unbelegte Aussage darf das Gate passieren |
| Präzision und Trefferquote der Richtlinienprüfung | Kennzeichnungen mit beschrifteten Richtlinienergebnissen vergleichen. | Trefferquote bei folgenreichen Regeln priorisiert |
| Korrektheit der Eskalation | Bestätigen, dass folgenreiche und Fälle mit geringer Konfidenz einen Menschen erreichen. | Kein folgenreicher Fall automatisch bearbeitet |
| Rate menschlicher Übersteuerung | Korrekturen der Bediener im Schattenmodus und im Betrieb verfolgen. | Auf Drift überwacht, kein fester Bestehen/Nichtbestehen-Wert |
| Latenz und Kosten pro Fall | End-to-End auf dem synthetischen Satz bei repräsentativem Volumen messen. | Am operativen Budget festgelegt |
Methode
Offline-Evaluation auf zurückgehaltenen Sätzen, dann ein Schattenmodus-Lauf parallel zum aktuellen Prozess, bei dem die Ausgaben des Systems protokolliert, aber nicht ausgeführt werden, mit einer stichprobenartigen menschlichen Überprüfung. Erst nachdem die Abnahmekriterien erfüllt sind, erhält das System operative Befugnis.
Abnahme
Was zutreffen muss, bevor es ausgeliefert wird.
Jedes Kriterium ist nach seiner Grundlage gekennzeichnet. „Konstruktionsbedingt“ gilt durch den Aufbau dieser Referenzimplementierung; „ausstehend gemessen“ und „ausstehend geprüft“ sind die ehrlichen Lücken — sie werden nicht als erfüllt behauptet.
- Per Design Jede folgenreiche Aktion passiert ein menschliches Freigabe-Gate, bevor sie die Grenze verlässt.
- Per Design Jede Modellaussage in einem akzeptierten Fall wird durch ein abgerufenes Zitat gestützt.
- Per Design Das Audit-Log protokolliert jeden Akteur, jede Aktion und jedes Zitat, Append-only.
- Per Design Aktionen erreichen Systeme der Aufzeichnung nur über Integrationsadapter mit eingegrenzten Zugangsdaten.
- Messung ausstehend Extraktionsgenauigkeit und Trefferquote der Richtlinienprüfung erfüllen ihre metrikspezifischen Schwellenwerte auf dem zurückgehaltenen Satz.
- Messung ausstehend Die Verankerung hält unter dem feindlichen Dokumentensatz, einschließlich Injektionsversuchen.
- Messung ausstehend Latenz und Kosten pro Fall liegen bei repräsentativem Volumen innerhalb des operativen Budgets.
- Prüfung ausstehend Eine unabhängige technische Senior-Prüfung und eine Käufer-Verständnisprüfung sind abgeschlossen.
Was dies beweist und was nicht
Es zeigt
- Dass Bedrohungsmodellierung, Evaluation und Abnahme definiert werden, bevor ein System als fertig gilt.
- Dass SageTensor Abnahmekriterien explizit benennt, statt Erfolg einfach zu erklären.
Es zeigt nicht
- Dass das Referenzsystem seine eigenen Abnahmekriterien unter Messung bereits erfüllt hat.
Wie man es prüft
Lesen Sie die Bedrohungstabelle, den Evaluationsplan und die Abnahme-Checkliste. Jede knüpft an die Kontroll- und Evaluationsansichten des Flaggschiffs an.
Beauftragung
Beginnen Sie mit dem, was sich ändern muss.
Ein Mandat erzeugt diese Spezifikation für Ihren Betrieb — die Bedrohungen, die Maßnahmen und den Maßstab, den er erreichen muss.
Alternativ können Sie eine Ausschreibung einreichen, oder zuerst eine NDA anfordern.