Preuves — Artefact rempli
Spécification de menaces, d'évaluation et d'acceptation
Pour le système gouverné d'opérations de dossiers : les actifs et les menaces et comment elles sont atténuées, les jeux de données et métriques par rapport auxquels il est mesuré, et les critères qui doivent tenir avant qu'il n'obtienne l'autorité opérationnelle.
Artefact rempli
Un artefact rempli issu du système de référence. Pas un document client.Les seuils sont illustratifs pour le scénario synthétique, et aucun résultat d'évaluation mesuré n'est rapporté.
Modèle de menaces
Actifs, menaces, et ce qui les atténue.
Construit avec une analyse de type STRIDE sur les actifs du système. Chaque menace nomme l'atténuation déjà présente dans l'architecture — le modèle de menaces et la conception forment un seul artefact, pas deux.
| Actif | Menace | Catégorie | Atténuation |
|---|---|---|---|
| Prise en charge des dossiers | Entrée malformée ou adversariale conçue pour casser l'analyse ou la logique en aval | Altération | Validation de schéma côté serveur, normalisation et limites de longueur avant qu'un dossier n'entre dans le flux de travail. |
| Passerelle du modèle | Injection de prompt cachée dans un document récupéré | Élévation de privilège | Tout le contenu est traité comme des données, jamais comme des instructions ; les outils ne s'exécutent que depuis l'orchestrateur ; le registre d'actions est en liste blanche. |
| Données du dossier | Exfiltration de données sensibles via le chemin du modèle | Divulgation d'information | Minimisation du contexte à la passerelle, un registre exact de ce qui a été envoyé, et sortie limitée aux destinations en liste blanche. |
| Chemin d'action | Action non autorisée ou excessive sur un système d'enregistrement | Élévation de privilège | Actions uniquement via des adaptateurs d'intégration avec des identifiants à portée limitée ; les actions à forte conséquence exigent une approbation à la porte d'approbation. |
| Identité | Acteur usurpé ou contrôle d'accès défaillant | Usurpation | Identités authentifiées, permissions basées sur les rôles, et moindre privilège pour chaque humain et service. |
| Journal d'audit | Altération du registre pour masquer une action | Altération / Répudiation | Journal en ajout seul avec protection de l'intégrité, écrit avant qu'une action ne se termine, conservé indépendamment. |
| Passerelle du modèle | Déni de service ou coût incontrôlé contre le modèle | Déni de service | Limites de débit, délais d'expiration, et dégradation harmonieuse vers une file manuelle lorsque le modèle est indisponible. |
Plan d'évaluation
Comment il est mesuré.
Jeux de données
- Un ensemble étiqueté de dossiers synthétiques couvrant la distribution routinière.
- Un ensemble de documents adversariaux (tentatives d'injection, sources contradictoires, fichiers illisibles).
- Un ensemble de cas limites (champs manquants, politique ambiguë, demandes hors périmètre).
Métriques et seuils
| Métrique | Méthode | Seuil |
|---|---|---|
| Précision d'extraction | Comparer les champs extraits aux étiquettes sur l'ensemble synthétique. | Défini par champ avant la mise en production |
| Ancrage factuel (groundedness) | Chaque affirmation du modèle doit correspondre à une citation récupérée ; mesuré par vérification automatique et échantillon d'audit humain. | Aucune affirmation non étayée ne peut passer la porte d'approbation |
| Précision et rappel des vérifications de politique | Comparer les signalements aux résultats de politique étiquetés. | Rappel priorisé sur les règles à forte conséquence |
| Exactitude de l'escalade | Confirmer que les dossiers à forte conséquence et à faible confiance atteignent un humain. | Aucun dossier à forte conséquence traité automatiquement |
| Taux de dérogation humaine | Suivre les corrections des opérateurs en mode d'observation et en opération. | Surveillé pour la dérive, pas un seuil de réussite fixe |
| Latence et coût par dossier | Mesurer de bout en bout sur l'ensemble synthétique à un volume représentatif. | Défini par rapport au budget opérationnel |
Méthode
Évaluation hors ligne sur des ensembles retenus, puis une exécution en mode d'observation parallèle au processus actuel où les sorties du système sont enregistrées mais non exécutées, avec une revue humaine échantillonnée. Ce n'est qu'après que les critères d'acceptation sont satisfaits que le système reçoit une autorité opérationnelle.
Acceptation
Ce qui doit être vrai avant sa mise en service.
Chaque critère est marqué par sa base. « Par conception » tient par construction dans cette implémentation de référence ; « en attente de mesure » et « en attente de révision » sont les lacunes honnêtes — elles ne sont pas revendiquées comme satisfaites.
- Par conception Chaque action à forte conséquence passe une porte d'approbation humaine avant de quitter la limite.
- Par conception Chaque affirmation du modèle dans un dossier accepté est étayée par une citation récupérée.
- Par conception Le journal d'audit enregistre chaque acteur, action et citation, en ajout seul.
- Par conception Les actions n'atteignent les systèmes d'enregistrement que via des adaptateurs d'intégration sous identifiants à portée limitée.
- Mesure en attente La précision d'extraction et le rappel des vérifications de politique atteignent leurs seuils respectifs sur l'ensemble retenu.
- Mesure en attente Le fondement (groundedness) tient sous l'ensemble de documents adversariaux, y compris les tentatives d'injection.
- Mesure en attente La latence et le coût par dossier sont dans le budget opérationnel à un volume représentatif.
- Revue en attente Une revue technique senior indépendante et une revue de compréhension acheteur sont réalisées.
Ce que ceci prouve, et ce que ceci ne prouve pas
Cela montre
- Que la modélisation des menaces, l'évaluation et l'acceptation sont définies avant qu'un système soit déclaré achevé.
- Que SageTensor énonce explicitement des critères d'acceptation plutôt que de déclarer le succès.
Cela ne montre pas
- Que le système de référence a satisfait ses propres critères d'acceptation sous mesure.
Comment l'inspecter
Lisez le tableau des menaces, le plan d'évaluation et la liste de contrôle d'acceptation. Chacun se rattache aux vues contrôle et évaluation du système phare.
Mandat
Commencez par ce qui doit changer.
Un mandat produit cette spécification pour votre opération — les menaces, les mesures, et le seuil qu'elle doit atteindre.
Vous pouvez aussi soumettre un appel d'offres, ou demander un accord de confidentialité d'abord.