La question est généralement posée à l'envers
Les équipes qui intègrent l'IA dans une opération tendent à demander : « Combien pouvons-nous la laisser faire ? » La question paraît pratique, mais elle mesure la mauvaise chose. Elle s'ancre sur la capacité du modèle — à quel point il est bon — alors que la variable qui devrait gouverner l'autorité est l'ampleur des dégâts qu'une action erronée causerait.
Un système peut être très capable et rester un mauvais candidat à l'autonomie si la conséquence d'une erreur rare est sévère. Inversement, un système modeste peut se voir confier le droit d'agir seul là où les erreurs sont bon marché et réversibles. Capacité et conséquence sont des axes différents, et c'est la conséquence qui doit fixer la limite.
L'autonomie comme une échelle, pas un interrupteur
L'autonomie n'est pas activée ou désactivée. C'est une échelle, et une action peut se situer sur un échelon différent de celui à côté. Les échelons vont de proposer un avis qu'une personne doit accepter, en passant par agir seulement après approbation, jusqu'à agir dans des limites explicites et rendre compte — avec une personne capable d'intervenir à tout moment.
Une autonomie proportionnelle à la conséquence
- Conseil seulement Le système informe ; une personne décide et agit.
- Action proposée Le système propose ; une personne examine et exécute.
- Action soumise à approbation Le système prépare, et n'agit qu'après approbation humaine.
- Action autonome limitée Le système agit dans des limites explicites, surveillé, avec reprise.
- Autonomie continue Réservée aux comportements observables, réversibles et à faible conséquence, avec reprise prouvée.
Le geste pratique est de placer chaque action — non chaque système — sur un échelon. Une seule opération en couvrira plusieurs : elle peut rédiger et rechercher seule, doit s'arrêter pour une personne avant un changement conséquent, et peut exécuter une étape routinière et réversible dans des limites fixées.
Comment situer une action
Trois questions décident de l'échelon. Quelle est la réversibilité de l'action si elle est erronée ? Quelle est l'ampleur du dommage si elle est erronée et non détectée ? Et quelle est la confiance, au sens calibré, du système sur ce cas précis ? Une faible réversibilité ou un dommage élevé tire l'action vers le haut de l'échelle, vers l'autorité humaine, indépendamment de la capacité moyenne du modèle.
La confiance compte, mais seulement comme un modificateur et seulement lorsqu'elle est calibrée. Un système trop confiant est plus dangereux qu'un système prudent, car il revendique une autorité qu'il n'a pas méritée. Lorsque la confiance est faible, l'action devrait monter d'un échelon — vers une personne — plutôt que de se poursuivre.
Chaque échelon a un coût d'admission
Accorder un échelon n'est pas gratuit. Chaque niveau d'autonomie porte des contrôles qu'il doit remplir avant d'être autorisé :
- Avis et brouillon. Ancrage factuel dans des sources récupérées et des citations, afin qu'une personne puisse vérifier le raisonnement.
- Agir après approbation. Une porte d'approbation claire, un enregistrement complet de ce qui a été proposé et par qui cela a été approuvé, et un chemin facile pour rejeter.
- Agir dans des limites. Des limites explicites, une surveillance par rapport à ces limites, et une escalade automatique lorsqu'un cas sort de ces limites.
- Chaque échelon. Un journal d'audit en ajout seul, la capacité pour une personne d'intervenir, et une évaluation répétée, non réalisée une seule fois.
Où cela se réalise
Ce n'est pas seulement une position. Dans le système gouverné d'opérations de dossiers, la porte d'approbation est un état nommé, et l'autorité est échelonnée par conséquence : les étapes à faible conséquence s'exécutent dans des limites, les étapes conséquentes s'arrêtent pour une personne, et les plus conséquentes exigent une approbation senior. Le schéma directeur de l'IA gouvernée généralise la même limite de contrôle.
Limites
C'est une méthode, pas une mesure. Elle argumente comment décider de l'autorité ; elle ne revendique pas un taux d'erreur ou un résultat spécifique pour un quelconque système. Classer la conséquence d'une action est en soi un jugement qui doit être fait avec les responsables de l'opération et révisé au fur et à mesure que l'opération change.