La pregunta suele plantearse al revés
Los equipos que incorporan IA en una operación tienden a preguntar: "¿Cuánto podemos dejarle hacer?". La pregunta suena práctica, pero mide lo incorrecto. Se ancla en la capacidad del modelo — cuán bueno es — cuando la variable que debería gobernar la autoridad es cuánto daño causaría una acción errónea.
Un sistema puede ser muy capaz y seguir siendo un mal candidato para la autonomía si la consecuencia de un error raro es grave. A la inversa, se puede confiar en un sistema modesto para actuar por sí mismo donde los errores son baratos y reversibles. Capacidad y consecuencia son ejes distintos, y es la consecuencia la que debe fijar el límite.
La autonomía como una escala, no un interruptor
La autonomía no está encendida o apagada. Es una escala, y una acción puede situarse en un peldaño distinto al de la que está al lado. Los peldaños van desde ofrecer un consejo que una persona debe aceptar, pasando por actuar solo tras aprobación, hasta actuar dentro de límites explícitos e informar — con una persona capaz de intervenir en cualquier momento.
Autonomía proporcional a la consecuencia
- Solo asesoramiento El sistema informa; una persona decide y actúa.
- Acción propuesta El sistema propone; una persona revisa y ejecuta.
- Acción sujeta a aprobación El sistema prepara, y actúa solo tras la aprobación humana.
- Acción autónoma acotada El sistema actúa dentro de límites explícitos, monitorizado, con recuperación.
- Autonomía continua Solo para comportamientos observables, reversibles y de baja consecuencia, con recuperación demostrada.
El movimiento práctico es situar cada acción — no cada sistema — en un peldaño. Una sola operación abarcará varios: puede redactar y recuperar por sí misma, debe detenerse para una persona antes de un cambio consecuente, y puede ejecutar un paso rutinario y reversible dentro de límites establecidos.
Cómo situar una acción
Tres preguntas determinan el peldaño. ¿Qué tan reversible es la acción si es errónea? ¿Qué tan grande es el daño si es errónea y no se detecta? ¿Y qué tan seguro, en sentido calibrado, está el sistema sobre este caso específico? Una baja reversibilidad o un daño elevado empuja la acción hacia arriba en la escala, hacia la autoridad humana, independientemente de cuán capaz sea el modelo en promedio.
La confianza importa, pero solo como un modificador y solo cuando está calibrada. Un sistema demasiado confiado es más peligroso que uno cauteloso, porque reclama una autoridad que no ha ganado. Cuando la confianza es baja, la acción debería subir un peldaño — hacia una persona — en lugar de continuar.
Cada peldaño tiene un coste de admisión
Otorgar un peldaño no es gratis. Cada nivel de autonomía tiene controles que debe cumplir antes de ser permitido:
- Consejo y borrador. Fundamentación en fuentes recuperadas y citas, para que una persona pueda verificar el razonamiento.
- Actuar tras aprobación. Una puerta de aprobación clara, un registro completo de lo propuesto y por quién fue aprobado, y una vía fácil para rechazar.
- Actuar dentro de límites. Límites explícitos, monitorización frente a esos límites, y escalamiento automático cuando un caso queda fuera de ellos.
- Cada peldaño. Un registro de auditoría de solo adición, la capacidad de una persona para intervenir, y una evaluación repetida, no realizada una sola vez.
Dónde se materializa esto
Esto no es solo una posición. En el Sistema gobernado de operaciones de casos, la puerta de aprobación es un estado con nombre, y la autoridad se escalona por consecuencia: los pasos de baja consecuencia se ejecutan dentro de límites, los consecuentes se detienen para una persona, y los más consecuentes requieren aprobación superior. El modelo de referencia de IA gobernada generaliza el mismo límite de control.
Limitaciones
Esto es un método, no una medición. Argumenta cómo decidir la autoridad; no afirma una tasa de error o resultado específico para ningún sistema. Clasificar la consecuencia de una acción es en sí un juicio que debe hacerse con los responsables de la operación y revisarse a medida que la operación cambia.