Por qué los pilotos se estancan
Un piloto está optimizado para mostrar que una capacidad es posible. Funciona con ejemplos elegidos, con sus autores presentes, y se juzga por la impresión. Precisamente esas condiciones son las que elimina una operación de producción. En producción las entradas son adversarias e ilimitadas, ningún autor está observando, y el sistema se juzga por su peor comportamiento, no por el mejor.
Así que los pilotos se estancan no porque el modelo haya empeorado, sino porque las preguntas cambiaron. "¿Puede hacer esto?" se convierte en "¿Podemos depender de él, demostrarlo, y recuperarnos cuando falle?" Un piloto rara vez tiene respuesta al segundo conjunto, porque nunca se construyó para eso.
Qué demuestra un piloto, y qué no
Un buen piloto demuestra que una capacidad existe y que un flujo de trabajo es plausible. No demuestra fiabilidad bajo cambio de distribución, comportamiento ante entradas adversarias, coste y latencia a volumen, o fallo seguro. Tratar lo primero como si fuera lo segundo es la razón más común por la que el trabajo de IA no llega a producción — o llega y no debería haberlo hecho.
Las seis cosas que añade la producción
Cruzar la brecha significa diseñar lo que el piloto omitió:
- Evaluación. Conjuntos de datos, métricas y umbrales definidos, medidos antes del lanzamiento y monitoreados después — no una impresión puntual.
- Controles. Un límite alrededor del modelo: permisos acotados, acciones en lista blanca, comprobaciones de política, y una puerta humana en las acciones consecuentes.
- Observabilidad. Trazas, métricas y registros respetuosos de la privacidad, para que una regresión sea visible antes de convertirse en un incidente.
- Recuperación. Reintentos, degradación elegante hacia una vía manual, cola de mensajes fallidos para casos envenenados, y un camino de vuelta documentado a un buen estado.
- Autoridad humana. Propiedad clara de las decisiones consecuentes, y la capacidad de anular, registrada.
- Propiedad. Alguien responsable del sistema en operación, con la capacidad de ejecutarlo, modificarlo y retirarlo.
La evaluación es un bucle, no una puerta que se cruza una vez
El cambio más importante es tratar la evaluación como continua. Una versión se mide frente a conjuntos de datos y métricas, debe cruzar una puerta de aceptación con umbrales fijados de antemano, y solo entonces opera — bajo una monitorización que observa las mismas métricas. Los resultados operativos retroalimentan la siguiente mejora, que se evalúa de nuevo antes de ser aceptada.
Bucle de evaluación
Descripción textual de este diagrama
La evaluación es un bucle, no una aprobación puntual. Una versión se mide frente a conjuntos de datos y métricas definidos, y luego debe superar una puerta de aceptación cuyos umbrales se establecen de antemano. Solo entonces funciona — bajo monitorización que vigila la calidad, el coste, la latencia y las anulaciones humanas.
Los resultados operativos retroalimentan la siguiente mejora, y el sistema modificado se evalúa de nuevo antes de aceptarse. Los conjuntos de datos, las métricas y los umbrales se exponen en la especificación de amenazas, evaluación y aceptación.
Una lista de verificación de preparación para producción
Antes de que un sistema obtenga autoridad operativa, estas preguntas deberían tener respuestas reales:
- ¿Qué se mide, sobre qué datos, y qué umbral debe cruzar?
- ¿Cómo se comporta ante entradas adversarias y fuera de distribución?
- ¿Cuál es la peor acción que puede tomar, y qué la detiene?
- ¿Cómo se detecta un fallo, y cuál es el camino de vuelta?
- ¿Quién es responsable de una decisión consecuente?
- ¿Quién lo posee en operación, y puede modificarlo y retirarlo?
Dónde se materializa esto, y sus límites
El Sistema gobernado de operaciones de casos está construido alrededor de este bucle, y su especificación de amenazas, evaluación y aceptación establece los conjuntos de datos, métricas y criterios en su totalidad. Esta publicación argumenta lo que requiere la preparación para producción; no reporta métricas de producción para ningún despliegue, y cada operación debe definir sus propios umbrales con sus responsables.