Warum Piloten ins Stocken geraten
Ein Pilot ist darauf optimiert zu zeigen, dass eine Fähigkeit möglich ist. Er läuft mit ausgewählten Beispielen, in Anwesenheit seiner Autoren, und wird nach Eindruck beurteilt. Genau diese Bedingungen entfernt ein Produktionsbetrieb. In der Produktion sind die Eingaben feindlich und unbegrenzt, kein Autor schaut zu, und das System wird nach seinem schlechtesten Verhalten beurteilt, nicht nach seinem besten.
Piloten geraten also nicht ins Stocken, weil das Modell schlechter wurde, sondern weil sich die Fragen geändert haben. „Kann es das?" wird zu „Können wir uns darauf verlassen, es beweisen, und uns erholen, wenn es versagt?" Ein Pilot hat selten eine Antwort auf die zweite Frage, weil er nie dafür gebaut wurde.
Was ein Pilot beweist, und was nicht
Ein guter Pilot beweist, dass eine Fähigkeit existiert und ein Ablauf plausibel ist. Er beweist nicht Zuverlässigkeit unter Verteilungsverschiebung, Verhalten bei feindlichen Eingaben, Kosten und Latenz bei Volumen, oder sicheres Versagen. Das Erste wie das Zweite zu behandeln, ist der häufigste Grund, warum KI-Arbeit nicht in die Produktion gelangt — oder dorthin gelangt und es nicht sollte.
Die sechs Dinge, die Produktion hinzufügt
Die Lücke zu überbrücken bedeutet, das zu konstruieren, was der Pilot ausgelassen hat:
- Evaluation. Definierte Datensätze, Metriken und Schwellenwerte, vor der Veröffentlichung gemessen und danach überwacht — kein einmaliger Eindruck.
- Kontrollen. Eine Grenze um das Modell: eingeschränkte Berechtigungen, zugelassene Aktionen, Richtlinienprüfungen, und ein menschliches Tor bei folgenreichen Aktionen.
- Beobachtbarkeit. Datenschutzsichere Traces, Metriken und Protokolle, damit eine Regression sichtbar wird, bevor sie zu einem Vorfall wird.
- Wiederherstellung. Wiederholungen, sanfte Degradierung zu einem manuellen Pfad, Dead-Lettering für giftige Fälle, und ein dokumentierter Weg zurück zu einem guten Zustand.
- Menschliche Befugnis. Klare Eigentümerschaft folgenreicher Entscheidungen, und die aufgezeichnete Fähigkeit, zu übersteuern.
- Eigentümerschaft. Jemand, der für das System im Betrieb verantwortlich ist, mit der Fähigkeit, es zu betreiben, zu ändern und stillzulegen.
Evaluation ist ein Kreislauf, kein Tor, das man einmal passiert
Die wichtigste Verschiebung ist, Evaluation als kontinuierlich zu behandeln. Ein Build wird gegen Datensätze und Metriken gemessen, muss ein Abnahmetor mit im Voraus festgelegten Schwellenwerten passieren, und funktioniert erst dann — unter Überwachung, die dieselben Metriken beobachtet. Operative Ergebnisse fließen in die nächste Verbesserung zurück, die vor der Abnahme erneut evaluiert wird.
Evaluationsschleife
Textbeschreibung dieses Diagramms
Evaluation ist eine Schleife, keine einmalige Abzeichnung. Ein Build wird gegen definierte Datensätze und Metriken gemessen und muss dann ein Abnahme-Gate bestehen, dessen Schwellenwerte vorab festgelegt sind. Erst dann läuft er im Betrieb — unter Überwachung, die Qualität, Kosten, Latenz und menschliche Übersteuerungen beobachtet.
Operative Ergebnisse fließen in die nächste Verbesserung zurück, und das geänderte System wird vor der Abnahme erneut evaluiert. Die Datensätze, Metriken und Schwellenwerte sind in der Bedrohungs-, Evaluations- und Abnahmespezifikation festgelegt.
Eine Checkliste für Produktionsreife
Bevor ein System Betriebsbefugnis erhält, sollten diese echte Antworten haben:
- Was wird gemessen, auf welchen Daten, und welchen Schwellenwert muss es erreichen?
- Wie verhält es sich bei feindlichen und verteilungsfremden Eingaben?
- Was ist die schlimmste Aktion, die es ausführen kann, und was hält sie auf?
- Wie wird ein Fehler erkannt, und was ist der Weg zurück?
- Wer ist für eine folgenreiche Entscheidung verantwortlich?
- Wer besitzt es im Betrieb, und kann er es ändern und stilllegen?
Wo dies umgesetzt wird, und seine Grenzen
Das Gesteuerte Fallbearbeitungssystem ist um diesen Kreislauf aufgebaut, und seine Bedrohungs-, Evaluations- und Abnahmespezifikation legt die Datensätze, Metriken und Kriterien vollständig dar. Diese Publikation argumentiert, was Produktionsreife erfordert; sie berichtet keine Produktionsmetriken für irgendeine Bereitstellung, und jeder Betrieb muss seine eigenen Schwellenwerte mit seinen Verantwortlichen definieren.