السؤال يُطرح غالبًا بالعكس
تميل الفرق التي تُدخل الذكاء الاصطناعي في عملية إلى التساؤل: "كم يمكننا أن نتركه يفعل؟" يبدو السؤال عمليًا، لكنه يقيس الشيء الخاطئ. فهو يستند إلى قدرة النموذج — مدى جودته — في حين أن المتغيّر الذي يجب أن يحكم الصلاحية هو مقدار الضرر الذي يسببه إجراء خاطئ.
يمكن أن يكون النظام قادرًا جدًا ويبقى مرشحًا ضعيفًا للاستقلالية إذا كان أثر الخطأ النادر شديدًا. وبالعكس، يمكن الوثوق بنظام متواضع للتصرف بمفرده حيث تكون الأخطاء رخيصة وقابلة للتراجع. القدرة والأثر محوران مختلفان، والأثر هو الذي يجب أن يحدد الحد.
الاستقلالية كسلّم، لا كمفتاح
الاستقلالية ليست تشغيلًا أو إيقافًا. إنها سلّم، ويمكن أن يقع إجراء على درجة مختلفة عن الإجراء المجاور له. تمتد الدرجات من تقديم نصيحة يجب أن يقبلها شخص، مرورًا بالتصرف فقط بعد الموافقة، إلى التصرف داخل حدود واضحة مع إعداد التقارير — مع قدرة شخص على التدخل في أي وقت.
استقلالية متناسبة مع العاقبة
- نصيحة فقط النظام يُعلِم؛ وشخص يقرر ويتصرف.
- إجراء مقترح النظام يقترح؛ وشخص يراجع وينفّذ.
- إجراء مشروط بالموافقة النظام يُحضّر، ولا يتصرف إلا بعد موافقة إنسانية.
- إجراء مستقل محدود النظام يتصرف ضمن حدود صريحة، تحت الرصد، مع تعافٍ.
- استقلالية مستمرة فقط للسلوك القابل للرصد والتراجع ومنخفض العاقبة، مع تعافٍ مُثبَت.
الخطوة العملية هي وضع كل إجراء — لا كل نظام — على درجة. ستمتد عملية واحدة عبر درجات متعددة: يمكنها الصياغة والاسترجاع بمفردها، ويجب أن تتوقف لشخص قبل تغيير ذي أثر، ويمكنها تنفيذ خطوة روتينية قابلة للتراجع داخل حدود محددة.
كيفية وضع إجراء
ثلاثة أسئلة تحدد الدرجة. ما مدى قابلية الإجراء للتراجع إذا كان خاطئًا؟ ما حجم الضرر إذا كان خاطئًا ولم يُكتشَف؟ وما درجة ثقة النظام، بمعنى مُعايَر، بهذه الحالة بالتحديد؟ انخفاض قابلية التراجع أو ارتفاع الضرر يرفع الإجراء إلى أعلى السلّم نحو الصلاحية البشرية، بصرف النظر عن قدرة النموذج في المتوسط.
الثقة مهمة، لكن فقط كمُعدِّل وفقط عندما تكون مُعايَرة. نظام مفرط الثقة أخطر من نظام حذر، لأنه يطالب بصلاحية لم يكسبها. حيث تكون الثقة منخفضة، يجب أن يرتفع الإجراء درجة — إلى شخص — بدلًا من الاستمرار.
كل درجة لها تكلفة دخول
منح درجة ليس مجانيًا. يحمل كل مستوى من الاستقلالية ضوابط يجب أن يستوفيها قبل السماح به:
- النصيحة والمسودة. الاستناد إلى مصادر مُسترجعة واستشهادات، حتى يتمكن شخص من فحص الاستدلال.
- التصرف بعد الموافقة. بوابة موافقة واضحة، وسجل كامل لما اقتُرح ومن وافق عليه، وطريق سهل للرفض.
- التصرف داخل الحدود. حدود واضحة، ورصد مقابل هذه الحدود، وتصعيد تلقائي عندما تخرج حالة عن هذه الحدود.
- كل درجة. سجل تدقيق يُضاف إليه فقط، وقدرة شخص على التدخل، وتقييم مُتكرر، لا يُنفَّذ مرة واحدة.
حيث يتحقق هذا
هذا ليس موقفًا فقط. في نظام عمليات الحالات المحكومة، بوابة الموافقة حالة مُسمَّاة، والصلاحية مُدرَّجة بالأثر: الخطوات منخفضة الأثر تعمل داخل الحدود، والخطوات ذات الأثر تتوقف لشخص، وأكثرها أثرًا يتطلب موافقة كبير. يُعمِّم مخطط الذكاء الاصطناعي المحكوم نفس حدود التحكم.
القيود
هذه منهجية، لا قياس. تُحاجج كيفية تحديد الصلاحية؛ لا تزعم معدل خطأ أو نتيجة محددة لأي نظام. تصنيف أثر إجراء ما هو بذاته حكم يجب أن يُتخذ مع مالكي العملية ويُعاد النظر فيه مع تغيّر العملية.