الأدلة — مخطط هندسي
بنية الذكاء الاصطناعي المحكوم والعملاء
كيفية وضع الذكاء الاصطناعي، وحيثما كان مبرَّرًا عميل، داخل عملية بالغة الأهمية بحيث ترتفع القدرة دون أن تتجاوز الصلاحية الأثر. الشكل القابل لإعادة الاستخدام من حدود التحكم للنظام الرائد — مع بيان مفاضلاته وأنماط فشله وحدوده.
مخطط هندسي
بنية مرجعية، مُعمَّمة من النظام الرائد. ليست منتجًا ولا عمل عميل.
الغرض
الغرض من هذه البنية المعمارية.
تضع هذه البنية الذكاء الاصطناعي، وحيث يُبرَّر ذلك وكيلاً، داخل عملية حرجة بحيث تزداد القدرة دون أن تسبق السلطة العاقبة. إنها الصيغة القابلة لإعادة الاستخدام لحد التحكم المُحقَّق في نظام عمليات الحالات المحوكم.
متى تكون مناسبة
- العمل ذو الحجم الكبير الذي يتضمن قراءة مستندات غير مُهيكَلة، واسترجاع سياسة أو سياق، وصياغة تقييم مُؤسَّس.
- القرارات التي يجب أن تكون قابلة للتتبع إلى مصدر ومُدافَعًا عنها بعد وقوعها.
- العمليات التي تكون فيها بعض الإجراءات روتينية وآمنة للأتمتة، بينما تكون أخرى ذات عاقبة ويجب أن تتوقف لإنسان.
البنية المعمارية
المكوّنات والعلاقات والحدود.
لا يعمل النموذج بمفرده أبدًا. إنه مكوّن واحد داخل نظام حتمي يقرر ما يحدث تاليًا ويسجّل كل خطوة.
حدّ التحكم
وصف نصي لهذا الرسم التخطيطي
يقع النموذج أو الوكيل داخل حدّ تحكم ومحاط بالحوكمة التي يحتاجها للعمل بأمان: صلاحيات محددة، والأدوات والاسترجاع المسموح له باستخدامها، والتقييم، والرصد، والتعافي.
لا تخرج الإجراءات ذات العواقب من الحدّ بمفردها — بل تمر ببوابة موافقة إنسانية. السلطة متناسبة مع العاقبة.
المكوّنات
- منسِّق سير العمل
- المحرك الحتمي الذي يُقدِّم العمل عبر وضعيات مُسمّاة ويقرر متى يُستدعى النموذج. هو، لا النموذج، الذي يحمل التحكم.
- الاسترجاع (Retrieval)
- يجلب السياسة والسياق السابق الذي تحتاجه المهمة، مع أصل موثَّق، بحيث يعمل النموذج من مادة مُؤسَّسة لا من ذاكرته.
- بوّابة النموذج
- المسار الوحيد القابل للرصد إلى النموذج. تفرض تقليل السياق، والحدود، وفترات الانتظار، والتسجيل الآمن للخصوصية.
- محرك السياسة والقواعد
- فحوصات حتمية يجب أن تجتازها مخرجات النموذج — استشهادات مطلوبة، ومحتوى محظور، وقواعد الأعمال.
- سجل الأدوات والإجراءات
- قائمة سماح بالإجراءات التي يمكن للنظام اتخاذها، كل واحدة محدودة النطاق ولا يستدعيها إلا المنسِّق، لا مخرجات النموذج مباشرة.
- بوابة الموافقة
- وضعية مُسمّاة يوافق فيها شخص بالسلطة المناسبة على الإجراءات ذات العاقبة قبل مغادرتها الحد.
- إطار التقييم وسجل التدقيق
- يقيس النظام أمام مجموعات بيانات قبل الإصدار ويسجّل كل جهة فاعلة ومُدخَل واستشهاد وقرار خلال التشغيل.
حدود البيانات والسلطة
يعمل النظام بأكمله داخل حد تحكم. تُحدَّد نطاقات البيانات والسلطة بحيث تكون القدرة محصورة.
- أقل الصلاحيات: تحمل كل خدمة ودور فقط الصلاحيات التي تحتاجها؛ لا يمكن لبوّابة النموذج الكتابة إلى نظام سجل.
- سياق محدود: تُرسِل البوّابة إلى النموذج الحد الأدنى من السياق اللازم للمهمة، وتُسجِّل ما أُرسل.
- إجراءات بقائمة سماح: لا يمكن للنظام اتخاذ إلا الإجراءات الموجودة في السجل، وفقط عبر محوِّلات تكامل يمكن للحد رؤيتها.
- المحتوى ليس أمرًا: لا يمكن أبدًا لنص داخل مستند مُسترجَع أن يُشغِّل أداة — لا تأتي التعليمات إلا من المنسِّق.
- تبقى الأسرار خارج مسار النموذج وتُوفَّر كارتباطات، ولا توضَع أبدًا في التوجيهات أو السجلات.
السلطة البشرية
أين يبقى الإنسان في السيطرة.
تُمنَح السلطة بما يتناسب مع عاقبة الإجراء. الدور البشري مُصمَّم، لا مُبتكَر ارتجالًا.
- تعمل الخطوات منخفضة العاقبة تلقائيًا ضمن حدود صريحة.
- يقرر العمل متوسط العاقبة مشغِّل يساعده النموذج.
- تتطلب الإجراءات عالية العاقبة موافقًا كبيرًا عند البوابة.
- يمكن لشخص التجاوز دائمًا؛ يُسجَّل التجاوز ومُنفِّذه وسببه.
- تُصعَّد الثقة المنخفضة للنموذج، أو فحص السياسة الفاشل، أو المُدخَل غير القابل للقراءة إلى إنسان بدلاً من المضي قدمًا.
التقييم
كيف يُقاس، وكيف تُعالَج حالة عدم اليقين.
لا يكون النظام موثوقًا إلا إذا أمكن قياسه ومطالبته بمعيار قبل وخلال التشغيل.
ما الذي يُقاس
- التأسيس (Groundedness) — هل تُدعَم كل مطالَبة للنموذج باستشهاد مُسترجَع؟
- نجاح المهمة — هل تستوفي المخرجات معايير قبول المهمة؟
- دقة واستدعاء فحوصات السياسة — هل تُعلَّم المخرجات الصحيحة دون إغراق المشغِّلين بإشارات كاذبة؟
- معدل التجاوز البشري — كم مرة يصحِّح المشغِّلون المسودة، ولماذا؟
- صحة التصعيد — هل تصل الحالات ذات العاقبة أو الثقة المنخفضة إلى إنسان؟
- الكمون والتكلفة لكل وحدة عمل — هل يمكن تشغيله بحجم كبير؟
عدم اليقين
يُعيد النموذج ثقة معايَرة، لا إجابة مجرَّدة. تحت عتبة محددة، يمتنع ويُصعِّد بدلاً من التخمين. تُقاس المعايَرة نفسها، لأن نموذجًا زائد الثقة أخطر من نموذج حذر.
قابلية الرصد
تُصدِر كل خطوة أثرًا آمنًا للخصوصية: أي حالة عملت، وأي أدوات استُدعيت، وكم استغرق ذلك، والنتيجة — أبدًا قيم الحقول السرية. تجعل المقاييس والآثار الانحدار مرئيًا قبل أن يتحول إلى حادثة.
أنماط الفشل
كيف يفشل، وما الذي يظل صامدًا.
| نمط الفشل | التدبير المخفِّف |
|---|---|
| مخرجات غير مؤسَّسة أو مُلفَّقة | طلب استشهادات، وتشغيل فحوصات سياسة حتمية، وإحالة الإجراءات ذات العاقبة إلى إنسان. لا يمكن لمطالَبة غير مدعومة أن تمرّ. |
| حقن أوامر عبر مستند مُسترجَع | معاملة كل المحتوى كبيانات، لا كتعليمات مطلقًا؛ لا تعمل الأدوات إلا من المنسِّق؛ سجل الإجراءات بقائمة سماح. |
| سوء استخدام أداة أو إجراء | تحديد نطاق صلاحيات كل إجراء، وطلب تأكيد للإجراءات ذات العاقبة، وتسجيل كل استدعاء. |
| تعطُّل النموذج أو المزوِّد | التراجع بسلاسة إلى قائمة انتظار يدوية؛ يستمر سير العمل دون النموذج بدلاً من فشل العملية. |
| انحراف صامت في الجودة | رصد مقاييس التقييم خلال التشغيل؛ يُحفِّز الانحراف بعد عتبة معيّنة مراجعة، وإن لزم، تراجعًا. |
| بيانات حساسة تصل إلى النموذج | تقليل السياق، وحيثما أمكن حذف أجزاء منه؛ تسجيل ما أُرسل بدقة؛ إبقاء الحد قابلاً للتدقيق. |
بدائل مرفوضة
ما الذي دُرِس، ولماذا لم يُختَر.
-
وكيل مستقل تمامًا بلا بوابة إنسانية
دُرِس يَعِد بأعلى إنتاجية وأقل جهد بشري.
رُفض ستسبق السلطة العاقبة: لن يُمكن اكتشاف إجراء خاطئ واحد قبل مغادرته الحد. تُربَط الاستقلالية بالعاقبة بدلاً من ذلك.
-
توجيه كبير واحد يقوم بكل شيء
دُرِس سريع البناء ويُظهِر أداءً جيدًا.
رُفض لا يمكن فحصه أو اختباره أو حكمه خطوة بخطوة، ويفشل بغموض. يُستخدَم بدلاً منه سير عمل حتمي بوضعيات منفصلة وقابلة للاختبار.
-
الضبط الدقيق (fine-tuning) كضابط أساسي
دُرِس يمكن لنموذج مضبوط دقيقًا أن يقلل الأخطاء الواضحة.
رُفض يُغيِّر الضبط السلوك في المتوسط لكنه لا يقدم ضمانة وقت التشغيل. يجب أن تُفرَض الحوكمة بالاسترجاع وفحوصات السياسة والبوابة — لا أن تُتوقَّع من الأوزان.
-
الأتمتة الحتمية (RPA) فقط
دُرِس قابلة للتنبؤ ولا تحتاج نموذجًا.
رُفض هشة أمام المستندات غير المُهيكَلة والحالات الغامضة — وهي بالضبط حيث تكسب هذه البنية مكانها. حيث يكون المُدخَل مُهيكلًا تمامًا، النهج الأبسط هو الصحيح (انظر أدناه).
النشر والتكلفة
كيف يُنشَر، وما الذي يُحدِّد تكلفته.
- سحابة العميل أو VPC
- يعمل النظام داخل بيئة العميل بمفاتيح يتحكم فيها العميل؛ لا تخرج البيانات من حده.
- واجهة برمجة نموذج مُستضافة مقابل نموذج مُستضاف ذاتيًا
- واجهة مُستضافة أسرع تشغيلًا وتحديثًا؛ نموذج مُستضاف ذاتيًا يمنح تحكمًا كاملًا بالبيانات وتكلفة يمكن التنبؤ بها بمقابل عبء تشغيلي. تعزل البوّابة هذا الاختيار بحيث يمكن تغييره لاحقًا.
- معزول أو في الموقع
- بالنسبة للبيانات الأكثر حساسية، يعمل المسار كله — بما فيه النموذج — في بيئة معزولة، مع قبول تكلفة أعلى وتحديثات نموذج أبطأ.
تكلفة التشغيل
تُحدَّد تكلفة التشغيل أساسًا بالاستنتاج من النموذج، وبنية الاسترجاع والمتجهات، ووقت المراجعة البشرية — لا بالتنسيق نفسه. تُوصَف التكلفة نوعيًا هنا؛ يعتمد الرقم الحقيقي على الحجم، واختيار النموذج، ومعدل المراجعة، ويُقدَّر لكل تكليف بدلاً من التأكيد عليه.
متى لا تُستخدم هذه البنية المعمارية
الحدود بصدق.
- حين تحل قاعدة أو نموذج أو تقرير حتمي المسألة أصلاً — لا تُضِف نموذجًا لذاته.
- حين يكون المُدخَل مُهيكلًا تمامًا وغير غامض؛ الأتمتة التقليدية أرخص وأكثر قابلية للتنبؤ.
- حين تكون عاقبة أي خطأ متبقٍّ مرتفعة جدًا بحيث يجب أن يقوم إنسان بالمهمة كلها، لا أن يوافق عليها فقط.
- حين لا يمكن حَوكمة البيانات أو تدقيق العملية — الحد هو الأساس، ودونه لا ينبغي إطلاق هذه البنية.
- حين يكون الحجم منخفضًا جدًا لتبرير التقييم والرصد الذي تتطلبه البنية للبقاء آمنة.
ما يُثبته هذا وما لا يُثبته
يُظهر
- أن الاستقلالية يمكن أن تُجعَل متناسبة مع العاقبة من خلال بوابات وحدود صريحة.
- أن مكوّنات الحوكمة (الاسترجاع، والتحقق، والسياسة، والتقييم، والتدقيق) بنية معمارية، لا أفكار لاحقة.
لا يُظهر
- أن نموذجًا أو إطار وكلاء معيّنًا هو الأفضل لمسألة معطاة.
- أرقام موثوقية كمية لتطبيق معيّن.
كيفية فحصه
اقرأ البنية المعمارية، وحدود السلطة، وأنماط الفشل، والقسم الصريح «متى لا تستخدم هذا». تتحقق بشكل ملموس في النظام الرائد.
التكليف
ابدأ بما يجب أن يتغيّر.
إذا كان الذكاء الاصطناعي يعمل في نموذج أولي ولكن لا يمكن الوثوق به بعد في عمليتك، يبدأ التكليف بحدود التحكم التي يجب أن يعمل داخلها.