أتمتة الأعمال
Prompt Injection: حماية الوكيل من تعليمات داخل المستندات
حدود الثقة والصلاحيات تقلل أثر النص الخبيث على أدوات الشركة.
المشكلة في خلط الأدوار
قد يحتوي ملف أو صفحة مسترجعة على نص يطلب تجاهل التعليمات أو إرسال بيانات. هذا المحتوى جاء كمعلومة للمراجعة، وليس من مستخدم مخول بإدارة الوكيل. لذلك لا يجوز أن يغيّر الصلاحيات أو وجهة الإرسال لمجرد أن النموذج قرأه ضمن سياق المهمة.
دفاعات في التطبيق
قيّد الأدوات والوجهات والحقول، وتحقق من صلاحية كل إجراء على الخادم. افصل القراءة عن الكتابة، واعرض الأفعال الحساسة للمراجعة حسب سياقها. قلّل الأسرار والبيانات غير اللازمة في السياق، حتى لا يكون هناك ما يمكن كشفه إذا أخطأ النموذج في التعامل مع النص.
اختبار متعدد المسارات
أدخل نصًا هجوميًا في مستند ونتيجة بحث واسم ملف ورسالة مستخدم، ثم راقب ما إذا تغيرت الأفعال أو تسربت بيانات اختبار. استخدم بيانات اصطناعية وبيئة معزولة. وثّق حدود الاختبار؛ اجتياز مجموعة حالات لا يثبت غياب كل هجوم ممكن، لكنه يكشف مسارات يمكن إصلاحها وقياسها.
تعليمات داخل المستند ليست أوامر للتطبيق
قد يتضمن ملف نصًا يطلب تجاهل المهمة وإرسال معلومات لعنوان خارجي. عامله كمحتوى مستند لا كأمر من صاحب النظام. ربما وصل دون قصد من عميل نسخ مصدرًا آخر. افصل تعليمات التطبيق عن الرسائل والمرفقات والبحث. التعليمات الجيدة تساعد في توجيه النموذج، لكنها لا تستبدل قيود الخدمة والصلاحيات. لا تمنح المستند حق إضافة أداة أو تغيير قائمة المستلمين.
اختبر الأثر لا الكلام
استخدم بيانات اختبار وصلاحيات معزولة. قبل إرسال ملف، اعرض الملف والوجهة وتحقق من مطابقتهما عند التنفيذ.
| الحالة | ما تثبته الخدمة |
|---|---|
| مستند يغيّر المستلم | لا إرسال لوجهة غير معتمدة |
| طلب سجل آخر | منع القراءة قبل وصول البيانات للنموذج |
| تعليمات داخل بحث | لا تغير صلاحيات الأدوات |
| إعادة الطلب | لا تكرار أثر خارج العملية المعتمدة |
| رفض لفظي مع استدعاء | فحص السجل يثبت عدم الأثر المحظور |
الإيقاف والاستجابة وإعادة الاختبار
حدّد من يعطّل الأداة ويراجع السجل ويحوّل المسار للعمل اليدوي. سجّل المصدر والإجراء والنتيجة باختصار دون تسريب أسرار إلى المراقبة. أعد الاختبارات عند إضافة أداة أو مصدر أو نموذج. اجتيازها يعالج إخفاقات معروفة، لكنه ليس ضمانًا بانعدام كل الثغرات. لذلك تبقى الصلاحيات المحدودة والتأكيد والتحقق في الخادم ضرورية حتى حين تبدو جميع الإجابات سليمة.
محتوى تعليمي أُعد بمساعدة الذكاء الاصطناعي. الأمثلة المقترحة للتوضيح ولا تمثل نتائج مضمونة. منهج إعداد المحتوى