أمان وقت تشغيل الذكاء الاصطناعي: من المدخلات إلى التأثير في العالم الحقيقي

عندما يفكر معظم الناس في أمان وقت تشغيل الذكاء الاصطناعي، فإنهم يفكرون في ذلك الحقن الفوري.

لكن تأمين الذكاء الاصطناعي في الإنتاج أوسع بكثير من تصفية المدخلات – فهو يتعلق باكتشاف كيفية تصرف أنظمة الذكاء الاصطناعي وتصرفها وتأثيرها على بيئتك في الوقت الفعلي.

أنظمة الذكاء الاصطناعي لا تستجيب فحسب، بل تتصرف

دعنا نعود إلى مثال وكيل chatbot الذي قدمناه سابقًا في مسلسل.

يساعد هذا النظام الموظفين في الاستعلام عن البيانات الداخلية واسترداد المستندات وتشغيل سير العمل – والاتصال بواجهات برمجة التطبيقات ومصادر البيانات والبنية التحتية السحابية.

في وقت التشغيل، لا يستجيب فقط. هو – هي:

وهنا يتحول السلوك إلى تأثير في العالم الحقيقي.

فهم المدخلات يخبرك بالنية.
إن فهم التنفيذ يخبرك بالتأثير.

الأمن الحقيقي يتطلب كلا الأمرين.

لماذا يختلف اكتشاف التهديدات باستخدام الذكاء الاصطناعي بشكل أساسي؟

أنظمة الذكاء الاصطناعي لا تتصرف بشكل حتمي.

تعتمد أفعالهم على المدخلات الديناميكية والسياق والأدوات التي يمكنهم الوصول إليها – مما يعني أننا لا نعرف دائمًا كيف سيتصرف الوكيل، أو متى يتجاوز الاستخدام المقصود.

وهذا يجعل اكتشاف التهديدات الحقيقية يختلف اختلافًا جذريًا عن التطبيقات التقليدية.

تحاول حواجز الحماية التحكم في السلوك في طبقة النموذج. لكنها محدودة بطبيعتها:

• لا تستطيع النماذج التمييز بشكل موثوق بين تعليمات النظام ومدخلات المستخدم

• يمكن للمهاجمين تحسين المطالبات بشكل متكرر حتى ينجحوا

• والأهم من ذلك، أن النماذج ليس لديها القدرة على فحص الإجراءات الخارجية أو تفسيرها

خذ مثالاً بسيطًا:

يُطلب من الوكيل تنزيل البرنامج النصي وتنفيذه.

قد تبدو المطالبة نفسها حميدة.
لكن النموذج ليس لديه رؤية لما يحتويه هذا البرنامج النصي، سواء كان يقوم بتصفية البيانات أو إنشاء غلاف عكسي.

إنه ينفذ ببساطة.

الدرابزين في هذه الحالة هو إما:

• واسعة جدًا (حظر السلوك المشروع)، أو

• ضيق جدًا (يفتقد التهديد تمامًا)

مما يعني أن السؤال ليس: “هل يمكننا حظر كل المدخلات السيئة؟”

إنها: “هل يمكننا اكتشاف متى يصبح سلوك الوكيل خطيرًا أو ضارًا – حتى عندما تبدو المطالبة عادية؟”

للإجابة على ذلك، تحتاج إلى رؤية تتجاوز النموذج – عبر كيفية تنفيذ الوكيل لبيئتك وتفاعله معها.

مراقبة وحماية أنظمة الذكاء الاصطناعي في وقت التشغيل

يتعامل Wiz مع اكتشاف تهديدات الذكاء الاصطناعي في وقت التشغيل بشكل مختلف. فبدلاً من النظر إلى إشارة واحدة، يربط Wiz النشاط عبر مسار التنفيذ الكامل لتطبيق الذكاء الاصطناعي – بدءًا من إدخال النموذج، إلى سلوك الوكيل، إلى الأنظمة التي يتفاعل معها.

ولتحقيق ذلك، نقوم بتنفيذ الكشف عبر ثلاث طبقات مهمة:

• النموذج – المدخلات والمخرجات والسلوك الفوري

• عبء العمل – كيفية تنفيذ الوكيل والإجراءات التي يتخذها

• السحابة – كيفية استخدام الهويات وواجهات برمجة التطبيقات والبنية التحتية

يتم ربط كل ذلك من خلال السياق والارتباط – حيث يتم ربط نشاط الوكيل من العملية المتعلقة بعبء العمل بالهويات والأدوار التي يعمل بها كما هو الحال في السحابة.

إضافة سياق الذكاء الاصطناعي: من النشاط إلى الفهم

وحتى مع الرؤية الكاملة، يبقى سؤال واحد:

هل هذا سلوك طبيعي أم أن نظام الذكاء الاصطناعي يفعل شيئًا لا ينبغي له فعله؟

هذا التمييز هو كل شيء. ينطبق الحذق سياق الذكاء الاصطناعي عبر النظام للرد عليه.

باستخدام علامات السياق، نحدد:

• أعباء عمل الذكاء الاصطناعي والأنظمة الوكيلة

• الهويات التي تعمل كوكلاء

• العمليات التي تتفاعل مع خدمات الذكاء الاصطناعي

• البيانات المرتبطة بتطبيقات الذكاء الاصطناعي

وهذا يغير كيفية تفسير الإشارات. بدون سياق: تصل العملية إلى بيانات الاعتماد

مع سياق الذكاء الاصطناعي: أ يحاول وكيل AI استرداد بيانات الاعتماد

الإشارة لم تتغير. لكنك الآن تفهم ما الذي يحركها – وسبب أهميتها.

من المطالبة إلى التنفيذ: تهديد حقيقي للذكاء الاصطناعي

في هذه الحالة، يستهدف المهاجم عميل الذكاء الاصطناعي المكشوف علنًا.

إنهم يصوغون موجهًا مصممًا للتعامل مع النظام — لتوجيه الوكيل إلى تنزيل البرنامج النصي وتنفيذه.

للوهلة الأولى يبدو التفاعل طبيعيا.
ولكن عندما يتبع الوكيل هذه التعليمات، فإنه يبدأ في تنفيذ إجراءات تتجاوز الاستخدام المقصود – بما في ذلك تشغيل برنامج نصي يحاول إنشاء غلاف عكسي والوصول إلى بيانات الاعتماد من البيئة.

ما يبدأ كمطالبة بسيطة يتصاعد بسرعة إلى تهديد حقيقي وخطير.

من تنبيه واحد، يعرض Wiz السياق الكامل – موضحًا أن هذا هو عبء عمل الذكاء الاصطناعي، وكيف تم كشفه، وتسلسل النشاط الذي أدى إلى التهديد.

فهم السلوك عبر الطبقات

يمتد هذا النشاط إلى مسار التنفيذ الكامل لتطبيق الذكاء الاصطناعي.

• النموذج – كشف التلاعب
  يتم وضع علامة على المدخلات المشبوهة في نموذج الذكاء الاصطناعي – لتحديد محاولات الحقن السريع التي تؤدي إلى التنفيذ

• عبء العمل – مراقبة التنفيذ
  يُظهر نشاط الوكيل التنفيذ الذي تم تشغيله بواسطة الموجه – بما في ذلك استدعاء الأداة والإجراءات التي تؤدي إلى الوصول إلى بيانات الاعتماد والاتصال الخارجي

• السحابة — فهم التأثير
  تكشف الإشارات السحابية عن العواقب – بما في ذلك نشاط الهوية (على سبيل المثال، GetCallerIdentity)، وتصدير قاعدة البيانات إلى وحدة تخزين خارجية، واستعلامات DNS إلى النطاقات الضارة المعروفة

تُظهر هذه الاكتشافات معًا كيفية تقدم الهجوم عبر الطبقات.

إنهم يشكلون معًا تسلسلًا واحدًا متصلًا من السلوك – بدءًا من التنفيذ السريع وحتى التنفيذ وحتى التأثير في العالم الحقيقي.

توسيع الرؤية من وقت التشغيل إلى التعليمات البرمجية

يقوم Wiz بتوسيع هذا السياق إلى أبعد من ذلك من خلال ربط نشاط وقت التشغيل بأصله.

عند اكتشاف سلوك غير طبيعي للوكيل، يمكن لـ Wiz ربط هذا النشاط بالرمز أو التكوين الذي قدمه – مما يساعد الفرق على فهم ليس فقط ما حدث، ولكن من أين جاء.

يتيح ذلك للفرق الانتقال من التحقيق إلى الإجراء بشكل أسرع – مما يؤدي إلى تسريع تحليل السبب الجذري وتمكين معالجة أكثر دقة عبر دورة حياة تطبيق الذكاء الاصطناعي.

إكمال دورة حياة أمان الذكاء الاصطناعي

وقت التشغيل هو المكان الذي تصبح فيه أنظمة الذكاء الاصطناعي حقيقية.

إنه المكان الذي تتحول فيه النية إلى عمل – ويتحول العمل إلى تأثير.

يتطلب اكتشاف التهديدات في هذه المرحلة أكثر من مجرد مراقبة الطبقات الفردية.
يتطلب فهم السلوك عبر النظام.

من خلال الجمع بين:

• الرؤية عبر النموذج وعبء العمل والسحابة

• سياق الذكاء الاصطناعي الذي يحدد النشاط الذي يحركه الوكيل

• والارتباط مدعوم من الرسم البياني الأمني ​​ويز

يمكّن Wiz الفرق من الانتقال من الإشارات المعزولة إلى الإشارات المعزولة فهم في الوقت الحقيقي لتهديدات الذكاء الاصطناعي.