أصبحت نماذج اللغات الكبيرة (LLMs) مثل ChatGPT شائعة جدًا. وقد أثار هذا مخاوف بشأن أمن الذكاء الاصطناعي. وعلى وجه الخصوص، ما هي بعض نقاط الضعف الشائعة والتهديدات الناشئة في الذكاء الاصطناعي؟ بالإضافة إلى ذلك، كيف يمكن للمطورين الحفاظ على نماذجهم آمنة، وبأي طرق يمكن لخبراء الأمن استخدام الذكاء الاصطناعي لأداء المهام الأمنية؟
لتسليط الضوء على هذه الأسئلة، قمنا بتنظيم مجموعة من 10 مقالات حول أمان الذكاء الاصطناعي لتتمكن من قراءتها. تقدم هذه القطع رؤى حول أحدث الاتجاهات والتحديات والتهديدات في مجال أمن الذكاء الاصطناعي.
1. يمكن كشف بيانات تدريب ChatGPT عبر “هجوم التباعد”
https://stackdiary.com/chatgpts-training-data-can-be-expose-via-a-divergence-attack/
طلب الباحثون (نصر وآخرون) من ChatGPT تكرار “القصيدة” إلى الأبد. النتيجة: كشف ChatGPT عن بيانات التدريب الخاصة به، والتي تضمنت معلومات التعريف الشخصية (PII) مثل أرقام الهواتف وعناوين البريد الإلكتروني والعناوين الفعلية.
تقدم هذه المقالة التي كتبها Alex Ivanovs ملخصًا رفيع المستوى لورقة البحث. كما يغطي أيضًا بعض التفاصيل الفنية بطريقة سهلة الفهم ويؤكد على الحاجة إلى أمان ChatGPT.
2. التعلم الآلي العدائي والأمن السيبراني: المخاطر والتحديات والآثار القانونية
كما هو الحال مع الأمن السيبراني التقليدي، فإن نماذج التعلم الآلي عرضة لنقاط الضعف.
في يوليو 2022، نظم مركز الأمن والتكنولوجيا الناشئة (CSET) بجامعة جورج تاون وبرنامج الجغرافيا السياسية والتكنولوجيا والحوكمة التابع لمركز ستانفورد للسياسة الإلكترونية ورشة عمل حول أمن الذكاء الاصطناعي. ما جاء بعد ذلك كان تقرير ورشة عمل ناقش نقاط الضعف في الذكاء الاصطناعي وقدم توصيات أمنية. في الملخص التنفيذي، شملت المواضيع التي تم تناولها ما يلي:
-
مدى إمكانية التعامل مع نقاط الضعف في الذكاء الاصطناعي بموجب عمليات الأمن السيبراني القياسية
-
تمنع العوائق حاليًا المشاركة الدقيقة للمعلومات حول نقاط ضعف الذكاء الاصطناعي
-
المشكلات القانونية المرتبطة بالهجمات العدائية على أنظمة الذكاء الاصطناعي
-
المجالات المحتملة التي يمكن أن يؤدي فيها الدعم الحكومي إلى تحسين إدارة نقاط ضعف الذكاء الاصطناعي والتخفيف من آثارها
3. Llama Guard: حماية المدخلات والمخرجات المستندة إلى LLM للمحادثات بين الإنسان والذكاء الاصطناعي
https://ai.meta.com/research/publications/llama-guard-llm-based-input-output-safeguard-for-human-ai-conversations/
كيف يمكنك حماية نماذج اللغات الكبيرة (LLMs) من المطالبات الضارة؟ علاوة على ذلك، كيف يمكنك التأكد من أن LLMs لا تستجيب بشكل ضار؟ نشر باحثون في شركة ميتا (إنان وآخرون) مؤخرًا نموذجًا — حارس اللاما — يمكنه تحديد ما إذا كانت المطالبة أو الاستجابة غير آمنة. ويمكن تطبيقه على كل من المستخدمين (المطالبات) والوكلاء (الاستجابات)؛ وأوزانها عامة؛ ويمكن تخصيصه ليتبع أي تصنيف للسلامة.
تعرف على كيفية الاستفادة من الأمان المدعوم بالذكاء الاصطناعي في مؤسستك
4. تحليل أمان كود أبحاث التعلم الآلي
الذكاء الاصطناعي ليس عرضة لنقاط ضعف الذكاء الاصطناعي فحسب؛ يمكن أن يحتوي كود التعلم الآلي على مشكلات تقليدية. من خلال تحليل مجموعة بيانات من كود بحث التعلم الآلي، وجد فريق NVIDIA AI Red Team العديد من نقاط الضعف، بما في ذلك إلغاء التسلسل غير الآمن، وحقن XML، والمعلومات الحساسة التي تم التعامل معها بشكل خاطئ، والمزيد. في المجمل، قاموا بمراجعة 3.5 مليون ملف Python وJupyter Notebooks، باستخدام Semgrep للتحليل الثابت وTruffleHog لمسح الأسرار.
5. اكتشف الباحثون ثغرة أمنية جديدة في نماذج اللغات الكبيرة
https://www.cylab.cmu.edu/news/2023/07/24-research-find-vulnerability-in-llms.html
يتم ضبط نماذج اللغات الكبيرة (LLMs) بدقة لرفض المطالبات الضارة أو الخطيرة. ومع ذلك، كانت إحدى أولى الهجمات ضد LLMs هي كسر الحماية: من خلال صياغة موجه خاص، يمكن للمهاجم أن يطلب من LLM معالجة المطالبات الضارة أو الخطيرة.
يمكن الآن إنشاء عمليات كسر الحماية هذه خوارزميًا. المقال أعلاه بقلم رايان نون يلخص موضوعًا جديدًا لاحقة الهروب من السجن الهجوم الذي قدمته ورقة زو وآخرون، “الهجمات العدائية الشاملة والقابلة للتحويل على نماذج اللغة المنحازة”. أفضل جزء: الهجوم عالمي عبر LLMs.
6. OWASP أعلى 10 لتطبيقات LLM
https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_1.pdf
مماثلة لها أهم 10 مخاطر أمنية لتطبيقات الويبأصدرت OWASP قائمة بأفضل 10 تطبيقات لنماذج اللغات الكبيرة. وهو يتضمن هجمات مثل الحقن الفوري والتعامل غير الآمن مع المخرجات وتسميم بيانات التدريب والمزيد. علاوة على ذلك، تناقش الوثيقة كل هجوم وتوفر الأوصاف والأمثلة الشائعة واستراتيجيات التخفيف وسيناريوهات الهجوم.
7. شرح استغلال البرنامج المساعد ChatGPT: بدءًا من الحقن الفوري وحتى الوصول إلى البيانات الخاصة
https://embracethered.com/blog/posts/2023/chatgpt-cross-plugin-request-forgery-and-prompt-injection./
هل سمعت عن تزوير طلب البرنامج المساعد المتقاطع؟ في مقالته، يعرض يوهان ريبيرجر هجوم Cross Plugin Request Forgery ضد مكونات ChatGPT الإضافية. يمكن للمطالبة الضارة (التي يتم إدخالها من خلال موقع ويب، على سبيل المثال) استدعاء مكونات ChatGPT الإضافية المصادق عليها وتنفيذ إجراءات مميزة نيابة عن المستخدم. في الواقع، إنه هجوم تزوير طلب عبر المواقع (CSRF) ضد نماذج اللغات الكبيرة (LLMs).
(ألقى يوهان ريبيرجر أيضًا محاضرة ممتازة حول الحقن الفوري في Ekoparty 2023 – مشاهدته هنا).
8. الأمر التنفيذي لبايدن بشأن الذكاء الاصطناعي: ماذا يقول وماذا يعني بالنسبة لفرق الأمن
https://www.wiz.io/blog/bidens-ai-executive-order-what-it-means-for-security-teams
في 30 أكتوبر 2023، أصدر جو بايدن أمرًا الأمر التنفيذي بشأن تطوير واستخدام الذكاء الاصطناعي بطريقة آمنة ومأمونة وجديرة بالثقة. كان للعديد من نقاط الأمر التنفيذي آثار على فرق الخصوصية والأمن.
يكتب جوزيف ثاكر لمدونة ويز، ويحقق في الأمر التنفيذي للذكاء الاصطناعي الذي أصدره بايدن ويشرح نقاطه وموضوعاته الرئيسية. ويناقش أيضًا آثار الأمر التنفيذي على فرق الأمن وما سيتعين عليهم القيام به.
9. تقديم Fuzzomatic: wsing AI لتشويش المشاريع الصدئة تلقائيًا من الصفر
https://research.kudelskisecurity.com/2023/12/07/introducing-fuzzomatic-using-ai-to-automatically-fuzz-rust-projects-from-scratch/ (ظهر مؤخرًا في ليرة تركية؛ الدكتور ثانية النشرة).
يمكن استخدام نماذج اللغات الكبيرة (LLMs) لاكتشاف الثغرات الأمنية. استفسر الباحثون في Kudelski Security عن واجهة برمجة تطبيقات ChatGPT لإنشاءها أهداف زغب – الوظائف التي تقبل البيانات وتختبر بعض واجهات برمجة التطبيقات (API) – لتشويش برامج Rust. لقد وجدوا 14 خطأً في 37 من أفضل 50 مشروعًا على GitHub مكتوبة بلغة Rust. وأبرزها أنهم اكتشفوا 4 ثغرات أمنية في السعة الصحيحة.
10. WormGPT: ما يجب معرفته عن ابن عم ChatGPT الخبيث
https://www.zdnet.com/article/wormgpt-what-to-know-about-chatgpts-malicious-cousin/
تستخدم الجهات الفاعلة الخبيثة WormGPT وFraudGPT كبدائل غير مقيدة لـ ChatGPT. ومن خلال تفعيل هذه النماذج، يمكن للمهاجمين إنشاء تعليمات برمجية ضارة أو كتابة رسائل بريد إلكتروني للتصيد الاحتيالي أو الكشف عن نقاط الضعف. يمثل هذا مشكلة جديدة ستصبح أكثر انتشارًا: روبوتات الدردشة الخاصة بالجهات الخبيثة. اقرأ المزيد في المقال أعلاه بقلم تشارلي أوزبورن.
يتعلم أكثر!
احصل على السبق في بناء خبرتك في مجال الذكاء الاصطناعي بينما لا يزال الوقت مبكرًا في العام: تعرف على كيف كانت Wiz أول أداة CNAP توفر إدارة الموقف الأمني للذكاء الاصطناعي وكيف ننصح باختيار أداة AI-SPM. سنة جديدة سعيدة، وتعلم سعيد!
