تتسابق شركات الذكاء الاصطناعي إلى الأمام، لكن الكثير منها يترك أسراره وراءه. لقد نظرنا إلى 50 شركة رائدة في مجال الذكاء الاصطناعي ووجدنا أن 65% منها قد سربت أسرارًا تم التحقق منها على GitHub. فكر في مفاتيح واجهة برمجة التطبيقات (API)، والرموز المميزة، وبيانات الاعتماد الحساسة، والتي غالبًا ما تكون مدفونة عميقًا في الشوكات المحذوفة، والعناصر، ومستودعات المطورين التي لا تلمسها معظم الماسحات الضوئية أبدًا. وربما كشفت بعض هذه التسريبات عن الهياكل التنظيمية، أو بيانات التدريب، أو حتى النماذج الخاصة. بالنسبة للفرق التي تعمل على بناء مستقبل الذكاء الاصطناعي، يجب أن تتحرك السرعة والأمان معًا.
هذه هي المقالة الثانية في سلسلتنا حول التسريبات السرية المعتمدة على الذكاء الاصطناعي.
الدفع الحديث الرفيق تم تقديمه في OWASP AppSec Global USA في السادس من نوفمبر!
في مدونتنا السابقة، بدأنا من افتراض أن أي شركة لديها بصمة GitHub كبيرة بما يكفي قد كشفت أسرارًا. أظهرت نتائجنا مدى انتشار أسرار الذكاء الاصطناعي ونواقل التسرب الجديدة.
تقلب هذه المدونة النص لتحليل الممارسات الأمنية للشركات الناشئة البارزة في مجال الذكاء الاصطناعي. فرضيتنا الجديدة؟ أي شركة الذكاء الاصطناعي مع بصمة GitHub كبيرة بما يكفي قطعاً لقد كشف الأسرار.
لقد ركزنا اهتمامنا على شركات الذكاء الاصطناعي الخاصة المدرجة في قائمة Forbes AI 50، لأنها واحدة من المعايير الأكثر احترامًا للابتكار في الذكاء الاصطناعي. تسلط هذه القائمة الضوء باستمرار على الشركات التي تشكل المستقبل، بدءًا من القادة الراسخين مثل Anthropic وحتى اللاعبين الناشئين مثل Glean وCrusoe. إنها عبارة عن “أسماء الأشخاص” للشركات التي تعطل السوق بطرق جديدة ومثيرة، مما يجعلها عدسة مثالية لاستكشاف مدى ملاءمة الأمن.
إن عمليات فحص الأسرار التقليدية ضد مؤسسات GitHub ذات الصلة لن تفي بالغرض هنا. هذا هو النهج السلعي الذي شعرنا أنه سيكون زائداً عن الحاجة في مواجهة: (1) عمليات المسح من الماسح الضوئي للأسرار المتكاملة في GitHub؛ (2) عمليات المسح من أدوات أمان الشركة؛ (3) عمليات فحص السلع بواسطة شركات خارجية تقوم بإجراء عمليات فحص تلقائية لأغراض التسويق.
لتحديد سطح الهجوم المتمايز، نركز على ثلاثة أبعاد: عمق, محيط، و التغطية.
غالبًا ما يوصف تسرب الأسرار بأنه جبل جليدي: مجموعة من المخاطر المعروفة المكشوفة علنًا في مؤسسات GitHhub، ولكنه أيضًا خطر أعمق تحت السطح في تاريخ الالتزام، والشوكات المحذوفة، وسجلات سير العمل وما إلى ذلك. نعتقد أن “الطوبولوجيا” ذات صلة أيضًا – حيث تظهر الفرق بين “الأسرار في القمة” (مؤسسة GitHub الرئيسية) وتلك المدفونة في الحواف (أي عمليات إعادة الشراء العامة لأعضاء المؤسسة)، مع احتمالية تأثير أقل (لكنها لا تزال غير صفر).
العمق (البحث عن مصادر جديدة): البحث العادي على GitHub يلتقط فقط “الأسرار الظاهرة على السطح”. يتضمن الفحص العميق لدينا سجل الالتزام الكامل، وسجل الالتزام على الشوكات، والشوكات المحذوفة، وسجلات سير العمل والعناصر (والتي يمكن أن تحتوي أيضًا على شوكات!). لقد قمنا بتوسيع أدوات المسح البحثي لدينا لدعم كل هذه المصادر السرية للكشف عن الأسرار التي تُترك تقليديًا “تحت سطح الماء”.
المحيط (التوسع إلى الاكتشاف المجاور): خارج نطاق المنظمة الأساسية، يمكن لأعضاء المنظمة والمساهمين التحقق عن غير قصد من الأسرار المتعلقة بالشركة في مستودعاتهم العامة وعناصرها.
كيف يمكننا العثور على هؤلاء الأعضاء في المنظمة؟ حسنًا، نبدأ بأعضاء المنظمة العامين، ثم ننتقل إلى الخارج من خلال تحديد “الأعضاء المرشحين”، من خلال:
1- أتباع المنظمة
2 – البحث عن الحسابات التي تشير إلى اسم المؤسسة في البيانات الوصفية الخاصة بها (مثل حسابات johndoe-companyname)
3 – المساهمين في التعليمات البرمجية، بما في ذلك استخدام GHArchive لجمع النشاط
4 – الارتباطات في الشبكات ذات الصلة مثل HuggingFace وnpm
بمجرد تحديد “الأعضاء المرشحين”، يمكن فرزهم وتأكيدهم من خلال الطرق اليدوية والآلية.
تغطية الكشف (ويعرف أيضًا باسم الأنواع السرية الجديدة): في المدونة الأولى قمنا بتجميع جدول بأنواع الأسرار المتعلقة بالذكاء الاصطناعي والتي غالبًا ما تفوتها أجهزة الفحص التقليدية:
| انتشار | منصة |
|---|---|
| الأكثر شيوعًا | الحيرة، الأوزان والتحيزات، Groq، NVIDIA API |
| أقل شيوعا | تافيلي، لانجشين، إنفيديا-إن جي سي، كوهير، باينكون، كلاريفاي، جيميني، AI21 Labs، آي بي إم واتسونكس إيه آي، سيريبراس، فريندلي آي آي، فايرووركس آي، توغيجا آي. |
| نمور منظمة العفو الدولية | Zhipu AI، Moonshot AI، Baichuan Intelligence، 01.AI، StepFun، MiniMax |
ما زلنا نرى النجاح من خلال العثور على أنواع سرية محددة تفتقدها الأدوات البديلة.
بعد فحص الشركات الـ 50 المدرجة في قائمة Forbes AI، باستثناء الشركات القليلة التي ليس لها تواجد على GitHub، حصلنا على نتيجة صارخة:
ما يقرب من ثلثي شركات الذكاء الاصطناعي التي تم تحليلها كان لديها تسرب أسرار تم التحقق منه.
في المجمل، الشركات التي لديها تسريبات سرية تم التحقق منها تقدر قيمتها بأكثر من 400 مليار دولار.
من بين الشركات المذكورة أعلاه التي تعاني من حالات التسرب، فإن أصغر بصمة مملوكة للشركة مع 0 مستودعات عامة و14 عضوًا في المنظمة. يوضح هذا كيف يمكن لمنهجيتنا تسليط الضوء على المخاطر الخفية حتى بالنسبة للشركات التي ليس لها بصمة عامة واضحة.
على العكس من ذلك، الشركة مع أكبر بصمة بدون سر مكشوف كانت تحتوي على 60 اتفاقية إعادة شراء عامة و28 عضوًا في المنظمة. هل هذا يعني أنه إذا كان لديك أقل من 60 طلبًا عامًا فلن تحتاج إلى ماسح ضوئي سري؟ ليس حقيقيًا. في رأينا، التفسير الأكثر احتمالاً هو أن هذه الشركة لديها بالفعل استراتيجية قوية لإدارة الأسرار. إنه مؤشر إيجابي على أن هذه مشكلة يمكن الوقاية منها، وليست قطعة أثرية لا مفر منها.
كان التوزيع العام للأنواع السرية بين شركات الذكاء الاصطناعي مشابهًا للنتائج العامة في الجزء الأول، حيث عرض الأسرار المتعلقة بالذكاء الاصطناعي مثل WeightsAndBiases وElevenLabs وHuggingFace من بين الأسرار الأكثر تأثيرًا.
على الرغم من الكشف عن التسريبات في شركات الذكاء الاصطناعي الكبرى مثل ElevenLabs وLangchain وإصلاحها على الفور، إلا أن مشهد الكشف العام يمثل تحديًا.
ما يقرب من نصف الإفصاحات إما فشلت في الوصول إلى الهدف أو لم تتلق أي رد. افتقرت العديد من الشركات إلى قناة إفصاح رسمية، وفشلت في الرد و/أو فشلت في حل المشكلة.
وعلى الجانب الإيجابي، تم الاعتراف بمزيد من التسريبات التي تم الإبلاغ عنها ومعالجتها على الفور. فيما يلي بعض الأمثلة على الحالات:
لانجشين – مفاتيح Langsmith API المتعددة في ملفات .py و.ipynb و.env، بما في ذلك مفاتيح طبقة Enterprise_legacy على مستوى المؤسسة مع أذونات org:manage وorg:read لمؤسسة LangChain Inc. بالإضافة إلى التأثير الوظيفي (الوصول إلى منصة مراقبة المؤسسة)، تسمح مفاتيح Langsmith org API بإدراج أعضاء المؤسسة – وهي المعلومات التي تعتبرها الجهات الفاعلة في مجال التهديد ذات قيمة عالية.
أحد عشر مختبرًا – مفتاح واجهة برمجة تطبيقات ElevenLabs على مستوى المؤسسة في نص عادي mcp.json. يتحدث هذا عن العلاقة بين البرمجة الحيوية وتسريب الأسرار التي حددناها في المدونة السابقة.
شركة AI50 (بدون إذن بالكشف) – رمز HuggingFace في الشوكة المحذوفة مما يسمح بالوصول إلى حوالي ألف نموذج خاص. بالإضافة إلى ذلك، وجدنا العديد من مفاتيح واجهة برمجة تطبيقات WeightsAndBiases التابعة لموظفي المؤسسة والتي سربت بيانات التدريب للعديد من النماذج الخاصة.
في الختام، لم نتمكن من العثور على سر مسرب في كل شركة من شركات AI50. ومع ذلك، نعتقد أن النقاط التالية ضرورية، خاصة بالنسبة لشركات الذكاء الاصطناعي في بداية رحلتها:
-
تفويض المسح السري VCS العام: إذا كنت تستخدم نظامًا عامًا للتحكم في الإصدار (VCS)، فقم بنشر الفحص السري الآن. هذا هو دفاعك الفوري وغير القابل للتفاوض ضد التعرض السهل. حتى الشركات ذات البصمة الأصغر يمكن أن تتعرض للتسريبات السرية كما أثبتنا للتو.
-
الاستعداد للإفصاح: تعد قنوات الكشف عنصرًا أساسيًا في برنامج الأمان، وهي ضرورية بشكل خاص لمبتكري الذكاء الاصطناعي منذ البداية. (في هذا الصدد، يمكننا أن نوصي بمقالة المدونة هذه التي تقترح إرشادات التوظيف للشركات الناشئة والتي بلا شك يجب أن تنطبق على الشركات الناشئة في مجال الذكاء الاصطناعي أيضًا.)
-
النظر في الكشف السري للملكية: يجب على مقدمي خدمات الذكاء الاصطناعي إعطاء الأولوية للكشف عن أنواع الأسرار الخاصة بهم. تقوم العديد من المتاجر بتسريب مفاتيح API الخاصة بها أثناء “تناول طعامها التجريبي”. إذا كان التنسيق السري الخاص بك جديدًا، فقم بإشراك البائعين ومجتمع المصادر المفتوحة بشكل استباقي لإضافة الدعم.
بالإضافة إلى ذلك، نوصي بشدة لجميع الشركات بما يلي:
-
عامل موظفيك كجزء من سطح الهجوم الخاص بشركتك و أعضاء ومساهمو مؤسسة VCS كامتداد للبنية التحتية لـ SDLC الخاصة بك. نوصي بإنشاء سياسة أعضاء VCS لتطبيقها أثناء عملية الإعداد (على سبيل المثال، إنشاء مستخدم GitHub جديد دون الكشف عن اسم صاحب العمل، واستخدام MFA للمؤسسات الشخصية، والاحتفاظ بجميع الأنشطة الشخصية في الحسابات الشخصية وما إلى ذلك).
-
كن مستعدا ل اضبط سياسة المسح لديك مع تطور حالات استخدام الذكاء الاصطناعي لتغطية أنواع الملفات الجديدة والمتجهات السرية. تحديث التغطية بشكل مستمر – يجب عليك إعادة النظر في تغطية النوع السري للماسح الضوئي الخاص بك وتوسيع نطاقها لتشمل الجيل الجديد من الرموز المميزة لمنصة الذكاء الاصطناعي. مع إضافة المزيد من الأنواع السرية إلى السوق، يجب أن يكون الماسح الضوئي قابلاً للتمديد بسهولة.
في حين أن المسح السري الحديث قد أدى إلى رفع مستوى “خط الدفاع الدفاعي”، فإن تحقيقاتنا تظهر بوضوح أن التهديدات تكمن عميقًا تحت السطح – في الشوكات المحذوفة، والجوهر، واتفاقات المطورين. بالنسبة لمبتكري الذكاء الاصطناعي، الرسالة واضحة: السرعة لا يمكن أن تؤثر على الأمن. نحن نحث الصناعة على اعتماد عقلية “العمق والمحيط والتغطية” المفصلة هنا لرفع مستوى الدفاع بشكل حاسم وتأمين الجيل القادم من الذكاء الاصطناعي.
احصل على تقرير مسح الجاهزية الأمنية للذكاء الاصطناعي
