استجابة لطلبات WIRED المتعلقة بالسجلات العامة، قدمت Avon وSomerset Police مجموعة كبيرة من بيانات الأداء لـ 13 نموذجًا للمخاطر تم استخدامها بين عامي 2017 و2024 – بما في ذلك تلك المستخدمة للتنبؤ بالأشخاص المفقودين، والسلوك المعادي للمجتمع، ومن هو الأكثر احتمالاً لارتكاب الجريمة أو الوقوع ضحية لها. قامت WIRED بتمرير هذه البيانات، إلى جانب معلومات سياقية أخرى حول برنامج علوم البيانات التابع لـ Avon و Somerset Police، إلى شركة Eticas المستقلة لتدقيق الذكاء الاصطناعي للمراجعة. وكان الحكم ملعونا.
ووجدت مراجعة البيانات أن “معظم هذه النماذج تنتج درجات دقة منخفضة، مما يعني أن نسبة عالية من الأفراد الذين تحددهم كمخاطر تم تحديدهم بشكل غير صحيح”. ويبدو أن النموذج المستخدم للمساعدة في التنبؤ باللصوص يعمل بمعدل دقة أقل من 10 بالمائة لأكثر من ثلاث سنوات، وفقًا لبيانات الشرطة. وفقًا لـ Eticas، فإن هذا يعني أن أقل من واحد من كل 10 أشخاص تم تصنيفهم على أنهم ذوو مخاطر عالية قد يسيء فعليًا. وشملت المخاوف الأخرى مقاييس الأداء لمختلف النماذج التي تتغير بشكل حاد. ولاحظ التدقيق أن “هذا ليس نموذجيًا للنماذج ذات الإدارة الجيدة في الاستخدام التشغيلي”.
وقال متحدث باسم شرطة أفون وسومرست لـ WIRED إن القوة اختارت عدم نشر بعض النماذج التي طورتها، بما في ذلك النموذج المتعلق بعمليات السطو. عندما سُئل عن سبب تمتع القوة بسنوات من بيانات التدقيق والأداء للنماذج التي لم تستخدمها، قال المتحدث إن عملية التدقيق كانت “آلية” واستخدمت بيانات من “ملف ثابت لم يتم حذفه عندما تم اتخاذ القرار بعدم نشر النموذج”.
رفضت قوة الشرطة طلبات إجراء مقابلات حول عملها في علم البيانات ولم تستجب بشكل كامل لقائمة مفصلة من الأسئلة. وقال المتحدث باسم شرطة أفون وسومرست في بيان: “يتم تسجيل كل نموذج بناءً على أدائه، وعندما يتم تحديد المشكلات، سيتم تحديثها أو إيقاف تشغيلها”، مضيفًا أن النماذج تتم مراجعتها من قبل خبير في الشرطة قبل نشرها.
ليس من الواضح ما هي الخطوات التي اتخذتها شركة Avon وشركة Somerset Police لمعالجة المخاطر التي أثارتها لجنة الأخلاقيات الخاصة بها في الأيام الأولى من عملها في مجال علم البيانات. ويبدو أن اللجنة لم تناقش التحليلات التنبؤية مرة أخرى بعد عام 2017، وفقًا لإفصاحات طلب السجلات. وبينما تقول شركة Avon و Somerset Police على موقعها الإلكتروني إن “كل منتج ومشروع” يتم تنفيذه كجزء من عملها في علم البيانات تتم مراجعته من قبل مجموعة أخلاقيات مخصصة، قال المتحدث الرسمي لمجلة WIRED “لم يتم عقد أي اجتماع حتى الآن”، لأنه “لم يتم إنتاج أي نموذج يتم من خلاله تحديد القضايا الأخلاقية المحتملة”.
ردًا على أحد طلبات السجلات العامة، قدمت شركة Avon و Somerset Police لقطة شاشة لـ “تطبيق التحقق من التحيز” الذي يبدو أنه يراقب ويقارن متوسط درجات المخاطر للأفراد البيض والأشخاص الملونين، وخلص إلى أنه “لا يوجد فرق كبير بين الاثنين”. قالت مراجعة Eticas: “إن مجرد إدراج العرق كمتغير مراقبة لا يعادل اختبار ما إذا كان النموذج يؤدي إلى نتائج تمييزية”، واصفًا غياب اختبارات أكثر تفصيلاً حسب العرق والجنس والحالة الاجتماعية والاقتصادية بأنه “إغفال كبير”.
وعندما سُئل عما إذا كان يعتقد أن التحليلات التنبؤية لها دور تلعبه في العمل الشرطي أو الاجتماعي، قال ديفيز إن هناك حاجة إلى مزيد من العمل. “عندما كنا نحاول القيام بذلك، كنا نحاول القيام بذلك للأسباب الصحيحة، وبالطريقة الصحيحة، ولكن لم تكن لدينا القدرة التي ربما نحتاجها.” ويقول إن جزءًا من هذا العمل يجب أن ينظر في كيفية قيام نماذج المخاطر بإبلاغ العمال دون دفعهم إلى استنتاجات مفروغ منها. “هناك خطر من أن يرى الموظفون الكمبيوتر يقول شيئًا ثم لا يستخدمون حكمهم الخاص.”
تستمر التحليلات التنبؤية في لعب دور مهم في عمل الشرطة والخدمات العامة في المنطقة. لا يزال مجلس مدينة بريستول يستخدم نموذج تسجيل المخاطر لتقييم احتمالية تسرب الطفل من التعليم أو العمل أو التدريب. تشير أحدث بيانات التدقيق التي أجرتها شركة Avon و Somerset Police، والتي تم تقديمها في يوليو من العام الماضي، إلى أن النموذج الذي يستخدمه تطبيق إدارة الجناة يتنبأ بشكل صحيح بواحد فقط من كل ثلاثة أشخاص يرتكب جريمة بالفعل، في حين أن واحدًا من كل أربعة أشخاص تم تصنيفهم على أنهم مخالفون محتملون لا يفعلون ذلك.
