لماذا نقع فريسة للكمبيوترات أكثر من أي وقت مضى؟

من فاتورة الطاقة الفلكية التي تلقاها غرايسون بيري إلى أدوات التوجيه بالأقمار الاصطناعية التي ترسل السائقين إلى شارع غير موجود، كيف يكون إيماننا الأعمى بالكمبيوترات مضللاً (أحياناً في صورة خطر)

اندبندنت عربية / تشارلز آرثر

• تشارلز آرثر هو مؤلف كتاب “الاحترار الاجتماعي: كيف تستقطبنا جميعاً وسائل التواصل الاجتماعي”

كانت لدى الموظفين المكلفين بالرد على الاتصالات الواردة عبر خط المساعدة التليفوني في مكتب البريد جملة يرددونها عندما يتصل مديرو ومديرات مكاتب البريد المحلية للتحدث عن المشكلات التي يعانونها مع كمبيوترات “هورايزون” Horizon. كانوا يقولون: “لا يواجه هذه المشكلات شخص آخر غيركم”. وهكذا أصبح “خط المساعدة” في الحال غير مفيد – لا أكثر من “مساعدة كاذبة”.

الآن نعرف الحقيقة الفظيعة حول نظام كانت عيوبه مدمجة فيه، إذ لم يصدق أحد ما قاله البشر الذين عانوا بسببها – والأسوأ من ذلك، حين أصبح الإنكار استجابة متأصلة تواجه كل شكوى جديدة. لكن لماذا حظيت الكمبيوترات بالثقة بهذه السهولة، حتى عندما كان بعض الناس يعرفون أنها معيبة؟

تظهر لنا الحياة اليومية أن الناس – وتحديداً أكثر، المؤسسات – يثقون في الكمبيوترات أكثر مما ينبغي. في ديسمبر (كانون الأول)، اكتشف مذيع الأخبار وكاتب العمود في هذه الصحيفة، جون سوبيل، أن فاتورة الطاقة الشخصية الخاصة به من “إي دي أف” قد قفزت من 152 جنيهاً استرلينياً (192 دولاراً) شهرياً إلى 19 ألف جنيه (24 ألف دولار). وقبل بضعة أيام، قفزت فاتورة الفنان غرايسون بيري من 300 جنيه (378 دولاراً) إلى 39 ألف جنيه (49 ألف دولار). كان على كليهما بعد ذلك أن يتعامل مع خدمات العملاء (ويختبر بلا شك حجم مكالمات أعلى من المتوقع) لكشف المشكلة.

لكن لماذا لا تتمهل أي شركة للطاقة قبل إصدار فاتورة بأكثر من 100 ضعف؟ عندما أعلن سوبيل وبيري عن صدمتهما على وسائل التواصل الاجتماعي، مما أثار ردوداً من كثر من الأشخاص الآخرين الذين واجهوا مشكلات مماثلة، أصرت “إي دي أف” – في عبارة تبدو مألوفة – على عدم وجود “مشكلة أكبر نطاقاً” في نظام فواتيرها. لكن مع وجود خمسة ملايين عميل محلي، يمكن حتى لمشكلة ضيقة أن تؤثر، من الناحية الواقعية، في المئات أو الآلاف من الأشخاص.

منذ عام 1951 عند استخدام أول كمبيوتر تجاري، المعروف باسم “مكتب ليون الإلكتروني”، لحساب كلف مكونات الكعك والخبز في مؤسسة مقرها لندن، تعتمد الصناعة في شكل أسرع وأسرع على الحوسبة التي تدخل إلى مجالات أبعد وأبعد من حياتنا.

في البداية، جرى التعامل مع أخطاء الكمبيوترات على أنها مزحة. في رسم كاريكاتيري يعود إلى السبعينيات، يقول مدير لسكرتيرته في مكتب صغير: “حضرة الآنسة جونز، أرسلي لهم فاتورة بمليون جنيه. سيعتقدون بأنه لدينا كمبيوتر”.

لكن الدعابة تتلاشى، وتوضح المسائل في ما يخص “هورايزون” [نظام الحوسبة الذي أدار حسابات مكتب البريد] وفواتير “إي دي أف” كيف أن للبشر دوراً أساساً في هذا المجال. لو ترك بيري أو سوبيل دفع فواتيرهما بالكامل للكمبيوترات، من دون رقابة، لأفلسا في وقت قصير. وإذا لم يدفعا ولم تعالج “إي دي أف” شكوييهما، لكانا قد خاطرا بتأثر تصنيفيهما الائتمانيين سلباً، إلى جانب عدد لا يقاس من التحذيرات الواصلة عبر الجباة والفواتير الإضافية. ومن دون مثابرة ألان بايتس والضحايا الآخرين لنظام “هورايزون” الذين أصروا على أن الكمبيوتر، وليس المستخدم، كان على خطأ، لما عولجت ظلامة هائلة أبداً.

هناك كثير من الأمثلة الأخرى. في بعض الأحيان تكون الأخطاء كوميدية: حدثت “غوغل” هذا الشهر نظام الخرائط الخاص بها لمنع السائقين من محاولة التوجه إلى غرينسايد لاين في إدنبره – حيث حل محل الطريق درج العام الماضي، لكن في بعض الأحيان، كما هي الحال مع مكتب البريد، تكون للأخطاء عواقب وخيمة تحدث تغييرات في الحياة.

في أستراليا، وضعت حكومة جديدة عام 2016 موضع التشغيل نظام اسمه “روبوديت” Robodebt، بهدف استرداد أي مدفوعات زائدة في المساعدات الاجتماعية. ومسح النظام الحسابات المصرفية الخاصة بمتلقي المزايا كل أسبوعين بحثاً عن دخل يتجاوز المتوسط الخاص بكل منهم، وأصدر إشعاراً بترتب “ديون” حين اكتشف أي تناقض حيث بدا أن شخصاً ما كسب أكثر من المتوقع.

ومع ذلك، يمكن أن يختلف الدخل من العمل العرضي من أسبوع إلى آخر ومن شهر إلى آخر، هذا أدى إلى الآلاف من المطالبات بـ”ديون” غير صحيحة. والأسوأ من ذلك، كما يلاحظ شيراغ شاه من كلية بلافاتنيك للإدارة الحكومية بجامعة أوكسفورد في تقرير عن “روبوديت”، أن “متلقي الرعاية الاجتماعية كان عليهم أن يفندوا المدفوعات الزائدة” – وهذا عكس العبء المعتاد على صعيد الإثبات، لكنه مألوف في شكل ساحق لكل من تعامل مع مطالبة مؤتمتة سخيفة بمدفوعات.

إجمالاً، سحب 746 مليون دولار أسترالي (493 مليون دولار) من طريق الخطأ من 381 ألف شخص، انتحر بعضهم. وشطبت الحكومة الأسترالية أخيراً 1.75 مليار دولار أسترالي من الديون عام 2020. هل المشكلة أننا نثق في الكمبيوترات أكثر من اللازم؟ يقول الصحافي روس تايلور، الذي سينشر كتابه “مستقبل الثقة” The Future of Trust الشهر المقبل، إننا في حاجة إلى إعادة التفكير في علاقتنا معها.

قال لي تايلور: “إن فكرة الثقة في كمبيوتر فكرة خاطئة بصورة أساسية. الثقة هي علاقة أخلاقية والكمبيوترات أداة خلقت لكي تمكن الناس من أداء وظيفة معينة”.

وتكلف أنظمة الكمبيوتر ببعض المهام التي تنطوي على مسائل أخلاقية خطرة. يمكنها أن تقرر ما إذا كان شخص ما يمكن أن يعيش أو يموت، على غرار “الأسلحة شبه المستقلة كتلك التي قتلت أسامة بن لادن، أو الخوارزميات التي تبت في ملفات طالبي اللجوء”.

من المعروف أن “أوبن أي آي” “تهلوس” إذ اختلقت قضايا “خيالية” أمام المحاكم للفوز بحجة قانونية (أ ب)

وتؤدي الأخلاق دوراً أيضاً عند عرض حوافز مالية في مقابل المصادقة المباشرة على قرار اتخذه كمبيوتر، مما قد يجعل من الصعب التشكيك في هذا القرار. مثلاً، تلقى بعض موظفي مكتب البريد مكافآت في مقابل كل إدانة أصدرها “هورايزون”.

منذ عام 1984، مع وضع قانون الشرطة والأدلة الجنائية (“بايس”) Police and Criminal Evidence (PACE) Act موضع التنفيذ، يفترض أن مخرجات الكمبيوترات صحيحة وتكون مقبولة كدليل في المحكمة ما لم يثبت وجود خلل. لكن كم منا مؤهلون لإثبات أن الكمبيوتر قد يكون مخطئاً؟ سواء كان النظام هو “هورايزون” أو كان نظاماً يسهل إصدار فواتير في شركة للطاقة، يفترض أن كل كمبيوتر نتعامل معه على صواب، وإذا خالفنا هذا الرأي، يفترض أننا مخطئون.

يقول تايلور “على رغم الثرثرة المبدئية كلها حول عدم السماح للذكاء الاصطناعي باتخاذ قرارات يمكن أن تضر بالناس، سيغتنم البشر الفرصة لتفويض المسؤولية إلى كمبيوتر إذا مكنهم من تجنب المسؤولية الأخلاقية”.

لكن كيف تمر أنظمة كمبيوتر ذات عيوب معروفة بعملية الموافقة؟ ديفيد، الذي طلب عدم الكشف عن هويته، لديه خبرة طويلة في الحوسبة ويعمل الآن في أمن تكنولوجيا المعلومات في مصرف كبير. يوضح لي قائلاً: “في مشروع ما، هناك عدد من الخطوات لضمان الجودة”.

ويضيف “من أجل السرعة والتسليم السريع يمكن – وهو ما يحصل بالفعل صراحة – ’تقليص‘ هذه الخطوات، وعادة ما يملي ذلك مندوب مبيعات يبالغ في تقديم الوعود، أو يتطلبه مدير مشروع يمارس إدارة ناقصة، أو تفرضه الكلفة. يجري التسامح مع الأخطاء، ويعمل على تطوير الحلول”.

مع “هورايزون”، يشرح ديفيد قائلاً، “كان شخص ما يعرف بوجود المشكلات. واختار شخص ما، على مستوى ما، إما تجاهل هذا، أو التستر عليه عمداً. بمجرد أن يبدأ المرء العملية، يبرز ألف سبب يجعله يجد صعوبة في التوقف”. مثل سفينة خلال إطلاقها إلى البحر عبر مزلق، من المستحيل فعلياً إيقاف مشروع كبير في مجال البرمجيات بمجرد البدء به. الأمل الوحيد هو إصلاح المشكلات في وقت لاحق.

كانت “فوجيتسو” Fujitsu على دراية بوجود مشكلات في [برنامجها] “هورايزون”. وأشار تقرير داخلي عن الأخطاء بتاريخ الـ28 من يونيو (حزيران) 1999 إلى أن إصلاحاً سابقاً لبرمجية المحاسبة هذه قد سبب بدوره مشكلة جديدة من شأنها أن تضاعف حجم الحساب النقدي في صورة خاطئة إذا انحرف المستخدم ولو قليلاً عن إجراء معين – يسميه المبرمجون “المسار الذهبي”، وهو أمر شائع في البرمجيات المبكرة أو المعيبة (عندما عرض ستيف جوبز أول “آيفون” في يناير “كانون الثاني” 2007، اتبع عرضاً توضيحياً مصمماً بعناية – مسار ذهبي – لأن أي انحراف كان يمكن أن يتسبب في تعطل محرج).

لكن الخطأ الكارثي في “هورايزون” لم يجر التعامل معه على أنه عاجل، على رغم أن المبرمج الذي وجده دعا محذراً (بأحرف كبيرة) إلى شرح الخطأ لموظفي خط المساعدة. بدلاً من ذلك، في اليوم التالي، خفض مدير مستوى المشكلة إلى “أولوية باء”. كانت السفينة قد باتت في البحر وبدأت في الإبحار.

ويوضح ديفيد المتخصص في أمن تكنولوجيا المعلومات “من الممكن تماماً أن يكون مستوى مذهل من عدم الكفاءة قد تسبب في المشكلات الأولية. ومع ذلك، تخيلوا رسماً بيانياً بخطين قطريين يسيران في اتجاهين متعاكسين، أحدهما يسمى ’عدم الكفاءة‘، والآخر ’التستر الكاذب‘. مع مرور الوقت ينحسر خط عدم الكفاءة، لكن خط التستر يزداد”.

ربما، على رغم ذلك، نتجه نحو حقبة جديدة في موقفنا من الحماية وأنظمة الكمبيوتر. من المفارقات أن أحدث التطورات هي التي في مقدورها أن تمكن ذلك. تستخدم أنظمة الذكاء الاصطناعي مثل “تشات جي بي تي” من “أوبن أي آي” ونظام “بارد” من “غوغل” “نماذج لغوية كبيرة” تعطي إجابات معقولة على أي سؤال تطرحونه عليها. المشكلة هي أن الإجابات يمكن أن تكون “هلوسات” – أي مختلقة بالكامل. في الولايات المتحدة والمملكة المتحدة، خسر أشخاص قضايا أمام المحاكم لأنهم طلبوا من “تشات جي بي تي” سوابق [قانونية] تدعم مطالباتهم، ثم اكتشفوا أن قضايا كهذه غير موجودة على الإطلاق. وبسبب معاناة المحامين أنفسهم مع الكمبيوترات التي تخطئ، يعرفون الآن أن عليهم ألا يضعوا ثقتهم في الذكاء الاصطناعي، من المحتمل أن تحذو مجموعات مهنية أخرى حذوهم. ويمكننا أن نتوقع استدعاء مزيد من المتخصصين في مجال التكنولوجيا إلى “المنصة” كشهود خبراء لشرح كيف يمكن أن تسوء الأمور مع الكمبيوترات، تماماً كما يستدعى الأطباء عندما تكون المعرفة الطبية المتعمقة مطلوبة لحالة ما.

كتب عالم الكمبيوتر الأسطوري الأستاذ نيكلاوس ويرث عام 1995 يقول: “ربما لا ينبغي بناء نظام غير مفهوم بالكامل، أو في الأقل ذي درجة كبيرة من التفصيل، من قبل فرد واحد”.

ويلاحظ تايلور قائلاً: “ساعة بساعة في المجتمع الحديث، علينا أن نضع ثقتنا في أشياء لا نفهمها – الأنظمة المالية، والسيارات، ومكونات شطيرة تباع في سوبرماركت”. وهذا يحدث فقط بسبب الثقة المتراكمة في الشركات والحكومات وقوة القانون.

لكن إذا كان بإمكان “هورايزون” و”روبوديت” و”غرينسايد لاين” تعليمنا أي درس، فهو أن من واجبنا دائماً التريث قبل منحها ثقتنا المطلقة.

© The Independent

المزيد عن: الذكاء الاصطناعيالروبوتاتالبريد البريطانيمكاتب البريدالآلات