الإحصاء والبرمجةتحليل البيانات في R

كيفية إنشاء مصفوفة الإرباك في R (خطوة بخطوة)

دليل أكاديمي شامل يشرح كيفية إنشاء مصفوفة الإرباك في لغة R خطوة بخطوة لتقييم دقة نماذج الانحدار اللوجستي والتصنيف الإحصائي بدقة وموثوقية عالية.

تاريخ النشر

تمثل النمذجة التنبؤية حجر الزاوية في التحليل الإحصائي المعاصر، حيث تسعى الخوارزميات والنماذج الرياضية إلى استقراء الأنماط الكامنة في البيانات التاريخية لتوقع مخرجات مستقبلية ذات طبيعة تصنيفية أو كمية. ومع تزايد الاعتماد على تقنيات تعلم الآلة والإحصاء التطبيقي في مجالات حيوية تتراوح بين التشخيص الطبي، وتقييم الجدارة الائتمانية، والتنبؤ بالسلوك البشري في العلوم الاجتماعية، أضحت مسألة تقييم جودة النماذج التصنيفية ضرورة منهجية لا غنى عنها لضمان موثوقية القرارات المستندة إلى البيانات. وفي هذا السياق المعرفي، تبرز مصفوفة الإرباك بصفتها الأداة التحليلية الأكثر شمولاً ورسوخاً لتشريح أداء المصنفات الثنائية والمتعددة، متجاوزة أوجه القصور البنيوية الكامنة في مقاييس الأداء السطحية والمجردة.

تكمن المعضلة الأساسية في تقييم نماذج التصنيف في أن الاعتماد الحصري على مقياس الدقة الإجمالية يقود في كثير من الأحيان إلى استنتاجات مضللة، لا سيما في البيئات البحثية والتطبيقية التي تتسم بعدم توازن الفئات المدروسة. ومن هنا، توفر بيئة الحوسبة الإحصائية R ترسانة برمجية متقدمة تتيح للمحللين والباحثين تفكيك الاستجابات التنبؤية ومقارنتها بالحقائق المشاهدة عبر مصفوفات الجدولة المتقاطعة. ويتيح هذا التفكيك المنهجي التمييز الدقيق بين النجاح في رصد الحالات الإيجابية الحقيقية، والفشل المتمثل في ارتكاب أخطاء التنبؤ بنوعيها الأول والثاني، مما يمنح الباحثين فهماً عميقاً لسلوك النموذج وحدوده التفسيرية قبل اعتماده في التطبيقات العملية أو النشر الأكاديمي الرصين.

يهدف هذا الدليل المرجعي الشامل إلى تأصيل وتطبيق كيفية بناء وتفسير واستخراج مصفوفة الإرباك في بيئة R خطوة بخطوة، مستنداً إلى أرقى الممارسات الإحصائية والبرمجية المعترف بها دولياً. وسنتناول بالتفصيل المسار الكامل لعملية التحليل؛ بدءاً من التأسيس النظري والرياضي للمصفوفة وأبعادها الاحتمالية، مروراً بتهيئة البيانات وتدريب نموذج الانحدار اللوجستي، ووصولاً إلى استخراج المؤشرات المشتقة المتقدمة مثل الحساسية، والنوعية، وقيمة كابا، ودرجة إف الموزونة. كما سيستعرض المقال استراتيجيات التعامل مع اختلال توازن الفئات وتحسين عتبات التصنيف، والتمثيل البصري عالي الدقة، مع الالتزام التام بالمعايير الصارمة لتوثيق نتائج التحليل في الدوريات المحكمة.

جدول المحتويات

1. مقدمة تأصيلية لمصفوفة الإرباك ودورها في التقييم الإحصائي

1.1 المفهوم النظري لمصفوفة الإرباك في النمذجة التنبؤية

تُعرف مصفوفة الإرباك في أدبيات الاستدلال الإحصائي وتعلم الآلة بأنها جدول تقاطعي ثنائي الأبعاد يُستخدم لتقييم كفاءة خوارزميات التصنيف عبر رصد التوافق والاختلاف بين الفئات المشاهدة فعلياً في الواقع والفئات التي تنبأ بها النموذج الرياضي. وتكتسب هذه المصفوفة تسميتها من قدرتها الجوهرية على كشف مدى “ارتباك” المصنف عند محاولته التمييز بين الحالات المتشابهة، وتحديد الخلايا التي تختلط فيها الفئات المستهدفة مع الفئات الأخرى. ومن الناحية الهيكلية، تضع المصفوفة الفئات الحقيقية في أحد البُعدين بينما تضع التنبؤات في البُعد المقابل، مما يُنتج في حالة التصنيف الثنائي مصفوفة ذات أربعة عناصر تمثل كافة السيناريوهات الاحتمالية الممكنة لنتائج القرار التحليلي.

تتجاوز أهمية المقارنة المنهجية بين القيم المشاهدة والتنبؤات الصادرة عن النماذج مجرد التأكد من صحة الحسابات البرمجية؛ إذ تشكل هذه المقارنة الأساس التجريبي للتحقق من صدق البناء الإحصائي. إن النموذج الرياضي، مهما بلغت درجة تعقيده الخوارزمي، يظل تقريباً نظرياً للواقع المعقد، واختباره الحقيقي يكمن في مدى قدرته على التعميم خارج حدود عينة التدريب. ومن خلال مصفوفة الإرباك، يتمكن الباحث من إجراء تشريح دقيق لأنماط الإخفاق التنبؤي، بحيث لا يُعامل الخطأ ككتلة مصمتة، بل يتم فرزه وتصنيفه تماشياً مع طبيعة الظاهرة المدروسة والسياق المعرفي الذي تنتمي إليه البيانات.

تتبدى الحدود المفاهيمية لاستخدام مقياس الدقة المجرد عند مواجهة التوزيعات غير المتكافئة، وهي الظاهرة الشائعة في معظم التطبيقات الحقيقية. فعلى سبيل المثال، إذا كانت نسبة حدوث ظاهرة نادرة تبلغ واحداً في المئة فقط من إجمالي العينة، فإن نموذجاً ساذجاً يتنبأ دائماً بعدم حدوث الظاهرة سيحقق دقة ظاهرية تبلغ تسعة وتسعين بالمئة، على الرغم من فشله التام والمعرفي في رصد أي حالة إيجابية. ومن هنا، يبرز التبرير المنهجي لتفكيك الأخطاء التنبؤية عبر مصفوفة الإرباك، حيث تتيح للباحث رؤية التوزيع النسبي للخطأين: الخطأ الإيجابي الزائف والخطأ السلبي الزائف، وتمنع الوقوع في فخ التفاؤل الإحصائي الزائف الذي تفرضه معدلات الدقة الإجمالية المجردة.

1.2 مصفوفة الإرباك في سياق نماذج الانحدار اللوجستي الثنائي

ينتمي الانحدار اللوجستي الثنائي إلى عائلة النماذج الخطية المعممة، ويُعد الأداة القياسية لتحليل المتغيرات التابعة ذات الطبيعة الفئوية المزدوجة مثل الحدوث أو عدم الحدوث، والنجاح أو الفشل. وتكمن الصعوبة البنيوية في تقييم هذا النموذج في أن مخرجاته الأصلية لا تكون فئات حتمية، بل هي احتمالات شرطية مستمرة محصورة في المجال المفتوح بين الصفر والواحد الصحيح، تُعبر عن لوغاريتم نسبة الأرجحية لحدوث الحدث المستهدف بشرط المتغيرات التفسيرية. وتستدعي هذه الطبيعة الاحتمالية وجود آلية تحويلية تفصل بين استمرارية الاحتمال وقطعية القرار التصنيفي النهائي المطلوب لملء خلايا مصفوفة التوافق.

تلعب نقطة الفصل الاحتمالية أو ما يُعرف بالعتبة الحرجة دوراً تشكيلياً حاسماً في بناء مصفوفة التصنيف المتقاطعة؛ إذ يتوقف توزيع المشاهدات داخل خلايا المصفوفة بالكامل على القيمة العددية المختارة لهذه العتبة. فعند اختيار العتبة القياسية البالغة نصفاً، يُصنف كل احتمال يتجاوز هذه القيمة على أنه حدث إيجابي، في حين يُصنف ما دونها كحدث سلبي. ومع ذلك، فإن تغيير هذه النقطة نحو الأعلى أو الأدنى يؤدي مباشرة إلى إعادة توزيع جذرية للأعداد بين خانات الإيجابيات الحقيقية، والسلبيات الحقيقية، والأخطاء بأنواعها، مما يجعل مصفوفة الإرباك انعكاساً ديناميكياً لسياسة اتخاذ القرار الاحتمالي وليست مجرد ناتج ثابت للنموذج الرياضي.

يتضح الربط المنهجي بين دالة الاستجابة اللوجستية وتوزيع النتائج في جدول التوافق من خلال حقيقة أن الانحدار اللوجستي يسعى إلى تقليل الانحراف اللوغاريتمي إلى أدنى حد ممكن، مما يضمن معايرة الاحتمالات على المستوى الكلي للعينة. غير أن هذه المعايرة لا تضمن بالضرورة تصنيفاً مثالياً عند عتبة ثابتة. فمن خلال رسم العلاقة بين الاحتمالات المقدرة ودالة التوزيع التراكمي، تكشف مصفوفة الإرباك كيف تترجم الخصائص الرياضية لمنحنى الاستجابة اللوجستية المنحني على شكل حرف سيغما إلى قرارات تصنيفية منفصلة، موضحة مدى تمايز توزيع الاحتمالات المتوقعة بين المجموعتين الحقيقيتين في المجتمع المدروس.

1.3 الأهمية المنهجية لتقييم النماذج في البحوث التجريبية والسلوكية

تحظى مصفوفة الإرباك بمكانة محورية في البحوث السلوكية والقياس النفسي والإحصاء الحيوي؛ حيث تُستخدم لتقييم كفاءة الاختبارات التشخيصية وأدوات الفرز السريري والتنبؤ بأنماط السلوك البشري المعقد. ففي سياق القياس النفسي، تتيح المصفوفة للباحثين التحقق من قدرة مقاييس الشخصية أو بطاريات الفحص النفسي على التمييز بدقة بين الأفراد المصابين باضطراب معين والأسوياء، مما يربط بين المفهوم السيكومتري لصدق المحك والمفاهيم الإحصائية للحساسية والنوعية المشتقة مباشرة من خلايا مصفوفة التوافق.

تكتسب مسألة كلفة الأخطاء النوعية أهمية بالغة عند اتخاذ القرارات القائمة على البيانات في البيئات التطبيقية؛ فالأخطاء الإحصائية ليست متساوية القيمة في العالم الحقيقي. ففي الفحوصات الطبية للأمراض الخطيرة، يُعد الخطأ من النوع الثاني المتمثل في تصنيف شخص مريض على أنه سليم خطأً فادحاً قد يهدد حياة المريض، بينما يُعد الخطأ من النوع الأول المتمثل في تشخيص شخص سليم كإيجابي خطأً يمكن تصحيحه عبر اختبارات تأكيدية لاحقة، وإن كان يتسبب في قلق نفسي وكلفة مالية إضافية. وعلى العكس من ذلك، في قرارات منح الائتمان التجاري، قد تفضل المؤسسات المالية تقليص القروض المتعثرة حتى لو أدى ذلك إلى رفض بعض العملاء المؤهلين. وتوفر مصفوفة الإرباك الأرضية الكمية لحساب هذه التكاليف المفاضلية بدقة متناهية.

تفرض المعايير الصارمة للنشر العلمي في المجلات المرموقة، ولا سيما تلك التي تتبع توصيات الجمعية الطبية الأمريكية أو المبادئ التوجيهية للجمعية الأمريكية لعلم النفس، توثيقاً دقيقاً لنتائج مصفوفات التصنيف يتجاوز مجرد ذكر الدقة السطحية. يتطلب التوثيق الأكاديمي الرصين تقديم المصفوفة الكاملة بأرقامها المطلقة، مصحوبة بفترات الثقة الإحصائية للمقاييس المشتقة، وتوضيح العتبات المستخدمة في التصنيف، ومبررات اختيارها. يضمن هذا المستوى العالي من الشفافية المنهجية إمكانية تكرار التحليل والتحقق من نتائجه، ويحمي البنية العلمية من الانحيازات الاستقرائية الناجمة عن الانتقاء غير الموضوعي لمقاييس الأداء التقييمية.

2. تهيئة بيئة العمل البرمجية وتحميل الحزم الإحصائية في R

2.1 تثبيت واستدعاء حزمة caret لإدارة نماذج التعلم الإحصائي

تُعد حزمة caret، وهي اختصار لعبارة Classification And REgression Training، واحدة من أقوى الحزم الشاملة وأكثرها انتشاراً في لغة R لتنفيذ وتنسيق عمليات التعلم الإحصائي. تتطلب الاستفادة المثلى من هذه الحزمة تثبيتها بدقة لضمان توافق جميع ملحقاتها البرمجية مع الإصدار الحالي للنظام الأساسي للغة R. يتم التثبيت المباشر عبر استدعاء مستودعات شبكة الأرشيف الشاملة للغة R، ويُنصح دائماً بالتأكد من تحديث الحزم التابعة لتجنب حدوث تعارضات في فضاء الأسماء أثناء استدعاء الدوال المتخصصة.

تضطلع الدالة المحورية المسماة confusionMatrix داخل حزمة caret بدور استثنائي في تبسيط واستقصاء مؤشرات جودة النماذج؛ إذ لا تكتفي بإنشاء جدول التقاطع الكلاسيكي فحسب، بل تقوم تلقائياً بحساب طيف واسع من المؤشرات الإحصائية المرافقة والمشتقة بدرجة عالية من الدقة الرياضية. وتشمل هذه المخرجات التلقائية فترات الثقة لمعامل الدقة بنسبة خمسة وتسعين بالمئة، واختبار الدلالة الإحصائية للفرضية الصفرية القائلة بأن دقة النموذج لا تتجاوز معدل التكرار النسبي للفئة الأكبر انتشاراً، فضلاً عن معامل كابا لكوهين، ومؤشرات الحساسية والنوعية ومعدلات دقة التنبؤ الإيجابي والسلبي، مما يوفر بيئة تقريرية متكاملة بجهد برمجي محدود.

تتطلب إدارة التبعيات البرمجية لحزمة caret عناية خاصة نظراً لارتباطها الهيكلي بعشرات الحزم الفرعية التي تتعامل مع مختلف النماذج الإحصائية وتطبيقات المعالجة القبلية للبيانات. ومن الضروري التأكد من تثبيت الحزم المساندة مثل lattice وggplot2 اللتين تعتمد عليهما الدالة في توليد المخرجات الرسومية والبيانية، إضافة إلى ضبط معلمات البيئة التحليلية لمنع ظهور رسائل التحذير غير الجوهرية التي قد تشوش على الفهم المتسلسل للعمليات الإحصائية داخل منصة التطوير المدمجة RStudio.

2.2 استدعاء حزمة ISLR ومصادر البيانات التجريبية

تحتل حزمة ISLR، المرافقة للمرجع التعليمي الكلاسيكي الرائد في التعلم الإحصائي من تأليف جيمس ورفاقه، مكانة فريدة كمعيار مرجعي لاختبار وتدريس الخوارزميات التصنيفية والانحدارية. وتوفر الحزمة مجموعات بيانات واقعية جرى تنقيحها وضبط بنيتها الهيكلية بدقة لتمكين الباحثين والطلاب من محاكاة المشكلات التحليلية دون الانشغال المفرط بتحديات تنظيف البيانات الأولية غير المنتظمة، مما يجعلها المنطلق المثالي لشرح خطوات بناء وتفكيك مصفوفة الإرباك بصورة تطبيقية رصينة.

تعتبر مجموعة بيانات Default المضمنة داخل حزمة ISLR من أبرز الأمثلة الميدانية المخصصة لدراسة التصنيف الائتماني والتنبؤ بمخاطر التخلف عن السداد. تتضمن هذه المجموعة عشرة آلاف مشاهدة تحاكي ملفات عملاء بطاقات الائتمان، وتشتمل على متغير تابع ثنائي يحدد ما إذا كان العميل قد تخلف عن سداد التزاماته المالية أم التزم بها، إلى جانب ثلاثة متغيرات تفسيرية تضم الرصيد القائم على البطاقة، ومستوى الدخل السنوي للعميل، والصفة الطلابية للمشترك. وتبرز هذه البيانات التحدي الواقعي المتمثل في انخفاض معدل التخلف الفعلي عن السداد، مما يحاكي بدقة ظاهرة عدم التوازن الطبقي الشائعة في التطبيقات المالية والصحية.

يتطلب التحقق من سلامة تحميل البيانات فحص الأبعاد والتأكد من عدم حدوث أي تشويه في أنواع المتغيرات أثناء الاستيراد داخل مساحة العمل في R. ويتم التحقق من جاهزية المتغيرات للتحليل المباشر عبر استعراض رؤوس البيانات وتأكيد سلامة تخزين المتغيرات العاملية والعددية. ويضمن هذا الفحص الأولي سلامة تدفق العمليات الحسابية التالية، وخاصة مرحلة التنبؤ وتوليد الجداول المتقاطعة، حيث يترتب على أي خطأ في ضبط الأنواع البيانية حدوث أعطال برمجية أو حسابات إحصائية غير منضبطة منهجياً.

2.3 استخدام حزم مساعدة متخصصة لتقييم جودة النماذج اللوجستية

تكتمل المنظومة البرمجية للتحليل عبر دمج حزم مساعدة متخصصة في تشخيص جودة النماذج اللوجستية، وتأتي حزمة InformationValue في طليعة هذه الأدوات لكونها طُورت خصيصاً للتعامل مع متطلبات نماذج الانحدار الثنائي. وتتميز هذه الحزمة بتقديم حلول حسابية فائقة السرعة لتحسين عتبات التصنيف، وبناء مصفوفات الخطأ المباشرة، وحساب مقاييس القوة التمييزية مثل إحصائية كولموجوروف-سميرنوف ومعامل التوافق، مما يثري الفهم المنهجي لأداء النموذج التصنيفي من زوايا متباينة.

تُعد حزمة e1071، التي يقود تطويرها قسم الإحصاء في جامعة فيينا للتكنولوجيا، متطلباً تشغيلياً لا مناص منه لتشغيل دالة confusionMatrix داخل حزمة caret، فضلاً عن احتوائها على خوارزميات تصنيفية متقدمة مثل آلات المتجهات الداعمة والمصنف البايزي الساذج. وعند محاولة استدعاء دالة مصفوفة الإرباك دون وجود هذه الحزمة مثبتة في مسار المكتبات، سيتوقف المحلل أمام رسالة خطأ تفيد بغياب هذا الاعتماد البرمجي، مما يستلزم تثبيتها واستدعاءها مسبقاً لضمان سير التحليل بسلاسة ودون انقطاع.

يتطلب التحليل الإحصائي المحترف ضبطاً دقيقاً لبيئة العمل وتوحيد المتغيرات العامة لضمان قابلية تكرار النتائج عبر الحواسيب المختلفة والباحثين المتعددين. ويشمل ذلك تثبيت مولد الأرقام العشوائية، وضبط خيارات العرض للأرقام العشرية لتسهيل قراءة النتائج الإحصائية الدقيقة، وتفريغ مساحة العمل من الكائنات المؤقتة لتجنب أي تداخل غير مقصود في تسميات المتغيرات أثناء كتابة وتشغيل الأوامر البرمجية في لغة R.

3. استكشاف وفحص بنية مجموعة البيانات

3.1 الفحص الهيكلي لبيانات التخلف عن السداد

يمثل الفحص الهيكلي الأولي للبيانات الخطوة المنهجية الأولى التي لا غنى عنها في أي استقصاء تجريبي؛ إذ يتعين على المحلل قبل الشروع في النمذجة الرياضية استعراض مصفوفة البيانات بدقة والتحقق من أبعادها وأسماء أعمدتها. وفي حالة بيانات التخلف عن السداد، يُظهر الاستكشاف اشتمالها على عشرة آلاف سطر وأربعة أعمدة رئيسية. ويتيح تطبيق دالة استعراض البنية str التعرف الفوري على كيفية تصنيف R لكل متغير؛ سواء كان متغيراً عددياً حقيقياً، أو متغيراً عاملياً ذا مستويات محددة، مما يمنع الوقوع في أخطاء المعالجة اللاحقة.

ينصب الاهتمام التحليلي الأساسي على المتغير التابع المسمى default، والذي يمثل الظاهرة المراد التنبؤ بها وتفسيرها. يتخذ هذا المتغير صبغة فئوية ثنائية تتكون من مستويين: الأول يعبر عن عدم حدوث التخلف عن السداد ويرمز له بالقيمة “No”، والآخر يعبر عن وقوع التخلف الفعلي ويرمز له بالقيمة “Yes”. ويشكل التمييز المنهجي الدقيق بين هذين المستويين الركيزة الصلبة التي ستبنى عليها مصفوفة الإرباك، إذ إن تحديد الفئة المستهدفة يحدد اتجاه قياس الحساسية والنوعية لاحقاً.

تتضمن المتغيرات التفسيرية المستقلة خليطاً من المقاييس الكمية والنوعية؛ فالمتغير الأول student يمثل متغيراً فئوياً ثنائياً يوضح ما إذا كان العميل طالباً جامعياً أم لا، في حين يمثل المتغيران balance وincome مقاييس كمية مستمرة تعبر عن متوسط الرصيد المالي المتبقي على بطاقة الائتمان والدخل المالي السنوي بالدولار على التوالي. ويساعد التحقق من هذه المتغيرات في تحديد مسارات النمذجة اللوجستية وفهم الكيفية التي ستسهم بها هذه الأبعاد الاقتصادية والديموغرافية في تشكيل حدود القرار التصنيفي النهائي.

3.2 التدقيق الإحصائي في القيم المفقودة والتوزيعات التكرارية

يقتضي التدقيق المنهجي في سلامة البيانات فحص احتمالية وجود قيم مفقودة في أي من المتغيرات الأربعة، نظراً لأن وجود البيانات الناقصة دون معالجة مسبقة قد يؤدي إلى استبعاد مشاهدات حيوية أثناء ملاءمة النموذج اللوجستي، أو تشويه حسابات مصفوفة التوافق التنبؤية. ويتم التحقق من ذلك برمجياً عبر فحص تواجد القيم الفارغة عبر كامل مصفوفة البيانات؛ وتكشف النتائج في مجموعة بيانات Default عن اكتمال العينة تماماً وخلوها من أي انقطاع في التسجيل، مما يوفر بيئة مثالية للنمذجة دون الحاجة إلى اللجوء لتقنيات التعويض الإحصائي المعقدة.

يكشف حساب التوزيعات التكرارية والنسب المئوية لفئات المتغير التابع عن حقيقة إحصائية جوهرية تتطلب تعاملاً تحليلياً خاصاً؛ حيث تشير البيانات إلى أن ما يقارب 96.67% من العملاء لم يتعثروا في سداد التزاماتهم المالية، بينما تبلغ نسبة المتعثرين فعلياً حوالي 3.33% فقط من إجمالي العينة. ويوثق هذا التفاوت الحاد درجة عالية من عدم التوازن الطبقي، وهي سمة ملازمة لمعظم بيانات المخاطر الائتمانية والتشخيص الطبي. ويجعل هذا الاختلال مصفوفة الإرباك أداة حتمية لا مناص منها، نظراً لعدم جدوى الاعتماد على مقاييس الدقة التقليدية في ظل سيطرة الفئة السائدة على المشهد الإحصائي.

يتطلب التدقيق الإحصائي أيضاً فحص المتغيرات المستمرة balance وincome لرصد أي قيم شاذة أو متطرفة قد تمارس تأثيراً غير متناسب على تقدير معالم الانحدار اللوجستي. وتُظهر مقاييس النزعة المركزية والتشتت أن أرصدة البطاقات تتراوح بين الصفر وقيم تتجاوز ألفين وخمسمائة دولار بمتوسط حسابي يقارب ثمانمائة وخمسة وثلاثين دولاراً، بينما يتوزع الدخل السنوي بشكل طبيعي تقريباً حول متوسط يبلغ حوالي ثلاثة وثلاثين ألفاً وخمسمائة دولار. وتؤكد هذه المؤشرات اتساق السلوك الإحصائي للمتغيرات التفسيرية وملاءمتها الرياضية للنمذجة المباشرة.

3.3 الترميز المناسب للمتغيرات الفئوية داخل بيئة R

تتعامل بيئة الحوسبة R مع المتغيرات الفئوية من خلال كائنات متخصصة تُعرف بالعوامل، والتي تخزن القيم النصية داخلياً كأرقام صحيحة مدمجة ببطاقات وصفية تمثل المستويات الفعلية للمتغير. ومن الناحية المنهجية، يُعد التحقق من تحويل المتغير التابع والمتغيرات المستقلة النصية إلى عوامل مكتملة الخطوة التقنية الأهم لتفادي الأخطاء أثناء تدريب نموذج الانحدار وتوليد مصفوفة الإرباك اللاحقة، حيث تشترط دوال التقييم الإحصائي تطابقاً كاملاً في هيكلية هذه الكائنات.

يتحكم ترتيب المستويات داخل المتغير العاملي بما يُعرف في الأدبيات الإحصائية بالمستوى المرجعي، وهو الأساس الذي تُقاس عليه نسب الأرجحية في الانحدار اللوجستي وتُحسب بناءً عليه مؤشرات الحساسية في مصفوفة الإرباك. وبشكل افتراضي، ترتب لغة R المستويات أبجدياً، مما يجعل المستوى “No” هو المرجع الافتراضي والمستوى “Yes” هو المستوى المستهدف في حالة بيانات التخلف عن السداد. ويجب على المحلل التأكد من هذا الترتيب بوعي كامل؛ لأن أي انعكاس في المستويات سيؤدي إلى قلب مفهومي الحساسية والنوعية، وبالتالي قراءة مؤشرات المصفوفة بصورة مغايرة للحقيقة الموضوعية للظاهرة المدروسة.

يضمن التوافق الداخلي بين ترميز المتغير التابع وترميز المتنبئات الفئوية سلاسة تشغيل دوال التصنيف مثل confusionMatrix، حيث تتطلب هذه الدوال تطابقاً حرفياً في تسميات المستويات وعددها بين متجه التنبؤات ومتجه المشاهدات الحقيقية. وتساعد المعالجة القبلية الواعية وضبط العوامل في حماية الباحث من رسائل الخطأ الشائعة المتعلقة باختلاف الأبعاد أو عدم تطابق المستويات، مما يمهد الطريق للولوج إلى مرحلة تقسيم البيانات والنمذجة الرياضية على أسس منهجية راسخة.

4. التقسيم المنهجي للبيانات إلى عينات تدريب واختبار

4.1 أهمية التقسيم العشوائي لتجنب مشكلة فرط التخصيص

تشكل مشكلة فرط التخصيص أو ما يُعرف بالملاءمة الزائدة إحدى أكبر الآفات المنهجية في النمذجة الإحصائية وتعلم الآلة؛ وتحدث عندما يتعلم النموذج الرياضي التفاصيل العشوائية والضوضاء المرافقة لعينة البيانات المتاحة بدلاً من استيعاب العلاقة البنيوية الحقيقية التي تحكم الظاهرة. ونتيجة لذلك، يظهر النموذج أداءً فائقاً ودقة مصطنعة عند اختباره على ذات البيانات المستخدمة في تدريبه، ولكنه يفشل فشلاً ذريعاً عند تطبيقه على مشاهدات جديدة ومستقلة لم تدخل في عملية تقدير المعلمات.

يبرز التبرير العلمي للتقسيم العشوائي في ضرورة محاكاة الواقع التطبيقي، حيث يجب اختبار قدرة النموذج على التعميم عبر تقييمه حصرياً على بيانات غير مرئية تُعزل تماماً منذ اللحظة الأولى للتحليل. وتعتمد الأدبيات الإحصائية عدة نسب قياسية للمفاضلة بين حجم بيانات التدريب وبيانات الاختبار؛ وتُعد نسبة السبعين بالمئة للتدريب مقابل ثلاثين بالمئة للاختبار، أو نسبة الثمانين إلى عشرين، من أكثر النسب توازناً وملاءمة في العينات الكبيرة؛ حيث تضمن توفير حجم كافٍ لتقدير المعالم بثبات، مع الإبقاء على حجم اختبار مستقل يمتلك قوة إحصائية كافية لتقييم مصفوفة الإرباك بموثوقية عالية.

يؤثر حجم عينة الاختبار تأثيراً مباشراً على تباين التقديرات المشتقة من مصفوفة الإرباك؛ فالعينات الصغيرة جداً في مرحلة الاختبار تجعل تقديرات الحساسية ومعدلات الخطأ عرضة لتقلبات العينة العشوائية، لا سيما في ظل ندرة الفئة الإيجابية. وعندما تشتمل عينة الاختبار على آلاف الحالات كما هو الحال في تجزئة عشرة آلاف مشاهدة، فإن ذلك يمنح خلايا المصفوفة وزناً عددياً متيناً يسمح ببناء فترات ثقة ضيقة وموثوقة إحصائياً حول مؤشرات الأداء، مما يعزز صدق التعميمات المستخلصة من الدراسة.

4.2 توليد العينات العشوائية باستخدام دالة sample وتثبيت البذرة

تعتمد عملية التقسيم في لغة R على توليد أرقام عشوائية لاختيار أسطر البيانات التي ستُخصص لكل من عينة التدريب وعينة الاختبار. وتقتضي النزاهة العلمية وقابلية التكرار في البحث التجريبي تثبيت ما يُعرف بالبذرة العشوائية عبر استدعاء أمر set.seed وتمرير قيمة عددية صحيحة محددة مسبقاً. يضمن هذا الإجراء البرمجي الحاسم أن تكون سلسلة الأرقام شبه العشوائية المولدة متطابقة تماماً في كل مرة يُعاد فيها تشغيل التحليل، مما يتيح للباحثين الآخرين إعادة إنتاج نفس مصفوفة الإرباك والنتائج المشتقة منها بدقة مطلقة.

يتم تنفيذ التقسيم الفعلي عبر استخدام دالة sample لإنشاء متجه منطقي عشوائي يحمل قيماً تحدد انتماء كل مشاهدة إلى مجموعة التدريب بنسبة سبعين بالمئة أو مجموعة الاختبار بنسبة ثلاثين بالمئة المتبقية دون إحلال. ويتيح هذا النهج مرونة وسرعة برمجية فائقة، حيث تُستخدم المؤشرات الناتجة لتصفية الأسطر داخل إطار البيانات الأصلي بكل سهولة ودون المساس بالترتيب الداخلي للمتغيرات المدروسة.

بناءً على هذه العملية، يتم عزل البيانات وتخزينها في كائنين برمجين مستقلين ومنفصلين تماماً داخل بيئة R؛ حيث يُخصص الكائن الأول لبيانات التدريب ويضم سبعة آلاف مشاهدة، بينما يُخصص الكائن الثاني لبيانات الاختبار ويضم ثلاثة آلاف مشاهدة كاملة. وتظل بيانات الاختبار معزولة بصورة تامة ولا يتم المساس بها أو الرجوع إليها خلال كافة مراحل تدريب النموذج، وتقدير معالم الانحدار، واختيار المتغيرات، التزاماً بأقصى درجات الضبط المنهجي الصارم.

4.3 التحقق من التكافؤ التوزيعي بين مجموعتي التدريب والاختبار

لا تكتمل عملية التقسيم المنهجي للبيانات بمجرد تشغيل كود الفرز العشوائي، بل تستوجب خطوة تقويمية للتحقق من التكافؤ التوزيعي للمتغير التابع بين العينة الأصلية وعينتي التدريب والاختبار المعزولتين. إن التقسيم العشوائي البسيط قد يسفر في بعض الحالات النادرة أو في العينات الأصغر حجماً عن تشوهات توزيعية غير مقصودة، كأن تتركز الحالات الإيجابية النادرة في إحدى المجموعتين على حساب الأخرى، مما يؤثر سلباً على موضوعية تقييم مصفوفة الإرباك اللاحقة.

يتم تقييم كفاءة التقسيم عبر مقارنة التوزيع التكراري النسبي لفئات المتغير default في المجموعتين بمثيله في العينة الأصلية الكاملة. وفي العينات الكبيرة الحجم كالتي بين أيدينا، يُثبت التقسيم العشوائي البسيط قدرته على الحفاظ التام على نسبة التخلف عن السداد بما يقارب 3.3% في كل من عينة التدريب وعينة الاختبار، مما يؤكد خلو التقسيم من أي انحياز انتقائي. وإذا كانت العينات أصغر حجماً، يُفضل المنهج الطبقي الذي توفره دالة createDataPartition في حزمة caret لضمان التطابق الرياضي التام لنسب الفئات عبر المجموعات.

تتمثل الفائدة المنهجية القصوى لهذا الفحص في التأكد القطعي من خلو بيانات الاختبار من أي تسرب معلوماتي من مرحلة التدريب؛ فالتسرب المعلوماتي يحدث عندما تؤثر معلومات العينة الاختبارية بطريقة مباشرة أو غير مباشرة على مرحلة النمذجة أو المعالجة القبلية للمتغيرات المستمرة مثل التقييس أو التطبيع. ويضمن الفصل الهيكلي الصارم والتكافؤ التوزيعي المؤكد أن تكون مصفوفة الإرباك التي ستُبنى لاحقاً على مجموعة الاختبار اختباراً حقيقياً غير ملوث للقدرة التنبؤية للنموذج المقترح.

5. الخطوة الأولى: ملاءمة وتدريب نموذج الانحدار اللوجستي

5.1 صياغة المعادلة الإحصائية وتطبيق دالة glm

تبدأ الخطوة التنفيذية الأولى لبناء مصفوفة الإرباك في تدريب وملاءمة نموذج الانحدار اللوجستي الثنائي على بيانات التدريب المعزولة، وذلك لتقدير العلاقة الرياضية بين احتمالية التخلف عن السداد والمتغيرات التفسيرية الثلاثة. وتتم كتابة الصيغة الرياضية للنموذج بربط المتغير التابع default بالمتغيرات المستقلة: الرصيد القائم balance، ومستوى الدخل income، والصفة الطلابية student، مستخدمين التركيب النحوي القياسي للصيغ الإحصائية في لغة R عبر المعامل التوافقي التيلدا.

تُستخدم الدالة الإحصائية المركزية glm، وهي اختصار لعبارة Generalized Linear Models، لتنفيذ هذا الإجراء التحليلي. ويتعين على المحلل تحديد عائلة التوزيع بدقة عبر تمرير الوسيطة family مساوية لـ binomial، مما يوجه محرك R الحسابي لاستخدام الرابط اللوجستي الرياضي لتحويل مقياس الاحتمال المحدود إلى مقياس خطي غير محدود يُعبر عن لوغاريتم نسبة الأرجحية، وهو الركيزة النظرية للتحليل اللوجستي الكلاسيكي.

يقتضي الالتزام المنهجي الصارم حصر ملاءمة النموذج على كائن بيانات التدريب حصرياً وتمريره في وسيطة data، وتجنب تضمين بيانات العينة الكاملة أو بيانات الاختبار بأي شكل من الأشكال في هذه المرحلة. ويضمن هذا الإجراء عزل عملية تقدير الأوزان الانحدارية ونسب الأرجحية داخل بيئة التدريب، بحيث تصبح التنبؤات التي ستُختبر لاحقاً انعكاساً أصيلاً لقدرة المعالم المقدرة على التنبؤ بمشاهدات جديدة بالكامل لم تتفاعل مع خوارزمية التعظيم الاحتمالي الأقصى للنموذج.

5.2 فحص وتقييم معلمات النموذج اللوجستي

عقب إتمام ملاءمة النموذج، يتم استخراج جدول المعاملات الإحصائية باستخدام دالة التلخيص القياسية summary لاستكشاف الدلالة الإحصائية والأوزان الترجيحية للمتنبئات. ويُظهر فحص مخرجات الانحدار قيم المقدرات الانحدارية وأخطائها المعيارية، مصحوبة بقيم إحصاء z ومستويات الدلالة الاحتمالية p-value المقابلة. وتشير المخرجات النموذجية إلى أن متغير الرصيد balance يُعد المتنبئ الأكثر قوة ودلالة إحصائية؛ حيث يرتبط بعلاقة طردية قوية وموجبة للغاية مع احتمالية التخلف عن السداد، بينما يُظهر متغير الدخل income تأثيراً هامشياً غير ذي دلالة إحصائية في ظل وجود الرصيد في المعادلة.

يتطلب التقييم الكلي لجودة الملاءمة فحص مؤشرات الانحراف الإحصائي، وتحديداً الانحراف المتبقي ومقارنته بانحراف النموذج الصفري، إلى جانب فحص معيار أكايكي للمعلومات AIC. ويشير الانخفاض الجوهري في الانحراف المتبقي مقارنة بانحراف النموذج الصفري إلى أن المتغيرات المستقلة المضمنة في النموذج قد أسهمت بصورة ذات دلالة إحصائية في تفسير التباين في احتمالات التخلف عن السداد، مما يمنح النموذج صلاحية أولية للاستخدام في التصنيف التنبؤي.

نظراً لصعوبة التفسير المباشر للمعاملات اللوجستية المقدرة على مقياس لوغاريتم الأرجحية، يلجأ الباحث إلى تحويل هذه المعاملات رياضياً عبر الدالة الأسية exp للحصول على نسب الأرجحية odds ratios. وتتيح هذه الخطوة فهماً حدسياً للأثر الإحصائي؛ حيث تعني نسبة الأرجحية التي تتجاوز الواحد الصحيح لمتغير الرصيد أن كل وحدة زيادة في الرصيد القائم تضاعف من أرجحية التخلف عن السداد بمقدار محدد، مما يوفر رؤية تفسيرية معمقة تدعم وتفسر التنبؤات التي ستظهر تالياً داخل مصفوفة الإرباك.

5.3 التحقق من الافتراضات الإحصائية الأساسية للنموذج

تستلزم الرصانة المنهجية التحقق من الافتراضات الإحصائية الكامنة وراء نموذج الانحدار اللوجستي لضمان عدم تعرض مقدرات المعالم أو الاحتمالات التنبؤية للتشويه؛ وتأتي في مقدمة هذه الفحوصات مسألة الارتباط الخطي المتعدد بين المتغيرات التفسيرية. ويتم التحقق من ذلك عبر حساب عوامل تضخم التباين VIF، والتي تشير النتائج فيها إلى قيم تقترب من الواحد الصحيح لجميع المتغيرات، مما يؤكد انتفاء مشكلة التداخل الخطي بين الدخل والرصيد والصفة الطلابية واستقرار تقديرات النموذج الرياضي.

يشمل التحقق التشخيصي أيضاً اختبار خطية العلاقة بين المتغيرات المستقلة المستمرة ولوغاريتم نسبة الأرجحية للحدث المستهدف، وهو الافتراض الجوهري الذي يبرر الصياغة الخطية داخل الرابط اللوجستي. ويتم ذلك عبر إضافة حدود التفاعل التفاعلية بين المتغيرات ولوغاريتماتها الطبيعية والتأكد من عدم دلالتها الإحصائية، مما يثبت صحة التمثيل الخطي للمتغيرات الكمية في النموذج ويمنع الانحيازات البنيوية في توزيع الاحتمالات المتوقعة.

تكتمل مرحلة التحقق بفحص المشاهدات ذات التأثير المرتفع والنقاط الرافعة داخل عينة التدريب باستخدام مسافات كوك وبواقي الانحراف الموحدة. ويهدف هذا الإجراء إلى التأكد من أن التقديرات المعلمية لا تخضع لسيطرة عدد قليل من المشاهدات الشاذة أو المتطرفة التي قد تجر حدود القرار نحو اتجاهات غير ممثلة للمجتمع الأصلي، مما يؤمن أساساً إحصائياً صلباً قبل الانتقال إلى مرحلة التنبؤ على بيانات الاختبار المستقلة.

6. توليد التنبؤات الاحتمالية وتحويلها إلى قرارات تصنيفية

6.1 تطبيق دالة predict لحساب الاحتمالات المتوقعة

عقب الاطمئنان إلى جودة ملاءمة النموذج واستقراره الإحصائي على بيانات التدريب، ينتقل الباحث إلى مرحلة توليد التنبؤات لبيانات مجموعة الاختبار المستقلة. ويتم ذلك برمجياً عبر استدعاء الدالة القياسية predict وتمرير كائن النموذج الملاءم، مع تحديد بيانات الاختبار المعزولة في وسيطة newdata لضمان عدم اختلاط البيانات التدريبية بالاختبارية أثناء عملية التقييم.

تقتضي النمذجة اللوجستية في لغة R انتباهاً خاصاً لوسيطة نمط التنبؤ type؛ إذ يؤدي ترك هذه الوسيطة افتراضياً إلى استخراج التنبؤات على مقياس الرابط الخطي أي لوغاريتم الأرجحية، وهي قيم سالبة وموجبة غير محصورة يصعب تحويلها مباشرة إلى قرارات تصنيفية في مصفوفة الإرباك. ولتوليد احتمالات حقيقية محصورة بدقة في المجال بين الصفر والواحد الصحيح، يتعين ضبط الوسيطة صراحة لتصبح type = “response”، مما يجبر R على تمرير المخرجات الخطية عبر الدالة اللوجستية العكسية لاستخراج الاحتمال الشرطي لحدوث التخلف عن السداد لكل عميل في بيانات الاختبار.

يتيح فحص التوزيع التكراري للإحصاءات الوصفية للاحتمالات المتوقعة الناتجة استكشافاً معمقاً لسلوك النموذج؛ وتُظهر النتائج في بيانات التخلف عن السداد تركز الغالبية الساحقة من الاحتمالات بالقرب من الصفر، بمتوسط حسابي منخفض للغاية يتفق مع الندرة الفعلية للظاهرة في المجتمع المدروس. وتكشف هذه النتيجة عن انخفاض تشتت الاحتمالات لدى العملاء غير المتعثرين، مع بروز فئة صغيرة من الاحتمالات المرتفعة التي تمثل العملاء ذوي الأرصدة العالية المرشحين للتخلف عن السداد، مما يهيئ الأرضية لتحديد عتبة الفصل التصنيفية.

6.2 تحديد العتبة الحرجة للتصنيف ومناقشة الخيارات المتاحة

تمثل مسألة اختيار العتبة الحرجة للتصنيف إحدى أدق المسائل المنهجية التي تفصل بين الجانب الإحصائي النظري والقرار العملي التطبيقي؛ فالأصل النظري المعتمد في معظم الأدبيات هو استخدام العتبة الافتراضية البالغة خمسة أعشار كحد فاصل، استناداً إلى افتراض ضمني بتساوي تكاليف الأخطاء وتناظر توزيع الفئات في المجتمع. وتحت هذا الافتراض، يُصنف أي عميل يحقق احتمال تخلف يتجاوز 0.5 كمتعثر، بينما يُعتبر من يحقق احتمالاً مساوياً أو أدنى من ذلك عميلاً ملتزماً.

ومع ذلك، فإن تحريك هذه العتبة باتجاه اليمين أو اليسار يمارس تأثيراً مباشراً وحاسماً على طبيعة الأخطاء المترتبة في مصفوفة الإرباك الناتجة. فعند خفض العتبة إلى 0.3 مثلاً، يصبح النموذج أكثر ميلاً واستعداداً لتصنيف المشاهدات كحالات تخلف عن السداد، مما يزيد من معدل رصد الحالات الإيجابية الحقيقية ويعزز الحساسية، ولكنه يرفع في المقابل عدد الإيجابيات الكاذبة. وعلى النقيض من ذلك، فإن رفع العتبة إلى 0.7 يؤدي إلى نموذج بالغ التحفظ لا يصنف الحالة كمتعثرة إلا في ظل توفر شواهد احتمالية قطعية، مما يرفع النوعية إلى حدودها القصوى ولكنه يتسبب في تفويت العديد من المتعثرين الحقيقيين.

تتطلب المواءمة المنهجية للعتبة الحرجة التوفيق بين أهداف الدراسة الاستكشافية وطبيعة التكاليف الإحصائية والاقتصادية المترتبة على كل قرار؛ ففي البيئات المالية والمصرفية، قد تكون الخسارة المترتبة على منح قرض لعميل متعثر أكبر بكثير من الخسارة الناتجة عن رفض عميل صالح. وبالتالي، فإن الاعتماد الأعمى على عتبة النصف دون مناقشة نقدية لطبيعة البيانات وتوزيعها يمثل قصوراً منهجياً يتجاهل المرونة الرياضية التي توفرها مصفوفة الإرباك في استكشاف كفاءة العتبات البديلة.

6.3 تحويل الاحتمالات المستمرة إلى متغيرات عاملية ثنائية

بمجرد الاستقرار على عتبة التصنيف، يتعين الانتقال برمجياً من حيز الاحتمالات المستمرة إلى حيز الفئات المنفصلة لإنشاء متجه التنبؤات النهائي. ويتم ذلك في لغة R عبر استخدام الدوال الشرطية مثل ifelse؛ حيث يُقارن متجه الاحتمالات المستمرة بالعتبة المختارة، ويُعطى التصنيف “Yes” إذا تجاوز الاحتمال العتبة، بينما يُمنح التصنيف “No” إذا تساوى الاحتمال مع العتبة أو قل عنها.

تتمثل الخطوة المحورية التالية في تحويل هذا المتجه الناتج من صبغته النصية المؤقتة إلى كائن عاملي ثنائي ذي مستويات مضبوطة ومطابقة تماماً للمتغير التابع الحقيقي. ويتطلب هذا الإجراء استخدام دالة factor مع تحديد المستويات صراحة بالترتيب الدقيق: المستوى الأول “No” والمستوى الثاني “Yes”. ويضمن هذا التطابق الهيكلي منع أي التباس لدى دوال التحليل المتقاطع في R عند محاذاة التنبؤات مع المشاهدات الحقيقية.

يُعد التحقق التام من تطابق أسماء الفئات وترتيب المستويات البرمجية الضمانة الأساسية لتجنب أخطاء المعالجة الشائعة في حزمة caret؛ إذ إن أي اختلاف طفيف في التهجئة أو الترتيب النسبي للمستويات سيجعل الدالة تصدر رسائل خطأ صريحة توقف التنفيذ، أو الأسوأ من ذلك، أن تحسب المؤشرات التقييمية بناءً على فئة مرجعية مقلوبة دون أن يشعر المحلل المبتدئ، مما يؤدي إلى استنتاجات خاطئة تماماً حول قدرة النموذج التشخيصية.

7. الخطوة الثانية: إنشاء مصفوفة الإرباك الأساسية باستخدام حزمة caret

7.1 تنفيذ كود confusionMatrix وضبط الوسطاء البرمجية

يتحقق البناء المنهجي لمصفوفة الإرباك في بيئة R من خلال استدعاء الدالة المتخصصة confusionMatrix التابعة لحزمة caret، وتمرير المتجهين الأساسيين: متجه التنبؤات المصنفة الذي تم استخراجه من النموذج، ومتجه القيم الفعلية المشاهدة المخزن في مجموعة الاختبار المستقلة. ويجب التأكد من تمرير متجه التنبؤات أولاً كوسيطة للبيانات data ومتجه الحقيقة ثانياً كوسيطة للمرجع reference، التزاماً بالبنية النحوية الصارمة التي تفترضها الحزمة.

تحتوي الدالة على وسيطة حاسمة منهجياً هي positive، والتي تتيح للباحث تحديد الفئة الإيجابية صراحة دون الاعتماد على التخمين الافتراضي للحزمة. وفي دراستنا الائتمانية، يتعين ضبط هذه الوسيطة لتأخذ القيمة “Yes”، مما يوجه محرك الحساب الداخلي إلى اعتبار التخلف عن السداد هو الحدث المستهدف والمحور الأساسي لحساب الحساسية، والقيمة التنبؤية الإيجابية، والمقاييس التشخيصية المرافقة، وهو ما يمنح النتائج المخرجة وضوحاً مفاهيمياً لا يقبل اللبس.

تتميز دالة confusionMatrix بقدرتها الفائقة على التقاط الأخطاء التشخيصية الشائعة؛ فإذا وجد المحلل تفاوتاً في عدد المستويات أو في تسمياتها، تقوم الدالة بإيقاف التنفيذ وإصدار رسائل تحذيرية وتصويبية دقيقة. وتضمن هذه الآلية الصارمة عدم احتساب المصفوفة إلا عندما تتطابق خصائص البيانات تماماً، مما يوفر بيئة تحليلية متينة تحمي التحليلات الإحصائية من الانزلاقات غير المنهجية التي تحدث غالباً في الحزم الإحصائية البديلة غير المقيدة.

7.2 القراءة الهيكلية الأولية لجدول التقاطع الثنائي الناتج

يظهر في واجهة سطر الأوامر في بيئة R جدول تقاطعي ثنائي الأبعاد يتألف من صفين وعمودين يختزل الأداء التنبئي الكامل لنموذج الانحدار اللوجستي المطبق على ثلاثة آلاف عميل في عينة الاختبار. ويُلاحظ في التنسيق الهيكلي القياسي لحزمة caret أن الصفوف تمثل الفئات التي تنبأ بها النموذج Prediction، بينما تمثل الأعمدة الفئات الحقيقية المشاهدة Reference، وهو ترتيب اصطلاحي يجب مراعاته بدقة لتفادي الخلط بين الصفوف والأعمدة عند تفسير النتائج.

يعكس الركن العلوي الأيسر من الجدول الحالات التي تنبأ فيها النموذج بعدم التخلف “No” وتطابقت تماماً مع حقيقة عدم التخلف المشاهدة، وتُشكل هذه الخلية الكتلة العددية الكبرى التي تقترب من ألفين وتسعمائة حالة، وهي السلبيات الحقيقية. بينما يمثل الركن السفلي الأيمن الحالات التي توقع فيها النموذج حدوث التخلف “Yes” وحدث التخلف بالفعل، وهي الإيجابيات الحقيقية. وفي المقابل، تظهر خلايا القطر المعاكس حالات الخطأ التصنيفي؛ حيث يمثل الركن السفلي الأيسر الحالات التي صنفها النموذج كمتعثرة وهي ليست كذلك في الواقع (الإيجابيات الكاذبة)، في حين يمثل الركن العلوي الأيمن الحالات المتعثرة فعلياً التي فشل النموذج في رصدها وصنفها كحالات سليمة (السلبيات الكاذبة).

يقتضي التدقيق المنهجي الأولي للجدول التحقق من أن المجموع الكلي لكافة الأرقام الموزعة داخل الخلايا الأربع يتطابق تطابقاً حسابياً تاماً مع حجم عينة الاختبار المحددة سلفاً بثلاثة آلاف مشاهدة. ويؤكد هذا التطابق الحسابي عدم فقدان أي سطر من مصفوفة البيانات أثناء عمليات التحويل والفرز، وأن كل مشاهدة اختبارية قد نالت تصنيفاً قطيعاً واحداً ومحدداً في جدول التقاطع الثنائي.

7.3 استخراج المكونات الفردية من كائن مصفوفة الإرباك

لا يقتصر كائن مصفوفة الإرباك الناتج عن حزمة caret على الطباعة النصية المباشرة في واجهة الاستخدام، بل هو في الواقع بنية بيانات معقدة تضم قوائم فرعية متعددة تخزن كافة الجداول والمعاملات الإحصائية بصورة برمجية منفصلة. ويتيح هذا البناء للباحث إمكانية الوصول إلى جدول الأعداد المتقاطعة المخزن داخلياً ككائن من نوع table باستخدام المعامل البرمجي لعلامة الدولار، مما يسهل استخراج الأرقام الخام ومعالجتها لاحقاً أو تمريرها إلى دوال أخرى.

يوفر الكائن الداخلي إمكانية استخراج إحصاءات الدقة الكلية وفترات الثقة المرافقة بنسبة خمسة وتسعين بالمئة بصورة برمجية مستقلة، فضلاً عن استخراج مصفوفة المؤشرات الفئوية المتقدمة مثل الحساسية، والنوعية، ومعدلات الدقة التنبؤية. ويساعد هذا الاستخراج الآلي في توفير الوقت والجهد، ويقلل من احتمالية حدوث أخطاء النسخ اليدوي للأرقام العشرية عند إعداد الجداول الإحصائية للأوراق البحثية.

تكتسب هذه القدرة البرمجية أهمية استثنائية عند بناء نظم إحصائية مؤتمتة أو كتابة تقارير ديناميكية متقدمة باستخدام تقنيات R Markdown أو Quarto؛ حيث يستطيع المحلل تضمين هذه الأرقام المستخرجة مباشرة في متن النصوص والجداول الرسمية المجهزة للنشر دون أي تدخل يدوي، مما يرفع من معايير الشفافية ويسهل عمليات إعادة إنتاج التحليل بالكامل بمجرد تحديث البيانات المصدرية.

8. إنشاء مصفوفة الإرباك عبر الطرق التقليدية وحزم R البديلة

8.1 الاعتماد على الدالة القاعدية table لإنشاء مصفوفة التصنيف

على الرغم من التطور الكبير والمزايا المتعددة التي توفرها الحزم الإحصائية المتقدمة مثل caret، يظل الاعتماد على الدوال الأساسية المدمجة في نواة لغة R خياراً بالغ الأهمية وذا قيمة تعليمية ومنهجية رفيعة. وتتيح الدالة القاعدية table للمحلل بناء مصفوفة التقاطع الثنائي مباشرة ودون الحاجة إلى تثبيت أو استدعاء أي مكتبات خارجية، وذلك بمجرد تمرير متجه التنبؤات المصنفة إلى جانب المتغير التابع الفعلي لبيانات الاختبار.

تبرز المقارنة المنهجية المباشرة بين دالة table الأساسية ودوال الحزم المتخصصة تبايناً في الفلسفة البرمجية؛ فبينما تتميز دالة table بالسرعة الفائقة والاعتمادية المطلقة وخلوها من التعقيدات المرتبطة بتبعيات الحزم، فإنها تقتصر على تقديم الأعداد الخام فقط داخل خلايا الجدول المتقاطع. ويترتب على ذلك أن المحلل يجد نفسه مطالباً بحساب كافة المؤشرات الإحصائية المشتقة يدوياً؛ مثل الدقة، ومعدل الخطأ، والحساسية، والنوعية عبر كتابة المعادلات الرياضية المقابلة، وهو ما قد يستغرق وقتاً إضافياً ولكنه يمنح الباحث في المقابل استيعاباً مفاهيمياً أعمق لأصل تلك المؤشرات وكيفية اشتقاقها من الأرقام الأصلية.

تتعزز فائدة الدالة القاعدية عند دمجها بالدالة prop.table، والتي تتيح تحويل مصفوفة الأعداد التكرارية إلى جدول نسب مئوية بكل سهولة. وتسمح هذه الدالة باستخراج النسب الإجمالية للجدول ككل، أو النسب الموزونة على مستوى الصفوف (وهي التي تبرز معدل التنبؤ الإيجابي والسلبي)، أو النسب الموزونة على مستوى الأعمدة (وهي التي تمثل الحساسية والنوعية)، مما يوفر أداة استكشافية سريعة وشاملة تمنح الباحث نظرة فورية على الأبعاد التناسبية للأخطاء والنجاحات التنبؤية للنموذج المقترح.

8.2 استخدام حزمة InformationValue لتوليد مصفوفة الخطأ

تقدم حزمة InformationValue بديلاً تطبيقياً متخصصاً ومحبذاً للغاية في أوساط نمذجة مخاطر الائتمان والانحدار اللوجستي الصناعي؛ حيث تحتوي على نسختها الخاصة من دالة confusionMatrix التي تتميز بالبساطة والتركيز على مقاييس الخطأ المالي والتشغيلي. وتختلف الصيغة البرمجية لهذه الدالة عن نظيرتها في caret في كونها تتطلب تمرير القيم الحقيقية الفعلية كمعامل أول، يليه تمرير متجه الاحتمالات المستمرة ذاتها مرفقاً بالعتبة المختارة، مما يختصر خطوة التحويل اليدوي للاحتمالات إلى فئات منفصلة.

تنبغي الإشارة إلى وجود فروق دلالية وهيكلية جوهرية في تخطيط محاور المصفوفة بين حزمة caret وحزمة InformationValue؛ إذ تتبع الأخيرة في كثير من الأحيان التنسيق الذي يضع الفئات الحقيقية في الصفوف والتنبؤات في الأعمدة، أو العكس وفقاً لضبط المعلمات، مع تسمية مخرجاتها غالباً بمصطلحات تعبر عن “مصفوفة الخطأ” Misclassification Table. ويتطلب هذا الاختلاف من الباحث انتباهاً دقيقاً لترتيب الخلايا والتأكد من تحديد موضع الإيجابيات الحقيقية والسلبيات الحقيقية لتفادي أي قراءة مغلوطة للنتائج الإحصائية المستخرجة.

تتيح حزمة InformationValue إلى جانب مصفوفة الإرباك إمكانية الاستفادة الفورية من دوال تشخيصية مساعدة مدمجة عالية الفاعلية، مثل دالة misclassificationRate لحساب معدل الخطأ الكلي مباشرة، ودوال specificity وsensitivity المستقلة، ودالة precision. وتسمح هذه المنظومة المتماسكة باستخراج كافة مقاييس الأداء عبر استدعاءات برمجية مباشرة وموجزة دون الحاجة للتعامل مع كائنات القوائم المعقدة، مما يجعلها خياراً مفضلاً للمحللين الذين يرغبون في إجراء فحوصات تشخيصية سريعة وموجهة لأداء النماذج اللوجستية.

8.3 المقارنة المنهجية بين مخرجات مختلف الحزم والحلول البرمجية

تقتضي الموضوعية العلمية إجراء مقارنة منهجية بين الحلول البرمجية الثلاثة: الدالة القاعدية table، ودالة confusionMatrix في حزمة caret، والدالة الموازية في حزمة InformationValue؛ وذلك من حيث الأداء الحسابي وسرعة المعالجة على مجموعات البيانات الضخمة التي تحتوي على مئات الآلاف أو ملايين الأسطر. وتُظهر التجارب المعيارية أن دوال R الأساسية تتفوق في السرعة وخفة استهلاك الذاكرة العشوائية، تليها حزمة InformationValue المصممة للتعامل السريع مع النماذج الثنائية، بينما تتطلب حزمة caret وقتاً حسابياً أطول نظراً لقيامها بتوليد طيف واسع من المؤشرات والاختبارات الفرضية المرافقة في الخلفية.

تتجلى نقطة المقارنة المنهجية الثانية في التباين القائم في تعريف وتحديد الفئات المرجعية والمصطلحات المطبقة على الخلايا؛ فبينما تعتمد حزمة caret على تعريف دقيق ومبرمج مسبقاً للفئة الإيجابية تفرضه الوسيطة positive مع فترات ثقة موثقة، تترك الدالة القاعدية مسؤولية التسمية والتأطير للمحلل نفسه، مما يفتح الباب لحدوث أخطاء في التفسير عند غياب الخبرة الإحصائية الكافية. ويستعرض الجدول المقارن أدناه الفروق البنيوية بين هذه الحلول الإحصائية المتاحة في بيئة R:

  • الدالة القاعدية table: خفيفة وسريعة للغاية، متوفرة في بيئة R الأساسية دون تثبيت حزم، تقتصر المخرجات على جدول الأعداد المتقاطعة الخام، وتتطلب حساب كافة المؤشرات الإحصائية المشتقة يدوياً.
  • دالة caret::confusionMatrix: الخيار القياسي للأبحاث المحكمة، توفر تقريراً إحصائياً شاملاً يتضمن فترات الثقة واختبارات المعنوية، تتطلب تثبيت حزم مساعدة مثل e1071، وتتميز بالتحقق الصارم من تكافؤ المستويات والعوامل.
  • دالة InformationValue::confusionMatrix: موجهة بشكل خاص لنماذج الانحدار اللوجستي وتقييم المخاطر، تقبل الاحتمالات المستمرة مباشرة وتتيح ضبطاً مرناً للعتبة الحرجة، وتقدم تكاملاً سريعاً مع مؤشرات القوة التمييزية وتحديد العتبة المثلى.

يتحدد اختيار الأداة البرمجية الأمثل تبعاً للمتطلبات الوظيفية للتحليل؛ ففي البحوث الأكاديمية والتقارير العلمية الصارمة التي تتطلب توثيق فترات الثقة واختبارات الدلالة الإحصائية، تظل حزمة caret الخيار الذي لا منازع له، بينما يميل ممارسو علم البيانات في البيئات التطوعية والصناعية إلى الجمع بين بساطة الدوال المساعدة المتخصصة وسرعة الدوال القاعدية لتنفيذ النمذجة التكرارية وتطوير خوارزميات التصنيف الآلي بسرعة وكفاءة.

9. التفكيك الرياضي والإحصائي لخلايا مصفوفة الإرباك

9.1 الإيجابيات الحقيقية والسلبيات الحقيقية

يقوم التأسيس الرياضي لمصفوفة الإرباك الثنائية على تصنيف كل مشاهدة من مشاهدات العينة إلى واحدة من أربع فئات حصرية وشاملة للواقع التنبئي. وتمثل حالات الإيجاب الحقيقي True Positives المشاهدات التي تنتمي في الحقيقة والواقع إلى الفئة المستهدفة، ونجح النموذج الرياضي في التنبؤ بكونها تنتمي إلى هذه الفئة بالفعل. وتُعد هذه الخلية المقياس المباشر لقوة النموذج في رصد الظاهرة واكتشاف الحالات المستهدفة، كأن ينجح النموذج الائتماني في تشخيص عميل متعثر مالياً كعميل متعثر، أو ينجح الاختبار الطبي في تشخيص شخص مريض بالمرض الفعلي.

في المقابل، تمثل حالات السلب الحقيقي True Negatives المشاهدات التي تنتمي في الأصل إلى الفئة السلبية، وتوقع النموذج بصورة صائبة خلوها من الظاهرة أو انتمائها إلى الفئة غير المستهدفة. وتُجسد هذه الخلية قدرة النموذج على الحفاظ على الاستقرار ورفض الحالات السليمة وعدم تلويثها باتهامات خاطئة، كأن يصنف النموذج العميل الملتزم في سداد ديونه كعميل غير متعثر، أو يقرر الطبيب خلو الشخص المعافى من المرض المستهدف.

يشكل هذان العنصران معاً القطر الرئيسي لمصفوفة الإرباك، والذي يمثل نطاق التطابق التام والصائب كلياً بين التنبؤ والواقع المشاهد. وكلما تركزت المشاهدات الإحصائية في هذين الركنين المتقابلين قطرياً، ارتفعت الكفاءة الكلية للنموذج التصنيفي واقتربت العملية التنبؤية من المثالية، حيث يعبر مجموعهما العددي عن إجمالي النجاحات التصنيفية التي حققها النموذج على مجموعة البيانات المستقلة.

9.2 الخطأ من النوع الأول: الإيجابيات الكاذبة وتفسيرها الميداني

يمثل الخطأ من النوع الأول Type I Error، والذي يتجسد داخل مصفوفة الإرباك في خلية الإيجابيات الكاذبة False Positives، تلك الحالات السلبية في الأصل ولكن النموذج تنبأ بها خطأً كحالات إيجابية؛ ويُعرف هذا الخطأ أيضاً في الأدبيات الإحصائية بـ “إنذار كاذب” أو رفض الفرضية الصفرية الصائبة. وفي مثال التخلف الائتماني، يمثل الإيجاب الكاذب تصنيف عميل ملتزم وقادر على الوفاء بالتزاماته المالية كعميل متعثر، مما يعكس حذراً مفرطاً من قبل النموذج غير متطابق مع الحقيقة الميدانية.

يرتبط مفهوم الإيجاب الكاذب ارتباطاً بنيوياً وثيقاً بمستوى المعنوية الإحصائية ألفا؛ إذ يعبر معدل الإيجابيات الكاذبة المشتق من المصفوفة (والذي يُحسب بقسمة الإيجابيات الكاذبة على إجمالي الحالات السلبية الفعلية) عن الاحتمال التجريبي للوقوع في خطأ رفض الصواب. ويؤدي التوسع في هذا الخطأ إلى إضعاف موثوقية النموذج من زاوية الكفاءة التشغيلية، حيث تصبح التنبؤات الإيجابية مشكوكاً في جديتها وتتطلب تحققات إضافية ومكلفة لاستبعاد الحالات السليمة التي جرى تصنيفها ظلماً.

تترتب على الإيجابيات الكاذبة تكاليف اقتصادية وسلوكية واضحة وملموسة في التطبيقات العملية؛ ففي القطاع المصرفي، يؤدي تصنيف العملاء الجيدين كمتعثرين إلى حرمان المؤسسة المالية من أرباح الفوائد الناتجة عن عملاء مؤهلين، ويدفع بهؤلاء العملاء نحو المؤسسات المنافسة، فضلاً عن تكاليف الفحص والتدقيق الائتماني الإضافي. وفي السياق الأكاديمي والبحثي، يمثل الإيجاب الكاذب نشر نتائج تدعي وجود أثر علاجي أو ظاهرة سلوكية لا وجود لها فعلياً في المجتمع، مما يضلل المعرفة العلمية ويهدر الموارد البحثية اللاحقة.

9.3 الخطأ من النوع الثاني: السلبيات الكاذبة والتداعيات التحليلية

يتجلى الخطأ من النوع الثاني Type II Error في مصفوفة الإرباك من خلال خلية السلبيات الكاذبة False Negatives، ويشير إلى الحالات الإيجابية في الواقع والوجود الفعلي التي عجز النموذج عن رصدها، وقام بتصنيفها خطأً كحالات سلبية خالية من الحدث. ويمثل هذا الخطأ في السياق المالي تمرير وتصنيف عميل متعثر وقريب من الإفلاس كعميل صالح ومستقر مالياً، مما يجعله في نظر إدارة المخاطر الخطر الأكبر والأكثر كلفة والأصعب في التدارك.

يرتبط مفهوم السلب الكاذب ارتباطاً رياضياً مباشراً بخطأ بيتا وضعف القوة الإحصائية للنموذج التنبئي؛ حيث يُقاس معدل السلبيات الكاذبة بقسمة عدد السلبيات الكاذبة على إجمالي الحالات الإيجابية الفعلية المشاهدة، وهو المكمل الحسابي لمفهوم الحساسية وقوة الاختبار. وكلما ارتفعت حالات السلب الكاذب في المصفوفة، كان ذلك دليلاً قاطعاً على عجز النموذج عن التقاط الأنماط الدقيقة المرافقة للحدث المستهدف، مما يعكس ضعفاً هيكلياً في القدرة التمييزية للمتغيرات التفسيرية المعتمدة في المعادلة.

تكتسب التداعيات التحليلية للسلبيات الكاذبة طابعاً خطيراً في المجالات الطبية الحيوية والنفسية والجنائية؛ ففي فحص الأورام السرطانية، يمثل السلب الكاذب إبلاغ مريض يعاني من الورم بأنه سليم تماماً، مما يحرمه من فرصة العلاج المبكر ويؤدي إلى تدهور حالته الصحية وقد يفضي إلى الوفاة. وفي التطبيقات القضائية والشرطية، يمثل السلب الكاذب تبرئة الجاني وإخلاء سبيله. ومن هنا، تضع المنهجيات الإحصائية الصارمة تقليص السلبيات الكاذبة في صدارة أولويات ضبط النماذج التشخيصية، حتى لو تطلب ذلك قبول زيادة طفيفة ومحسوبة في الإيجابيات الكاذبة.

10. حساب وتفسير مقاييس الأداء المشتقة من مصفوفة الإرباك في R

10.1 الدقة الإجمالية ومعدل الخطأ واختبار كابا

تمثل الدقة الإجمالية Accuracy المقياس الإحصائي الأكثر بساطة وتداولاً في تقييم نماذج التصنيف؛ وتُعرف رياضياً بأنها النسبة بين مجموع المشاهدات المصنفة صواباً (الإيجابيات الحقيقية مضافاً إليها السلبيات الحقيقية) إلى العدد الإجمالي الكلي للمشاهدات في عينة الاختبار. ويُحسب معها بالتوازي معدل الخطأ الإجمالي Misclassification Rate بوصفه المكمل الحسابي للدقة؛ أي بطرح قيمة الدقة من الواحد الصحيح، أو بقسمة مجموع الأخطاء (الإيجابيات الكاذبة مضافاً إليها السلبيات الكاذبة) على إجمالي المشاهدات.

تتميز مخرجات دالة confusionMatrix في حزمة caret بحساب فترة الثقة بنسبة خمسة وتسعين بالمئة لمعدل الدقة الإجمالية بالاعتماد على طريقة كلوبر-بيرسون Clopper-Pearson للمتغيرات الثنائية؛ مما يمنح الباحث تقديراً لمعالم المجتمع الإحصائي وليس مجرد تقدير نقطي لعينة الاختبار المتاحة. وعلاوة على ذلك، تُجري الدالة اختباراً فرضياً إحصائياً يقارن دقة النموذج بما يُعرف بمعدل التوزيع السائد في العينة No Information Rate، وهو نسبة الفئة الأكبر تكراراً في بيانات الاختبار. ويتم حساب قيمة p-value لاختبار ما إذا كانت دقة النموذج أعلى بصورة ذات دلالة إحصائية من دقة نموذج ساذج يتنبأ بالفئة السائدة دائماً، وهو اختبار نقدي يفرز النماذج ذات القوة التنبؤية الحقيقية عن تلك التي تستفيد فحسب من اختلال توازن الفئات.

يحتل معامل كابا لكوهين Cohen’s Kappa مكانة مركزية في تقييم جودة مصفوفة الإرباك؛ إذ يقيس درجة الاتفاق التوافقي بين التنبؤات والواقع المشاهد بعد استبعاد أثر الاتفاق الناتج عن الصدفة المحضة المبنية على التوزيعات الهامشية لصفوف وأعمدة المصفوفة. وتتراوح قيمة كابا بين الصفر والواحد الصحيح (وقد تتخذ قيماً سالبة في حالات التباعد الشديد)، حيث تشير القيم المحصورة بين 0.40 و0.60 إلى اتفاق متوسط، بينما تعكس القيم فوق 0.60 اتفاقاً قوياً، وتدل القيم المتجاوزة لـ 0.80 على اتفاق شبه مثالي، مما يجعله معياراً أكثر اتزاناً وموثوقية من الدقة الإجمالية في العينات غير المتوازنة.

10.2 الحساسية والنوعية والقيم التنبؤية الموازية

تُعد الحساسية Sensitivity، وتُسمى أيضاً في أدبيات علم الحاسوب بمعدل الاستدعاء Recall، المؤشر الحاكم لقدرة النموذج على استقصاء ورصد الحالات الإيجابية الفعلية؛ وتُحسب رياضياً بقسمة عدد الإيجابيات الحقيقية على إجمالي المشاهدات الإيجابية الحقيقية المشاهدة في العينة (مجموع الإيجابيات الحقيقية والسلبيات الكاذبة). وتجيب الحساسية عن التساؤل المنهجي الجوهري: من بين جميع الأفراد الذين تعثروا في السداد فعلياً، ما هي النسبة المئوية التي استطاع النموذج اكتشافها وتصنيفها كحالات متعثرة بنجاح؟

يقابل الحساسية في المصفوفة مؤشر النوعية Specificity، ويُعرف بمعدل السلبيات الحقيقية؛ ويُحسب بقسمة عدد السلبيات الحقيقية على إجمالي المشاهدات السلبية الحقيقية في الواقع (مجموع السلبيات الحقيقية والإيجابيات الكاذبة). ويجيب هذا المؤشر عن التساؤل المعاكس: من بين جميع العملاء غير المتعثرين والصالحين مالياً، ما هي النسبة التي تمكن النموذج من تشخيصها كحالات سليمة دون الوقوع في خطأ الإنذار الكاذب؟ وتتكامل النوعية مع الحساسية لتقديم رؤية متوازنة لمدى دقة حدود القرار التصنيفي من الطرفين السلبي والإيجابي.

تنتقل القيمة التنبؤية الإيجابية Positive Predictive Value، وتُسمى بالدقة الإحكامية Precision، إلى منظور المستخدم النهائي للقرار التنبئي؛ حيث تُحسب بقسمة الإيجابيات الحقيقية على إجمالي التنبؤات الإيجابية الصادرة عن النموذج (مجموع الإيجابيات الحقيقية والإيجابيات الكاذبة). وتوضح هذه القيمة احتمالية أن يكون الفرد متعثراً بالفعل في حال أصدر النموذج قراراً يصنفه كمتعثر. وبالمثل، تُحسب القيمة التنبؤية السلبية Negative Predictive Value بقسمة السلبيات الحقيقية على إجمالي التنبؤات السلبية الصادرة عن النموذج؛ مع التأكيد المنهجي الصارم على أن كلاً من القيمتين التنبؤيتين الإيجابية والسلبية تتأثران تأثراً جذرياً بمعدل الانتشار المشاهد للظاهرة في المجتمع المدروس، بخلاف الحساسية والنوعية اللتين تتسمان بثبات نسبي أمام تباين نسب الانتشار.

10.3 المقاييس التركيبية: درجة F1 ومتوسط التوافق الإحصائي

تنشأ الحاجة المنهجية إلى المقاييس التركيبية المركبة للتوفيق بين مؤشري الدقة الإحكامية والحساسية، حيث غالباً ما تؤدي محاولة رفع الحساسية عبر تحريك عتبات القرار إلى خفض الدقة الإحكامية وزيادة الإيجابيات الكاذبة، والعكس بالعكس. ويبرز مقياس F1-Score كأحد أشهر المقاييس التوفيقية؛ حيث يُحسب رياضياً بوصفه المتوسط التوافقي Harmonic Mean بين الدقة الإحكامية والحساسية، بدلاً من استخدام المتوسط الحسابي البسيط الذي قد يخفي الإخفاق التام لأحد المؤشرين.

تكمن الأهمية الرياضية لاستخدام المتوسط التوافقي في صياغة مقياس F1 في كونه يفرض عقوبة قاسية وشديدة على النماذج التي تعاني من اختلال في التوازن؛ فإذا كانت الحساسية مساوية لواحد صحيح بينما الدقة الإحكامية تقترب من الصفر، فإن مقياس F1 سينهار مقترباً من الصفر، معبراً بصدق عن فشل النموذج في تحقيق توازن عملي بين استدعاء الحالات والتحقق من صحتها. ويُعد هذا المؤشر الأداة القياسية المفضلة لتقييم النماذج في السيناريوهات التي تكون فيها الفئات غير متوازنة وتكاليف الخطأين متباينة وغير متناظرة.

تتيح بيئة R عبر حزمة caret استخراج مقياس F1 والمقاييس التركيبية المرافقة، مثل المتوسط المتوازن Balanced Accuracy المتمثل في المتوسط الحسابي البسيط بين الحساسية والنوعية، ككائنات رقمية منفصلة يمكن تخزينها في متغيرات والتعامل معها برمجياً. وتسمح هذه المعالجة البرمجية بإدراج هذه المؤشرات مباشرة في أطر التحسين الآلي لاختيار أفضل النماذج ومقارنتها كمياً وموضوعياً ضمن مصفوفة تقارير شاملة تعزز موثوقية التحليل الإحصائي المتبع.

11. معالجة مشكلة عدم توازن الفئات وضبط عتبة التصنيف في R

11.1 ظاهرة مفارقة الدقة الناتجة عن عدم توازن الفئات

تُمثل “مفارقة الدقة” Accuracy Paradox واحدة من أبرز المعضلات الإحصائية التي تواجه الباحثين عند تطبيق خوارزميات التصنيف على مجموعات البيانات الحقيقية؛ وتحدث هذه الظاهرة عندما يحقق النموذج نسبة دقة إجمالية مرتفعة للغاية قد تتجاوز سبعة وتسعين بالمئة، في حين يكون النموذج في حقيقة الأمر عديماً للقيمة المعرفية والعملية بسبب فشله الكامل في رصد الحالات الإيجابية التي تقع في فئة الأقلية النادرة.

تتضح شواهد هذه المعضلة بجلاء في بيانات التخلف عن سداد القروض الائتمانية التي نحللها في هذا المقال؛ فبما أن نسبة المتعثرين الحقيقيين تبلغ 3.3% فقط، فإن أي نموذج بسيط يتجاهل كافة المتغيرات التفسيرية ويتنبأ دائماً بعدم التخلف سيحقق دقة إجمالية تفوق ستة وتسعين بالمئة. وعند فحص مصفوفة الإرباك لهذا النموذج الساذج، نجد أن خانة السلبيات الحقيقية ممتلئة بالكامل، بينما تتصفّر خانة الإيجابيات الحقيقية وتنعدم الحساسية تماماً، مما يوضح بجلاء كيف يمكن لمعدلات الدقة السطحية أن تخدع الباحث وتخفي الفشل الذريع للمصنف في تحقيق الهدف الأساسي من بنائه.

يؤكد هذا القصور البنيوي في مقاييس الدقة الكلاسيكية عدم جدواها عند التعامل مع الفئات النادرة في الدراسات المسحية والوبائية والمصرفية. ويفرض على المحلل التحول الصارم نحو قراءة مصفوفة الإرباك عبر عدسات إحصائية متعددة المستويات، واضعة الحساسية ومقياس F1 ومعامل كابا في مقدمة المعايير التحكيمية لجودة النموذج، بدلاً من الانجرار وراء الأرقام الخادعة للدقة الإجمالية العامة.

11.2 تحسين عتبة التصنيف باستخدام منحنى المعايرة ودالة optimalCutoff

يُمثل تعديل العتبة الحرجة للتصنيف الحل التحليلي الأكثر مباشرة وأناقة لمعالجة مفارقة الدقة وتحسين مواقع المشاهدات داخل خلايا مصفوفة الإرباك، دون الحاجة لتغيير بيانات العينة ذاتها. وتقدم حزمة InformationValue أداة برمجية متطورة تُعرف بالدالة optimalCutoff، والتي تقوم بإجراء مسح إحصائي شامل وديناميكي عبر كافة العتبات الممكنة بين الصفر والواحد الصحيح لتحديد القيمة الرياضية التي تحقق التحسين الأمثل للأداء التمييزي للنموذج.

تسمح الدالة بضبط معايير التحسين وفق أهداف الدراسة المنهجية؛ حيث يمكن توجيهها للبحث عن العتبة التي تقلل معدل الخطأ الإجمالي إلى أدنى حد ممكن، أو العتبة التي تحقق أقصى توازن بين الحساسية والنوعية عبر إحصائية يودن Youden’s J Statistic، أو العتبة التي تعظم مقياس التكلفة الاقتصادية عبر فرض أوزان جزائية على السلبيات الكاذبة. وتُسفر هذه المعايرة الرياضية في بيانات التخلف عن السداد عن تخفيض العتبة الحرجة من 0.5 إلى قيمة تقارب 0.2 أو 0.3، تماشياً مع الندرة الطبيعية لحالات التخلف في العينة.

تترتب على إعادة بناء مصفوفة الإرباك وفق العتبة المحدثة نتائج فارقة؛ إذ يؤدي خفض العتبة إلى تفعيل قدرة النموذج على رصد عدد أكبر بكثير من الحالات المتعثرة، مما يرفع الحساسية من مستويات متدنية للغاية قد لا تتجاوز ثلاثين بالمئة إلى مستويات مقبولة تتجاوز سبعين أو ثمانين بالمئة. وعلى الرغم من أن هذا التحول قد يصاحبه ارتفاع طفيف في الإيجابيات الكاذبة وانخفاض نسبي طفيف في النوعية، فإن المحصلة الكلية للنموذج تصبح متسقة تماماً مع متطلبات إدارة المخاطر الحصيفة، وتختفي مظاهر الإرباك الإحصائي التي كانت تشوه مخرجات العتبة الافتراضية الساذجة.

11.3 استراتيجيات إعادة تشكيل العينات لموازنة مصفوفة الإرباك

بالإضافة إلى ضبط عتبة التصنيف، توفر بيئة الحوسبة R استراتيجيات منهجية متقدمة للتدخل على مستوى البيانات ذاتها لإعادة هيكلة التوازن الفئوي قبل البدء في مرحلة ملاءمة النموذج؛ وتأتي في صدارة هذه الاستراتيجيات طرق أخذ العينات العشوائية المتوازنة. وتتوزع هذه المنهجيات بين تقليص عينة الفئة السائدة Down-sampling لحذف حالات سليمة عشوائياً حتى تتكافأ مع حالات التخلف، أو الإفراط في أخذ عينات الفئة النادرة Up-sampling عبر تكرار حالات التخلف لزيادة وزنها النسبي في خوارزمية التعظيم الاحتمالي.

تتجاوز الممارسات الحديثة أساليب التكرار العشوائي البسيط إلى استخدام تقنيات التوليد الاصطناعي للفئات النادرة، وتحديداً خوارزمية SMOTE، وهي اختصار لعبارة Synthetic Minority Over-sampling Technique؛ والتي تعمل على استيلاد حالات تخلف اصطناعية ذكية تقع في الفضاء الهندسي الرابط بين المشاهدات النادرة الحقيقية وجيرانها الأقربين. وتوفر حزم مثل themis المرافقة لمنظومة tidymodels، أو حزم المعالجة المسبقة المتوافقة مع caret، إمكانية تنفيذ هذه الخوارزميات بدقة متناهية ودون تسريب معلوماتي.

ينعكس تطبيق استراتيجيات إعادة التشكيل انعكاساً عميقاً على توزيع الخلايا الأربع داخل مصفوفة الإرباك الناتجة عن اختبار النموذج على بيانات الاختبار المستقلة؛ حيث تُجبر خوارزمية الانحدار اللوجستي على إيلاء وزن مماثل لكلا الطرفين، مما يقود إلى ارتفاع تلقائي في الحساسية دون الحاجة إلى التلاعب الاصطناعي بالعتبات الحرجة لاحقاً. ومع ذلك، يتعين على الباحث التحلي بالحذر المنهجي الشديد وتطبيق تقنيات إعادة التشكيل حصرياً على بيانات التدريب، مع الإبقاء على بيانات الاختبار بتوزيعها الطبيعي الأصلي لضمان موثوقية وصدق تقييم مصفوفة الإرباك النهائية.

12. التمثيل البصري لمصفوفة الإرباك وأفضل الممارسات الأكاديمية

12.1 الرسم البياني الحراري لمصفوفة الإرباك باستخدام حزمة ggplot2

يمثل التمثيل البصري لمصفوفة الإرباك أداة إيضاحية فائقة الأهمية لتجسيد النتائج الرقمية المجردة وتحويلها إلى رسائل بصرية سهلة الاستيعاب لصناع القرار والمجتمع الأكاديمي على حد سواء؛ حيث يتيح الرسم البياني رصد مواطن القوة والخلل في النموذج بلمحة بصرية واحدة. وتُعد حزمة ggplot2 الأداة الرائدة داخل لغة R لتنفيذ هذه المعالجات الرسومية عالية الجودة والمنضبطة بيانياً.

يبدأ الإجراء التنفيذي للتمثيل البصري بتحويل مخرجات جدول الإرباك المخزنة داخل كائن confusionMatrix إلى إطار بيانات منتظم data.frame؛ وتُستخرج منه قيم المشاهدات الفعلية، والتنبؤات المقابلة، والأعداد التكرارية المحسوبة في كل خلية. ويتم حساب النسب المئوية الكلية أو النسب الموزونة داخل الإطار وتجهيز نصوص توضيحية تضم كلاً من العدد الخام والنسبة المئوية معاً لدمجها برمجياً فوق الخريطة الحرارية.

يتم بناء الخريطة الحرارية الملونة باستخدام هندسة الأشكال المستطيلة geom_tile، مع ربط كثافة التعبئة اللونية بأعداد الخلايا أو بنسب التوافق، واختيار تدرجات لونية هادئة تعزز التباين البصري وتتوافق مع متطلبات النشر الطباعي والرقمي. وتُضاف النصوص التوضيحية داخل كل مربع باستخدام geom_text لتعرض بوضوح أرقام الإيجابيات الحقيقية، والسلبيات الحقيقية، والإيجابيات والسلبيات الكاذبة، مع تخصيص المظهر الجمالي العام theme_minimal وضبط عناوين المحاور بدقة تامة لتلبي أرقى المعايير البصرية المعتمدة في المجلات الدولية.

12.2 تكامل مصفوفة الإرباك مع منحنى خصائص التشغيل للمستقبل

على الرغم من القيمة الفائقة لمصفوفة الإرباك، فإنها تظل تقييماً أحادي اللحظة مشروطاً بالعتبة الفاصلة التي اختيرت لبنائها. ومن هنا، يبرز التكامل المفاهيمي بين مصفوفة الإرباك ومنحنى خصائص تشغيل المستقبل Receiver Operating Characteristic المنحني، والمسمى اختصاراً بمنحنى ROC؛ إذ يمثل المنحنى في حقيقة الأمر رسماً بيانياً متواصلاً يجمع نقاط الحساسية ومقلوب النوعية المشتقة من مئات مصفوفات الإرباك المتتالية المحسوبة عند كافة العتبات الاحتمالية الممكنة بين الصفر والواحد.

يقود هذا التكامل إلى حساب المساحة تحت المنحنى Area Under the Curve، وتُعرف بمؤشر AUC؛ والذي يُعد مقياساً تركيبياً شاملاً يلخص القدرة التمييزية الكامنة للنموذج بمعزل عن أي عتبة تصنيفية محددة. وتتراوح هذه المساحة بين النصف (وهو ما يعبر عن أداء تمييزي عشوائي لا قيمة له) والواحد الصحيح (وهو ما يعكس قدرة تمييزية كاملة ومثالية). ويوفر هذا المؤشر تلخيصاً معيارياً يتيح للمحلل الحكم على ما إذا كان ضعف بعض خلايا مصفوفة الإرباك ناتجاً عن خلل جوهري في قدرة النموذج على التمييز، أم أنه ناتج فقط عن اختيار غير موفق لنقطة الفصل الاحتمالية.

تتيح حزمة pROC في لغة R بناء هذا المنحنى التكاملي واستخراج المساحة تحته وفترات ثقته الإحصائية بيسر وسهولة؛ وتسمح بتحديد موقع مصفوفة الإرباك الحالية كنقطة هندسية محددة فوق مسار المنحنى التراكمي. ويمنح هذا العرض البياني المزدوج القارئ فهماً شاملاً؛ حيث يرى السلوك الكلي للنموذج عبر المنحنى، ويرى في الوقت نفسه الأثر العملي للقرار المطبق عبر الأرقام المتقاطعة داخل مصفوفة الإرباك المرافقة له.

12.3 إرشادات كتابة التقارير وتوثيق مصفوفات التصنيف في الأبحاث العلمية

تفرض التقاليد الأكاديمية الراسخة وتوصيات أدلة النشر العلمي، مثل دليل الرابطة الأمريكية لعلم النفس وتوجيهات STARD لتقييم دراسات الدقة التشخيصية، قواعد صارمة لعرض وتوثيق مصفوفات التصنيف في الأوراق والبحوث المحكمة. وتشدد هذه القواعد على تحريم الاكتفاء بنشر مؤشرات الدقة المجردة أو الحساسية بصورة معزولة، بل تلزم الباحثين بإدراج الجدول التقاطعي الخام بالكامل بأرقامه المطلقة وتوضيح محاوره بعبارات جلية لا تحتمل الالتباس.

يتعين الإفصاح المنهجي الدقيق عن حجم العينة الأصلية وعينتي التدريب والاختبار، مع ذكر التوزيع التكراري والنسب المئوية الحقيقية لفئات المتغير التابع قبل وبعد التقسيم، وإعلان العتبة الحرجة المعتمدة في التصنيف والمبررات المنهجية التي دفعت الباحث لاختيارها؛ سواء كانت مبررات إحصائية أو مالية أو إكلينيكية. ويجب إرفاق فترات الثقة الإحصائية المقدرة بنسبة خمسة وتسعين بالمئة لكافة المقاييس المشتقة، بما في ذلك الدقة الكلية، ومعامل كابا، والحساسية، والنوعية، لتوضيح حجم الخطأ المعياري المحيط بالتقديرات.

تكتمل معايير الشفافية العلمية المعاصرة بإتاحة الأكواد البرمجية المكتوبة بلغة R في ملاحق البحث أو عبر مستودعات البيانات المفتوحة مثل منصة Open Science Framework؛ مع تثبيت البذور العشوائية وتوضيح إصدارات الحزم المستخدمة. إن هذا المستوى الرفيع من الضبط التوثيقي يضمن إمكانية مراجعة التحليل والتحقق من صدقه من قبل المقيمين والباحثين الآخرين، ويعزز من متانة البناء المعرفي التراكمي للعلوم المعتمدة على البيانات في عصر الحوسبة المتقدمة.

الخاتمة

في ختام هذا الاستقصاء التأصيلي والتطبيقي الشامل، يتبين بجلاء أن مصفوفة الإرباك ليست مجرد جدول تقاطعي عابر، بل هي الأداة المنهجية الجوهرية والبوصلة التحليلية التي لا يمكن الاستغناء عنها لتقييم وتوجيه نماذج التعلم الإحصائي والتصنيف التنبئي. ومن خلال تفكيك التنبؤات وتوزيعها على خلايا الإيجابيات الحقيقية، والسلبيات الحقيقية، وأخطاء التنبؤ بنوعيها الأول والثاني، يستطيع الباحث والمحلل تجاوز التضليل الحسابي الذي تفرضه معدلات الدقة السطحية، واكتساب رؤية متوازنة لمدى جودة النموذج وموثوقية قراراته في العالم الحقيقي.

أظهرت خطوات التطبيق العملي في بيئة الحوسبة الإحصائية R أن الوصول إلى تقييم إحصائي رصين يتطلب سلسلة متماسكة من الإجراءات المنهجية؛ تبدأ من التهيئة الواعية للبيانات وفحص توازنها، وتمر بالتقسيم العشوائي المنضبط والمحصن ضد الملاءمة الزائدة، وصولاً إلى تدريب نموذج الانحدار اللوجستي وتوليد الاحتمالات الشرطية المستمرة. وقد برهنت حزم R المتخصصة، وفي مقدمتها حزمة caret المدعومة بحزم مثل InformationValue وpROC، على أنها توفر بنية تحتية حاسوبية فائقة المرونة تتيح استخراج مصفوفات الإرباك ومؤشراتها المشتقة بدرجة متناهية من الدقة الإحصائية.

ختاماً، يتعين على الباحثين وممارسي علم البيانات النظر إلى مصفوفة الإرباك بوصفها مدخلاً لحوار أوسع بين الحسابات الرياضية والأولويات الواقعية؛ فاختيار عتبات التصنيف، واستراتيجيات موازنة العينات، والمفاضلة بين الحساسية والنوعية، ليست قرارات خوارزمية صماء، بل هي قرارات تستند إلى فهم عميق لكلفة الأخطاء ومآلاتها الإنسانية والاقتصادية والاجتماعية. إن توثيق هذه المصفوفات بأمانة أكاديمية وشفافية منهجية كاملة هو السبيل الوحيد لضمان أن تبقى النمذجة التنبؤية خادمة للحقيقة العلمية وأداة موثوقة لبناء قرارات مدروسة في عصر البيانات الضخمة.

المراجع

اقتباس هذا المقال

looti, M. (2026, سبتمبر 6). كيفية إنشاء مصفوفة الإرباك في R (خطوة بخطوة). عرب سايكلوجي. https://arabpsychology.com/statistics/how-to-create-confusion-matrix-in-r-step-by-step/
looti, Mohammed. “كيفية إنشاء مصفوفة الإرباك في R (خطوة بخطوة).” عرب سايكلوجي, 6 سبتمبر 2026, https://arabpsychology.com/statistics/how-to-create-confusion-matrix-in-r-step-by-step/.
looti, Mohammed. “كيفية إنشاء مصفوفة الإرباك في R (خطوة بخطوة).” عرب سايكلوجي. سبتمبر 6, 2026. https://arabpsychology.com/statistics/how-to-create-confusion-matrix-in-r-step-by-step/.