كيفية حساب المساحة تحت المنحنى (AUC) في لغة R

يُمثّل تقييم كفاءة النماذج التنبؤية في بيئات التصنيف الثنائي أحد أكثر التحديات المنهجية والإحصائية حساسية في علوم البيانات المعاصرة والنمذجة الإحصائية المتقدمة. عند تطوير النماذج الإحصائية—سواء كانت نماذج انحدار لوجستي قياسية، أو خوارزميات تعلم آلي متقدمة مثل الغابات العشوائية وشبكات التعزيز التدرجي—يواجه الباحث مشكلة جوهرية تتعلق بكيفية قياس القدرة التمييزية الصريحة للنموذج بمعزل عن الانحيازات الناتجة عن اختيار عتبة تصنيف افتراضية تعسفية، أو الاختلال الهيكلي في توزيع الفئات المدروسة. هنا يبرز مقياس المساحة تحت المنحنى (Area Under the Curve – AUC) لمنحنى خصائص تشغيل المستقبِل (Receiver Operating Characteristic – ROC) كمعيار ذهبي عالمي يمنح الباحثين أداة رياضية قاطعة ومستقلة عن العتبات لتقدير الأداء العام للنماذج التنبؤية.

تُعد لغة البرمجة الإحصائية R البيئة الأكاديمية والتطبيقية الأكثر شمولاً ورسوخاً لتنفيذ هذه التحليلات الدقيقة، نظراً لما توفره من حزم إحصائية متخصصة صُممت بدقة متناهية للتعامل مع حسابات التباين، وفترات الثقة، والاختبارات الإحصائية غير البارامترية لمقارنة النماذج المتنافسة. لا يقتصر الحساب الإحصائي للـ AUC في بيئة R على مجرد استخراج قيمة رقمية أحادية تتراوح بين الصفر والواحد، بل يمتد ليشمل تشريح الموثوقية التنبؤية، واستكشاف مجالات الثقة، وتحديد العتبات السريرية والتطبيقية المثلى، ومعالجة التحديات المعقدة المرتبطة باختلال العينات والبيانات الطبية والنفسية المتداخلة. يهدف هذا الدليل الشامل والمفصل إلى تقديم مرجع أكاديمي وتطبيقي متكامل يغطي كافة الجوانب النظرية، الرياضية، والتنفيذية البرمجية لحساب وتحليل مقياس AUC في لغة R بدقة متناهية واحترافية غير مسبوقة.

من خلال استعراض البنية الرياضية العميقة المتجذرة في اختبارات الرتب الإحصائية، مروراً بالتنفيذ العملي عبر حزم رائدة مثل pROC وROCR ومنظومة tidymodels الحديثة، ووصولاً إلى استراتيجيات التحقق المتقاطع والمقارنات الفرضية عبر اختبار ديلونغ (DeLong Test)، سيمتلك القارئ المعرفة المنهجية الكاملة لبناء تحليلات تصنيفية رصينة قابلة للنشر في أرقى الدوريات العلمية المحكمة، مع الالتزام الصارم بأعلى معايير القابلية لإعادة الإنتاج الإحصائي والشفافية البرمجية.

1. المفاهيم الأساسية لمنحنى خصائص تشغيل المستقبِل (ROC) والمساحة تحت المنحنى (AUC)

1.1 التعريف النظري لمنحنى ROC وسياقه التاريخي

تعود الجذور التاريخية لمنحنى خصائص تشغيل المستقبِل (ROC) إلى الحقبة الزمنية للحرب العالمية الثانية، وتحديداً ضمن سياق نظرية كشف الإشارات الرادارية (Signal Detection Theory). واجه مشغلو الرادار في تلك الفترة تحدياً معقداً تمثل في التمييز الدقيق بين الإشارات الحقيقية المنعكسة عن طائرات العدو وبين الضوضاء الخلفية الناتجة عن التشويش الجوي أو أسراب الطيور. طُوّر هذا الإطار الرياضي لتحديد قدرة المشغل وجهاز الاستقبال على تعظيم كشف الإشارات الصادقة مع تقليل الإنذارات الكاذبة إلى أدنى حد ممكن، مستنداً إلى معايير القرار الإحصائي المتغيرة.

انتقلت هذه المنهجية الرصينة لاحقاً إلى الميادين الطبية، والتشخيص البيولوجي، والقياسات النفسية في سبعينيات وثمانينيات القرن العشرين، حيث أثبتت جدارتها في تقييم دقة الاختبارات المعملية والفحوصات الإكلينيكية. يُعرف منحنى ROC رياضياً بأنه تمثيل بياني ثنائي الأبعاد يرسم التبادل المستمر والديناميكي بين المعدل الإيجابي الحقيقي (الحساسية) على المحور الرأسي الصادي، والمعدل الإيجابي الكاذب (1 – النوعية) على المحور الأفقي السيني، وذلك عبر جميع قيم عتبات القرار الممكنة التي يمكن تطبيقها على درجات التنبؤ المستمرة الصادرة عن النموذج.

تكمن الأهمية الجوهرية لمنحنى ROC في كونه أداة تقييمية مستقلة تماماً عن عتبة التصنيف الثابتة (Threshold-independent Evaluation). في النماذج الاحتمالية، يتطلب تحويل الاحتمال المستمر إلى تصنيف ثنائي قطعي (0 أو 1) اختيار نقطة فصل رقمية؛ وتغيير هذه النقطة يؤدي بطبيعة الحال إلى تغيير مصفوفة الارتباك بأكملها. يتيح منحنى ROC للمحلل استيعاب السلوك التنبؤي الشامل للنموذج عبر الطيف الكامل لنقاط القطع الممكنة، مما يجعله معياراً موضوعياً خالصاً لتقييم القدرة التمييزية الجوهرية للنظام الإحصائي دون الارتهان لقرارات تعسفية مسبقة.

1.2 المفهوم الرياضي للمساحة تحت المنحنى (AUC)

تُمثل المساحة تحت المنحنى (AUC) التكامل الرياضي المحدود للدالة التي تصف منحنى ROC عبر النطاق الكامل للإحداثي السيني الممتد من 0 إلى 1. من الناحية الحسابية الخالصة، تُعبر AUC عن المساحة الهندسية المحصورة بين مسار منحنى ROC والمحور الأفقي، وتتراوح قيمتها النظرية بين 0.0 و 1.0. عندما يتطابق المنحنى تماماً مع القطر المائل الذي ينصف المربع الإحداثي، تكون قيمة المساحة 0.5، وهو ما يمثل نموذجاً عديم الفائدة التمييزية يكافئ التخمين العشوائي البحت، في حين تمثل القيمة 1.0 نموذجاً مثالياً يحقق فصلاً مطلقاً بين الفئات دون أي تداخل في التوزيعات الاحتمالية.

يحمل مقياس AUC تفسيراً احتمالاتياً عميقاً وبالغ الأهمية في الإحصاء التطبيقي؛ إذ يُعرّف بأنه الاحتمال الرياضي الصريح بأن يعطي النموذج التنبؤي درجة احتمالية أعلى لعنصر تم اختياره عشوائياً من الفئة الإيجابية الحقيقية مقارنة بعنصر آخر تم اختياره عشوائياً من الفئة السلبية الحقيقية. يُصاغ هذا المفهوم رياضياً بالمعادلة: P(Score(Positive) > Score(Negative)). يوضح هذا التفسير أن AUC يقيس قدرة النموذج على ترتيب الحالات ترتيباً صحيحاً يعكس حقيقة انتمائها الفئوي، بغض النظر عن المعايرة المطلقة لقيم الاحتمالات الناتجة.

يرتبط هذا التعريف الاحتمالي برباط رياضي مباشر وغير منقطع بإحصائية مان-ويتني-ويلكوكسون (Mann-Whitney U Statistic) المستخدمة في الاختبارات غير البارامترية لمقارنة رتب عينتين مستقلتين. إن القيمة الحسابية للـ AUC تكافئ تماماً إحصائية U مقسومة على حاصل ضرب حجمي العينتين الإيجابية والسلبية. هذا التطابق الرياضي يمنح مقياس AUC متانة إحصائية فائقة، حيث يعتمد كلياً على الترتيب النسبي للدرجات التنبؤية بدلاً من تأثره بالافتراضات التوزيعية البارامترية المعقدة للمتغيرات التفسيرية.

1.3 مقارنة AUC بمقاييس الأداء التقليدية

يقع العديد من الممارسين والباحثين في فخ الاعتماد الحصري على مقياس الدقة العامة (Overall Accuracy)—الذي يُحسب بقسمة إجمالي التنبؤات الصحيحة على إجمالي حجم العينة—وهو مقياس يعاني من قصور منهجي كارثي في حالات عدم توازن الفئات (Imbalanced Datasets). على سبيل المثال، في دراسة طبية للكشف عن اضطراب نادر يصيب 1% فقط من السكان، يستطيع نموذج ساذج تماماً يتنبأ بالسلبية لجميع الأفراد دون استثناء أن يحقق دقة عامة تبلغ 99%، على الرغم من فشله المطلق في اكتشاف أي حالة إيجابية واحدة؛ في حين سيعكس مقياس AUC في هذه الحالة فشل النموذج بقيمة تقارب 0.5، كاشفاً عماه التمييزي التام.

عند مقارنة AUC بمقاييس الدقة والاسترجاع (Precision-Recall) ومقياس F1-Score، نجد أن الأخيرين يرتبطان ارتباطاً وثيقاً بنقطة قطع تصنيفية محددة سلفاً، ويتأثران تأثراً مباشراً بمعدل الانتشار القبلي للفئة الإيجابية في العينة المدروسة. في المقابل، يتميز منحنى ROC والمساحة الناتجة عنه (AUC-ROC) بخاصية إحصائية فريدة تُعرف بالثبات تجاه التغيرات في التوزيع القبلي للفئات (Prevalence Invariance)، لأن كلاً من الحساسية والنوعية تعتمدان على مجاميع الحالات الإيجابية والسلبية كلٌ على حدة داخل أعمدة مصفوفة الارتباك، ولا تتأثران بالنسب النسبية بين المجموعتين في مجتمع الدراسة.

يوفر هذا الثبات الاستثنائي لمقياس AUC ميزة استراتيجية كبرى في المقايسات الأكاديمية والسريرية المقارنة، حيث يمكن استخدام نفس النموذج في بيئات علاجية أو مجتمعية تختلف فيها معدلات انتشار الظاهرة اختلافاً جذرياً، مع الاحتفاظ بتقدير موضوعي ثابت لقدرة الأداة أو الخوارزمية على عزل الحالات المصابة عن غير المصابة بكفاءة إحصائية متجردة.

2. الأسس الإحصائية للتصنيف الثنائي: الحساسية والنوعية ومصفوفة الارتباك

2.1 تشريح مصفوفة الارتباك (Confusion Matrix)

تُشكل مصفوفة الارتباك البنية التحتية وحجر الزاوية لكافة العمليات الحسابية المرتبطة بتقييم نماذج التصنيف الثنائي. تتكون المصفوفة من جدول تقاطعي ثنائي الأبعاد (2×2) يفرز التنبؤات الصادرة عن النموذج مقابل الحالات الحقيقية المرصودة في الواقع التجريبي أو الإكلينيكي. ينتج عن هذا التقاطع أربعة تصنيفات أساسية غير متداخلة: الإيجابيات الحقيقية (True Positives – TP) وهي الحالات الإيجابية التي صنفها النموذج بنجاح كإيجابية، والسلبيات الحقيقية (True Negatives – TN) وهي الحالات السلبية السليمة التي قرر النموذج بدقة أنها سلبية.

في المقابل، يرصد الجدول نمطين من الأخطاء التنبؤية ذات التداعيات المتباينة: الإيجابيات الكاذبة (False Positives – FP) وتُعرف إحصائياً بالخطأ من النوع الأول (Type I Error)، وتحدث عندما يُصنف النموذج حالة سلبية سليمة على أنها حالة إيجابية؛ والسلبيات الكاذبة (False Negatives – FN) وتُعرف بالخطأ من النوع الثاني (Type II Error)، وتحدث عندما يفشل النموذج في رصد الحالة الإيجابية ويصنفها خطأً على أنها سلبية.

تترتب على هذين النوعين من الأخطاء تداعيات أكاديمية وسريرية شديدة الحساسية؛ ففي بيئات الكشف المبكر عن الأمراض الفتاكة أو تشخيص الميول الانتحارية في علم النفس العيادي، يكون ارتكاب خطأ من النوع الثاني (FN) كارثياً لأنه يحرم المريض من التدخل العلاجي المنقذ للحياة، في حين أن الخطأ من النوع الأول (FP) قد يترتب عليه قلق نفسي وتكاليف فحوصات تأكيدية إضافية دون تهديد مباشر للبقاء. توفر مصفوفة الارتباك الأساس الكمي لحساب جميع المعدلات الاحتمالية المشتقة التي تبني مسار منحنى ROC.

2.2 الحساسية (Sensitivity) ومعدل الإيجابيات الحقيقية (TPR)

تُعرّف الحساسية (Sensitivity)—وتُسمى بالمعاجم الإحصائية والهندسية معدل الإيجابيات الحقيقية (True Positive Rate – TPR) أو قدرة الاسترجاع (Recall)—بأنها النسبة الاحتمالية للحالات الإيجابية الحقيقية التي استطاع النموذج اكتشافها وتصنيفها بشكل صحيح من إجمالي مجتمع الحالات الإيجابية الفعلية الموجودة في العينة. تُصاغ الحساسية رياضياً بالمعادلة التالية: TPR = TP / (TP + FN). تعكس هذه المعادلة النسبة المئوية للمرضى أو الحالات المستهدفة الذين أعطاهم الاختبار التشخيصي نتيجة إيجابية صحيحة.

تكتسب الحساسية أهمية قصوى واستراتيجية في تصميم أدوات المسح الشامل (Screening Tests) في المجالات الطبية والنفسية والسلوكية. عندما تكون الأداة التشخيصية ذات حساسية فائقة تقارب 100%، فإن النتيجة السلبية الصادرة عنها تمنح الممارس ثقة إحصائية شبه مطلقة في استبعاد وجود المرض أو الاضطراب (وهي القاعدة المعروفة سريرياً بمبدأ SnNOut: High Sensitivity, Negative test rules Out disease)، نظراً لندرة وقوع أخطاء السلبيات الكاذبة في مثل هذه الاختبارات الحساسة.

في الفضاء الإحداثي لمنحنى ROC، تُمثل الحساسية دائماً الإحداثي الرأسي الصادي (Y-axis). يبدأ المنحنى من النقطة الإحداثية (0, 0) حيث تكون نقطة القطع متشددة للغاية (تساوي 1) فيُصنف الجميع كسلبيين فتكون الحساسية صفراً، ويتحرك المنحنى صعوداً نحو القمة مع تخفيف عتبة القرار لدمج المزيد من الإيجابيات الحقيقية حتى يصل إلى القيمة القصوى (1.0) عند أعلى المحور الصادي.

2.3 النوعية (Specificity) ومعدل الإيجابيات الكاذبة (FPR)

تُمثل النوعية (Specificity) الوجه المقابل والمتمم للحساسية، وتُعرف بمعدل السلبيات الحقيقية (True Negative Rate – TNR)، وهي النسبة الاحتمالية للحالات السلبية السليمة التي صنفها النموذج بدقة واقتدار على أنها حالات سلبية من بين إجمالي الحالات السلبية الفعلية. تُحسب النوعية من خلال المعادلة الرياضية الصريحة: TNR = TN / (TN + FP). تعبر هذه النسبة عن قدرة الاختبار على تجنب التشخيص الخاطئ للأفراد الأصحاء، وضمان عدم وسمهم بسمات مرضية أو تصنيفية لا تنطبق عليهم في الواقع الميداني.

يرتبط بمفهوم النوعية مقياس محوري آخر هو معدل الإيجابيات الكاذبة (False Positive Rate – FPR)، والذي يمثل النسبة المتممة رياضياً للنوعية، ويُحسب بالصيغة: FPR = 1 – Specificity = FP / (TN + FP). يُعد هذا المعدل مقياساً إحصائياً مباشراً لنسبة الإنذارات الكاذبة التي يُطلقها النموذج في بيئة العمل التطبيقية؛ حيث يؤدي ارتفاع هذا المعدل إلى إرهاق المنظومات الرقابية والتشخيصية بإجراءات تأكيدية لا طائل منها واستنزاف الموارد البشرية والمادية المتاحة.

في البنية الهندسية لمنحنى ROC، يُستخدم معدل الإيجابيات الكاذبة (1 – النوعية) لتمثيل المحور الأفقي السيني (X-axis). يبدأ هذا المحور من القيمة 0.0 (التي تقابل نوعية مثالية تبلغ 100%) ويتحرك يميناً نحو 1.0 (حيث تنعدم النوعية تماماً). يعكس أي تقدم للمنحنى نحو اليسار زيادة في نوعية النموذج، ويسعى المحلل الإحصائي دائماً إلى تحقيق منحنى يصعد بسرعة نحو الحافة العلوية اليسرى، مما يترجم الحصول على أعلى حساسية ممكنة بأدنى معدل ممكن من الإيجابيات الكاذبة.

3. إعداد بيئة العمل البرمجية وتثبيت الحزم الإحصائية في R

3.1 نظرة عامة على الحزم الإحصائية الرائدة لتحليل ROC في R

تتمتع لغة R بنظام بيئي غني واستثنائي بالحزم المتخصصة في حساب وتصوير وتحليل منحنيات ROC ومقاييس AUC، وتتميز كل حزمة بخصائص هيكلية تجعلها ملائمة لسياقات تحليلية محددة. تتربع حزمة pROC على قمة هذه الحزم كأداة متخصصة فائقة الدقة طُوّرت خصيصاً للتحليلات الإحصائية الطبية والبيولوجية؛ إذ تنفرد بتوفير خوارزميات غير بارامترية متطورة لحساب فترات الثقة، وإجراء الاختبارات الإحصائية المقارنة بين المنحنيات المتعددة، وتحديد نقاط القطع المثلى بدقة متناهية.

على الجانب الآخر، تُعد حزمة ROCR من أقدم الحزم وأكثرها مرونة وتجريداً في تمثيل مقاييس الأداء؛ حيث تعتمد على بنية برمجية قائمة على الكائنات تفصل بين التنبؤ وحساب الأداء، مما يتيح استخراج وتصوير مئات المقاييس التقييمية المشتقة بسهولة. وفي سياق الثورة البرمجية الحديثة، برزت حزمة yardstick كجزء أساسي لا يتجزأ من منظومة tidymodels، حيث صُممت لتتوافق بسلاسة مطلقة مع مبادئ tidy data وخطوط الأنابيب البرمجية المتسلسلة (Pipes)، مما يجعلها الخيار الأول لمشاريع التعلم الآلي واسعة النطاق.

تكتمل هذه المنظومة بحزم تخصصية مساعدة مثل PRROC الموجهة بدقة لحساب منحنيات الدقة والاسترجاع، وحزمة plotROC المصممة لتوليد رسومات تفاعلية واحترافية متوافقة بالكامل مع محرك ggplot2 الرسومي، بالإضافة إلى حزمة caTools السريعة. يتوقف اختيار الحزمة المثلى على طبيعة الفرضيات البحثية؛ فإذا كان الهدف إجراء مقارنات إحصائية واختبارات فرضية متقدمة، فإن pROC هي الخيار الرائد؛ بينما تبرز yardstick عند العمل ضمن خطوط معالجة وتدريب نماذج معقدة متعددة المراحل.

3.2 تثبيت وتحميل الحزم الأساسية

يتطلب الشروع في التحليل الإحصائي تثبيت المكتبات البرمجية الضرورية عبر المستودع الرسمي للحزم في لغة R (CRAN). يتم تنفيذ عملية التثبيت باستخدام الدالة القياسية install.packages، مع تضمين الحزم المركزية التي تشمل pROC وROCR ومجموعة حزم tidyverse للمعالجة البيانية والتحويل الهيكلي، بالإضافة إلى حزمة caret لإدارة تقسيم البيانات وعمليات التحقق المتقاطع. يضمن التثبيت الشامل لهذه المكتبات توافر كافة الدوال والخوارزميات اللازمة لتغطية سلسلة التحليل بالكامل.

عقب اكتمال التثبيت، تُحمّل المكتبات إلى جلسة العمل البرمجية باستخدام الدالة library. خلال هذه المرحلة، يجب على الباحث الانتباه لظاهرة تضارب التوابع الإحصائية (Function Masking) التي تحدث عندما تشترك حزمتان مختلفتان في نفس الاسم لبعض الدوال—مثل وجود دالة باسم مشابه في حزمتين مستقلتين. لتفادي أي التباس برمجي أثناء التنفيذ، يُوصى باستدعاء الدوال الحساسة باستخدام صيغة النطاق الصريحة المعرفة برمز النقطتين المزدوجتين (مثل pROC::roc) لضمان توجيه المحرك البرمجي نحو الخوارزمية المستهدفة بدقة تامة دون غموض.

تتطلب الأمانة العلمية والمنهجية الأكاديمية الصارمة ضمان قابلية إعادة الإنتاج العلمي (Reproducibility) لكافة التحليلات والنتائج المستخرجة. يتم ذلك عبر ضبط مولد الأرقام العشوائية في لغة R من خلال دالة set.seed مع تمرير قيمة رقمية صحيحة ثابتة في مستهل الشيفرة البرمجية. يضمن هذا الإجراء المنهجي حصول أي باحث مستقل على نفس التقسيمات البيانية ونفس تقديرات فترات الثقة القائمة على إعادة التعيين العشوائي (Bootstrapping) عند تشغيل نفس الكود على نفس البيانات في أي بيئة حوسبية أخرى.

4. استيراد وتجهيز البيانات وبناء الفرضيات البحثية

4.1 استيراد واستكشاف مجموعات البيانات النموذجية

تبدأ الممارسة التحليلية الرصينة باستيراد مجموعة البيانات الاستكشافية وفحص خصائصها المترية وتوزيعاتها الاحتمالية قبل الشروع في أي عملية نمذجة إحصائية. تُعد مجموعات البيانات القياسية—مثل مجموعة بيانات Default المتاحة ضمن حزمة ISLR التعليمية، أو بيانات التشخيص النفسي والسريري لمرضى السكري والاضطرابات الوجدانية—بيئات تطبيقية نموذجية لاختبار وتوضيح مقاييس AUC؛ حيث تحتوي على متغير استجابة ثنائي صريح يعبر عن وقوع الحدث من عدمه محاطاً بمجموعة من المتغيرات التفسيرية المستمرة والفئوية.

يتضمن الفحص الاستكشافي الأولي التحقق الدقيق من الهيكل البنائي العام للبيانات، ومعاينة توزيع المتغير التابع الثنائي (Binary Outcome Variable) لحساب النسبة المئوية الدقيقة لكل فئة من الفئتين وتحديد مدى وجود اختلال فئوي مبكر. تشمل هذه المرحلة استخدام أدوات التلخيص الإحصائي لمراقبة مقاييس النزعة المركزية والتشتت، ورصد وجود أي قيم شاذة متطرفة (Outliers) في المتغيرات التفسيرية قد تؤثر سلباً على تقديرات النموذج اللوجستي اللاحق وتؤدي إلى تشويه معالم التنبؤ.

تُمثل معالجة القيم المفقودة (Missing Data) ركيزة منهجية حاسمة في هذه المرحلة؛ إذ إن تجاهل القيم المفقودة وحذفها تلقائياً بأسلوب الحذف الكامل للحالات قد يؤدي إلى انحيازات إحصائية خطيرة إذا لم تكن البيانات مفقودة عشوائياً تماماً (MCAR). يتعين على الباحث تطبيق تقنيات التعويض المناسبة (Imputation)—سواء عبر استخدام الوسيط الحسابي للمتغيرات المستمرة كحل أساسي، أو اللجوء إلى خوارزميات التعويض المتعدد المتقدمة—لضمان الحفاظ على القوة الإحصائية لحجم العينة قبل الانتقال إلى مراحل التجزئة والنمذجة.

4.2 تقسيم البيانات إلى مجموعات التدريب والاختبار (Train-Test Split)

يُعد الفصل المنهجي بين البيانات المستخدمة في تقدير معالم النموذج وتلك المستخدمة في تقييم أدائه التنبؤي شرطاً إبستمولوجياً لازماً لتجنب خطأ التفاؤل الإحصائي وفرط المطابقة (Overfitting). إذا تم حساب منحنى ROC ومقياس AUC على نفس عينة البيانات التي استُخدمت لتدريب النموذج، فإن النتائج المستخلصة ستكون متفائلة بشكل مفرط وغير واقعي، ولن تعكس القدرة الحقيقية للنموذج على التعميم والتعامل مع بيانات مستقبلية غير مرئية تم جمعها من مجتمعات إحصائية مستقلة.

لإجراء هذا الفصل المنهجي بدقة، يُلجأ إلى تقنيات التجزئة الطبقية (Stratified Splitting)، والتي تضمن توزيع الحالات الإيجابية والسلبية بنسب متطابقة تماماً في كل من مجموعة التدريب ومجموعة الاختبار المستقلة. يمنع التقسيم الطبقي حدوث انحراف عشوائي قد يؤدي إلى تركز الحالات الإيجابية النادرة في إحدى المجموعتين دون الأخرى، مما قد يزعزع استقرار التقديرات الإحصائية لمصفوفة الارتباك ومعدلات الحساسية والنوعية.

تُوفر حزمة caret دالة متقدمة ومثالية لتنفيذ هذا الإجراء وهي دالة createDataPartition. تتيح هذه الدالة تحديد نسبة التقسيم المستهدفة—والتي تتراوح عادة بين 70% إلى 80% لمجموعة التدريب التقديرية، والنسبة المتبقية لمجموعة الاختبار والتحقق المستقلة—مع التحكم الكامل في البذور العشوائية لضمان تكرار نفس التوزيع البياني الدقيق، مما يؤسس لمرحلة ملاءمة إحصائية منضبطة ومنيعة ضد التحيزات العشوائية.

4.3 تحويل المتغيرات وإعداد مصفوفة التصنيف

تتطلب لغة R إعداداً بنيوياً صارماً لمتغير الاستجابة التابع قبل تمريره إلى دوال النمذجة الإحصائية وحزم حساب ROC. يجب تحويل المتغير التابع إلى عامل تصنيفي ثنائي (Binary Factor) مع تحديد مستوياته بوضوح تام؛ حيث يُرمز عادة لغياب الحدث أو الحالة السليمة بالمستوى الأساسي 0، بينما يُرمز لوجود الحدث أو الحالة المرضية المستهدفة بالمستوى 1. يُساعد هذا الترميز الصريح والدقيق الدوال الإحصائية على تحديد الفئة المرجعية تلقائياً دون حدوث انعكاس خاطئ في اتجاه الحسابات.

بالتوازي مع ذلك، تخضع المتغيرات التفسيرية المستمرة لعمليات المعايرة والتنميط (Standardization and Scaling)، لا سيما عند الرغبة في إدراج أساليب التنظيم الإحصائي (Regularization) مثل انحدار لاسو أو ريدج لاحقاً. يتضمن التنميط طرح المتوسط الحسابي وقسمة الناتج على الانحراف المعياري، مما يضع جميع المتغيرات على مقياس معياري موحد ذي متوسط صفري وتباين أحادي، وهو ما يحسن استقرار خوارزميات الاستمثال العددي المستخدمة في تقدير النماذج المعقدة.

أخيراً، يجب التحقق الصارم من خلو مصفوفة المتغيرات المستقلة من مشكلة التعددية الخطية العالية (Multicollinearity). يؤدي الارتباط الخطي الشديد بين المتغيرات التفسيرية إلى تضخيم الأخطاء المعيارية لمعاملات النموذج اللوجستي وتشويه دلالتها الإحصائية، ويمكن رصد ذلك من خلال حساب عوامل تضخم التباين (Variance Inflation Factor – VIF) والتأكد من بقائها دون العتبات الحرجة المعترف بها إحصائياً لضمان سلامة البنية الاستدلالية للنموذج.

5. ملاءمة نموذج الانحدار اللوجستي الثنائي وتوليد الاحتمالات في R

5.1 صياغة وتطبيق دالة glm() في R

يُمثل الانحدار اللوجستي الثنائي النموذج الإحصائي المعياري والأساس التحليلي الرصين لنمذجة الاحتمالات الشرطية للمتغيرات التابعة الثنائية. في لغة R، يتم بناء هذا النموذج بكفاءة فائقة عبر دالة النماذج الخطية المعممة glm()، والتي تتطلب صياغة معادلة النموذج بربط المتغير التابع بمصفوفة المتغيرات التفسيرية، مع التحديد الصريح للوسيط العائلي family = binomial(link = “logit”). يُلزم هذا الوسيط المحرك الحسابي بتطبيق دالة الرابط اللوجيتي التي تحول الاحتمالات المحصورة بين الصفر والواحد إلى مدى خطي ممتد من سالب ما لا نهاية إلى موجب ما لا نهاية.

عقب إتمام عملية الملاءمة بواسطة طريقة الإمكانية العظمى (Maximum Likelihood Estimation)، يُستخرج ملخص النموذج الإحصائي لفحص المعاملات المقدرة والأخطاء المعيارية المرافقة لها وقيم z الإحصائية ومستويات الدلالة المقابلة. يُمثل المعامل اللوجستي التغير في لوغاريتم الأرجحية (Log-odds) لكل وحدة زيادة في المتغير التفسيري، ويتم تحويل هذه المعاملات عبر الدالة الأسية exp() لاستخراج نسب الأرجحية الصريحة (Odds Ratios) وتوليد فترات الثقة 95% المرافقة لها، مما يمنح الباحث تفسيراً إكلينيكياً وإحصائياً بديهياً لحجم تأثير كل متغير تفسيري.

يختتم التقييم البارامتري للنموذج بفحص مؤشرات جودة المطابقة الإجمالية (Goodness-of-fit)، ويشمل ذلك مقارنة انحراف النموذج الصفري (Null Deviance) بانحراف النموذج المقترح (Residual Deviance) لتقييم مقدار الانخفاض في عدم اليقين التنبؤي، بالإضافة إلى متابعة معيار أكايكي للمعلومات (Akaike Information Criterion – AIC) الذي يقيم كفاءة النموذج مع معاقبة التعقيد الرياضي الزائد الناتج عن كثرة المتغيرات التفسيرية المدرجة.

5.2 استخراج الاحتمالات المتوقعة (Predicted Probabilities)

بمجرد الانتهاء من تدريب النموذج اللوجستي والتحقق من صلاحيته البارامترية، تأتي الخطوة الجوهرية المتمثلة في تطبيق النموذج التنبؤي على بيانات الاختبار المستقلة لاستخراج الدرجات الاحتمالية المتصلة. يتم ذلك في بيئة R عبر استدعاء الدالة العامة predict()، مع تمرير كائن النموذج وبيانات الاختبار الجديدة، مع ضرورة تحديد الوسيط الحاسم type = “response”. يُعد هذا التحديد الإجرائي جوهرياً ومفصلياً، حيث يُلزم الدالة بإرجاع الاحتمالات التنبؤية الصريحة المحصورة في النطاق الاحتمالي من 0 إلى 1.

في حال إغفال تحديد الوسيط type = “response”، فإن الدالة سترجع التنبؤات على مقياس دالة الرابط الأصلي (Link scale)، أي بوحدات لوغاريتم الأرجحية (Log-odds) التي قد تتراوح بين قيم سالبة وموجبة مطلقة. على الرغم من أن الترتيب الرتبي للدرجات يبقى متطابقاً ولا يغير القيمة النظرية للـ AUC (نظراً لاعتماد المنحنى على الرتب)، إلا أن استخراج الاحتمالات الصريحة يُعد شرطاً حاسماً للمعايرة الاحتمالية السليمة، ولتحديد نقاط القطع الإكلينيكية المعبرة عن نسب مئوية واقعية.

تُدمج هذه الاحتمالات التنبؤية المستخرجة مع المتجهات الحقيقية لمتغير الاستجابة الفعلي في إطار بيانات منسق وموحد (Combined Data Frame). يُمثل هذا الجدول العمود الفقري لكافة الحسابات اللاحقة؛ حيث يربط كل حالة حقيقية (سواء كانت 0 أو 1) بالاحتمال الرياضي المتصل الذي قدره النموذج لانتماء تلك الحالة إلى الفئة الإيجابية المستهدفة، وهو ما يُمهد لتطبيق خوارزميات المسح التراكمي لحساب مسار ROC.

6. حساب مقياس AUC وتحليله خطوة بخطوة باستخدام حزمة pROC

6.1 إنشاء كائن ROC وحساب قيمة AUC الأساسية

تُمثل حزمة pROC الأداة الأكثر مرونة وأناقة برمجية لتنفيذ حسابات ROC ومقاييس AUC في لغة R. تبدأ العملية باستدعاء الدالة الأساسية roc()، وتمرير متجه الاستجابة الفعلي الحقيقي ومتجه الاحتمالات التنبؤية المستمرة المستخرجة من النموذج. تقوم الدالة داخلياً بفرز الدرجات التنبؤية، ومسح كافة العتبات الممكنة، وحساب إحداثيات الحساسية والنوعية المقابلة لكل عتبة لبناء كائن تحليلي متكامل من الفئة ‘roc’.

يُستخرج التقدير النقطي الصريح لمقياس المساحة تحت المنحنى من الكائن الناتج باستخدام دالة auc() المتخصصة، والتي تعرض القيمة العشرية الدقيقة للمساحة مع بيان الخوارزمية المستخدمة في الحساب. تتولى الدالة تلقائياً التعامل مع التكاملات شبه المنحرفة لحساب المساحة بدقة عددية فائقة، مما يتيح للباحث التحقق الفوري من القدرة التمييزية العامة للنموذج بمجرد سطر برمجي واحد يتسم بالوضوح والكفاءة.

يتطلب التطبيق الاحترافي ضبط المعلمات الحاكمة لدالة roc()، وتحديداً المعلمتين levels و direction. تُحدد المعلمة levels المستويات الفئوية لمتغير الاستجابة بترتيب صريح (مثل levels = c(“0”, “1”)) لتحديد الفئة المرجعية بوضوح، في حين تضبط المعلمة direction اتجاه المقارنة (مثل direction = “<“) لضمان أن القيم التنبؤية الأعلى تُعزى منهجياً للحالات الإيجابية. يمنع هذا الضبط المسبق حدوث أي انقلاب في اتجاه المنحنى أو حساب متمم المساحة بطريق الخطأ.

6.2 حساب فترات الثقة لقيمة AUC (Confidence Intervals)

لا يكتمل التقرير الإحصائي الرصين بالاكتفاء بعرض التقدير النقطي لمقياس AUC؛ إذ تقتضي المنهجية الأكاديمية الصارمة تقدير عدم اليقين المعايناتي من خلال حساب فترات الثقة الإحصائية (Confidence Intervals). تُوفر حزمة pROC دالة ci.auc() المتقدمة لحساب فترة الثقة 95% للـ AUC، وتعتمد افتراضياً على طريقة ديلونغ غير البارامترية (DeLong’s Method)، وهي تقنية رياضية بالغة القوة والسرعة الحوسبية تستند إلى مقارنة مصفوفات التباين والتباين المشترك لرتب الإحصاءات التجريبية دون الحاجة إلى افتراض التوزيع الطبيعي للبيانات.

في الحالات التي تكون فيها أحجام العينات صغيرة للغاية، أو عندما تُظهر البيانات توزيعات شديدة التعقيد والتداخل، توفر الدالة خيار التقدير عبر تقنيات إعادة العينات البوتسترابية (Bootstrap CI) من خلال تمرير المعامل method = “bootstrap”. تقوم هذه الخوارزمية بإعادة سحب آلاف العينات العشوائية مع الإحلال (Resampling with Replacement) من البيانات الأصلية، وإعادة حساب قيمة AUC لكل عينة مولدة، ثم استخراج المئينات التجريبية لبناء فترة ثقة بوتسترابية منيعة تعكس التشتت التجريبي الحقيقي للبيانات.

يُمثل التفسير الإحصائي لفترة الثقة المستخرجة معياراً حاسماً للحكم على المعنوية الإحصائية للنموذج. فإذا كانت فترة الثقة 95% تمتد—على سبيل المثال—من 0.72 إلى 0.86، فإن الباحث يستنتج بيقين إحصائي أن القدرة التمييزية للنموذج تقع ضمن هذا النطاق في المجتمع الأصلي؛ أما إذا تقاطعت فترة الثقة مع القيمة 0.50 (مثل أن تمتد من 0.48 إلى 0.65)، فإن النموذج يُعد فاشلاً إحصائياً ولا يختلف أداؤه التمييزي عن مجرد التخمين العشوائي بمستوى دلالة 0.05.

6.3 حساب وتحديد العتبة المثلى للتصنيف (Optimal Cutoff Point)

على الرغم من أن مقياس AUC يقيم النموذج عبر كافة العتبات المحتملة، إلا أن التطبيق الميداني والسريري النهائي يفرض على متخذ القرار اختيار عتبة احتمالية قاطعة واحدة لتحويل الاحتمال المستمر إلى قرار ثنائي حاسم (مثل علاج أو عدم علاج، قبول أو رفض). توفر حزمة pROC دالة coords() الاستثنائية التي تتيح استخراج جدول شامل لكافة الإحداثيات والعتبات وما يقابلها من مقاييس الحساسية والنوعية والقيم التنبؤية الإيجابية والسلبية بدقة تامة.

تعتمد الطريقة الأكثر شيوعاً لتحديد العتبة المثلى رياضياً على تعظيم مؤشر يودن (Youden’s J Statistic)، والذي يُعرف بالصيغة: J = Sensitivity + Specificity – 1. يُعبر هذا المؤشر عن أقصى مسافة رأسية تفصل مسار منحنى ROC عن خط التخمين العشوائي القطري؛ وبالتالي فإن النقطة التي تحقق أعلى قيمة لمؤشر J تمثل العتبة التي توازن موازنة متكافئة بين تعظيم معدل الإيجابيات الحقيقية وتقليل معدل الإيجابيات الكاذبة دون إعطاء وزن ترجيحي لأحدهما على الآخر.

تتضمن الدالة أيضاً معايير بديلة للاستمثال مثل طريقة “الأقرب للزاوية اليسرى العليا” (Closest to Top-Left method)، والتي تحسب المسافة الإقليدية الهندسية بين نقاط المنحنى والنقطة المثالية النظرية (0, 1) ذات الإحداثيات (حساسية = 1، نوعية = 1)، وتختار العتبة التي تقلل هذا البعد الهندسي إلى أدنى حد ممكن، مما يمنح الباحث خيارات مرنة لتحديد العتبة الأنسب لطبيعة السياق التطبيقي وأوزان التكلفة المرتبطة بكل نمط من أنماط الخطأ.

7. توليد وتخصيص الرسوم البيانية لمنحنى ROC في R

7.1 الرسم البياني الأساسي والمتقدم باستخدام pROC::plot.roc()

توفر حزمة pROC دالة رسم متخصصة ومبنية داخلياً هي plot.roc() (أو التطبيق المباشر للدالة العامة plot على كائن ROC)، والتي تتيح توليد رسوم بيانية عالية الجودة بمجرد استدعاء أمر برمجي موجز. يتميز هذا الرسم التلقائي بضبط النسب الهندسية للأبعاد الإحداثية لتكون مربعة تماماً (1:1 Aspect Ratio)، مما يمنع التشويه البصري للمنحنى ويضمن أن يمثل القطر زاوية 45 درجة حقيقية تعكس التخمين العشوائي بدقة هندسية منيعة.

تتيح الدالة وسائط برمجية غنية لتخصيص المظهر الرسومي، حيث يمكن إضافة التقدير الرقمي للـ AUC وفترات الثقة المرافقة له مباشرة على مساحة الرسم عبر تمرير الوسيطين print.auc = TRUE و print.auc.ci = TRUE. كما يمكن تخصيص ألوان خط المنحنى، وسماكته، ونمط الخطوط، وتضمين شبكة الإحداثيات الخلفية (Grid Lines) لتسهيل القراءة البصرية المباشرة للقيم المقابلة على المحورين السيني والصادي بدقة ووضوح.

علاوة على ذلك، توفر الدالة إمكانية بصرية فائقة الأهمية تتمثل في رسم مجالات الثقة المحيطة بمسار المنحنى نفسه (Confidence Intervals of Specificity/Sensitivity) من خلال الدالة ci.sp() أو ci.se()، حيث يتم تظليل النطاق الترددي للخطأ المعايراتي بلون شفاف يحيط بالمنحنى، مما يعطي القارئ والباحث انطباعاً بصرياً فورياً عن مدى استقرار واستقامة التقدير التمييزي عبر مختلف قطاعات العتبات التصنيفية.

7.2 بناء منحنيات ROC احترافية للنشر الأكاديمي باستخدام ggplot2

على الرغم من القوة المدمجة لدوال الرسم الأساسية، إلا أن المعايير المعاصرة للنشر في الدوريات العلمية المرموقة تفرض استخدام محرك ggplot2 لما يوفره من تحكم طبقي مطلق وجماليات بصرية متقدمة. لتحقيق ذلك، يتم استخراج مصفوفة الإحداثيات من كائن ROC وتحويلها إلى إطار بيانات قياسي (Data Frame) يحتوي على أعمدة الحساسية (Sensitivity) ومعدل الإيجابيات الكاذبة (1 – Specificity) ومجالات الثقة المحسوبة.

يتم بناء الرسم التراكمي باستخدام طبقة المسار geom_path() بدلاً من طبقة الخطوط التقليدية geom_line()؛ وذلك لضمان ربط النقاط بالتسلسل الحقيقي للعتبات المتدرجة بدلاً من ترتيبها التلقائي وفق قيم المحور السيني، وهو تفصيل تقني حاسم لتجنب تشوه مسار المنحنى عند وجود نقاط متساوية في الإحداثيات. تُضاف طبقة الخط القطري المرجعي عبر geom_abline(slope = 1, intercept = 0, linetype = “dashed”) لتمثيل خط العشوائية بأناقة بصرية موحدة.

كما يمكن توظيف حزم متقدمة مبنية فوق محرك ggplot2 مثل حزمة plotROC، والتي توفر طبقات هندسية مخصصة مثل geom_roc() تتيح تضمين مؤشرات العتبات الرقمية كعلامات تفاعلية أو نصية مباشرة على مسار المنحنى، مع إمكانية استخراج الرسوم بمتجهات رسومية عالية الدقة (Vector Formats مثل PDF و EPS) جاهزة للإدراج المباشر في المخطوطات والتقارير العلمية المحكمة بأعلى معايير الجودة الطباعية.

8. حساب AUC باستخدام حزم إحصائية بديلة (ROCR, yardstick, PRROC)

8.1 الحساب والتصوير البياني عبر حزمة ROCR

تعتمد حزمة ROCR على فلسفة برمجية كلاسيكية قائمة على تجريد مراحل التقييم إلى خطوتين منفصلتين ومستقلتين منهجياً، مما يمنحها قوة استثنائية في إجراء التحليلات المجمعة والتجارب التكرارية. تبدأ المرحلة الأولى بإنشاء كائن التنبؤ باستخدام دالة prediction()، والتي تأخذ كمدخلات متجهات الاحتمالات التنبؤية والاستجابات الحقيقية؛ وتقوم هذه الدالة بإعادة هيكلة البيانات وحساب الرتب التراكمية ومصفوفات التوزيع التجريبية بكفاءة حسابية عالية.

تتمثل المرحلة الثانية في استدعاء دالة الأداء العامة performance() لتوليد مقاييس التقييم المستهدفة من كائن التنبؤ الأساسي. لحساب المساحة تحت المنحنى، يتم تمرير الوسيط الحرفي “auc” لتستخرج الدالة كائناً يحتوي على القيمة الرقمية الصريحة للـ AUC. ولرسم منحنى ROC، يُعاد استدعاء الدالة بتمرير مقياسي الحساسية ومعدل الإيجابيات الكاذبة عبر performance(pred, “tpr”, “fpr”)، ليتم تمرير الكائن الناتج مباشرة إلى دالة plot التقليدية.

تتيح هذه البنية المنفصلة في ROCR ميزة فريدة تتمثل في إمكانية تلوين خط المنحنى تدرجياً وفقاً لقيم العتبات المتغيرة عبر تفعيل المعامل colorize = TRUE، مما يوفر بعداً بصرياً إضافياً يوضح قيمة نقطة القطع المسببة لكل إحداثي على المنحنى، وهو ما يسهل المقارنة السريعة بين سلوك نماذج متعددة على نفس المخطط الرسومي بمرونة برمجية فائقة.

8.2 التقييم الحديث للـ AUC ضمن بيئة Tidymodels وحزمة yardstick

تُمثل منظومة tidymodels المعيار الحديث والمتطور لمشاريع علوم البيانات وتعلم الآلة في بيئة R، حيث تتولى حزمة yardstick مسؤولية قياس وتقييم أداء النماذج الإحصائية باتباع القواعد الصارمة للبيانات المرتبة (Tidy Principles). في هذه البيئة، يتم تنظيم التنبؤات في جداول بيانات قياسية (tibble) تحتوي على عمود الاستجابة الفعلية كعامل تصنيفي، وأعمدة مستقلة تمثل الاحتمالات التنبؤية لكل فئة من الفئات المصنفة.

لحساب مقياس AUC، يتم استدعاء الدالة القياسية roc_auc() مع تمرير جدول البيانات وتحديد اسم عمود الحقيقة الصادقة واسم عمود الاحتمال المقدر للفئة الإيجابية عبر الروابط المتسلسلة (Pipe operator |>). تتميز هذه الدالة بقدرتها الفائقة على التعامل مع التحليلات المجمعة عبر دالة group_by()، مما يتيح حساب قيم AUC لمجموعات فرعية متعددة، أو عبر طيات التحقق المتقاطع المختلفة في خطوة برمجية واحدة تتسم بالرشاقة والمقروئية العالية.

توفر الحزمة أيضاً دالة roc_curve() لحساب جدول إحداثيات المنحنى، والتي تتكامل تكاملاً تاماً مع دالة الرسم التلقائي autoplot(). بمجرد تمرير كائن المنحنى إلى autoplot()، يولد المحرك رسماً بيانياً متكاملاً مبنياً على قواعد ggplot2 بأبعاد قياسية وخط أساس عشوائي وتنسيق لوني احترافي دون الحاجة لكتابة أكواد رسومية تفصيلية، مما يسرع عملية الاستكشاف والتقييم في مشاريع النمذجة واسعة النطاق.

8.3 حساب المساحة تحت منحنى الدقة والاسترجاع (PR-AUC) باستخدام PRROC

على الرغم من الموثوقية العالية لمقياس AUC-ROC، إلا أنه يواجه قصوراً تفسيرياً ملحوظاً في حالات الاختلال الفئوي الحاد والشديد (Severe Class Imbalance)—مثل الكشف عن الاحتيال المالي أو تشخيص الأمراض النادرة التي تقل نسبة انتشارها عن 0.1%—حيث تؤدي كثرة السلبيات الحقيقية (TN) إلى إبقاء معدل الإيجابيات الكاذبة (FPR) صغيراً جداً، مما يضخم قيمة AUC-ROC بشكل زائف قد يوحي بأداء ممتاز على الرغم من تواضع قدرة النموذج في تمييز الفئة الإيجابية النادرة.

في مثل هذه السيناريوهات المتطرفة، يبرز منحنى الدقة والاسترجاع (Precision-Recall Curve) والمساحة المحصورة تحته (PR-AUC) كبديل تقييمي لا غنى عنه. تركز هذه المقاييس حصرياً على الفئة الإيجابية وتتجاهل السلبيات الحقيقية في حساباتها؛ حيث تُحسب الدقة بنسبة TP / (TP + FP) والاسترجاع بنسبة TP / (TP + FN). تتخصص حزمة PRROC في حساب هذا المقياس بدقة عددية بالغة عبر دالة pr.curve() التي تنفذ تكاملاً دقيقاً وموزوناً يحسب مساحة PR-AUC الصريحة.

تُجرى المقارنة المنهجية بين AUC-ROC و AUC-PR من خلال تقييم خط الأساس المرجعي لكل منهما؛ فبينما يظل خط الأساس للـ AUC-ROC ثابتاً دائماً عند القيمة 0.50 بغض النظر عن البيانات، فإن خط الأساس لمنحنى PR-AUC يساوي تماماً نسبة انتشار الفئة الإيجابية في العينة (Prevalence). وبالتالي، فإن حصول نموذج على PR-AUC يبلغ 0.40 في مجتمع يبلغ فيه انتشار الظاهرة 0.01 يمثل قفزة نوعية هائلة في القوة التنبؤية، وهو ما يبرز أهمية الجمع بين المقياسين في التقييمات العلمية الرصينة للظواهر النادرة.

9. التفسير الأكاديمي والإحصائي لقيم AUC وتطبيقاتها العلمية

9.1 المعايير القياسية لتفسير كفاءة التصنيف وقوة التمييز (Discrimination)

يتطلب التفسير الأكاديمي لقيم AUC الاستناد إلى أطر إحصائية قياسية معترف بها عالمياً في الأدبيات المنهجية، ويُعد تصنيف هوسمر-ليميشو (Hosmer-Lemeshow Criteria) الإطار المرجعي الأكثر استخداماً لتقييم القدرة التمييزية للنماذج. وفقاً لهذا التصنيف المعتمد، تُفسر قيم AUC الواقعة بين 0.50 و 0.70 بأنها تمييز ضعيف أو متواضع (Poor discrimination)، بينما تشير القيم بين 0.70 و 0.80 إلى تمييز مقبول أو كافٍ (Acceptable)، وتُعبر القيم بين 0.80 و 0.90 عن قدرة تمييزية ممتازة (Excellent)، في حين تدل القيم التي تتجاوز 0.90 على أداء استثنائي وفائق الندرة (Outstanding discrimination).

تحمل القيمة 0.50 دلالة رياضية صريحة تعبر عن الانعدام التام لأي قدرة تنبؤية في النموذج؛ حيث تتطابق هذه النتيجة مع رمي قطعة نقدية عادلة لاتخاذ القرار التصنيفي، ويكون توزيع الدرجات التنبؤية بين الحالات الإيجابية والسلبية متطابقاً تماماً دون أي إزاحة إحصائية. في المقابل، يندر الحصول على قيم AUC تتجاوز 0.95 في التطبيقات النفسية والاجتماعية والطبية الواقعية نظراً لطبيعة التباين الإنساني والضوضاء المعايناتية المتأصلة، ويجب أن يثير الوصول إلى قيم تقارب 1.00 ريبة الباحث المنهجية لاحتمالية وجود تسريب في البيانات أو فرط مطابقة زائف.

في حالات نادرة وشاذة، قد تنتج الحسابات البرمجية قيمة AUC تقل عن 0.50 (مثل 0.35). لا يعني هذا الرقم رياضياً أن النموذج عديم الفائدة، بل يشير إلى نموذج عاكس أو “مقلوب” (Inverted Classifier)؛ حيث يقوم النموذج بترتيب الحالات بدقة ولكن في الاتجاه المعاكس تماماً، معطياً درجات منخفضة للحالات الإيجابية ودرجات مرتفعة للحالات السلبية. يمكن تصحيح هذه الحالة فورياً بمراجعة ترميز المستويات الفئوية أو طرح القيمة الناتجة من الواحد الصحيح (1 – AUC) للحصول على القدرة التمييزية الحقيقية بعد عكس اتجاه التنبؤ.

9.2 المساحة الجزئية تحت المنحنى (Partial AUC – pAUC)

في العديد من التطبيقات السريرية والتشخيصية الواقعية، لا يكون النطاق الكامل لمنحنى ROC ذا صلة بالممارسة العملية الميدانية؛ إذ لا يمكن لأي منظومة طبية أو رقابية أن تقبل العمل بنوعية منخفضة تؤدي إلى إغراق النظام بمعدل إيجابيات كاذبة يتجاوز مثلاً 10% أو 20%، وبالمثل لا يُقبل في اختبارات الفحص الحساسة العمل بنطاقات تكون فيها الحساسية أقل من 80% أو 90%. في هذه السيناريوهات التخصصية، يبرز مقياس المساحة الجزئية تحت المنحنى (Partial AUC – pAUC) كأداة إحصائية متقدمة تركز على تكامل المنحنى ضمن نطاق عملي محدد حصرياً.

تُتيح حزمة pROC حساب هذا المقياس بدقة عبر تمرير الوسيط partial.auc إلى دالة auc()، مع تحديد حدود النطاق المطلوب—مثل حصر الحسابات في نطاق النوعية العالية بين 0.90 و 1.00 عبر partial.auc = c(1, 0.90) مع ضبط partial.auc.focus = “specificity”. تقوم الدالة بحساب التكامل الهندسي المحدود للمنحنى المحصور ضمن هذا الشريط الرأسي أو الأفقي الدقيق فقط، مما يستبعد الأجزاء غير الواقعية سريرياً من التقييم العام للنموذج.

نظراً لأن القيمة المطلقة للمساحة الجزئية تعتمد هندسياً على عرض النطاق المختار وتكون بالضرورة رقماً صغيراً جداً، توفر الدالة خيار المعايرة والتنميط القياسي عبر الوسيط partial.auc.correct = TRUE باتباع تصحيح مكلينش (McClish’s Correction). يقوم هذا الإجراء بتحويل قيمة pAUC إلى مقياس نسبي قياسي يتراوح مجدداً بين 0.5 (للتخمين العشوائي ضمن ذلك النطاق) و 1.0 (للأداء المثالي)، مما يعيد للمقياس قابليته للمقارنة المنهجية والتفسير الأكاديمي البديهي عبر مختلف النماذج والدراسات.

10. تقييم النماذج باستخدام التحقق المتقاطع (Cross-Validation AUC)

10.1 تطبيق k-Fold Cross-Validation لتقدير متانة AUC

يُعد تقييم أداء النماذج بالاعتماد الحصري على تجزئة أحادية للبيانات (Single Train-Test Split) عرضة للتقلبات المعايناتية العشوائية؛ حيث قد تؤدي الصدفة وحدها إلى استقرار حالات “سهلة التصنيف” في مجموعة الاختبار، مما يمنح تقديراً متفائلاً للـ AUC، أو العكس بوقوع حالات متطرفة تشوه التقدير الحقيقي. لتفادي هذا القصور، يُمثل التحقق المتقاطع ذو k-طيات (k-Fold Cross-Validation) المنهجية المعيارية لتقدير متانة واستقرار النموذج الإحصائي وقدرته الحقيقية على التعميم.

يقوم هذا الإجراء المنهجي على تقسيم البيانات الأصلية عشوائياً إلى k أجزاء متساوية الحجم ومتوازنة فئوياً (عادة k = 5 أو 10). في كل دورة تكرارية، يتم استخدام k-1 من الأجزاء لتدريب النموذج اللوجستي، بينما يُستخدم الجزء المتبقي كعينة اختبار مستقلة لحساب التنبؤات واستخراج قيمة AUC؛ وتتكرر هذه العملية k مرة حتى تختبر كل طية كعينة اختبار مستقلة لمرة واحدة بالتمام والكمال.

يتم تجميع قيم AUC المحسوبة من كافة الطيات الـ k لحساب المتوسط الحسابي والانحراف المعياري لتقدير الأداء. يمنح هذا المتوسط تقديراً منيعاً غير منحاز للقدرة التمييزية للنموذج، بينما يعكس الانحراف المعياري مدى حساسية النموذج وتغير أدائه باختلاف العينات التجريبية. يشير الانخفاض الملحوظ في الانحراف المعياري عبر الطيات إلى متانة هيكلية عالية للنموذج، واستقراره ضد تقلبات البيانات المدخلة.

10.2 التحقق المتقاطع المتكرر (Repeated Cross-Validation) عبر trainControl

للرفع من كفاءة التقدير الإحصائي والتقليل من التباين المعايناتي الناتج عن عملية التقسيم الأولي للطيات، يُوصى بتطبيق التحقق المتقاطع المتكرر (Repeated k-Fold Cross-Validation)—مثل إعادة تطبيق 10-Fold CV خمس أو عشر مرات بذور عشوائية مختلفة. تُوفر حزمة caret بنية برمجية متطورة لتنفيذ هذا الإجراء عبر دالة trainControl، مع ضبط المعلمة method = “repeatedcv”، وتحديد عدد التكرارات عبر repeats = 5.

لضمان حساب مقاييس AUC بدقة خلال عملية التحقق المتكرر، يجب ضبط الوسيطين classProbs = TRUE (لإلزام النموذج بحساب وحفظ الاحتمالات المستمرة لكل فئة في كل دورة) و summaryFunction = twoClassSummary (لتوجيه الحزمة لاستخراج مقاييس ROC والحساسية والنوعية بدلاً من الاكتفاء بالدقة العامة). يتم بعد ذلك تدريب النموذج باستخدام دالة train() وتمرير خيارات التحكم المحددة، لتقوم الحزمة بتنفيذ كافة الدورات التكرارية آلياً وبكفاءة حوسبية قصوى.

تتيح مخرجات caret استخراج كائن الأداء التراكمي المجمع، والذي يحتوي على قيم ROC الدقيقة لكل تكرار ولكل طية، مما يسمح بتوليد رسوم بيانية مجمعة لتوزيعات قيم AUC عبر مصفوفة التكرارات. كما يمكن استخراج ورسم منحنيات ROC التجميعية لكافة الطيات معاً، مما يتيح معاينة التباين البصري والشكلي لمسار المنحنى واستكشاف مدى ثبات السلوك التنبؤي للنموذج عبر مئات التوليفات البيانية المختلفة بأعلى درجات الموثوقية العلمية.

11. المقارنة الإحصائية بين منحنيات AUC لنماذج متعددة في R

11.1 اختبار DeLong للمقارنة بين النماذج المتداخلة وغير المتداخلة

عند بناء عدة نماذج إحصائية متنافسة—مثل مقارنة نموذج لوجستي أساسي يعتمد على المتغيرات الديموغرافية بنموذج موسع يتضمن مؤشرات حيوية أو جينية جديدة—لا يجوز للباحث الاكتفاء بملاحظة الزيادة الرقمية المجردة في قيمة AUC (مثل ارتفاعها من 0.78 إلى 0.82) للادعاء بتفوق النموذج الموسع؛ إذ قد تكون هذه الزيادة ناتجة عن التباين العشوائي البحت. تقتضي المنهجية العلمية الصارمة إجراء اختبار فرضي إحصائي لمقارنة مصفوفتي تباين المنحنيين واختبار فرضية العدم القائلة بتطابق المساحتين في المجتمع الأصلي.

يُمثل اختبار ديلونغ غير البارامتري (DeLong Test) المعيار الإحصائي الذهبي لتنفيذ هذه المقارنة، لا سيما عندما تُقيم النماذج المتنافسة على نفس مجموعة بيانات الاختبار (Correlated / Paired ROC Curves). يعتمد هذا الاختبار على استغلال العلاقة المباشرة بين AUC وإحصائية مان-ويتني لحساب مصفوفة التباين والتباين المشترك التقاربية للفرق بين المنحنيين بكفاءة تحليلية فائقة ودون الحاجة إلى اللجوء للمحاكاة الحاسوبية الكثيفة.

يتم تنفيذ هذا الاختبار في لغة R عبر دالة roc.test() المتاحة في حزمة pROC، بتمرير كائني ROC للنموذجين المتنافسين. تُرجع الدالة قيمة إحصائية Z المقدرة، ودرجات الحرية، والقيمة الاحتمالية الصريحة (P-value) المرتبطة باختبار الفروق. إذا كانت القيمة الاحتمالية أقل من مستوى الدلالة المعتمد (مثل p < 0.05)، يرفض الباحث فرضية العدم ويستنتج بثقة إحصائية أن إدراج المتغيرات التفسيرية الجديدة قد حقق تحسناً حقيقياً وذا دلالة إحصائية في القدرة التمييزية للنموذج.

11.2 المقارنة باستخدام اختبارات إعادة العينات (Bootstrap Test)

على الرغم من الأناقة الرياضية والسرعة الفائقة لاختبار ديلونغ، إلا أن بعض السياقات التحليلية المعقدة—مثل مقارنة منحنيات AUC الجزئية (pAUC)، أو عند استخدام مقاييس ترجيحية وتصحيحية مخصصة، أو في ظل عينات شديدة الصغر ذات توزيعات شاذة—تتطلب اللجوء إلى اختبارات الفروق القائمة على تقنيات إعادة التعيين البوتسترابي (Bootstrap ROC Test) لتجنب أي قصور في الافتراضات التقاربية للاختبارات البارامترية وشبه البارامترية.

تُنفذ هذه المقارنة البوتسترابية في حزمة pROC عبر نفس الدالة roc.test() مع تحديد الوسيط method = “bootstrap”، وضبط عدد دورات إعادة السحب عبر المعامل boot.n = 2000 أو أكثر لضمان الاستقرار العددي للتقديرات. تقوم الخوارزمية بإعادة توليد آلاف العينات العشوائية مع الإحلال، وتدريب أو تقييم المنحنيين على كل عينة، وحساب توزيع الفروق التجريبية (Differences Distribution) بين قيمتي AUC لتوليد فترة ثقة وقيمة احتمالية تجريبية دقيقة لفارق الأداء بين النموذجين.

يُتوج هذا التحليل المقارن بتوليد رسم بياني موحد يجمع منحنيات ROC للنماذج المتنافسة على نفس الفضاء الإحداثي، مع تلوين كل منحنى بلون مميز وإدراج قيم AUC وفترات الثقة ومستوى دلالة اختبار الفروق مباشرة ضمن وسيلة الإيضاح (Legend). يمنح هذا التوثيق البصري المتكامل القارئ والمحكم الأكاديمي رؤية شاملة تقارن بوضوح بين المسارات التنبؤية للنماذج وتبرز التفوق الإحصائي للنموذج الأفضل منهجياً.

11.3 المقارنة بين خوارزميات تعلم آلي مختلفة (Logistic Regression vs. Random Forest)

تمتد التطبيقات التحليلية لمقياس AUC في لغة R لتشمل المقارنة المنهجية الشاملة بين عائلات خوارزمية متباينة جذرياً؛ حيث يتنافس نموذج الانحدار اللوجستي القياسي مع خوارزميات التعلم الآلي غير الخطية، مثل الغابات العشوائية (Random Forest)، وشبكات الانحدار المعاقبة (Elastic Net)، وخوارزميات تعزيز التدرج الإشعاعي (XGBoost). يكمن الهدف الجوهري لهذه المقارنة في التحقق مما إذا كان التعقيد الرياضي والقدرة على نمذجة التفاعلات غير الخطية يترجمان فعلياً إلى زيادة ذات دلالة إحصائية في مقياس AUC تبرر التضحية بقابلية التفسير البسيطة للنموذج اللوجستي.

تُدرب الخوارزميات التنافسية على نفس بيانات التدريب، وتُستخرج الاحتمالات التنبؤية المتصلة لكل نموذج على حدة من بيانات الاختبار الموحدة. يُنشأ كائن ROC مستقل لكل خوارزمية باستخدام دالة roc()، وتُحسب قيم AUC ومصفوفات الارتباك المقابلة. تتيح هذه المقارنة الموحدة للباحث رصد الفروق الدقيقة في مسار كل خوارزمية؛ حيث قد تتفوق خوارزمية معينة في قطاعات الحساسية العالية بينما تتفوق أخرى في قطاعات النوعية المرتفعة، وهو ما يكشفه المسار الهندسي الكامل للمنحنيات المتراكبة.

تُختتم المقارنة بتطبيق اختبارات الفروق الإحصائية وتوليد جداول تقييمية مجمعة تستعرض قيم AUC والانحرافات المعيارية الناتجة عن التحقق المتقاطع، بالإضافة إلى أوقات الحوسبة المطلوبة لكل خوارزمية. يساعد هذا التقييم المتوازن متخذ القرار على الموازنة المنهجية بين المكاسب التمييزية الإحصائية (Marginal AUC Gain) والتكاليف التشغيلية المرتبطة بتعقيد النماذج في البيئات التطبيقية والإنتاجية الحساسة.

12. الأخطاء الشائعة، التحديات المنهجية، وأفضل الممارسات الإحصائية

12.1 الأخطاء المنهجية الشائعة في حساب وتفسير AUC

يقع العديد من الممارسين في أخطاء منهجية وحوسبية فادحة أثناء حساب وتفسير مقاييس AUC، ويتصدر هذه الأخطاء ظاهرة تسريب البيانات (Data Leakage) التي تحدث أثناء مراحل المعالجة القبلية للبيانات. تتجلى هذه المشكلة عندما يقوم الباحث بتنميط المتغيرات التفسيرية، أو تعويض القيم المفقودة، أو اختيار المتغيرات المؤثرة باستخدام كامل مجموعة البيانات قبل إجراء عملية التقسيم إلى تدريب واختبار؛ مما يؤدي إلى تسرب معلومات من بيانات الاختبار إلى عملية النمذجة، وتضخيم قيم AUC بشكل مصطنع وزائف ينهار تماماً عند اختبار النموذج في الواقع العملي.

يتمثل الخطأ الشائع الثاني في الخلط المفاهيمي بين مستويات الفئات وترميزها البرمجي، مما يؤدي إلى عكس اتجاه المنحنى وظهور قيمة AUC أقل من 0.50 دون أن ينتبه المحلل إلى أن الدالة اعتبرت الفئة السليمة هي الفئة الإيجابية المستهدفة. كما يقع البعض في خطأ إساءة استخدام العتبة الافتراضية 0.50 لتحويل الاحتمالات إلى قرارات قطعية وتوليد مصفوفة الارتباك، متجاهلين أن عتبة 0.50 لا معنى لها رياضياً عندما تكون البيانات غير متوازنة، وأن العتبة المثلى يجب أن تُحدد استناداً إلى مؤشر يودن أو اعتبارات التكلفة الإكلينيكية الملموسة.

علاوة على ذلك، يغفل باحثون كثر عن تقرير فترات الثقة 95% المصاحبة للـ AUC، مكتفين بعرض التقدير النقطي المجرد. يُعد هذا الإغفال خللاً منهجياً جسيماً؛ إذ إن قيمة AUC البالغة 0.85 المحسوبة من عينة صغيرة جداً قد تصاحبها فترة ثقة واسعة للغاية تمتد من 0.52 إلى 0.98، مما يعكس ضعفاً شديداً في الدقة الإحصائية وعدم يقين معايناتي هائل يحرم التقدير النقطي من أي موثوقية استدلالية رصينة.

12.2 التعامل مع التحديات الإحصائية المتقدمة

تفرض بعض الهيكليات البيانية المعقدة تحديات إحصائية تتطلب معالجات منهجية متقدمة في بيئة R. في مقدمة هذه التحديات تبرز مشكلة التصنيف متعدد الفئات (Multiclass Classification)، حيث لا يكون متغير الاستجابة ثنائياً بل يمتد لثلاث فئات أو أكثر (مثل تصنيف مراحل المرض: سليم، متوسط، حاد). لحساب AUC في هذه الحالات، تُطبق خوارزمية هاند وتيل (Hand & Till Multiclass AUC) المتاحة عبر دالة multiclass.roc() في حزمة pROC، والتي تحسب متوسط المساحات الثنائية الزوجية لكافة التوليفات الفئوية الممكنة لتقديم تقدير تمييزي شامل متعدد الأبعاد.

يتعلق التحدي المتقدم الثاني بظاهرة معايرة الاحتمالات (Probability Calibration). يجب على الباحث أن يدرك بدقة متناهية أن مقياس AUC يقيم فقط الترتيب الرتبي (Ranking) للحالات ولا يقيم دقة وصحة القيم الاحتمالية المطلقة. قد يمتلك النموذج قيمة AUC استثنائية تبلغ 0.90 ولكنه يكون ضعيف المعايرة بشكل كارثي، معطياً احتمالات تتراوح بين 0.91 و 0.99 لجميع الأفراد بما في ذلك الأصحاء؛ لذا يتعين دائماً إرفاق تحليل AUC بمنحنيات المعايرة ومخططات الموثوقية (Reliability Diagrams) ومؤشر براير (Brier Score) لضمان اتساق الاحتمالات المقدرة مع الترددات النسبية الحقيقية للظاهرة في الواقع الميداني.

أما في حالات الاختلال الفئوي المتطرف، فيجب على الباحث دمج أساليب إعادة التوازن البياني أثناء مرحلة التدريب—مثل تقنيات التوليد الاصطناعي للأقليات عبر خوارزمية SMOTE أو التعديل الترجيحي لأوزان الفئات في دالة التكلفة—مع ضرورة الحفاظ على عينة الاختبار المستقلة بتوزيعها الطبيعي الأصلي ودون أي تدخل اصطناعي لضمان قياس أداء النموذج ومقاييس AUC و PR-AUC في ظل الظروف التشغيلية الحقيقية.

12.3 أفضل الممارسات للتوثيق والتقرير في الأوراق العلمية

تقتضي معايير الشفافية والنزاهة الأكاديمية الالتزام بأفضل الممارسات المنهجية عند كتابة وتوثيق نتائج تحليلات ROC و AUC في المخطوطات والتقارير العلمية المعدة للنشر. يجب أن يتضمن التقرير الإحصائي نصاً صريحاً ومفصلاً يوضح التقدير النقطي لمقياس AUC، متبوعاً بفترة الثقة 95% المحددة بوضوح بين قوسين مع بيان المنهجية المستخدمة في حسابها (مثل: “AUC = 0.84, 95% CI [0.78, 0.90], DeLong method”). كما يجب تفصيل نقطة القطع المثلى المختارة ومؤشر الاستمثال المعتمد وقيم الحساسية والنوعية المقابلة لتلك النقطة بدقة متناهية.

على المستوى الرسومي، يتعين إعداد وتصدير المخططات البيانية لمنحنيات ROC بدقة وضوح هندسية فائقة كرسومات موجهة (Vector Graphics)، مع الحرص الصارم على أن تكون محاور الرسم متطابقة المقاييس بنسبة 1:1، وتضمين خط الأساس العشوائي المائل (Diagonal y = x) كمرجع بصري واضح، مع إرفاق وسيلة إيضاح (Legend) دقيقة تحدد أسماء النماذج، وألوان المنحنيات، وقيم AUC المرافقة لكل منها لتمكين القارئ من المقارنة البصرية المباشرة والمستقلة دون عناء.

ختاماً، وتماشياً مع حركات العلم المفتوح (Open Science) وتعزيز قابلية إعادة الإنتاجية المنهجية، يُوصى بشدة بمشاركة الشيفرات البرمجية الكاملة المكتوبة بلغة R في الملاحق العلمية أو عبر منصات المستودعات المفتوحة، مع توثيق أرقام إصدارات الحزم المستخدمة (pROC, ROCR, tidymodels) وتحديد البذور العشوائية (Seeds) المعتمدة في التحليل. يضمن هذا التوثيق البرمجي الرصين إمكانية مراجعة وتكرار كافة الخطوات التحليلية بدقة بالغة من قبل المحكمين والمجتمع العلمي، مما يعزز الثقة الأكاديمية في النتائج والاستنتاجات المستخلصة.

خاتمة

يُمثل مقياس المساحة تحت منحنى خصائص تشغيل المستقبِل (AUC-ROC) الركيزة المنهجية الأكثر متانة وموثوقية في تقييم القدرة التمييزية لنماذج التصنيف الثنائي عبر مختلف التخصصات العلمية والتطبيقية. ومن خلال الإمكانات الإحصائية والحوسبية الهائلة التي توفرها لغة R عبر حزمها المتخصصة مثل pROC وROCR ومنظومة tidymodels، يستطيع الباحثون تجاوز محدودية مقاييس الأداء الساذجة مثل الدقة العامة، والانتقال نحو تحليلات استدلالية عميقة تشمل تقدير فترات الثقة، واختبار الفروق بين النماذج المتنافسة، وتحديد العتبات المثلى وفقاً للمتطلبات الإكلينيكية والميدانية.

إن التطبيق المنهجي السليم لحساب مقياس AUC لا يقتصر على كتابة بضعة أسطر برمجية لاستخراج رقم مجرد، بل يتطلب فهماً إحصائياً شاملاً للبنية التحتية لمصفوفة الارتباك، وضبطاً دقيقاً لخيارات التوجيه والمعايرة، وحذراً منهجياً من تسريب البيانات وفرط المطابقة. باتباع الإرشادات الأكاديمية وأفضل الممارسات الموضحة في هذا الدليل الشامل، يمتلك الباحث والمحلل الإحصائي الأدوات المعرفية والعملية الكاملة لبناء، تقييم، وتوثيق نماذج تنبؤية رصينة تتسم بأعلى درجات الصدق والموثوقية والقابلية لإعادة الإنتاج العلمي.

References

• DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: a nonparametric approach. Biometrics, 44(3), 837-845. https://doi.org/10.2307/2531595
• Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874. https://doi.org/10.1016/j.patrec.2005.10.010
• Hand, D. J., & Till, R. J. (2001). A simple generalisation of the area under the ROC curve for multiple class classification problems. Machine Learning, 45(2), 171-186. https://doi.org/10.1023/A:1010920819831
• Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied Logistic Regression (3rd ed.). John Wiley & Sons. https://doi.org/10.1002/9781118548387
• Kuhn, M., & Johnson, K. (2013). Applied Predictive Modeling. Springer New York. https://doi.org/10.1007/978-1-4614-6849-3
• Kuhn, M., & Wickham, H. (2020). Tidymodels: a collection of packages for modeling and machine learning using tidyverse principles. https://www.tidymodels.org
• Mann, H. B., & Whitney, D. R. (1947). On a test of whether one of two random variables is stochastically larger than the other. The Annals of Mathematical Statistics, 18(1), 50-60. https://doi.org/10.1214/aoms/1177730491
• Robin, X., Turck, N., Hainard, A., Tiberti, N., Lisacek, F., Sanchez, J. C., & Müller, M. (2011). pROC: an open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics, 12(1), 77. https://doi.org/10.1186/1471-2105-12-77
• Sing, T., Sander, O., Beerenwinkel, N., & Lengauer, T. (2005). ROCR: visualizing classifier performance in R. Bioinformatics, 21(20), 3940-3941. https://doi.org/10.1093/bioinformatics/bti623
• Youden, W. J. (1950). Index for rating diagnostic tests. Cancer, 3(1), 32-35. <a href="https://doi.org/10.1002/1097-0142(1950)3:13.0.CO;2-3″>https://doi.org/10.1002/1097-0142(1950)3:13.0.CO;2-3