تُعد المساحة تحت المنحنى (Area Under the Curve – AUC) إحدى الركائز المنهجية والإحصائية الأكثر رسوخاً في القياس النفسي المعاصر والتقييم الإكلينيكي؛ إذ تمثل مؤشراً شاملاً وغير متحيز لقدرة الأدوات والاختبارات النفسية على التمييز الدقيق بين الحالات المتباينة. في مجالات علم النفس الإكلينيكي، والطب النفسي، والعلوم العصبية الإدراكية، تُستخدم هذه الأداة لتقييم الكفاءة التشخيصية للاختبارات النفسية ومقاييس الشخصية، وتحديد مدى جدوى الدرجات الفاصلة في عزل الحالات المرضية عن غير المرضية عبر كامل نطاق الحساسية والنوعية.
المدخل النظري والتأصيل المفاهيمي للمساحة تحت المنحنى
تُعرّف المساحة تحت المنحنى، وتحديداً المساحة الواقعة تحت منحنى خصائص تشغيل المتلقي (Receiver Operating Characteristic – ROC)، بأنها مقياس كمي تجميعي يختزل الأداء التمييزي الإجمالي لنموذج تصنيفي أو مقياس نفسي في قيمة عددية وحيدة تتراوح في العادة بين 0.5 و1.0. من الناحية الإحصائية الصرفة، تُعبّر المساحة تحت المنحنى عن احتمالية أن يمنح المقياس النفسي فرداً تم اختياره عشوائياً من الفئة المستهدفة (كالأفراد المصابين باضطراب الاكتئاب الجسيم مثلاً) درجةً أعلى أو أكثر حدة من فرد آخر تم اختياره عشوائياً من الفئة المعيارية أو السليمة. هذا المفهوم يجعل من المؤشر مقياساً قائماً على الرتب، ومتحرراً من القيود المفروضة باختيار نقطة قطع تشخيصية واحدة محددة سلفاً.
في السياق السيكومتري الكلاسيكي، كان الباحثون يعتمدون على مقاييس الارتباط أو معاملات الصدق التمييزي التقليدية التي قد تتأثر بشدة باعتدالية التوزيع وتباين العينات. إلا أن المساحة تحت المنحنى تتفوق نوعياً بكونها لا تفترض خطية العلاقة ولا تتأثر بمعدل انتشار الظاهرة (Prevalence Rate) في المجتمع المدروس عند حساب الحساسية والنوعية. وبناءً على ذلك، توفر هذه القيمة وصفاً مجرداً وعميقاً لقوة المقياس النفسي، وتحدد بصورة قاطعة ما إذا كانت الفروق الملاحظة في الدرجات تعكس بالفعل فاصلاً تشخيصياً حقيقياً بين الفئات الإكلينيكية، أم أنها مجرد تباينات عشوائية أو تداخلات طيفية ناشئة عن خطأ القياس المتأصل في الأدوات النفسية.
علاوة على ذلك، لا ينحصر المفهوم في التحليلات الثنائية فقط؛ إذ توسع القياس النفسي الحديث ليوظف المنحنيات متعددة الفئات لتحليل التدرجات السريرية للأعراض، مثل التمييز بين القلق العام، ونوبات الهلع، والاكتئاب المصاحب. إن فهم المساحة تحت المنحنى كأداة احتمالية يتيح للمشخص النفسي تقييم كفاءة الاختبارات المسحية الشاملة بدقة بالغة، مما يقلل من احتمالات الوقوع في فخ الإيجابيات الكاذبة التي قد تقود إلى وصم الأفراد أو إخضاعهم لتدخلات علاجية غير ضرورية، أو السلبيات الكاذبة التي تحرم المريض من التدخل الوقائي العاجل.
الجذور التاريخية وتطور المفهوم من نظرية كشف الإشارة إلى القياس النفسي
تعود الجذور المعرفية للمساحة تحت المنحنى إلى خمسينيات القرن العشرين، وتحديداً خلال الحرب العالمية الثانية وفي أعقابها، حيث طُوّرت نظرية كشف الإشارة (Signal Detection Theory) لمساعدة مشغلي أجهزة الرادار على التمييز بين الإشارات الحقيقية العائدة لطائرات العدو والتشويش العشوائي الناجم عن العوامل الجوية أو الطيور. وسرعان ما أدرك علماء النفس التجريبي والسيكوفيزياء، مثل جون سويتس (John Swets) وزملاؤه، أن الإدراك البشري واتخاذ القرار في ظل عدم اليقين يخضعان للقوانين الحسابية والرياضية ذاتها؛ فالإنسان حين يستجيب لمنبه حسي ضعيف يواجه معضلة التمييز بين “الإشارة” و”الضوضاء”.
انتقلت هذه المنظومة المفاهيمية إلى علم النفس العيادي والقياس النفسي في سبعينيات وثمانينيات القرن المنصرم، بفضل جهود رواد القياس الذين سعوا لمعالجة أزمة التباين التشخيصي. كان التشخيص النفسي يعاني آنذاك من الاعتماد المفرط على الانطباعات الإكلينيكية الذاتية ونقاط القطع الاعتباطية في المقاييس الورقية. وفر منحنى ROC والمساحة الواقعة تحته إطاراً رياضياً موضوعياً يتيح فصل “حساسية الملاحظ” أو كفاءة الاختبار الذاتية عن “معيار القرار” (Decision Criterion) الخاص بالفاحص، مما أتاح للسيكومتريين فهم البنية الداخلية للاختبار بصرف النظر عن تشدد أو تساهل الفاحص النفسي.
مع تطور الدليل التشخيصي والإحصائي للاضطرابات النفسية (DSM) في طبعتيه الثالثة والرابعة، تعاظم الاهتمام بالتحقق التجريبي من قدرة الأدوات النفسية المترجمة والمطورة محلياً على فرز الاضطرابات المزاجية والذهانية. أصبحت المساحة تحت المنحنى معياراً ذهبياً في دراسات التحقق من الصدق التمييزي والمقارن؛ حيث يُقارن مقياس جديد بمقاييس عالمية راسخة، ليس فقط عبر معامل الارتباط، بل عبر اختبار ما إذا كان المقياس المقترح يحقق مساحة تحت المنحنى تتفوق إحصائياً على المقاييس السابقة في تصنيف الحالات السريرية المعقدة.
الأسس الرياضية والإحصائية لحساب المساحة تحت المنحنى
يستند الحساب الرياضي للمساحة تحت المنحنى إلى التمثيل البياني للعلاقة بين معدل الإيجابيات الحقيقية (True Positive Rate)، والمعروف سيكومترياً بـ الحساسية (Sensitivity)، على المحور الرأسي (Y)، ومعدل الإيجابيات الكاذبة (False Positive Rate)، الذي يساوي رياضياً (1 – النوعية أو Specificity)، على المحور الأفقي (X). يتم توليد نقاط هذا المنحنى بحساب الحساسية ومعدل الإيجابيات الكاذبة عند كل درجة قطع ممكنة للاختبار النفسي، بدءاً من أدنى درجة يحصل عليها المفحوصون وحتى أعلى درجة ممكنة.
من الناحية التكاملية، تُحسب المساحة رياضياً عبر تكامل الدالة الرياضية التي تمثل المنحنى بين النقطتين 0 و1 وفق المعادلة الآتية:
AUC = ∫₀¹ ROC(t) dt
حيث تمثل t معدل الإيجابيات الكاذبة المتغير باستمرار. وفي التطبيقات العملية للبيانات النفسية المنفصلة أو الترتيبية، يُستخدم في الغالب الأسلوب غير المعلمي المستند إلى قاعدة شبه المنحرف (Trapezoidal Rule)، أو المكافئ الرياضي الدقيق المعروف بإحصاء ويلكوكسون-مان-ويتني (Wilcoxon-Mann-Whitney U Statistic). يوضح هذا الارتباط الوثيق أن المساحة تحت المنحنى لا تتطلب اعتدالية التوزيع لدرجات الاختبار، بل تعتمد على الترتيب النسبي للدرجات بين الأفراد ذوي التشخيص الإيجابي والأفراد ذوي التشخيص السلبي.
تتم صياغة إحصاء مان-ويتني لحساب AUC من خلال المعادلة:
AUC = U / (n₁ × n₂)
حيث تمثل n₁ حجم العينة التي تعاني من الاضطراب النفسي، وn₂ حجم العينة الضابطة الخالية من الأعراض، وU هو إحصاء الرتب لمان-ويتني. يتيح هذا الربط الإحصائي للباحثين النفسيين حساب فترات الثقة (Confidence Intervals) بدقة حول قيمة AUC باستخدام أساليب مثل خوارزمية ديلونغ (DeLong’s method) أو أساليب إعادة التعيين المعممة (Bootstrap Resampling)، مما يمنح الاستنتاجات السيكومترية موثوقية عالية تتيح تعميم النتائج على المجتمع الإكلينيكي الأوسع.
منحنى خصائص تشغيل المتلقي (ROC) وتفاعله مع الحساسية والنوعية
لفهم المساحة تحت المنحنى فهماً عميقاً، ينبغي تفكيك المنظومة التفاعلية بين الحساسية والنوعية التي تُشكل معاً منحنى ROC. تُعرّف الحساسية السيكومترية بأنها قدرة الأداة النفسية على رصد المفحوصين المصابين بالاضطراب بالفعل، أي تجنب السلبيات الكاذبة. في المقابل، تُعرّف النوعية بأنها قدرة الأداة على استبعاد الأفراد الأسوياء أو غير المصابين بالاضطراب بدقة، أي تقليل الإيجابيات الكاذبة. تكمن المعضلة القياسية المزمنة في أن رفع الحساسية من خلال خفض درجة القطع يؤدي حتماً إلى تدهور النوعية، والعكس صحيح.
يقوم منحنى ROC برسم هذا التبادل المقايضاتي (Trade-off) عبر جميع درجات المقياس. ومن هنا، لا يكتفي الباحث بحساب AUC كمؤشر مجرد، بل يستعين به لتحديد الدرجة الفاصلة المثلى (Optimal Cutoff Score) التي تحقق التوازن الأنسب بين المتطلبات الإكلينيكية للتشخيص. يُستخدم في هذا السياق مؤشر يودن (Youden’s Index – J)، والذي يُحسب رياضياً كالتالي: (الحساسية + النوعية – 1). تمثل النقطة التي تحقق أعلى قيمة لـ J النقطة الواقعة على منحنى ROC والأبعد عمودياً عن خط الصدفة أو عدم التمييز.
إن الخط القطري الممتد من النقطة (0,0) إلى (1,1) يمثل نموذج التصنيف العشوائي، وتكون المساحة تحته مساوية بدقة لـ 0.5. كلما انحنى خط الأداء الفعلي للاختبار النفسي باتجاه الزاوية العلوية اليسرى (حيث الحساسية تساوي 1 ومعدل الإيجابيات الكاذبة يقترب من الصفر)، زادت المساحة تحت المنحنى واقتربت من القيمة القصوى 1.0. هذا الصعود الحاد للمنحنى يعكس مقياساً فائق القوة يتميز بحد أدنى من التداخل بين التوزيع التكراري لدرجات الأسوياء والتوزيع التكراري لدرجات المرضى.
التطبيقات الإكلينيكية والتشخيصية في علم النفس والطب النفسي
تتعدد وتتنوع التطبيقات الإكلينيكية للمساحة تحت المنحنى عبر شتى التخصصات الفرعية للعلوم النفسية، ومن أبرز هذه التطبيقات:
- الكشف عن اضطرابات المزاج والقلق: تُستخدم مقاييس مثل استخبار بيك للاكتئاب (BDI-II) واستبيان صحة المريض (PHQ-9) ومقياس قلق غاد (GAD-7) بصورة مكثفة في العيادات والمراكز الصحية. تعتمد الدراسات المقارنة لهذه المقاييس على AUC للتحقق من كفاءتها في فرز الحالات التي تتطلب تحويلاً عاجلاً إلى الرعاية النفسية المتخصصة.
- تقييم مخاطر العنف والانتحار: في علم النفس الشرعي وعلم النفس الإكلينيكي للتدخل في الأزمات، تُبنى أدوات تقييم الخطورة (مثل HCR-20 أو C-SSRS) للتنبؤ بسلوكيات شديدة الخطورة وقليلة التكرار النسبي. تتيح المساحة تحت المنحنى تقييم ما إذا كانت الأدوات قادرة على التنبؤ بالسلوك الانتحاري أو السلوك العدواني خلال مدى زمني محدد بدقة تتجاوز التخمين الصدفي.
- التشخيص العصبي النفسي واضطرابات التدهور المعرفي: عند استخدام اختبارات التقييم المعرفي الموجز، مثل فحص الحالة العقلية المصغر (MMSE) أو تقييم مونتريال المعرفي (MoCA)، يُعد مؤشر AUC المعيار الأساسي لتقييم قدرة هذه الأدوات على التمييز بين الشيخوخة الطبيعية، والقصور المعرفي المعتدل (MCI)، والخرف المبكر الناتج عن داء ألزهايمر.
- فرز اضطرابات طيف التوحد وفرط الحركة وتشتت الانتباه: في علم نفس النمو والطب النفسي للأطفال، تساعد المساحة تحت المنحنى على تحديد الأدوات السلوكية التي تعتمد على تقارير الوالدين والمعلمين وتتمتع بأعلى كفاءة في عزل مؤشرات النمو غير النمطي عن الفروق الفردية الطبيعية في السلوك الحركي والانتباهي.
تتجلى الأهمية الإكلينيكية لـ AUC في قدرتها على مساعدة صانعي القرار السريري في الموازنة بين تكلفة الخطأ التشخيصي. ففي سياقات تحري الانتحار مثلاً، يفضل الباحثون التضحية بالنوعية لرفع الحساسية إلى أقصاها، وتضمن المساحة الكلية العالية للمنحنى عدم انهيار المنظومة التشخيصية في مستويات الإيجابيات الكاذبة التي تستنزف الموارد العلاجية المتاحة.
المعايير المنهجية لتفسير قيم المساحة تحت المنحنى في البحوث النفسية
أرست الأدبيات الإحصائية والسيكومترية أسساً واضحة ومعايير إرشادية لتفسير قيم المساحة تحت المنحنى، مما يتيح للأخصائي النفسي والباحث ترجمة القيم العددية المجردة إلى أحكام كيفية حول جودة الاختبار التشخيصية. يمكن إجمال هذه المعايير التفسيرية الشائعة فيما يلي:
- AUC = 0.50: أداء معدوم يعادل رمي قطعة نقود؛ الاختبار النفسي عاجز تماماً عن التمييز بين الحالات المرضية والأسوياء، ولا يمتلك أي قيمة تشخيصية تذكر.
- 0.50 < AUC < 0.70: دقة تمييز ضعيفة أو غير مقبولة سيكومترياً (Poor Discrimination). لا ينبغي الاعتماد على الاختبار منفرداً في اتخاذ قرارات مصيرية في البيئات الإكلينيكية، مع إمكانية استخدامه فقط كأداة استكشافية أولية.
- 0.70 ≤ AUC < 0.80: دقة تمييز مقبولة أو مقنعة (Acceptable Discrimination). المقياس يُظهر قدرة مقبولة في تصنيف الحالات، ويُستخدم في العادة في الفحوصات والمسوح المجتمعية الشاملة.
- 0.80 ≤ AUC < 0.90: دقة تمييز ممتازة (Excellent Discrimination). يتمتع الاختبار بمصداقية سريرية عالية وقدرة رفيعة على فرز الاضطرابات، ويُعتبر أداة تشخيصية قوية في المستشفيات والعيادات التخصصية.
- AUC ≥ 0.90: دقة تمييز استثنائية (Outstanding Discrimination). نادراً ما تصل الأدوات النفسية المعتمدة على الاستبطان الذاتي إلى هذه العتبة نظراً للتعقيد الظاهراتي للأعراض النفسية، وتوجد هذه القيم غالباً في بطاريات الاختبارات النيوروسيكولوجية متعددة المحكات أو النماذج الخوارزمية التوليفية.
يجدر بالباحثين الحذر الشديد عند ظهور قيم AUC تقترب تماماً من 1.0 (كأن تكون 0.98 أو أعلى) في عينات الاستكشاف النفسي؛ إذ قد يعكس ذلك في كثير من الأحيان ظاهرة “التوافق المفرط” (Overfitting) أو تداخلاً لفظياً تاماً بين عبارات أداة القياس ومعايير المحك المستخدم لتصنيف المفحوصين، وهو ما يقتضي التحقق الخارجي المتقاطع (Cross-Validation) في عينات مستقلة.
المقارنة الإحصائية بين مقاييس نفسية متعددة باستخدام AUC
من أهم الاستخدامات المنهجية للمساحة تحت المنحنى هو المفاضلة بين أداتين قياسيتين أو أكثر تتنافسان في قياس السمة أو الاضطراب ذاته. فعندما يُفاضل الباحث بين نسختين من مقياس نفسي، كالنسخة المطولة والنسخة المختصرة من مقياس الأعراض الإيجابية والسلبية للفصام (PANSS)، فإن مجرد مقارنة المتوسطات أو معاملات الصدق لا يكفي للبت في الكفاءة التشخيصية النسبية للنسخة المختصرة.
تُجرى هذه المقارنة عبر اختبارات إحصائية مصممة لاختبار الفروق بين المنحنيات المرتبطة أو المستقلة، ومن أشهرها اختبار ديلونغ (DeLong Test) للمنحنيات المترابطة المستمدة من العينة ذاتها. يسمح هذا الاختبار بحساب قيمة الاحتمالية (p-value) للفرق بين المساحتين تحت المنحنى (ΔAUC). فإذا كان الفرق غير دال إحصائياً، يمكن للباحث الإكلينيكي أن يتبنى بأمان النسخة الأقصر زمناً والأقل جهداً على المريض، مستنداً إلى دليل رياضي يثبت عدم تراجع كفاءتها التمييزية العامة.
بالإضافة إلى ذلك، تُستخدم هذه التحليلات في القياس المتعدد الوسائط (Multimodal Assessment)، حيث يُدمج المقياس النفسي السلوكي مع مؤشرات فسيولوجية (مثل معدل ضربات القلب أو الاستجابة الجلدية) أو مؤشرات بيولوجية عصبية (مثل بيانات التصوير بالرنين المغناطيسي الوظيفي fMRI). يُظهر الباحث في هذه الحالة كيف يؤدي الجمع بين الأداة النفسية والواسمات البيولوجية إلى تحقيق زيادة معنوية في المساحة تحت المنحنى مقارنة باستخدام الأداة النفسية بمفردها، مما يبرهن على الصدق الإضافي (Incremental Validity) للمقاربة الشاملة.
التحديات المنهجية واستخدام المساحة تحت منحنى الدقة والاستدعاء (PR-AUC)
بالرغم من القوة المنهجية الواسعة للمساحة تحت منحنى ROC، إلا أنها تواجه تحدياً إحصائياً جوهرياً يتمثل في “حساسيتها لتفاوت نسب الفئات” (Class Imbalance). ففي الكثير من الدراسات الوبائية والنفسية، تكون الظاهرة محل الدراسة نادرة الوقوع؛ كظاهرة إيذاء النفس، أو الذهان الحاد في المجتمع العام، أو الانتحار المكتمل، حيث قد لا تتجاوز نسبة المصابين 1% أو أقل من إجمالي العينة المدروسة.
في حالات ندرة الحالات الإيجابية، يمكن للمساحة تحت منحنى ROC أن تعطي انطباعاً متفائلاً وزائفاً حول كفاءة الأداة. يعود هذا التحيز إلى أن معدل الإيجابيات الكاذبة (FPR) يُحسب بقسمة الإيجابيات الكاذبة على العدد الإجمالي الضخم للأفراد الأصحاء، مما يجعل قيمته متدنية للغاية حتى وإن كان عدد التنبؤات الخاطئة كبيراً بالمقارنة مع عدد الحالات المصابة الفعلية. في مثل هذه الظروف السريرية والوبائية المعقدة، يتجه علماء القياس النفسي والذكاء الاصطناعي السريري إلى بديل أكثر صرامة وملاءمة، وهو المساحة تحت منحنى الدقة والاستدعاء (Precision-Recall AUC – PR-AUC).
يركز منحنى الدقة والاستدعاء حصرياً على فئة الحالات الإيجابية الحقيقية دون النظر إلى السلبيات الحقيقية (الأصحاء). وتعبر “الدقة” (Precision) أو القيمة التنبؤية الإيجابية عن نسبة المصابين الحقيقيين من بين جميع المفحوصين الذين صنفهم الاختبار كمصابين، بينما يمثل “الاستدعاء” (Recall) الحساسية ذاتها. وبناءً على ذلك، تكشف PR-AUC عن الضعف الفعلي للمقاييس النفسية في المواقف ذات الحدوث النادر، مما يمنع الأطباء من الإفراط في الثقة بنتائج فحوصات مسحية قد تفرز أعداداً هائلة من الإيجابيات الكاذبة التي تفوق الحالات الحقيقية بعشرات المرات.
التكامل مع نظرية استجابة المفردة والذكاء الاصطناعي في القياس النفسي المعاصر
يشهد القياس النفسي المعاصر تحولاً جذرياً نحو التوفيق بين المؤشرات غير المعلمية مثل AUC والنماذج السيكومترية المتقدمة كنظرية استجابة المفردة (IRT). لا يُكتفى حالياً بحساب المساحة تحت المنحنى للاختبار الإجمالي ككل، بل تُحسب AUC على مستوى المفردات أو البنود الفردية لتقييم القدرة التمييزية الدقيقة لكل سؤال داخل المقياس، والتأكد من خلوه من التحيز الموقعي أو الأداء التفاضلي للبنود (DIF) عبر الفئات الثقافية والنوعية.
وفي إطار تطبيقات تعلم الآلة (Machine Learning) والطب النفسي الحسابي (Computational Psychiatry)، أصبحت المساحة تحت المنحنى المعيار الذهبي المعتمد لتدريب الخوارزميات التنبؤية وتوليفها. تدمج هذه النماذج استجابات المرضى على الاختبارات النفسية مع بيانات النمط الرقمي (Digital Phenotyping)، كالنشاط الحركي المسجل بالهواتف الذكية وتغيرات نبرات الصوت وأنماط تصفح الإنترنت، بهدف التنبؤ بالانتكاسات المرضية لمرضى الاضطراب ثنائي القطب أو الفصام قبل وقوعها بأسابيع.
تُظهر هذه التحليلات المتقدمة أن دمج قياسات سيكومترية دورية ذات قيم AUC مرتفعة ضمن منصات الصحة النفسية الرقمية يُمكّن المنظومة الصحية من الانتقال من النموذج العلاجي الاسترجاعي التقليدي (Reactive Care) إلى نموذج التدخل الوقائي الاستباقي (Proactive Intervention)، مستنداً إلى تدقيق إحصائي يحفظ التوازن بين فعالية الموارد وتجنب إجهاد المرضى بالإنذارات الكاذبة.
خاتمة
تُمثل المساحة تحت المنحنى (AUC) إحدى أهم وأدق الأدوات التحليلية التي جسرت الهوة التاريخية بين النمذجة الرياضية المجردة والتطبيقات الإكلينيكية المعقدة في علم النفس. إن قدرتها الفريدة على تقييم الكفاءة التمييزية بصورة موضوعية وشاملة عبر جميع نقاط القطع الممكنة تجعل منها معياراً حاسماً لتطوير الأدوات السيكومترية والتحقق من صدقها التمييزي والتصنيفي. ومع تزايد التوجه نحو التشخيص النفسي الرقمي والطب النفسي الدقيق، يظل الفهم العميق لخصائص هذا المؤشر، وحدوده المنهجية، وشروط تطبيقه الإحصائية، ضرورة لا غنى عنها لكل باحث وممارس إكلينيكي يسعى إلى بناء وتوظيف مقاييس نفسية تتسم بالرصانة والعدالة والجدوى العلاجية القصوى.
المراجع
- Green, D. M., & Swets, J. A. (1966). Signal detection theory and psychophysics. John Wiley & Sons.
- Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29–36. https://doi.org/10.1148/radiology.143.1.7063747
- Kraemer, H. C. (1992). Evaluating medical tests: Objective and quantitative guidelines. Sage Publications.
- McFall, R. M., & Treat, T. A. (1999). Quantifying the information value of clinical assessments with signal detection theory. Annual Review of Psychology, 50(1), 215–241. https://doi.org/10.1146/annurev.psych.50.1.215
- Rice, M. E., & Harris, G. T. (2005). Comparing effect sizes in follow-up studies: ROC Area, Cohen’s d, and r. Law and Human Behavior, 29(5), 615–620. https://doi.org/10.1007/s10979-005-6832-7
- Saito, T., & Rehmsmeier, M. (2015). The precision-recall plot is more informative than the ROC plot when evaluating imbalanced datasets. PLOS ONE, 10(3), e0118432. https://doi.org/10.1371/journal.pone.0118432
- Swets, J. A. (1988). Measuring the accuracy of diagnostic systems. Science, 240(4857), 1285–1293. https://doi.org/10.1126/science.3287615
- Youngstrom, E. A. (2014). A primer on receiver operating characteristic analysis and clinically useful metrics for clinical psychology. Clinical Psychology: Science and Practice, 21(1), 79–92. https://doi.org/10.1111/cpsp.12062