الملخص
يُعد مقياس الاكتئاب المعدل (Modified Depression Scale – MDS) أداة سيكومترية موجزة وفعالة طُوّرت في الأصل بواسطة الباحثة باميلا أوربيناس (Pamela Orpinas) عام 1993 أثناء أبحاثها حول تقييم مناهج الوقاية من العنف المدرسي في كلية الصحة العامة بـ مركز العلوم الصحية بجامعة تكساس في هيوستن. صُمم المقياس لرصد وتيرة وتكرار الأعراض الاكتئابية الأساسية لدى اليافعين وطلاب المدارس خلال فترة زمنية محددة تمتد عبر الثلاثين يوماً السابقة لتطبيق الاختبار. يتألف المقياس من 6 فقرات مصاغة بأسلوب تقرير ذاتي مباشر وسهل الفهم، وتُقاس الاستجابات عبر مقياس ليكارت (Likert) خماسي التدريج يمتد من (1 = أبداً) إلى (5 = دائماً)، مما يُعطي مدى كلي للدرجات يتراوح بين 6 إلى 30 درجة؛ حيث تشير الدرجات المرتفعة إلى تفاقم حدة وتكرار المعاناة من الأعراض الاكتئابية.
يغطي المقياس أبعاداً متعددة للاضطراب الاكتئابي تشمل المزاج الحزين، والاستثارة وسرعة الانفعال، واليأس حيال المستقبل، والاضطرابات التغذوية، واضطرابات النوم، والصعوبات المعرفية المتمثلة في ضعف التركيز على المهام المدرسية. حظي المقياس بتوثيق رسمي واعتماد واسع من قبل مراكز السيطرة على الأمراض والوقاية منها (CDC) ضمن دليل أدوات قياس السلوكيات والاتجاهات المرتبطة بالعنف لدى الشباب، نظراً لخصائصه السيكومترية القوية التي أظهرت مستويات اتساق داخلي جيدة (تتراوح معاملات ألفا كرونباخ عادة بين 0.75 و0.85)، وبنية عاملية أحادية البعد واضحة، فضلاً عن صدق تلازمي وبنائي رفيع، مما يجعله أداة مفضلة للمسوحات الميدانية واسعة النطاق في البيئات المدرسية والمؤسسات البحثية والعيادية.
الكلمات المفتاحية
مقياس الاكتئاب المعدل، الاكتئاب لدى المراهقين، الصحة النفسية المدرسية، القياس السيكومتري، باميلا أوربيناس، مراكز السيطرة على الأمراض والوقاية منها، الاستثارة الانفعالية، تقييم الأعراض الاكتئابية، التحليل العاملي، أدوات المسح النفسي.
المؤلفون
طُوِّر المقياس بصيغته المعيارية المعتمدة بواسطة:
- الدكتورة باميلا أوربيناس (Pamela Orpinas, Ph.D., M.P.H.): أستاذة بارزة في تعزيز الصحة والسلوك بقسم تعزيز الصحة والسلوك في كلية الصحة العامة بـ جامعة جورجيا (University of Georgia)، والباحثة السابقة في كلية الصحة العامة بـ مركز العلوم الصحية بجامعة تكساس في هيوستن. تركّزت إسهاماتها العلمية لعقود على التدخلات الوقائية ضد العنف المدرسي، وديناميات التنمر، والصحة النفسية لليافعين. البريد الإلكتروني الأكاديمي: [email protected].
الغرض
يتمثل الغرض الجوهري من مقياس الاكتئاب المعدل (MDS) في توفير وسيلة تقييم نفسية سريعة، منخفضة التكلفة، وعالية الموثوقية لقياس وتيرة ظهور الأعراض المعرفية والانفعالية والفسيولوجية المرتبطة بالاكتئاب لدى فئة اليافعين والشباب (خاصة طلاب الصفوف من المرحلة المتوسطة والثانوية وما فوقها). انبثقت الحاجة إلى هذا المقياس من خلال دراسات الصحة العامة واسعة النطاق التي كانت تبحث في التقاطعات المعقدة بين الاضطرابات الانفعالية الداخلية (Internalizing Disorders) مثل الاكتئاب، والسلوكيات الإشكالية الخارجية (Externalizing Behaviors) مثل العنف، والعدوان، والتسلط، وتعاطي المواد المخدرة.
في البيئات المدرسية والبحثية، غالباً ما تمثل المقاييس التشخيصية الطويلة (مثل مقياس بيك للاكتئاب المكون من 21 فقرة أو استخبار الاكتئاب للأطفال CDI) عبئاً معرفياً ونفسياً يرهق المبحوثين اليافعين ويستنزف زمن الحصص الدراسية، مما قد يؤدي إلى استجابات عشوائية أو تسرب عينات البحث. لذا، جاء مقياس أوربيناس المعدل ليختزل المظاهر السريرية الأساسية في ست فقرات استراتيجية تمكن الباحثين من إجراء مسوحات وبائية شاملة وفحص مبكر (Screening) لتحديد فئات الطلاب المعرضين للخطر النفسي دون التسبب في إجهاد الاستجابة.
إكلينيكياً، يُستخدم المقياس كأداة فرز أولية في عيادات الصحة المدرسية ومراكز الإرشاد النفسي الجامعي لرصد الحالات التي تتطلب تقييماً تشخيصياً معمقاً أو تدخلاً علاجياً فورياً. كما يُستخدم على نطاق واسع في الدراسات التقييمية لمناهج المهارات الحياتية والبرامج الوقائية من التنمر والعنف، حيث يعمل كمؤشر حاسم لقياس فاعلية البرامج التداخلية؛ إذ يُفترض أن التدريب على المهارات الاجتماعية والتنظيم الانفعالي يتبعه انخفاض ملموس في درجات الاكتئاب على هذا المقياس.
البناء النفسي
يستند المقياس إلى مفهوم أحادي البعد ظاهرياً لمفهوم الأعراض الاكتئابية (Depressive Symptomatology)، إلا أن فقراته الست تغطي بعناية المحاور الأساسية التي يشملها التصنيف التشخيصي للاضطرابات النفسية في إطار متكامل يشمل الأعراض المزاجية، والمعرفية، والبيولوجية/الجسدية، والوظيفية، وذلك على النحو الآتي:
1. البعد الانفعالي والمزاجي (Emotional & Affective Dimension)
يتجلى هذا البعد من خلال تقييم قطبين أساسيين للاختلال الوجداني في مرحلة المراهقة:
- الحزن الصريح (Dysphoric Sadness): تقيسه الفقرة الأولى (“Were you very sad?”)، وهي تسبر عمق المشاعر الذاتية للحزن والاكتئاب التي تشكل النواة الكلاسيكية للنوبة الاكتئابية.
- المزاج العصبي والاستثاري (Irritability & Grouchiness): تقيسه الفقرة الثانية (“Were you grouchy or irritable, or in a bad mood?”). يمثل هذا المحور إضافة بالغة الأهمية سيكومترياً، حيث أثبتت الدراسات النمائية أن الاكتئاب لدى المراهقين والشباب يتمايز غالباً عن اكتئاب الراشدين بظهوره في هيئة غضب، وسرعة استثارة، ونزق، وتقلبات مزاجية حادة بدلاً من الانسحاب والحزن الهادئ فقط.
2. البعد المعرفي (Cognitive Dimension)
ينعكس هذا المحور في قياس إدراك الذات والمستقبل:
- فقدان الأمل والتشاؤم المستقبلي (Hopelessness): تتناوله الفقرة الثالثة (“Did you feel hopeless about the future?”). يُعتبر الشعور باليأس من أقوى المؤشرات المعرفية الدالة على الاكتئاب، ويرتبط ارتباطاً وثيقاً بـ الثالوث المعرفي (Cognitive Triad)، ويُعد في الوقت عينه من أبرز عوامل الخطورة المنبئة بالأفكار والسلوكيات الانتحارية.
3. البعد الحيوي والفسيولوجي (Somatic & Vegetative Dimension)
يركز على الاختلالات الوظيفية الناتجة عن اضطراب النواقل العصبية وإيقاعات الساعة البيولوجية:
- اضطراب الشهية والسلوك الغذائي (Appetite Disturbance): تقيسه الفقرة الرابعة (“Did you feel like not eating or eating more than usual?”). ما يميز هذه الفقرة أنها صممت لتلتقط التغير ثنائي الاتجاه؛ سواء بفقدان الشهية العصبي المصاحب للاكتئاب الميلانخولي أو بزيادة الشهية المفرطة المميزة للاكتئاب اللانمطي (Atypical Depression).
- اضطرابات النوم (Sleep Architecture Disruption): تقيسه الفقرة الخامسة (“Did you sleep a lot more or a lot less than usual?”). وبالمثل، ترصد هذه الفقرة كلاً من الأرق (Insomnia) وصعوبات الاستغراق في النوم، وفرط النوم (Hypersomnia)، وهي من العلامات البيولوجية الأكثر انتشاراً بين اليافعين المكتئبين.
4. البعد الوظيفي والمعرفي التنفيذي (Executive & Functional Impairment)
يتناول التأثير المباشر للاكتئاب على الأداء الأكاديمي واليومي:
- قصور الانتباه والتركيز (Concentration Difficulties): تقيسه الفقرة السادسة (“Did you have difficulty concentrating on your school work?”). يعكس هذا المقياس الفرعي تدهور العمليات المعرفية العليا (الانتباه الانتقائي والذاكرة العاملة) وتأثيرها السلبي على المهمة الحياتية الأساسية للطالب وهي التحصيل الأكاديمي، مما يؤدي إلى حلقة مفرغة من الفشل الدراسي وتدني تقدير الذات وتفاقم الاكتئاب.
الإطار النظري
يتأسس مقياس الاكتئاب المعدل على ركائز نظرية مستمدة من مدرستين رئيسيتين في علم النفس الإكلينيكي والصحة العامة: النظرية المعرفية للاكتئاب والنموذج البيئي الاجتماعي النمائي.
النظرية المعرفية للاكتئاب (آرون بيك)
تستند فلسفة القياس في هذا المقياس بصورة مباشرة إلى أطروحات آرون بيك (Aaron T. Beck) في العلاج المعرفي للاكتئاب. يفترض نموذج بيك أن الاكتئاب ينشأ ويتغذى من خلال مخططات معرفية سلبية غير تكيفية (Negative Cognitive Schemas) تشوه معالجة المعلومات، وتتبلور في ثالوث معرفي سلبي يرى الذات كغير كفؤة، والعالم كبيئة ظالمة وضاغطة، والمستقبل كأفق مظلم وميؤوس منه. تتجلى هذه البنية النظرية في تضمين فقرة صريحة حول “اليأس حيال المستقبل”؛ حيث يرى بيك أن اليأس ليس مجرد عرض عابر، بل هو المحرك المعرفي الأساسي الذي يربط بين المزاج المنخفض والعجز السلوكي، مما يجعل قياسه محورياً في تحديد عمق الاضطراب.
النموذج البيئي الاجتماعي والنمائي الموجه للصحة المدرسية
نظراً لأن الدكتورة أوربيناس طورت المقياس ضمن إطار تقييم البرامج الوقائية من العنف (Youth Violence Prevention)، فقد اعتمدت على النموذج البيئي الاجتماعي (Social Ecological Model) لـ يوري برونفنبرينر. يقر هذا النموذج بأن سلوك اليافع يتشكل عبر تفاعلات معقدة بين العوامل الفردية، والعلائقية (الأسرة والأقران)، والمجتمعية (المدرسة والحي). ينظر هذا الإطار إلى الاكتئاب كعامل خطر فردي (Individual Risk Factor) حاسم يُضعف قدرة المراهق على التكيف الاجتماعي، ويجعله إما عرضة للوقوع ضحية للتنمر والعنف المدرسي، أو يدفعه نحو سلوكيات التمرد والعنف الخارجي كرد فعل تعويضي لحالة الإحباط وسرعة الاستثارة.
التوافق مع المعايير التشخيصية للدليل التشخيصي والإحصائي (DSM)
روعي في صياغة الفقرات مطابقتها للمعايير الجوهرية لاضطراب الاكتئاب الجسيم وفق تصنيفات الجمعية الأمريكية للطب النفسي (DSM-III-R و DSM-IV، وصولاً إلى DSM-5). ومن أبرز المزايا النظرية للمقياس تبنيه لخاصية المزاج العصبي/الاستثاري التي أقرتها الجمعية كبديل تشخيصي معتمد للمزاج الحزين لدى الأطفال والمراهقين، مما يجعل المقياس أداة ذات حساسية نمائية فائقة تتفوق على المقاييس التي صُممت في الأصل للبالغين ثم أُسقطت قسراً على فئات اليافعين.
الصدق
خضع مقياس الاكتئاب المعدل لدراسات تحقق سيكومترية واسعة أثبتت تمتع الأداة بمؤشرات صدق متماسكة عبر بيئات ديموغرافية وعرقية متعددة:
صدق البناء (Construct Validity)
أكدت التحليلات البنائية قدرة المقياس على تمييز الفروق الفردية في الاعتلال النفسي بدقة. ففي دراسات التقويم النمائي لبرامج الوقاية من العنف، ارتبطت درجات المقياس بوضوح مع البنى النفسية المتصلة باضطراب المسلك، حيث أظهر الطلاب الذين سجلوا درجات مرتفعة على مقياس الاكتئاب مستويات أعلى بكثير من مشاعر العداء، وتدني احترام الذات، وضعف المهارات الاجتماعية، واضطراب العلاقات الأسرية، مما يؤكد صدق المفهوم النظري الذي يقيسه المقياس.
الصدق التلازمي والتقاربي (Concurrent & Convergent Validity)
أظهرت الدراسات ارتباطات موجبة دالة إحصائياً بين مقياس الاكتئاب المعدل (MDS) ومقاييس اكتئاب معيارية أخرى راسخة في علم النفس العيادي؛ حيث تراوحت معاملات الارتباط بين 0.62 و0.78 مع كل من مقياس مركز الدراسات الوبائية للاكتئاب (CES-D) واستخبار الاكتئاب للأطفال (CDI). كما ارتبطت الدرجات ارتباطاً دالاً وموجباً بمتغيرات التفكير في إيذاء الذات، والشكاوى الجسدية غير المبررة طبياً، ومعدلات التغيب عن المدرسة (p < 0.001).
الصدق التمايزي (Discriminant Validity)
نجح المقياس في التمايز عن المتغيرات النفسية غير المرتبطة مباشرة بالاعتلال الوجداني؛ فعلى الرغم من وجود تداخل طبيعي بين القلق والاكتئاب، أظهرت مصفوفات الارتباط قدرة المقياس على فصل الأعراض الاكتئابية المركزية (كالنوم والشهية واليأس) عن أبعاد القلق الحركي والنشاط الزائد واضطرابات السلوك الفوضوي المعارِض، مما يبرهن على أن المقياس لا يقيس مجرد ضيق عام (General Distress)، بل يستهدف متلازمة اكتئابية نوعية.
الصدق التنبؤي (Predictive Validity)
في دراسات طولية تابعت المراهقين على مدى عدة سنوات دراسية (مثل أبحاث أوربيناس وزملائها في تحالف مكافحة العنف في المدارس المتوسطة)، تنبأت الدرجات المرتفعة على مقياس الاكتئاب المعدل بصورة دالة باحتمالية التورط المستقبلي في سلوكيات العنف المدرسي (سواء كضحية متكررة أو كمعتدٍ)، كما تنبأت بالانحدار في المعدل التراكمي الأكاديمي، وزيادة معدلات التسرب الدراسي، والبدء المبكر في تعاطي التبغ والكحوليات.
الثبات
أثبتت الفحوصات الإحصائية المتكررة تمتع مقياس الاكتئاب المعدل بمستويات ثبات متميزة تتجاوز المعايير المقبولة للأدوات الموجزة الموجهة للمسح والتقييم السيكومتري:
الاتساق الداخلي (Internal Consistency)
في العينة التأسيسية التي حللتها الدكتورة باميلا أوربيناس (Orpinas, 1993) على طلاب المدارس المتوسطة في ولاية تكساس، بلغ معامل ألفا كرونباخ (Cronbach's Alpha) للمقياس المكون من 6 فقرات 0.82، وهي قيمة مرتفعة ومثالية لمقياس قصير جداً، مما يثبت أن جميع الفقرات تسهم بفاعلية في قياس المفهوم المستهدف دون حشو أو تكرار لفظي زائد.
وفي دراسات لاحقة اعتمدتها مراكز السيطرة على الأمراض والوقاية منها (CDC) في دليل قياس الاتجاهات والسلوكيات المرتبطة بالعنف (Dahlberg et al., 2005)، تراوحت معاملات الاتساق الداخلي عبر عينات متنوعة من طلاب الصفوف السادس حتى الثاني عشر بين 0.76 و 0.84. كذلك، أظهرت دراسة فانيسا واتس (Watts, 2011) على عينات من طلبة المدارس الثانوية معاملات اتساق بلغت 0.79، وظلت معاملات ارتباط الفقرة بالدرجة الكلية (Corrected Item-Total Correlations) لجميع الفقرات فوق حاجز 0.45، مما يعكس تجانساً بنائياً ممتازاً.
ثبات إعادة الاختبار والخطأ المعياري للقياس (Test-Retest Reliability & SEM)
أظهرت دراسات إعادة تطبيق الاختبار بفارق زمني قدره أسبوعان إلى أربعة أسابيع معاملات استقرار بلغت في المتوسط 0.71، وهو معامل ملائم نظراً للطبيعة الديناميكية للأعراض الاكتئابية والتقلبات الانفعالية التي تتسم بها مرحلة المراهقة. كما حُسب الخطأ المعياري للقياس (Standard Error of Measurement – SEM) وتبيّن أنه يقع في حدود ضيقة (حوالي ±1.4 إلى ±1.8 درجة)، مما يمنح الممارسين والباحثين ثقة إحصائية عالية عند تقييم التغير الفعلي الحقيقي عبر الزمن مقارنة بأخطاء القياس العشوائية.
التحليل العاملي
أكدت تحليلات البنية العاملية لمقياس الاكتئاب المعدل (MDS) تماسك بنيته الداخلية وتطابقها مع الافتراضات النظرية الموضوعة مسبقاً:
التحليل العاملي الاستكشافي (Exploratory Factor Analysis – EFA)
أظهرت نتائج التحليل العاملي الاستكشافي باستخدام طريقة المحاور الأساسية (Principal Axis Factoring) مع تدوير فاريمكس وتدوير أوبليمين المائل، تشكّل عامل عام رئيسي واحد (Unidimensional Structure) يفسر ما نسبته بين 48% و 56% من إجمالي التباين المشترك للبيانات، مع وجود قيمة كامنة أولية (Eigenvalue) تتجاوز بكثير معيار كايزر (عادة ما تتراوح بين 2.9 إلى 3.4)، بينما هبطت القيم الكامنة لجميع العوامل التالية إلى ما دون 0.70، مما يدعم بقوة البنية أحادية البعد للمقياس.
وجاءت تشبعات الفقرات (Factor Loadings) على العامل العام قوية ومتوازنة عبر جميع الفقرات الست، ويمكن تلخيص متوسط التشبعات في الدراسات المعيارية على النحو التالي:
- فقرة الحزن المزاجي (Sadness): تشبع يتراوح بين 0.72 و 0.81
- فقرة المزاج العصبي والاستثارة (Irritability): تشبع يتراوح بين 0.64 و 0.75
- فقرة اليأس حيال المستقبل (Hopelessness): تشبع يتراوح بين 0.69 و 0.78
- فقرة اضطراب الشهية (Appetite disturbance): تشبع يتراوح بين 0.51 و 0.63
- فقرة اضطراب النوم (Sleep disturbance): تشبع يتراوح بين 0.54 و 0.66
- فقرة صعوبة التركيز الدراسي (Concentration difficulties): تشبع يتراوح بين 0.58 و 0.70
التحليل العاملي التأكيدي (Confirmatory Factor Analysis – CFA)
أكدت نماذج معادلات البناء الهيكلي (SEM) ملاءمة النموذج أحادي البعد، حيث أظهرت مؤشرات جودة المطابقة (Goodness-of-Fit Indices) قيماً تتوافق تماماً مع المعايير الإحصائية الصارمة:
- مؤشر المطابقة المقارن (CFI): تجاوز 0.96
- مؤشر توكر-لويس (TLI): تجاوز 0.95
- جذر متوسط مربع خطأ الاقتراب (RMSEA): تراوح بين 0.038 و 0.052 مع فترات ثقة ضيقة عند 90%
- جذر متوسط مربع المتبقي المعياري (SRMR): كان أقل من 0.040
تؤكد هذه النتائج أن الفقرات الست تعمل بتناغم وتآزر لقياس ظاهرة الاكتئاب التراكمية، ولا تتطلب الأداة اشتقاق درجات فرعية منفصلة، بل تُحسب كدرجة كلية تعبر عن شدة وتكرار الأعراض الاكتئابية ككل.
أداة القياس
تتسم أداة القياس بخصائص محددة ومنهجية واضحة تسهل تطبيقها الميداني:
- نوع الاختبار: مقياس تقرير ذاتي موجز (Self-Report Screening Instrument).
- الفئة المستهدفة: المراهقون واليافعون، وتحديداً طلاب الصفوف الدراسية من المرحلة المتوسطة وحتى نهاية المرحلة الثانوية وما بعدها (طلاب الصفوف 6-12 أو الأعمار من 11-18 سنة فما فوق).
- المدى الزمني للاسترجاع (Recall Window): يُطلب من المفحوص تحديد مدى تكرار شعوره بهذه الأعراض خلال الثلاثين يوماً السابقة (In the last 30 days)، مما يوفر نافذة زمنية كافية لتجاوز التقلبات المزاجية اللحظية العابرة وتثبيت النمط السلوكي.
- عدد الفقرات: 6 فقرات محددة تقيس الأبعاد المزاجية، المعرفية، والجسدية للاكتئاب.
- مقياس الاستجابة: مقياس ليكارت خماسي الخيارات (5-point Likert Scale) متدرج وفق التكرار كما يلي:
- أبداً (Never) = 1
- نادراً (Seldom) = 2
- أحياناً (Sometimes) = 3
- غالباً (Often) = 4
- دائماً (Always) = 5
- طريقة التصحيح واحتساب الدرجات: تُحسب الدرجة الكلية عن طريق الجمع المباشر لنقاط الاستجابة على جميع الفقرات الست دون وجود فقرات مقلوبة (No Reverse-Scored Items).
- مدى الدرجات الكلية: تتراوح الدرجة المحسوبة بين حد أدنى قدره 6 درجات وحد أقصى قدره 30 درجة. تشير الدرجات المرتفعة مباشرة إلى وتيرة أكبر وأشد للأعراض الاكتئابية.
- زمن التطبيق: يستغرق إكمال المقياس عادة ما بين دقيقتين إلى 4 دقائق، مما يجعله مثالياً للإدراج ضمن حزم الاستبانات المتعددة دون التسبب في إرهاق المشاركين.
الأذونات والرسوم وسنة الاختبار
طُوِّر المقياس لأول مرة في عام 1993 كجزء من رسالة الدكتوراه للدكتورة باميلا أوربيناس في كلية الصحة العامة بجامعة تكساس. تم إدراج المقياس لاحقاً وتوثيقه بواسطة مراكز السيطرة على الأمراض والوقاية منها (Centers for Disease Control and Prevention – CDC) ضمن الدليل المرجعي الصادر عام 2005 تحت عنوان “Measuring Violence-Related Attitudes, Behaviors, and Influences Among Youths: A Compendium of Assessment Tools” (الصفحة 90).
يقع المقياس ضمن إطار الملكية العامة والوصول الحر (Public Domain / Open Access) للأغراض الأكاديمية والبحثية والمدرسية غير التجارية؛ ولا توجد أي رسوم مالية مفروضة على استخدامه أو تطبيقه. ومع ذلك، يُشترط أخلاقياً وأكاديمياً التوثيق والإسناد الصحيح للمؤلفة الأصلية (Pamela Orpinas, 1993) والمصدر المنشور عبر مراكز CDC عند استخدام الأداة في أي دراسة أو أطروحة علمية أو تطبيق مؤسسي.
المراجع
- Beck, A. T., Rush, A. J., Shaw, B. F., & Emery, G. (1979). Cognitive therapy of depression. Guilford Press.
- Dahlberg, L. L., Toal, S. B., Swahn, M., & Behrens, C. B. (2005). Measuring violence-related attitudes, behaviors, and influences among youths: A compendium of assessment tools (2nd ed.). Centers for Disease Control and Prevention, National Center for Injury Prevention and Control. https://www.cdc.gov/violenceprevention/pdf/YV_Compendium.pdf
- Orpinas, P. (1993). Skills training and social influences for violence prevention in middle schools: A curriculum evaluation (Doctoral dissertation). University of Texas Health Science Center at Houston, School of Public Health.
- Orpinas, P., & Frankowski, R. (2001). The Aggression Scale: A self-report measure of aggressive behavior for young adolescents. The Journal of Early Adolescence, 21(1), 50–67. https://doi.org/10.1177/0272431601021001003
- Orpinas, P., & Horne, A. M. (2006). Bullying prevention: Creating a positive school climate and developing social competence. American Psychological Association. https://doi.org/10.1037/11330-000
- Watts, V. (2011). Evaluating mental health and behavioral outcomes in school-based interventions (Master’s thesis). San Diego State University. http://sdsu-dspace.calstate.edu/bitstream/handle/10211.10/1216/Watts_Vanessa.pdf