المقارنة المشوشة: مأزق الصدق في البحث العلمي

تُعد المقارنة الدقيقة بين المجموعات أو الظروف التجريبية حجر الزاوية الذي يقوم عليه الاستدلال السببي الرصين في العلوم السلوكية والنفسية. ومع ذلك، يواجه الباحثون في كثير من الأحيان معضلة منهجية كبرى تُعرف باسم المقارنة المشوشة (Confounded Comparison)، وهي الحالة التي يتعذر فيها عزل تأثير المتغير المستقل عن تأثير متغير دخيل واحد أو أكثر. يترتب على هذا التشويش عجز منهجي يحول دون الجزم بما إذا كانت الفروق المرصودة في المتغير التابع تعود إلى المعالجة التجريبية ذاتها أم إلى عوامل طارئة تزامنت معها، مما يقوض صلب العملية العلمية وموثوقيتها.

مقدمة وتعريف المقارنة المشوشة في منهجية البحث النفسي

في سياق التصميم التجريبي، تُعرّف المقارنة المشوشة بأنها مقارنة غير نقية بين شرطين أو مجموعتين على الأقل، حيث يتباين فيها أكثر من عامل واحد بشكل منهجي في الوقت ذاته. عندما يحدث هذا التداخل، يفقد الباحث القدرة على عزل التأثير السببي للمتغير المستقل المنشود، لأن التباين الملاحظ في المتغير التابع قد يكون ناجماً كلياً أو جزئياً عن ذلك المتغير المربك غير المنضبط. تتلاشى في ظل هذه المقارنة القوة الاستدلالية للتجربة، وتتحول النتائج من براهين علمية صلبة إلى مجرد ارتباطات غامضة تفتقر إلى التفسير الأحادي الحاسم.

يمثل هذا المفهوم جوهر التحديات في علم النفس التجريبي، حيث تسعى التجارب دوماً إلى إثبات علاقات علية وظيفية دقيقة بين المثيرات والاستجابات، أو بين البرامج العلاجية والتحولات السلوكية. إذا اختبر باحث -على سبيل المثال- فاعلية أسلوب علاجي جديد للاكتئاب عبر مقارنة مجموعة تتلقى العلاج الجديد صباحاً في بيئة مريحة بمجموعة ضابطة تتلقى العلاج التقليدي مساءً في بيئة سريرية كئيبة، فإن المقارنة هنا تصبح مقارنة مشوشة بامتياز. لا يمكن للباحث معرفة ما إذا كان التحسن ناتجاً عن التقنية العلاجية ذاتها، أم عن توقيت الجلسة، أم عن الفروق المكانية والبيئية.

تتجاوز خطورة المقارنة المشوشة مجرد ارتباك التفسير؛ إذ إنها تضرب جوهر النظرية النفسية المبنية على هذه النتائج. فالاستنتاجات المستخلصة من مقارنات مشوشة تؤدي إلى تكريس نماذج نظرية مضللة، قد تستمر لسنوات في توجيه التدخلات الإكلينيكية والممارسات التربوية بصورة غير صحيحة. لذلك، يعد استيعاب آليات التشويش ورصدها الخطوة الأولى نحو تحصين المعرفة السلوكية من الزلل المنهجي وتأسيس بينات قائمة على معايير صارمة من الدقة.

الجذور النظرية وسياق الصدق التجريبي

يرتبط مفهوم المقارنة المشوشة ارتباطاً وثيقاً بأدبيات الصدق الداخلي (Internal Validity)، وهو المفهوم الذي صاغه وطوره بشكل كلاسيكي كل من دونالد كامبل وجوليان ستانلي في ستينيات القرن العشرين. وفقاً لطرحهما التاريخي، يمثل الصدق الداخلي المدى الذي يمكننا عنده التأكد من أن التغيرات في المتغير المستقل هي وحدها المسؤولة بصورة قاطعة عن التغيرات في المتغير التابع داخل إطار التجربة. وتُعد المقارنة المشوشة العدو الأول والأخطر للصدق الداخلي؛ لأنها تعني وجود تفسيرات بديلة معقولة للنتائج لم يتم استبعادها عبر التصميم المنهجي.

في الأدبيات الإبستمولوجية والمنهجية لجون ستيوارت ميل، وتحديداً في قاعدته الشهيرة المعروفة بـ “طريقة الاتفاق والاختلاف”، يتطلب التدليل على السببية أن تتطابق الظروف في كل شيء وتختلف في عامل وحيد فقط. وإذا وُجد اختلافان أو أكثر بالتزامن، تسقط القاعدة المنطقية وتفقد المقارنة براءتها الاستدلالية. ومن هنا، انبثقت تحذيرات رواد المنهجية السلوكية من الوقوع في فخ المتغيرات الدخيلة المربكة (Confounding Variables)، والتي تجعل المقارنات بين المجموعات التجريبية والضابطة غير عادلة ولا تعكس الواقع الفعلي للظاهرة المدروسة.

وقد أفضى تطور مناهج القياس النفسي إلى إدراك أن الصدق التجريبي ليس بناءً مستقلاً بذاته، بل هو شبكة متداخلة من القرارات التصميمية. فكل قرار يتخذه الباحث بشأن اختيار العينة، وتوزيع الأفراد، وتوقيت الإجراءات، وطبيعة المهام الموكلة للمفحوصين، يحمل في طياته إمكانية إدخال تشويش نسقي. ونتيجة لذلك، أصبحت دراسة التهديدات الموجهة للصدق الداخلي، وعلى رأسها المقارنات المشوشة، مقرراً إجبارياً وركيزة في تكوين الباحث الأكاديمي الرصين لضمان سلامة الاستنتاج العلمي من الثغرات المنهجية الخفية.

الآليات الكامنة وراء حدوث المقارنة المشوشة

تنشأ المقارنات المشوشة عادة عبر آليات متعددة تتسلل إلى التجربة إما في مرحلة التخطيط أو أثناء التنفيذ الميداني أو عند التحليل. الآلية الأولى والأكثر شيوعاً هي الانحياز في الانتقاء (Selection Bias)، وتحدث عندما لا تكون المجموعات المقارنة متكافئة منذ البداية في الخصائص الفردية الأساسية كالعمر، والذكاء، والحالة الاجتماعية، ومستوى الدافعية، أو السمات الشخصية. فإذا تفوقت مجموعة على أخرى في اختبار تالٍ، يظل من المستحيل فك الارتباط بين أثر المعالجة التجريبية والفروق القبلية الأصلية المتأصلة في أفراد العينة.

الآلية الثانية تتعلق بـ التأثيرات البيئية والإجرائية المتباينة. تتمثل هذه الآلية في تعرض المجموعات لشروط فيزيقية أو زمانية غير متطابقة أثناء الاختبار، مثل اختلاف هوية الفاحص، أو درجة حرارة الغرفة، أو مستوى الضوضاء، أو جودة الأجهزة المستخدمة. فعلى سبيل المثال، إذا أجرى باحث تجربة قياس زمن الرجع لمجموعة في قاعة هادئة ومجموعة أخرى في قاعة مجاورة لشارع مزدحم، فإن المقارنة تغدو مشوشة بعامل التشتت البيئي، مما يُفقد التجربة دقتها وتماسكها المنهجي.

الآلية الثالثة تنبع من تأثيرات الترتيب والحمل الزائد (Order and Carryover Effects) في التصاميم التي تقارن بين شروط متعددة لدى الأفراد أنفسهم (Within-Subjects Designs). إذا طُلب من المشاركين أداء المهمة التجريبية الأولى دائماً قبل المهمة التجريبية الثانية، فإن أي تفوق أو هبوط في الأداء قد يُعزى إلى الإرهاق أو إلى تأثير الممارسة والتعلم بدلاً من الاختلاف الجوهري بين المهمتين. إن عدم تدوير الترتيب بطريقة متوازنة يُدخل تشويشاً خطيراً يُفسد المقارنة بين الشروط التجريبية المتتابعة.

الآلية الرابعة ترتبط بـ توقعات الباحث والمفحوص (Experimenter and Participant Expectancies). تشمل هذه الآلية خصائص الطلب (Demand Characteristics) وتأثير هوثورن وتأثير الدواء الوهمي (Placebo Effect). إذا كانت إحدى المجموعات واعية بأهداف التجربة أو حظيت باهتمام وتشجيع أكبر من القائمين على البحث مقارنة بالمجموعة الأخرى، فإن النتيجة النهائية تعكس تفاعل التوقعات النفسية لا المتغير المستقل المقصود، مما يخلق مقارنة زائفة ومشوشة بنيوياً.

أنواع المقارنات المشوشة في الدراسات السلوكية

تتعدد أشكال المقارنات المشوشة وتتخذ صوراً متباينة في الأبحاث النفسية تبعاً لطبيعة المتغيرات المدروسة، ويمكن تصنيفها إلى أنماط رئيسية:

• التشويش بين المتغير المستقل وسمات الأفراد: يحدث حين يقترن المتغير التجريبي بفروق ديموغرافية أو نفسية ثابتة لدى الأفراد، كأن يُقارن بين فعالية تطبيق تعليمي إلكتروني على طلاب مدارس خاصة وتطبيق تقليدي على طلاب مدارس عامة، مما يخلط أثر التكنولوجيا بأثر المستوى الاجتماعي والاقتصادي للأسرة.
• التشويش الإجرائي والأدواتي: ينشأ عندما تُستخدم أدوات قياس مختلفة أو معايير تقييم متفاوتة الصعوبة لتقييم المجموعات، أو عندما يُعيد المشرفون معايرة الأدوات خلال التجربة بما يمنح إحدى المجموعات ميزة ظاهرية غير حقيقية.
• التشويش الزمني وتأثير النضج: يتجلى في الدراسات التتبعية التي تفتقر إلى مجموعة ضابطة متطابقة، حيث يُعزى التحسن النفسي أو المعرفي إلى التدخل العلاجي، بينما يكون في حقيقته نتاجاً للنضج الطبيعي للطفل أو المرور التلقائي للوقت ومسار الشفاء الذاتي من النوبات النفسية.
• التشويش الناتج عن التسرب الانتقائي (Attrition Bias): يحدث عندما ينسحب أفراد معينون (مثل ذوي الأعراض الأكثر حدة أو الأقل حافزاً) من إحدى المجموعات بمعدل أعلى من المجموعة الأخرى، مما يترك وراءه مجموعة تبدو متفوقة ظاهرياً نتيجة انحياز البقاء وليس التدخل العلاجي.
• التشويش بين المادة والمهمة: ويبرز في أبحاث الذاكرة والإدراك، كأن يُقارن بين تذكر كلمات ذات دلالة عاطفية وكلمات محايدة، ولكن تكون الكلمات العاطفية أقصر في عدد الحروف أو أكثر تكراراً في اللغة اليومية، مما يخلط الأثر الانفعالي بالخصائص اللغوية الصرفة.

توضح هذه الأنماط المتعددة أن التشويش لا يقتصر على خطأ فادح وظاهر، بل يمتد إلى تفاصيل دقيقة ومعقدة قد تبدو للوهلة الأولى غير ذات بال. ويتطلب التمييز بين هذه الأنماط وعياً إبستمولوجياً متقدماً بحساسية الظواهر السلوكية وتفاعلها الدائم مع السياقات المحيطة.

تداعيات المقارنة المشوشة على الصدق الداخلي والخارجي

إن النتيجة المباشرة للمقارنة المشوشة هي تدمير الصدق الداخلي للبحث؛ إذ تجعل من المستحيل الإجابة عن السؤال الجوهري: “هل تسببت المعالجة (أ) بالفعل في النتيجة (ب)؟”. وحين يُصاب الصدق الداخلي بالشلل، تصبح الفرضيات البديلة ذات وزن مساوٍ للفرضية الأصلية أو ربما تفوقها رجاحاناً. يقود هذا الخلل إلى زيادة معدلات الخطأ من النوع الأول (Type I Error)، أي رفض الفرضية الصفرية وقبول وجود تأثير وهو في الواقع مجرد وهم ناشئ عن المتغير المشوش، مما يضخ استنتاجات خاطئة في المتن العلمي.

علاوة على ذلك، تمتد الآثار السلبية لتطال الصدق الخارجي (External Validity)، وهو مدى إمكانية تعميم النتائج على مجتمعات وسياقات أخرى خارج إطار التجربة. إذا كانت النتائج مستندة إلى مقارنة مشوشة تتضمن عاملاً دخيلاً فريداً ارتبط ببيئة التجربة حصراً، فإن أي محاولة لتطبيق هذا التدخل في بيئة واقعية ستفشل فشلاً ذريعاً لغياب ذلك العامل الخفي الذي كان مسؤولاً حقيقة عن التأثير المرصود دون علم الباحث.

يرتبط هذا المأزق ارتباطاً وثيقاً بما بات يُعرف في العقدين الأخيرين بـ أزمة التكرار (Replication Crisis) في العلوم النفسية. فعندما يحاول باحثون مستقلون إعادة إنتاج تجارب سابقة منشورة في مجلات مرموقة وتفشل محاولاتهم، يكون السبب الكامن في كثير من الحالات وجود مقارنة مشوشة في الدراسة الأصلية لم يتم الإفصاح عنها أو الالتفات إليها. هذا الفشل في التكرار لا يقوض سمعة الباحثين فحسب، بل يزعزع ثقة المجتمع العام في مصداقية المعرفة السلوكية والتدخلات النفسية المبنية على الأدلة.

أمثلة تطبيقية وحالات تاريخية من علم النفس

يحتفل تاريخ علم النفس بالعديد من التجارب الكلاسيكية التي أثارت سجالات واسعة بسبب اشتمالها على مقارنات مشوشة جرى تفكيكها لاحقاً. أحد أبرز هذه النماذج هو دراسات مصانع هوثورن (Hawthorne Studies) الشهيرة، التي سعت أصلاً إلى دراسة أثر تحسين الإضاءة على إنتاجية العمال. قارنت الدراسات بين مجموعات تعمل تحت إضاءة متزايدة وأخرى تحت إضاءة ثابتة، ولاحظ الباحثون ارتفاعاً مستمراً في الإنتاجية في الحالتين. وبعد فحص متأنٍ، تبين أن المقارنة كانت مشوشة بعامل الانتباه والاهتمام الذي أولاه المشرفون للعمال؛ فكان الدافع النفسي الناجم عن الشعور بالمراقبة هو المحرك الفعلي للأداء وليس التغيرات في شدة الإضاءة.

مثال آخر بارز نجده في الأبحاث المبكرة حول المعالجة التفاعلية للتلف الدماغي ومرونة الجهاز العصبي. كانت الدراسات الأولى تقارن بين حيوانات تجارب موضوعة في “بيئات ثرية” (تحتوي على ألعاب وعجلات جري وأقران) وحيوانات في أقفاص معزولة ومحرومة. عندما أظهرت المجموعة الأولى زيادة في سمك القشرة الدماغية وتشعب التغصنات العصبية، نُسب ذلك إلى الإثراء الحسي والمعرفي. بيد أن باحثين لاحقين أشاروا إلى أن المقارنة كانت مشوشة بالنشاط البدني المكثف الذي مارسته حيوانات البيئة الثرية؛ إذ لم يتضح هل كان التغير العصبي ناتجاً عن التعلم المعقد أم عن مجرد الجري والتمارين الهوائية التي تحفز إفراز عوامل التغذية العصبية.

وفي مجال علم النفس التربوي، تظهر المقارنات المشوشة بوضوح في تقييم فعالية المناهج الدراسية الجديدة. عندما يُقارن أداء فصل دراسي يُدرَّس بمنهج ابتكاري يقوده معلم متحمس ومبدع بأداء فصل آخر يُدرَّس بالطريقة التقليدية بواسطة معلم محبط وتقليدي، فإن المقارنة بين المنهجين تكون مشوشة بالكامل بشخصية المعلم وكفاءته التدريسية وشغفه. لا يمكن في هذه الحالة الجزم بأفضلية المنهج الجديد في ذاته، ما لم يتم تحييد عامل شخصية المدرس عبر توزيع المدرسين عشوائياً وتدريبهم بصورة مكافئة.

الاستراتيجيات المنهجية لتفادي المقارنات المشوشة وضبطها

لمواجهة هذا الخطر المنهجي، طوّر علماء النفس ورواد التصميم التجريبي ترسانة من الإجراءات الوقائية التي تهدف إلى القضاء على التشويش في مهده، ونستعرض أهمها فيما يلي:

• التوزيع العشوائي (Random Assignment): يُعد التوزيع العشوائي للمشاركين على الظروف التجريبية والضابطة المعيار الذهبي لإلغاء المقارنات المشوشة الناتجة عن الفروق الفردية. بفضل نظرية الاحتمالات، يضمن التوزيع العشوائي تكافؤ المجموعات في جميع السمات المقاسة وغير المقاسة قبل بدء التجربة، مما يجعل أي فارق لاحق يُعزى حتماً إلى المعالجة التجريبية.
• المطابقة (Matching): يلجأ الباحثون إلى هذه التقنية عندما يكون حجم العينة صغيراً، وتتضمن قياس المتغير المشوش المحتمل (مثل مستوى الذكاء) مسبقاً، ثم تكوين أزواج متطابقة في هذه السمة وتوزيع كل فرد من الزوج عشوائياً على إحدى المجموعتين لضمان التكافؤ التام.
• الموازنة والموازنة المقابلة (Counterbalancing): تُستخدم في تصاميم القياسات المتكررة لعلاج مشكلات الترتيب والممارسة. يتم فيها توزيع ترتيب تقديم الشروط التجريبية للمشاركين بطريقة منتظمة (مثل المربع اللاتيني)، بحيث يتلقى نصف المشاركين الشرط (أ) ثم (ب)، بينما يتلقى النصف الآخر (ب) ثم (أ)، مما يحيّد أثر التسلسل الزمني.
• إجراءات التعمية المزدوجة (Double-Blind Procedures): يتم حجب معرفة طبيعة العلاج أو الفرضيات عن كل من المشاركين والباحثين الميدانيين القائمين على جمع البيانات، لمنع تسرب التوقعات والانحيازات السلوكية التي تشوش المقارنة بين العلاج الفعلي والعلاج الوهمي.
• التثبيت والتوحيد القياسي (Standardization and Constancy): ضبط جميع المتغيرات الموقفية والفيزيقية عبر توحيد بيئة المختبر، واستخدام تعليمات مسجلة مسبقاً، وتثبيت توقيت الجلسات، واستخدام نفس الأجهزة بدقة متناهية لجميع المجموعات دون استثناء.

تتطلب هذه الإجراءات الوقائية جهداً كبيراً في مرحلة التخطيط المسبق، إلا أنها توفر حصانة منهجية لا غنى عنها لضمان نقاء المقارنة وقابليتها للدفاع المنطقي والإحصائي أمام النقد الأكاديمي.

المعالجة الإحصائية للمتغيرات المشوشة المتبقية

على الرغم من براعة التصميم التجريبي، قد يتعذر أحياناً -خاصة في التصاميم شبه التجريبية أو الدراسات الميدانية غير المختبرية- ضبط جميع المتغيرات المحتملة عبر العزل المادي والتوزيع العشوائي. في هذه الحالات، يتوجب على الباحث اللجوء إلى الترسانة الإحصائية المتقدمة للتحكم في التشويش بعد جمع البيانات.

تأتي في مقدمة هذه الأساليب تقنية تحليل التغاير (Analysis of Covariance – ANCOVA). تتيح هذه الأداة الإحصائية فحص الفروق بين المجموعات التجريبية على المتغير التابع مع عزل الأثر الإحصائي لمتغير متصل دخيل (المتغير المصاحب أو الـ Covariate). تقوم هذه الطريقة بضبط متوسطات المجموعات حسابياً بناءً على العلاقة الانحدارية بين المتغير التابع والمتغير المشوش، مما يسمح بإجراء مقارنة أكثر عدالة ونقاءً، وكأن المجموعات كانت متكافئة تماماً في ذلك المتغير منذ البداية.

من الأساليب الإحصائية الحديثة أيضاً أسلوب مطابقة درجات الميل (Propensity Score Matching – PSM)، وهو شائع في الدراسات النفسية والوبائية الرصدية. يحسب هذا النموذج الاحتمالي المشروط لانضمام الفرد إلى المجموعة التجريبية بناءً على مصفوفة معقدة من المتغيرات الدخيلة، ثم يُطابق كل فرد في مجموعة العلاج بفرد في المجموعة الضابطة يمتلك درجة ميل مماثلة تماماً، مما يحاكي شروط التوزيع العشوائي في بيئة غير عشوائية ويقضي على مقارنات مشوشة متعددة الأبعاد.

كذلك تتيح نماذج المعادلات البنائية (Structural Equation Modeling – SEM) وتحليل الانحدار المتعدد الهرمي للباحثين صياغة شبكات سببية معقدة، يتم فيها إدخال المتغيرات المشوشة صراحة في النموذج كمتغيرات وسيطة أو معدلة. يُمكّن هذا النهج التحليلي من تجزئة التباين الكلي وتقدير التأثير المباشر للمتغير المستقل بمعزل عن المسارات غير المباشرة التي تغذيها المتغيرات المربكة، مما يرتقي بالدقة التفسيرية إلى مستويات متقدمة.

التحديات المعاصرة في عصر البيانات الضخمة وأبحاث الإنترنت

مع الانتقال المتسارع نحو جمع البيانات السلوكية عبر منصات الإنترنت ومنصات التعهيد الجماعي كـ (Amazon Mechanical Turk) و(Prolific)، اتخذت المقارنات المشوشة أبعاداً جديدة وأكثر تعقيداً. ففي هذه البيئات الرقمية غير الخاضعة للرقابة المباشرة، قد تتفاوت سرعة اتصال الأجهزة، وحجم الشاشات، ووجود مشتتات منزلية، واستخدام الذكاء الاصطناعي للإجابة على الاستبيانات، مما يخلق تبايناً نسقياً غير مرئي يشوش المقارنات بين العينات الرقمية والمختبرية.

علاوة على ذلك، في عصر البيانات الضخمة (Big Data) والتعلم الآلي، يميل بعض الباحثين إلى الاعتقاد الساذج بأن ضخامة حجم العينة كافية وحدها لتصحيح الانحيازات وإلغاء التشويش. وتؤكد المنهجية العلمية أن كبر حجم العينة يزيد فقط من القوة الإحصائية (Statistical Power) ويكشف عن الفروق التافهة بدلالة إحصائية زائفة، لكنه لا يعالج إطلاقاً المقارنة المشوشة الناتجة عن خلل في التصميم؛ فالبيانات الضخمة المشوشة لا تنتج سوى أخطاء ضخمة وثقة مضللة في نتائج مشوهة.

يفرض هذا الواقع المستجد على علماء النفس المعاصرين مضاعفة اليقظة الإبستمولوجية وتبني ممارسات العلم المفتوح (Open Science)، مثل التسجيل المسبق للفرضيات وتصاميم التجارب (Preregistration). يضمن التسجيل المسبق التزام الباحثين بتحديد مقارناتهم وفرضياتهم بدقة قبل جمع البيانات، مما يمنعهم من الانجراف وراء التعديلات البعدية للمقارنات المشوشة وتبريرها تحت مسمى الاكتشافات العرضية، ويعزز بالتالي نزاهة المنظومة البحثية وموثوقيتها.

خاتمة وتقييم شامل

في الختام، تتجلى المقارنة المشوشة بوصفها واحدة من أخطر العثرات المنهجية التي تهدد نزاهة الاستدلال العلمي في البحوث النفسية والاجتماعية. إن عجز الباحث عن الفصل الحاسم بين تأثير المتغير المستقل والمتغيرات المربكة يحرم الدراسة من مبررها السببي ويقود إلى استنتاجات واهية تعيق التقدم المعرفي والتطبيقي. تبدأ الوقاية من هذا المأزق بالتخطيط الصارم المعتمد على التوزيع العشوائي، وتوحيد الشروط التجريبية، والموازنة المقابلة، وتكتمل بالاستعانة بالنماذج الإحصائية المتقدمة القادرة على عزل التباين المتبقي ببراعة.

إن النضج العلمي الحقيقي في مجال علم النفس لا يُقاس بمدى جاذبية الفرضيات أو حداثة الأدوات المستخدمة فحسب، بل بمدى صرامة التصميم التجريبي وقدرته على استبعاد التفسيرات البديلة عبر تفادي المقارنات المشوشة بكل أشكالها. ولا بد للباحثين والممارسين على حد سواء من امتلاك حس نقدي متقد يفحص سلامة المقارنات التي تستند إليها المعارف السلوكية، بما يضمن أن تظل الحقيقة العلمية مستندة إلى براهين موضوعية خالية من الزيف والالتباس المنهجي.

المراجع

• Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Rand McNally.
• Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design & analysis issues for field settings. Houghton Mifflin.
• Goodwin, C. J., & Goodwin, K. A. (2016). Research in psychology: Methods and design (8th ed.). John Wiley & Sons.
• Rosenthal, R., & Rosnow, R. L. (2008). Essentials of behavioral research: Methods and data analysis (3rd ed.). McGraw-Hill.
• Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.
• Tabachnick, B. G., & Fidell, L. S. (2019). Using multivariate statistics (7th ed.). Pearson.