ثبات الاختبار وإعادة الاختبار مقابل ثبات بين المقيمين

يحتل مفهوم القياس في العلوم السلوكية والاجتماعية والتربوية والطبية مكانة مركزية بوصفه الجسر الإبستمولوجي الذي يربط بين البناءات النظرية المجردة والظواهر الواقعية القابلة للملاحظة والتقييم الكمي. وعلى خلاف العلوم الفيزيائية التي تعتمد على وحدات قياس عيارية ملموسة كالطول والكتلة والزمن، تواجه العلوم الإنسانية تحدياً جوهرياً يتمثل في عدم القابلية للملاحظة المباشرة للعديد من متغيراتها الجوهرية كالمعرفة، والسمات الشخصية، والقدرات المعرفية، والاضطرابات العيادية، والاتجاهات السلوكية. هذا التحدي يفرض على الباحثين ومصممي المقاييس الاعتماد على مؤشرات سلوكية غير مباشرة تكون عرضة لمصادر متعددة من التباين والتشويش والخطأ. ومن هنا تنبثق الضرورة الحتمية لتقييم كفاءة هذه الأدوات والتأكد من أهليتها المنهجية قبل الانخراط في استخلاص الاستنتاجات العلمية أو اتخاذ القرارات المصيرية المرتبطة بالأفراد والمؤسسات، حيث تتصدر سيكومترية القياس النقاش حول جودة البيانات ومصداقيتها.

تتمحور الخصائص السيكومترية لأي أداة قياس حول ركيزتين متكاملتين: الصدق (Validity) والثبات (Reliability). وبينما ينشغل الصدق بالإجابة عن السؤال الجوهري حول ما إذا كانت الأداة تقيس بالفعل ما وُضعت لقياسه وبأي قدر من الدقة والتكامل المفهومي، ينصب اهتمام الثبات على فحص درجة الاتساق، والاستقرار، والتماسك، وقابلية التكرار في نتائج القياس عند استبعاد العوامل العشوائية الدخيلة. إن الثبات ليس خاصية مطلقة أو أحادية للدرجات، بل هو خاصية متعددة الأبعاد تتحدد بالنظر إلى مصادر التباين العشوائي المستهدف ضبطها وتطويقها. ومن بين المؤشرات المتعددة لفحص الثبات الخارجي للأدوات، يبرز نمطان رئيسيان كثيراً ما يشكلان بؤرة الاهتمام المنهجي والجدل الإحصائي، وهما: ثبات الاختبار وإعادة الاختبار (Test-Retest Reliability) الذي يركز على فحص الاستقرار عبر البعد الزمني، وثبات بين المقيمين (Inter-Rater Reliability) الذي يركز على رصد الاتفاق والموضوعية عبر البعد البشري والملاحظين المستقلين.

يمثل التمييز الدقيق بين هذين النمطين من الثبات ركيزة منهجية حاسمة تضمن سلامة التصميمات البحثية وصحة التحليلات الإحصائية المشتقة منها. فالخلط بينهما، أو استبدال أحدهما بالآخر في غير موضعه المنهجي، يقود حتماً إلى إساءة تقدير مصادر الخطأ غير المرغوب فيها، مما ينتج عنه معاملات إحصائية مضللة تمنح الباحث شعوراً زائفاً بدقة الأداة. سيتناول هذا المقال دراسة تفصيلية مقارنة ومتعمقة لهذين المفهومين، مستعرضاً جذورهما النظرية الراسخة في النظرية الكلاسيكية للقياس (Classical Test Theory) ونظرية إمكانية التعميم (Generalizability Theory)، ومناقشاً أبعادهما الإجرائية، والمعالجات الإحصائية الرياضية الملائمة لكل منهما، مع تقديم رؤية تركيبية تتيح للباحث والممارس اتخاذ القرارات المنهجية السديدة في بناء وتطبيق وتفسير نتائج أدوات القياس المختلفة.

1. مقدمة: مدخل مفاهيمي لأهمية الثبات في القياس والبحث العلمي

1.1 مفهوم الثبات ومكانته في النظرية الكلاسيكية للقياس

يُعرف الثبات في أدبيات القياس النفسي والتربوي بأنه درجة اتساق الدرجات التي يحصل عليها الأفراد عبر عمليات القياس المتكررة، ومدى تحرر هذه الدرجات من أخطاء القياس العشوائية (Measurement Error). يستند التأطير الرياضي للثبات بصورة رئيسية إلى النظرية الكلاسيكية للقياس (Classical Test Theory – CTT)، التي بلور أصولها الرياضية الرائدة الإحصائي والباحث النفسي تشارلز سبيرمان (Charles Spearman) عام 1904. تفترض هذه النظرية أن كل درجة يلاحظها الباحث أو يسجلها المقياس على فرد ما تسمى بالدرجة الملاحظة (Observed Score) وتُرمز بالرمز ($X$). هذه الدرجة الملاحظة لا تعكس بدقة متناهية المقدار الفعلي للخاصية النفسية المقاسة، بل هي حاصل دمج خطي بين متغيرين غير ملحوظين بصورة مباشرة: الدرجة الحقيقية (True Score) وتُرمز بالرمز ($T$)، ودرجة الخطأ العشوائي غير المنتظم (Random Error) وتُرمز بالرمز ($E$). وتُصاغ هذه العلاقة عبر المعادلة الرياضية الأساسية:

$$X = T + E$$

في هذا النموذج الرياضي التأسيسي، تُمثل الدرجة الحقيقية ($T$) القيمة الرياضية المتوقعة (Expected Value) أو المتوسط الحسابي للدرجات الملاحظة التي يمكن الحصول عليها إذا تكرر تطبيق أداة القياس على الفرد نفسه لعدد لانهائي من المرات في ظل ظروف متطابقة ومستقلة تماماً، خالية من آثار الإجهاد أو التعلم. أما الخطأ العشوائي ($E$)، فهو محصلة التأثيرات اللحظية والظرفية المتذبذبة التي تنشأ بصورة عرضية دون اتجاه منتظم، مثل التغيرات الفسيولوجية المؤقتة للمفحوص، أو التشتت الذهني، أو تباين ظروف الإضاءة والحرارة، أو تباين تقديرات الملاحظين وتأويلاتهم العابرة. ووفقاً لافتراضات النظرية، فإن القيمة المتوقعة للخطأ العشوائي عبر التطبيقات اللانهائية تساوي صفراً، ولا يرتبط هذا الخطأ بالدرجة الحقيقية، كما لا ترتبط أخطاء القياس بين الاختبارات المختلفة ببعضها البعض.

انطلاقاً من هذه المسلمات، ينقسم التباين الكلي الملاحظ للدرجات ($\sigma_X^2$) بين مجموعة من المفحوصين إلى مكونين أساسيين: تباين الدرجات الحقيقية الناجم عن الفروق الفردية الواقعية في السمة المقاسة ($\sigma_T^2$)، وتباين أخطاء القياس العشوائية ($\sigma_E^2$). وبناءً على ذلك، يتحدد معامل الثبات ($r_{xx}$) رياضياً بأنه نسبة تباين الدرجة الحقيقية إلى تباين الدرجة الملاحظة، ويُعبر عنه بالصيغة الآتية:

$$r_{xx} = \frac{\sigma_T^2}{\sigma_X^2} = \frac{\sigma_T^2}{\sigma_T^2 + \sigma_E^2} = 1 – \frac{\sigma_E^2}{\sigma_X^2}$$

توضح هذه الصيغة أن قيمة معامل الثبات تتراوح نظرياً بين الصفر والواحد الصحيح؛ فكلما اقترب تباين الخطأ ($\sigma_E^2$) من الصفر، اقترب معامل الثبات من الواحد التام، واعتُبرت الدرجات الملاحظة انعكاساً شبه خالص للدرجات الحقيقية للمشاركين. تتجلى الأهمية الإبستمولوجية والعملية لمعامل الثبات في كونه شرطاً مسبقاً وضرورياً (Precondition) لتحقيق صدق أداة القياس (Validity)، رغم كونه ليس شرطاً كافياً بذاته. إذ تؤكد مسلمات السيكومتري أن الصدق يمثل السقف الذي يقيده الثبات؛ فالأداة التي تفتقر إلى الاتساق والاستقرار وتنتج درجات متأرجحة عشوائياً لا يمكن بأي حال من الأحوال أن تُقدم دليلاً صالحاً على تفسير ما تدعي قياسه، إذ يُحدد الحد الأقصى النظري لصدق المحك لأي أداة بأنه لا يمكن أن يتجاوز الجذر التربيعي لمعامل ثباتها:

$$r_{xy} le \sqrt{r_{xx}}$$

وعلى هذا النحو، فإن التحقق المنهجي من الثبات لا يُعد مجرد تمرين رياضي أو متطلب شكلي في البحث العلمي، بل هو صمام الأمان الذي يقف بين الحقيقة التجريبية والوهم الإحصائي. ومن هذا المنطلق بالذات، تتفرع مؤشرات الثبات وفقاً لطبيعة المصدر المحتمل لتباين الخطأ؛ فالاستقرار عبر الزمن (Temporal Stability) يستهدف تطويق التباين الزمني الناجم عن التقلبات العابرة، بينما يهدف التوافق بين الملاحظين (Observer Agreement) إلى احتواء التباين البشري الذاتي الناجم عن اختلاف المعايير التقديرية والتفسيرات الإدراكية للأحكام السلوكية.

1.2 مسوغات المقارنة والخلط المنهجي الشائع بين النوعين

على الرغم من التمايز النظري الصريح بين البعدين، تشهد الأدبيات الميدانية في العديد من التخصصات التربوية والنفسية والطبية خلطاً منهجياً متكرراً بين ثبات الاختبار وإعادة الاختبار (Test-Retest) وثبات بين المقيمين (Inter-Rater). يعود منشأ هذا اللبس في المقام الأول إلى إدراج كلا المنهجين تحت المظلة العامة لفحص “الاتساق الخارجي” للأداة، تمييزاً لهما عن مقاييس “الاتساق الداخلي” (Internal Consistency) مثل معامل كرونباخ ألفا (Cronbach’s Alpha) أو طريقة التجزئة النصفية (Split-Half)، التي تقيس تجانس الفقرات في لحظة زمنية واحدة وبأداة واحدة.

ينشأ الخلط المنهجي عندما يتعامل الباحثون مع مصطلح “الثبات” كمفهوم مصمت وشامل، متجاهلين أن كل طريقة تختبر صمود الأداة أمام مهدد إبستمولوجي وإحصائي مختلف تماماً. فبينما يختبر ثبات إعادة الاختبار افتراض ثبات السمة أو الخاصية عبر محور الزمن بافتراض حيادية عملية التسجيل، يختبر ثبات بين المقيمين افتراض حيادية الملاحظ وتطابق المعايير التفسيرية بين البشر بافتراض ثبات الموقف السلوكي الملاحظ في اللحظة الزمنية ذاتها. هذا التجاهل يُفضي إلى معالجات إحصائية غير منضبطة؛ كأن يلجأ باحث يقيس كفاءة الأداء الإكلينيكي لأطباء متدربين إلى حساب معامل الارتباط لدرجاتهم عبر مناسبتين زمنيتين متباعدتين لإثبات ثبات الأداة، بينما المصدر الحقيقي الكامن للخطأ في هذا السياق هو التباين الحاد بين معايير الأساتذة المحكّمين واختلاف تشددهم وتساهلهم في تقييم الإجراء السريري الواحد.

إن التبعات المترتبة على سوء اختيار نوع الثبات لا تقتصر على الجوانب المنهجية البحتة، بل تمتد لتلقي بظلالها على موثوقية النتائج الميدانية واتخاذ القرارات السريرية والتربوية. فعندما تُعزى الفروق بين الدرجات إلى عدم استقرار الأداة زمنياً بينما هي ناتجة في الواقع عن ضعف الاتفاق بين الملاحظين، أو العكس، يُبنى العلاج الإحصائي على تشخيص خاطئ لمكمن الضعف. فإذا كان التباين ناتجاً عن غياب معايير التحكيم الموضوعية (Inter-Rater Error)، فإن تعديل صياغة الفقرات أو تكرار الاختبار على المفحوصين لن يحل المشكلة إطلاقاً؛ بل يتطلب الموقف بناء دليل تصحيح دقيق وتدريب المحكمين لضبط التحيزات الذاتية. إن الفهم المعمق للفوارق الدقيقة بين هذين النمطين هو الأساس الذي تنبثق منه القرارات المنهجية الرشيدة في دراسات القياس والتطوير السيكومتري.

2. نظرة عامة على ثبات الاختبار وإعادة الاختبار (Test-Retest Reliability)

2.1 المفهوم النظري وأسس قياس الاستقرار الزمني

يمثل ثبات الاختبار وإعادة الاختبار (Test-Retest Reliability)، الذي يُشار إليه تقليدياً بـ “معامل الاستقرار” (Coefficient of Stability)، مؤشراً سيكومترياً يقيس درجة الاتساق والتطابق في نتائج الأفراد على أداة القياس نفسها عند تطبيقها في مناسبتين زمنيتين مختلفتين، يفصل بينهما فاصل زمني محدد سلفاً، مع بقاء شروط التطبيق وعينة المفحوصين متطابقة قدر الإمكان. يرتكز هذا النموذج على افتراض مفاهيمي جوهري مفاده أن السمة (Trait) أو البناء النفسي المقاس يتسم بالثبات النسبي والاستقرار التكويني عبر الزمن داخل بنية الفرد المعرفية أو السلوكية، بحيث لا يُتوقع لها أن تشهد تحولات بنيوية حادة خلال نافذة التقييم.

في ضوء تجزئة مصادر الخطأ في النظرية الكلاسيكية للقياس، يستهدف ثبات إعادة الاختبار عزل واحتساب تباين الخطأ الناجم عن التقلبات الزمنية العابرة (Temporal Instability) والظروف الموقفية المتغيرة (Transient Errors). وتشمل هذه المصادر: التغيرات اليومية في الحالة المزاجية للمفحوص، واليقظة الذهنية، والتوتر النفسي اللحظي، ومستويات الطاقة البدنية، فضلاً عن التغيرات البيئية الفيزيقية الطارئة كدرجة الحرارة، ومستوى الضوضاء، والتشويش البصري في قاعة الاختبار، أو التغييرات العرضية في أسلوب قراءة التعليمات من قِبل الفاحص. فإذا كانت السمة تتسم بالاستقرار الداخلي، فإن أي تذبذب في الدرجة الملاحظة بين التطبيقين يُصنف إحصائياً على أنه تباين خطأ عشوائي يقلل من قيمة معامل الاستقرار.

تجد هذه المنهجية مجالات تطبيقها المثلى في قياس السمات المستقرة نسبياً في البنية النفسية والمعرفية للإنسان. ومن أبرز هذه المجالات:

• اختبارات الذكاء العام والقدرات المعرفية العامة: مثل مقاييس وكسلر أو ستانفورد-بينيه، حيث يُفترض أن مستوى الكفاءة الإدراكية العامة للبالغين يظل مستقراً ولا يتأرجح عشوائياً بين أسبوع وآخر.
• مقاييس السمات الشخصية المستقرة (Personality Traits): مثل مقاييس العوامل الخمسة الكبرى للشخصية (Big Five) التي تقيس سمات كالانبساطية والضمير الحي والعصابية، وهي بنايات راسخة تستمر ثابتة عبر مراحل عمرية طويلة.
• اختبارات الميول المهنية والاتجاهات الراسخة: التي ترتكز على منظومات قيمية نضجت عبر فترات زمنية ممتدة ولا تتأثر بالمتغيرات العابرة.
• المقاييس النفس-حركية (Psychomotor) والبيومترية العصبية: كاقتفاء أزمنة الرجع البسيطة والمعقدة، والمقاييس الفسيولوجية الأساسية التي تقيس استجابات ثابتة غير متغيرة بسهولة.

2.2 الإجراءات المنهجية وتحديات الفاصل الزمني

يتطلب التطبيق الإجرائي لثبات إعادة الاختبار بروتوكولاً منهجياً صارماً يمر بأربع مراحل متتالية: تبدأ باختيار عينة ممثلة تمثيلاً دقيقاً للمجتمع الأصلي، يعقبها إجراء التطبيق الأول ($T_1$) في ظل ظروف معيارية موحدة وموثقة. بعد ذلك تأتي مرحلة انقضاء الفاصل الزمني المخطط له مسبقاً، وصولاً إلى إجراء التطبيق الثاني ($T_2$) للأداة ذاتها على نفس الأفراد وتحت نفس الظروف الإجرائية والبيئية قدر المستطاع، ثم تنتهي العملية بحساب الدرجات ومقارنتها عبر التقنيات الإحصائية المناسبة.

تمثل المعضلة الكبرى في هذا المنهج التحديد الدقيق لـ طول الفاصل الزمني (Time Interval) بين التطبيقين. إن الفاصل الزمني لا يُقاس بمجرد أرقام اعتباطية، بل يخضع لتوازن حرج ومعقد بين مهددين منهجيين رئيسيين:

1. مخاطر الفترات الزمنية القصيرة للغاية (أيام قليلة أو ساعات): يؤدي تقليص الفاصل الزمني إلى تفعيل حاد لـ أثر الذاكرة والاسترجاع (Memory & Recall Effects)؛ حيث يتذكر المفحوص إجاباته السابقة على الأسئلة ويعيد تكرارها آلياً ليس بناءً على السمة ذاتها بل بدافع الاتساق الذاتي وتذكر الخيارات. كما يبرز أثر الممارسة والألفة والتدريب (Practice Effect)، حيث يكتسب المفحوص مهارة وخبرة بالأداة من التطبيق الأول، مما يُقلل من زمن الاستجابة ويزيد من احتمالية الحل الصحيح في التطبيق الثاني للفقرات المهارية، الأمر الذي يؤدي إلى تضخيم زائف لمعامل الثبات لا يعكس استقرار السمة الحقيقي.
2. مخاطر الفترات الزمنية الطويلة للغاية (عدة أشهر أو سنوات): يؤدي إطالة الفاصل الزمني إلى تداخل متغيرات النضج البيولوجي والمعرفي (Maturation)، واكتساب المعارف والخبرات الحياتية المتراكمة، أو التعرض لأحداث وجودية تغير من قناعات الفرد أو حالته النفسية. في هذه الحالة، فإن الفروق المسجلة بين الدرجات لا تكون راجعة إلى قصور أو عدم اتساق في أداة القياس، بل تعكس تغيراً حقيقياً ونمائياً في الدرجة الحقيقية ($T$) للمفحوص، مما يترتب عليه انخفاض حاد في معامل الثبات وظهوره بمظهر الضعف الزائف.

تُجمع التقاليد السيكومترية الرصينة في الجمعية الأمريكية لعلم النفس على أن الفاصل الزمني النموذجي لمعظم السمات النفسية يتراوح عادة بين أسبوعين وأربعة أسابيع. يمثل هذا النطاق الزمني تسوية متوازنة تسمح بتلاشي أثر الذاكرة اللحظية دون إتاحة مساحة كافية لحدوث تحولات نمائية بنيوية في السمة، مع مراعاة أن هذا التقدير يظل خاضعاً لطبيعة الظاهرة، وعمر المفحوصين (حيث يتطلب قياس الأطفال فترات أقصر بسبب تسارع وتيرة نموهم)، ونوعية المهام المتضمنة في الاختبار.

2.3 المعالجات الإحصائية لحساب معامل الاستقرار

تتنوع الأساليب الإحصائية المستخدمة في تقدير ثبات إعادة الاختبار بناءً على طبيعة البيانات ومستوى القياس وطبيعة الافتراضات الرياضية التي يتبناها الباحث. يُعد معامل ارتباط بيرسون لعزم الحاصل (Pearson Product-Moment Correlation – $r$) الأداة الإحصائية الأكثر شيوعاً واستخداماً في هذا السياق عندما تكون الدرجات مستمرة وتتبع مقياس المسافة أو النسبة، وتخضع لتوزيع طبيعي تقريبي. يُحسب معامل بيرسون عبر الصيغة الرياضية المعروفة:

$$r = \frac{\sum (X_1 – \bar{X}_1)(X_2 – \bar{X}_2)}{\sqrt{\sum (X_1 – \bar{X}_1)^2 \sum (X_2 – \bar{X}_2)^2}}$$

يقيس معامل بيرسون قوة واتجاه العلاقة الخطية بين درجات التطبيق الأول ($X_1$) ودرجات التطبيق الثاني ($X_2$). غير أن النقد المنهجي والإحصائي الحاد الذي يُوجه لمعامل بيرسون في قياس ثبات إعادة الاختبار يكمن في كونه مؤشراً على الارتباط النسبي واستقرار الترتيب (Relative Rank-Order Stability) وليس مؤشراً على التطابق أو الاتفاق المطلق (Absolute Agreement). فإذا زادت درجات جميع أفراد العينة في التطبيق الثاني بمقدار 10 درجات كاملة بصورة منتظمة بسبب أثر التعلم أو الممارسة، فإن معامل ارتباط بيرسون سيظل ثابتاً ومساوياً لـ (1.00) التام، متجاهلاً التحول النظامي في متوسط الدرجات، وهو ما يُعد تضليلاً خطيراً للباحث الذي يفترض تطابق الدرجات الملاحظة.

لتجاوز هذا القصور المنهجي، يُلجأ إحصائياً إلى حساب معامل الارتباط داخل الفئات (Intraclass Correlation Coefficient – ICC)، وتحديداً النموذج ثنائي الاتجاه المختلط (Two-Way Mixed Effects Model) لتقييم الاتفاق المطلق للدرجات الفردية، ويُرمز له غالباً بـ $\text{ICC}(2,1)$ أو $\text{ICC}(3,1)$ وفقاً لتصنيف شروت وفليس (Shrout & Fleiss, 1979). يمتلك هذا المعامل القدرة على رصد كل من التباين العشوائي والتحولات النظامية في متوسطات الأداء بين الجلستين كجزء من تباين الخطأ. وكإجراء تشخيصي تكميلي لا غنى عنه، يجب على الباحث إجراء اختبار “ت” للعينات المترابطة (Paired Samples t-test) أو تحليل التباين للقياسات المتكررة (Repeated Measures ANOVA) للتحقق مما إذا كان هناك فرق ذو دلالة إحصائية بين متوسطي التطبيقين ($T_1$ و $T_2$)، مما يكشف صراحة عن وجود أي أثر نظامي ناتج عن الممارسة أو التدريب.

أما في الحالات التي تكون فيها البيانات ذات طبيعة رتبية (Ordinal Data) أو غير معلمية، فإن معامل ارتباط الرتب لسبيرمان (Spearman’s Rho – $rho$) يمثل البديل الإحصائي الأمثل لحساب استقرار الترتيب. وفيما يخص معايير الحكم الإحصائي المقبولة في الأوساط السيكومترية، يُعتبر معامل الثبات أقل من 0.70 ضعيفاً وغير مقبول في الغالبية العظمى من التطبيقات؛ في حين تُصنف المعاملات بين 0.70 و 0.79 على أنها مقبولة للدراسات الاستكشافية العامة، والدرجات بين 0.80 و 0.89 على أنها جيدة جداً، بينما يُشترط تجاوز عتبة 0.90 في الاختبارات المصيرية ذات التبعات العيادية والتشخيصية الحاسمة كاختبارات التوظيف وقبول الجامعات والتشخيص العصبي.

3. نظرة عامة على ثبات بين المقيمين (Inter-Rater Reliability)

3.1 المفهوم النظري وضرورة ضبط ذاتية الملاحظين

يُمثل ثبات بين المقيمين (Inter-Rater Reliability)، ويُسمى أيضاً بثبات المحكّمين أو اتساق الملاحظين (Inter-Observer Reliability)، مقياساً سيكومترياً يقيس درجة الاتفاق، أو الاتساق، أو التوافق الإجرائي بين حكمين مستقلين أو أكثر عندما يقومون بملاحظة، أو فحص، أو تقييم، أو تصنيف الظاهرة السلوكية نفسها أو المنتج الأدائي ذاته بشكل متزامن أو باستخدام تسجيلات محفوظة. ينبثق هذا المفهوم من حتمية ضبط التدخل البشري؛ فعندما تفتقر أداة القياس إلى الآلية الموضوعية المباشرة (كالاختبارات المؤتمتة ذات الاختيار من متعدد)، تصبح ذاتية الملاحظ وإدراكه الخاص جزءاً لا يتجزأ من منظومة القياس.

في إطار النظرية الكلاسيكية للقياس، يُصمم ثبات المقيمين لاستهداف وقياس تباين الخطأ الناجم عن التحيز الذاتي والتباين الفردي بين الملاحظين (Rater Subjectivity & Idiosyncrasy). يضم هذا التباين جملة من التشوهات الإدراكية كاختلاف تأويل المفاهيم السلوكية، وتفاوت المعايير الداخلية الصارمة مقابل المتساهلة بين الفاحصين، وحدود الانتباه اللحظي، والاختلاف في وزن الأدلة السريرية. فإذا افترضنا أن الأداء الفعلي للمفحوص ثابت، فإن أي خلاف يطرأ بين درجات المقيمين يمثل خطأ قياس نقياً يهدد قدرة الأداة على تقديم قراءة نزيهة للحقيقة.

تتجلى ضرورة قياس ثبات المقيمين في الأدوات التقييمية القائمة على التقدير الكيفي والحكم البشري، ومنها:

• المقابلات الإكلينيكية والتشخيصية شبه المنظمة: كمقابلات تشخيص الاضطرابات النفسية المعتمدة على الدليل التشخيصي والإحصائي (DSM-5)، حيث يستمع المقيم إلى وصف المريض ويقرر حضور أو غياب المعايير المرضية وشدتها.
• تقييم المهام الأدائية المعقدة واختبارات الأداء الحي: كتقييم مهارات التدريس للمتدربين، ومقاييس الكفاءة السريرية الموضوعية المنظمة في كليات الطب (OSCE)، وعروض التخرج الشفوية.
• تحليل المحتوى الكيفي في البحوث الإعلامية والاجتماعية: حيث يتطلب تصنيف الوحدات النصية والترميزية إسنادها إلى فئات فكرية أو أيديولوجية محددة بناءً على أدلة استقرائية.
• الاختبارات الإسقاطية (Projective Tests) والتصحيح المقالي: كاختبار رورشاخ لطخات الحبر واختبار تفهم الموضوع (TAT)، وتقييم المقالات الإنشائية المفتوحة.

من الضروري هنا ترسيخ التمييز المفاهيمي الجوهري بين الاتفاق المطلق (Absolute Agreement) والاتساق النسبي (Consistency) بين المقيمين. يشير الاتفاق المطلق إلى الدرجة التي يقدم فيها المحكمان نفس التقييم الحسابي أو الترتيبي تماماً للهدف نفسه (كأن يمنح كلاهما 8 من 10). أما الاتساق النسبي، فيعني احتفاظ المحكمين بنفس الترتيب النسبي للأفراد دون اشتراط تطابق الدرجات الخام؛ فإذا كان المحكم (أ) يمنح درجات تتراوح بين (4 و 7) لمجموعة أفراد، والمحكم (ب) يمنح درجات تتراوح بين (7 و 10) لنفس المجموعة بنفس الترتيب تماماً، فإن الاتساق النسبي سيكون تاماً (1.00)، ولكن الاتفاق المطلق سيكون ضعيفاً لوجود تحيز منهجي في التساهل والتشدد، وهو فارق إحصائي له ارتدادات بالغة في تفسير النتائج.

3.2 المنهجية الإجرائية لجمع بيانات التحكيم والملاحظة

يتطلب التحقق الرصين من ثبات بين المقيمين بناء منظومة إجرائية محكمة تبدأ قبل الشروع في القياس الميداني نفسه. أولى هذه الخطوات تتمثل في بناء دليل التصحيح المعياري أو سلم التقدير اللفظي (Rubrics)، والذي يفكك المفاهيم المجردة إلى مؤشرات سلوكية عيانية قابلة للملاحظة والعد، مع تحديد أوزان الدرجات بدقة لا تدع مجالاً للاجتهاد الفردي العشوائي. يعقب ذلك تنظيم جلسات تدريبية مكثفة للمقيمين (Rater Training) يجري خلالها فحص عينات افتراضية مشتركة، ومناقشة التباينات التفسيرية، وحلها عبر الحوار حتى وصول المقيمين إلى مرحلة التناغم المفهومي والإدراكي الكامل لأبعاد الأداة.

يفرض التصميم المنهجي السليم التطبيق الصارم لمبدأ استقلالية التقييم (Independence of Observation). يقتضي هذا المبدأ عزل المحكمين كلياً أثناء أداء مهمة الملاحظة أو التصحيح، وحظر أي شكل من أشكال التواصل اللفظي أو الإيحائي بينهم، وذلك لمنع حدوث “تلوث القياس” بفعل الضغوط الاجتماعية، أو تأثيرات الامتثال، أو خضوع المحكم الأقل خبرة لسلطة المحكم الخبير. يُضاف إلى ذلك ضرورة “التعمية” (Blinding) المنهجية، بحيث لا يعلم المقيّم أي معلومات سابقة عن المفحوصين أو تشخيصاتهم أو أدائهم في أدوات أخرى لتجنب التوقعات المسبقة.

تتخذ تصميمات جمع البيانات التحكيمية شكلين رئيسيين:

1. التصميم المتقاطع الكامل (Fully Crossed Design): حيث يقوم جميع المقيمين المشاركين في الدراسة بتقييم جميع أفراد العينة دون استثناء. يمثل هذا التصميم النموذج المثالي إحصائياً، حيث يتيح للباحث عزل تباين الأفراد عن تباين المقيمين والتفاعل بينهما بصورة دقيقة عبر نماذج تحليل التباين ثنائي الاتجاه.
2. التصميم المتداخل أو غير المتوازن (Nested or Incomplete Design): حيث يتم تعيين مجموعات فرعية مختلفة من المقيمين لتقييم أفراد مختلفين بسبب الصعوبات اللوجستية وتكاليف الوقت. يتطلب هذا النموذج معالجات إحصائية خاصة تختلف في بنيتها عن النماذج المتقاطعة لتجنب تداخل خطأ المقيّم مع الفروق الحقيقية للأفراد.

تهدف هذه الصرامة الإجرائية إلى إدارة ومكافحة أخطر تحيزات المقيّم النفسية، ومنها: أثر الهالة (Halo Effect)، حيث يطغى انطباع إيجابي أو سلبي عام عن المفحوص على تقييم سمات جزئية مستقلة؛ وتحيز النزعة المركزية (Central Tendency Bias)، حيث يتردد المقيّم في إعطاء درجات متطرفة مفضلاً حصر أحكامه في منتصف السلم التقديري؛ فضلاً عن خطأ التساهل مقابل التشدد (Leniency vs. Severity Bias)، وهو التباين النظامي الدائم في معايير منح الدرجات بين محكم وآخر.

3.3 المؤشرات والأساليب الإحصائية لحساب التوافق

تتعدد المؤشرات الإحصائية المخصصة لحساب ثبات التوافق تماشياً مع طبيعة البيانات ومستوياتها الإحصائية وعدد المقيمين. في حالة البيانات الاسمية أو التصنيفية (Nominal Data) التي يشارك فيها محكمان اثنان فقط، يُعد معامل كابا كوهين (Cohen’s Kappa – $kappa$)، الذي اقترحه العالم جاكوب كوهين (Jacob Cohen) عام 1960، المؤشر المعياري الرائد. تتجلى القيمة المنهجية الفائقة لكابا كوهين في تجاوزه للنسبة المئوية البسيطة للاتفاق ($P_o$)، التي تتجاهل حقيقة أن جزءاً من هذا الاتفاق ينشأ حتماً بمحض الصدفة البحتة والترجيح العشوائي، وتُصاغ معادلة كابا على النحو التالي:

$$\kappa = \frac{P_o – P_e}{1 – P_e}$$

حيث تُمثل ($P_o$) النسبة المئوية الملاحظة للاتفاق الفعلي، وتُمثل ($P_e$) النسبة المئوية المتوقعة للاتفاق الناتج عن الصدفة العشوائية بناءً على التوزيع الهامشي لاختيارات المحكمين. تتراوح قيمة كابا بين (-1 و +1)، حيث تشير القيمة 1 إلى اتفاق تام، والقيمة صفر إلى أن التوافق لا يتجاوز ما هو متوقع بمحض الصدفة، والقيم السالبة تشير إلى خلاف يفوق التوقع العشوائي.

عندما تتسع الدراسة لتشمل أكثر من محكمين اثنين (ثلاثة فأكثر) في تصنيف البيانات الاسمية، يبرز معامل كابا فليس (Fleiss’ Kappa) كصيغة تعميمية متطورة لكابا كوهين طورها جوزيف فليس (Joseph Fleiss) عام 1971، تتيح فحص الاتفاق متعدد الأطراف بكفاءة. أما إذا كانت البيانات ذات طبيعة رتبية أو فئوية تراتبية، فإن استخدام كابا البسيط يُعد قصوراً، ويُستبدل بـ كابا الموزون (Weighted Kappa) الذي يفرض أوزاناً عقابية تزداد شدتها كلما اتسع التباعد بين رتب تصنيفات المحكمين (باستخدام الأوزان الخطية أو التربيعية).

بالانتقال إلى البيانات المتصلة أو الفترية، يغدو معامل الارتباط داخل الفئات (ICC) المعيار الذهبي المطلق لتقدير ثبات المقيمين. صاغ شروت وفليس (1979) ستة نماذج كلاسيكية لمعامل الارتباط داخل الفئات تتفرع بناءً على ثلاثة قرارات منهجية: نوع نموذج تحليل التباين (أحادي الاتجاه Random، أو ثنائي الاتجاه عشوائي Two-way random، أو ثنائي الاتجاه مختلط Two-way mixed)، وما إذا كان الاهتمام ينصب على موثوقية الدرجة الفردية لمقيّم واحد (Single Measure) أم متوسط تقييمات مجموعة من المقيمين (Average Measures)، وأخيراً ما إذا كان الهدف فحص الاتفاق المطلق أم الاتساق النسبي. يُعتبر نموذج $\text{ICC}(2,k)$ المتقاطع لتقييم الاتفاق المطلق لمتوسط المقيمين من أكثر النماذج استخداماً في تقييم لجان التحكيم والأداء السريري.

وفي حالة البيانات الترتيبية المتعددة التي يقدم فيها ثلاثة محكمين أو أكثر ترتيباً كاملاً لمجموعة من الأفراد أو المنتجات، يُستخدم معامل كيندال للتوافق (Kendall’s W)، وهو مؤشر غير معلمي يتراوح بين الصفر (غياب الاتفاق تماماً) والواحد الصحيح (تطابق تام للرتب عبر كافة المحكمين)، وتُستخدم قيمته للدلالة على مدى اشتراك المحكمين في تطبيق نفس المعايير عند الترتيب.

4. الفروق الجوهرية بين ثبات إعادة الاختبار وثبات بين المقيمين

4.1 المقارنة من حيث طبيعة المتغير ومصدر التباين

يكمن الاختلاف الجوهري والأصيل بين ثبات الاختبار وإعادة الاختبار وثبات بين المقيمين في طبيعة المهدد السيكومتري ومصدر التباين غير المرغوب الذي يسعى كل مؤشر إلى اختباره واحتسابه ضمن مصفوفة أخطاء القياس. ففي ثبات إعادة الاختبار، يكون المتغير المستقل للخطأ مرتبطاً حصراً بـ الزمن (Time-dependent error)، حيث تُمثل الفترات الفاصلة ومثيراتها الموقفية بؤرة التهديد؛ وتفترض المنهجية أن الملاحظة عملية ميكانيكية محايدة وثابتة. على النقيض من ذلك تماماً، يرتبط مصدر الخطأ في ثبات بين المقيمين بـ العنصر البشري الملاحظ (Rater-dependent error)، في حين يتم افتراض تجميد البعد الزمني أو جعله متزامناً بالكامل، لتسليط الضوء على التفاوت الإدراكي والذاتي للمحكمين.

تتجلى هذه المقارنة بأعمق صورها في إطار نظرية إمكانية التعميم (Generalizability Theory – G-Theory)، التي صاغها لي كرونباخ وزملاؤه (Cronbach et al., 1972) كبديل متحرر ومتطور للنظرية الكلاسيكية. تفكك هذه النظرية مفهوم الخطأ العشوائي الموحد ($E$) إلى “أوجه” (Facets) متعددة من مصادر التباين المنفصلة. ففي هذا الإطار الفلسفي، يُعامل “الزمن” أو “مناسبات القياس” (Occasions Facet) كوجه مستقل تماماً عن وجه “المقيمين” (Raters Facet). يُحسب معامل ثبات إعادة الاختبار لعزل وتحييد التباين التفاعلي بين الأفراد ومناسبات القياس ($\sigma_{po}^2$)؛ بينما يختص معامل ثبات المقيمين بعزل وتحييد التباين التفاعلي بين الأفراد والمحكمين ($\sigma_{pr}^2$) وتأثير التشدد العام للمحكمين ($\sigma_r^2$).

تبعاً لذلك، تتحدد حساسية كل أداة استناداً إلى طبيعة تركيبتها البنيوية؛ فالأدوات “الموضوعية” الميكانيكية بالكامل التي تعتمد على نظم التصحيح المفتاحية المؤتمتة لا تخضع إطلاقاً لوجه المقيمين، ويكون التهديد الأوحد لمصداقيتها متجذراً في استقرارها الزمني وأخطاء الحظ والمصادفة. في المقابل، فإن الأدوات التقديرية الذاتية كالمقاييس الإسقاطية والملاحظات العيادية تكون شديدة الهشاشة إزاء وجه المقيمين، مما يجعل ثبات المقيمين هو الحصن الدفاعي الأول لتقييم مدى تماسكها وصلاحيتها العلمية قبل النظر في استقرارها عبر المناسبات الزمنية.

4.2 المقارنة من حيث المتطلبات اللوجستية وتصميم البحث

تفرض المتطلبات التنفيذية لكل من النمطين تحديات لوجستية وتصميمية متباينة تماماً تؤثر بصورة مباشرة على الجدوى الميدانية للبحث، وتكلفته الاقتصادية، وتخطيطه الزمني. في دراسات ثبات الاختبار وإعادة الاختبار، تتمركز المتطلبات حول إعادة استدعاء العينة البشرية نفسها (Sample Retrieval) بعد انقضاء الفاصل الزمني المخطط له، وهي مهمة تنطوي على مخاطر جمة أبرزها ظاهرة التسرب أو الفقدان التدريجي لأفراد العينة (Attrition / Sample Dropout)؛ إذ يؤدي انتقال الأفراد، أو فقدان الدافعية، أو المرض، أو الغياب المدرسي والوظيفي إلى فقدان نسبة حرجة من البيانات، مما قد يهدد التماثل الإحصائي للعينة ويدخل تحيزات انتقائية (Selection Bias) تشوه النتائج.

من الناحية المادية والزمنية، يتميز ثبات إعادة الاختبار بتكلفة تدريبية منخفضة لكون الأداة تُدار ذاتياً أو وفق بروتوكول آلي موحد، لكنه يفرض “تكلفة انتظار” زمنية إجبارية لا يمكن تسريعها دون الإخلال بسلامة التصميم، نظراً للحاجة إلى انقضاء الأسابيع المحددة لتبديد أثر الذاكرة. يتطلب هذا النمط أيضاً إدارة صارمة لضمان تطابق الظروف الفيزيقية بين الجلستين ($T_1$ و $T_2$) من حيث التوقيت البيولوجي (تجنب اختبار المشارك صباحاً في المرة الأولى ومساءً في المرة الثانية) وثبات بيئة الاختبار.

على الجانب الآخر، تفرض دراسات ثبات بين المقيمين عبئاً لوجستياً يتمحور حول استقطاب وتأهيل المحكمين الخبراء وتدريبهم. تشمل التكلفة هنا بدلات التحكيم المالية، واستهلاك ساعات طوال في صياغة الأدلة المعيارية ومناقشة المعايير، وإجراء ورش المحاكاة لتوحيد الرؤى الإدراكية. كما تواجه هذه الدراسات معضلة الجدولة الزمنية المعقدة (Scheduling Synchronization)؛ فإذا كان التقييم يُجرى لمواقف حية غير مسجلة (كعمليات جراحية أو مقابلات تشخيصية حية)، يصبح من الضروري حشد محكمين متعددين في القاعة نفسها في اللحظة الزمنية ذاتها دون تشتيت المفحوص، وهو تحدٍ تنظيمي بالغ التعقيد مقارنة بتسجيل الموقف على وسائط مرئية وإخضاعه للتقييم اللاحق المستقل.

4.3 جدول المقارنة التحليلي الشامل بين النوعين

يوفر الجدول التالي مقارنة منهجية، وسيكومترية، وإحصائية شاملة ومكثفة تفصل بين كافة أبعاد ثبات الاختبار وإعادة الاختبار وثبات بين المقيمين، ليكون بمثابة مرجع مرئي تحليلي متكامل للباحثين والمصممين السيكومتريين:

وجه المقارنة	ثبات الاختبار وإعادة الاختبار (Test-Retest)	ثبات بين المقيمين (Inter-Rater)
المفهوم الجوهري	مدى استقرار واتساق درجات الأداة عبر مناسبات زمنية متعددة ومتباعدة للمفحوصين أنفسهم.	مدى توافق واتساق درجات أو تصنيفات محكّمين مستقلين اثنين أو أكثر للحدث السلوكي ذاته.
الهدف المنهجي الأساسي	تقدير التحرر من التباين العابر والتقلبات الظرفية الزمنية وحساب معامل الاستقرار.	تقدير التحرر من التحيز الذاتي واختلاف المعايير الشخصية للملاحظين وحساب معامل الاتفاق.
مصدر التباين غير المرغوب (الخطأ)	التغيرات اللحظية في الفرد (إرهاق، دافعية)، التغير البيئي الفيزيقي، ومناسبات القياس العابرة.	الذاتية الفردية، تحيز التشدد والتساهل، خطأ الهالة، والنزعة المركزية في إطلاق الأحكام.
الافتراض السيكومتري التأسيسي	السمة المقاسة مستقرة نسبياً في البنية النفسية للمفحوص ولا تتغير بطبيعتها خلال فترة الفحص.	الملاحظون قادرون على إدراك الظاهرة بموضوعية وتجريد عند امتلاكهم معايير تصحيح محددة.
أبرز المعاملات الإحصائية الملائمة	ارتباط بيرسون ($r$)، ارتباط سبيرمان ($rho$)، ونماذج $\text{ICC}$ ثنائية الاتفاق للدرجات الفردية.	كابا كوهين ($kappa$)، كابا فليس، كابا الموزون، كيندال ($W$)، ونماذج $\text{ICC}$ لمتوسط المقيمين.
المهددات المنهجية الداخلية الحادة	أثر الممارسة والألفة والتدريب، أثر استرجاع الذاكرة، والتغيرات النمائية والنضجية للفرد.	تحيزات الإدراك، عدم وضوح الدليل المعياري، انعدام استقلالية الفحص، وإرهاق المحكمين.
الفاصل الزمني النموذجي	يتراوح إجرائياً عادة بين أسبوعين وأربعة أسابيع؛ لحظر النضج وتبديد أثر الذاكرة.	متزامن تماماً (اللحظة الزمنية ذاتها)، أو تقييم لاحق لنفس التسجيلات المرئية/النصية دون فاصل زمني.
طبيعة الأدوات الأكثر استخداماً	المقاييس الموضوعية، مقاييس التقرير الذاتي، اختبارات الأداء الأقصى والذكاء، والمقاييس البيومترية.	المهام الأدائية المفتوحة، المقابلات الإكلينيكية، مقاييس الملاحظة السلوكية، وتحليل المحتوى.
حساسية النموذج لتحول المتوسطات	يتجاهلها معامل بيرسون بالكامل، مما يفرض استخدام اختبارات الفروق (t-test) أو $\text{ICC}$.	ترصدها معاملات التوافق المطلق كـ كابا ونماذج $\text{ICC}$ للاتفاق المطلق، بينما يتجاهلها الارتباط النسبي.
المخاطر والتحديات اللوجستية	التسرب وفقدان العينة عبر الزمن، تكلفة الانتظار الزمني، وتغير الظروف البيئية للاختبار.	تكلفة تدريب واستقطاب المحكمين الخبراء، إجهاد التحكيم، وصعوبة مزامنة التواجد الميداني.

يكشف التحليل المنهجي المقارن الوارد في الجدول أعلاه أن الاختيار بين ثبات إعادة الاختبار وثبات بين المقيمين لا يمثل خياراً تفضيلياً بين بديلين متكافئين، بل هو استجابة حتمية للموقع الذي يكمن فيه الخطر السيكومتري الأكبر داخل بنية القياس. فإذا كان التهديد المحدق بالأداة ينبع من احتمال تغير درجات الفرد بسبب تقلبات الأيام ومشاعر التوتر وظروف قاعة الاختبار، فإن ثبات إعادة الاختبار هو المنهج الإجباري للرصد والتطويق. أما إذا كان التهديد ينبع من تباين القضاة في وزن الأدلة السريرية أو تقييم جودة المقال الأدبي أو تصنيف السلوك العدواني، فإن ثبات بين المقيمين يصبح المتطلب الحاسم والوحيد الذي يضمن أن الدرجة المعطاة للمفحوص ليست صنيعة الصدفة التي أوقعته في يد مقيّم متساهل أو قاضٍ متشدد.

5. أوجه التشابه ونقاط التلاقي المنهجي بين النوعين

5.1 الجذور النظرية المشتركة في القياس النفسي

رغم الفروق الوظيفية والتطبيقية العميقة التي تم تفصيلها، يلتقي ثبات الاختبار وإعادة الاختبار مع ثبات بين المقيمين في أرضية إبستمولوجية ورياضية صلبة وموحدة. تنطلق كلتا المنهجيتين من الإطار الفكري للنظرية الكلاسيكية للقياس (CTT) التي تجعل من تفكيك التباين الملاحظ ($\sigma_X^2$) إلى تباين حقيقي مرغوب فيه وتباين خطأ غير مرغوب فيه مرتكزاً لتقييم أي ظاهرة كمية. والغاية العليا المشتركة لكليهما هي خفض الخطأ المعياري للقياس (Standard Error of Measurement – SEM) إلى أدنى حد ممكن، والذي يُعبر عنه بالمعادلة:

$$\text{SEM} = \sigma_X \sqrt{1 – r_{xx}}$$

حيث يمثل الخطأ المعياري للقياس الانحراف المعياري لتوزيع الدرجات الملاحظة المتوقعة حول الدرجة الحقيقية للفرد الواحد. وتُظهر المعادلة بوضوح أنه كلما ارتفع معامل الثبات ($r_{xx}$)، سواء كان مستمداً من استقرار زمني أو توافق تحكيمي، تضاءلت قيمة $\text{SEM}$ وضاقت حدود فترات الثقة (Confidence Intervals) المحيطة بالدرجات المشتقة، مما يمنح الممارس السريري أو الأكاديمي يقيناً إحصائياً أعلى في تفسير الدرجة الملاحظة.

يشترك كلا النمطين كذلك في كونهما حجر الزاوية لدعم صدق البناء (Construct Validity) العام للأداة. فكلا المؤشرين يختبران شكلاً من أشكال الثبات البنيوي للقياس (Invariance of Measurement)؛ حيث يختبر ثبات إعادة الاختبار لا-تغير القياس عبر الزمن (Invariance across Time)، بينما يختبر ثبات المقيمين لا-تغير القياس عبر الفاحصين (Invariance across Observers). ولا يمكن لأي أداة أن تدعي صدق تفسيراتها ما لم تبرهن على صمودها أمام هذين المحورين متى كانا منطبقين على سياقها المنهجي. فضلاً عن ذلك، تتطلب الممارسة المنهجية الرصينة في كلا النمطين توحيداً صارماً للتعليمات، ومراقبة بيئة التطبيق، والتأكد من وضوح بنود الاختبار، وتوفير شروط قياس معيارية تحد من تدخل المتغيرات الدخيلة غير الخاضعة للضبط.

5.2 التكامل الإحصائي في نظرية إمكانية التعميم

تصل وحدة المفهومين إلى ذروتها الإحصائية والفلسفية في نظرية إمكانية التعميم (Generalizability Theory). لا تنظر هذه النظرية الحديثة إلى ثبات الاستقرار الزمني وثبات المقيمين كمسارين متنافرين، بل تدمجهما بسلاسة في منظومة قياس واحدة متعددة الأوجه (Multifacet Measurement Design). في هذا الإطار المتكامل، يُنظر إلى أي عملية قياس معقدة على أنها عينة مستقاة من كون فسيح يضم جميع شروط القياس الممكنة (Universe of Admissible Observations)، حيث يمثل الزمن وجهاً، والمقيمون وجهاً آخر، والفقرات وجهاً ثالثاً.

تُتيح هذه الرؤية إجراء ما يُعرف بـ دراسات إمكانية التعميم (G-Studies)، التي تستخدم نماذج تحليل التباين العشوائي لتقدير وتفكيك حصة كل وجه بمفرده، فضلاً عن التفاعلات المشتركة بين هذه الأوجه مجتمعة، في إنتاج تباين الخطأ. وبفضل ذلك، يستطيع الباحث الإجابة رياضياً عن أسئلة من طراز: ما هي النسبة المئوية من التذبذب في درجات المشاركين التي ترجع إلى الفروق الحقيقية بينهم؟ وما هي النسبة التي ترجع إلى عدم استقرار الأداء عبر الأيام؟ وما هي النسبة التي تعود إلى تشدد المقيمين؟ وما هي النسبة الناتجة عن التفاعل المعقد بين طبيعة المفحوص وذاتية مقيّم معين في يوم بعينه؟

يتوج هذا التكامل النظري بإجراء دراسات اتخاذ القرار (D-Studies)، حيث يستثمر الباحث المعلومات الإحصائية المشتقة من دراسة (G) لإعادة تصميم منظومة القياس بأعلى كفاءة وأقل تكلفة. فإذا كشفت البيانات أن تباين الخطأ الأكبر يتركز في وجه المقيمين وليس في وجه الزمن، يتخذ الباحث قراراً منهجياً بزيادة عدد المقيمين في المستقبل مع الاكتفاء بتطبيق زمني واحد؛ بينما إذا أظهرت النتائج أن تباين المقيمين مهمل تماماً وأن التباين الأكبر يكمن في تأرجح الأداء اليومي للأفراد، يقرر الباحث الاستعانة بمقيّم واحد مع تكرار جلسات الاختبار عبر مناسبات زمنية متعددة للوصول إلى معامل تعميمي ($\text{G-coefficient}$) يتجاوز عتبات القبول المعتمدة لاتخاذ القرارات التربوية أو السريرية.

6. معايير الاختيار المنهجي: متى يُطبق كل نوع؟

6.1 سياقات التطبيق الإلزامية لثبات الاختبار وإعادة الاختبار

يتعين على الباحث اللجوء حصراً أو بصورة أساسية إلى حساب ثبات الاختبار وإعادة الاختبار في جملة من السياقات المنهجية التي تكتسب فيها الخاصية المقاسة بعداً زمنياً، وتكون فيها أداة القياس محصنة بطبيعتها ضد تباين الأحكام البشرية. وتشمل هذه السياقات المحددة ما يلي:

• أدوات ومقاييس التقرير الذاتي (Self-Report Inventories) ذات التصحيح الموضوعي المباشر: عندما يُطلب من الفرد الإجابة عن استبانات شخصية أو مقاييس اتجاهات تعتمد سلالم ليكرت المغلقة (Likert scales) أو الاختيار من متعدد؛ حيث يتم جمع الدرجات وفق مفتاح تصحيح رياضي محدد سلفاً لا دخل فيه لأي حكم بشري. في مثل هذه الحالة، يكون ثبات المقيمين منعدم المعنى منهجياً (إذ سيصل الاتفاق دائماً إلى 100% بين أي شخصين يجمعان الأرقام)، ويصبح ثبات إعادة الاختبار هو المؤشر الوحيد للتحقق من استقرار إجابات المفحوصين عبر الزمن.
• الدراسات التجريبية والتدخلية الطولية (Longitudinal & Intervention Studies): عندما يهدف البحث إلى تقييم فاعلية برنامج تدريبي، أو علاج نفسي، أو تدخل دوائي عبر تصميم القياس القبلي والبعدي (Pretest-Posttest Design). قبل الشروع في قياس أثر التدخل، يجب البرهنة على أن الأداة المستخدمة تتمتع بثبات استقرار زمني عالٍ في المجموعة الضابطة التي لم تتلق التدخل؛ لضمان أن الفروق التي ستظهر لاحقاً في المجموعة التجريبية ناتجة بالفعل عن البرنامج العلاجي وليس عن تذبذب عشوائي ذاتي في درجات الأداة عبر الوقت.
• الاختبارات الموضوعية المؤتمتة رقمياً (Computerized Adaptive Testing): الاختبارات المعرفية واختبارات قياس سرعة معالجة المعلومات التي تُدار وتُصحح بالكامل عبر الخوارزميات والبرمجيات الحاسوبية؛ إذ ينعدم فيها كلياً وجه الخطأ البشري، ويكون الهدف السيكومتري الأوحد هو التأكد من اتساق الأداء المعرفي للفرد عند تكرار الاختبار على المنصة الرقمية.
• المؤشرات النفس-فسيولوجية والقياسات البيومترية المستقرة (Biometric & Psychophysiological Indices): كقياسات استجابة الموصلية الجلدية الأساسية، وتخطيط كهربية الدماغ أثناء الراحة (Resting-state EEG)، وتتبع حركات العين التلقائية؛ حيث يُشترط إثبات الاستقرار عبر الأيام قبل اعتماد هذه المؤشرات الحيوية كدلائل بيولوجية مستقرة على اضطرابات معينة.

6.2 سياقات التطبيق الإلزامية لثبات بين المقيمين

في المقابل، يُلزم الباحث بالاعتماد على ثبات بين المقيمين كمعيار سيكومتري أول ورئيسي في جميع التصميمات التي تحتل فيها الذاتية الإدراكية للملاحظ موقعاً وسيطاً بين الأداء الخام ودرجة القياس المسجلة. ومن أبرز هذه البيئات التطبيقية:

• تقييم المهام الأدائية المفتوحة والإنتاج المعقد (Complex Performance Tasks): عند قياس المهارات التعبيرية المفتوحة كمقالات التفكير النقدي، والقدرة الخطابية في التواصل الجماهيري، والأعمال الفنية التشكيلية، والاختبارات الشفوية للغات الأجنبية. في هذه الحالات، لا يوجد خيار إجابة أحادي، وتصبح الدرجة المعطاة انعكاساً لتقدير الفاحص لكفاءة المنتج، مما يجعل حساب كابا كوهين أو معامل الارتباط داخل الفئات للمحكمين شرطاً لازماً لنشر الأداة أو إقرار نتائجها.
• التشخيصات العيادية والطبية النفسية القائمة على المقابلات الحرة وشبه المنظمة: أثناء إجراء الفحوصات التشخيصية للاضطرابات النفسية المعقدة كالفصام واضطرابات الشخصية؛ حيث يستند التشخيص إلى استنباط وتأويل الأعراض عبر الحوار الإكلينيكي. يتطلب المعيار العلمي هنا قيام طبيبين نفسيين أو أخصائيين مستقلين بالاستماع إلى المفحوص أو مشاهدة المقابلة وتحديد التشخيص بشكل منفصل لحساب معامل الاتفاق وتأكيد موثوقية التصنيف.
• دراسات تحليل المحتوى (Content Analysis) في العلوم الاجتماعية والإعلام: عند ترميز وتحليل الخطابات السياسية، أو التغطيات الصحفية، أو منشورات وسائل التواصل الاجتماعي، وتصنيفها إلى فئات مثل “خطاب كراهية”، أو “تأطير إيجابي”، أو “دعاية موجهة”. لا يكتسب نظام الترميز هذا أي قيمة علمية معتبرة ما لم يبرهن الباحث على ارتفاع ثبات التوافق (Inter-coder Reliability) بين الباحثين المرمزين باستخدام كابا فليس أو معاملات كريبلندورف ألفا (Krippendorff’s Alpha).
• تقييم الكفاءات المهنية ومحاكاة الأدوار في بيئات العمل الحية: كملاحظة وتقييم مهارات القيادة لدى المديرين، أو تقييم أداء الطيارين في أجهزة المحاكاة التشبيهية، أو تقييم تعامل رجال الإطفاء مع سيناريوهات الكوارث الميدانية؛ حيث ترتكز الدرجة على بطاقة ملاحظة سلوكية يملؤها مقيمون خبراء يراقبون المشهد السلوكي الحي.

6.3 نماذج القياس المركبة التي تتطلب كلا النوعين معاً

ثمة فئة بالغة الأهمية من أدوات القياس السيكومترية والعيادية المتقدمة لا تكتمل كفاءتها المنهجية إلا بالجمع الإلزامي والمتزامن بين ثبات الاختبار وإعادة الاختبار وثبات بين المقيمين معاً، وذلك نظراً لكون الظاهرة المقاسة تستدعي حكماً بشرياً ذاتياً من جهة، وتتطلب استقراراً وتنبؤاً عبر الزمن من جهة أخرى. يُطلق على هذه النماذج “المنظومات القياسية المركبة”.

يتجسد النموذج الأبرز لهذه الفئة في أدوات الفحص والتشخيص النمائي الشاملة، مثل جدول الملاحظة التشخيصية للتوحد – الإصدار الثاني (ADOS-2)، ومقاييس التقييم العيادي للذهان كالمقياس الموجز للتقييم النفسي (BPRS). في مقياس ADOS-2، على سبيل المثال، يتفاعل الفاحص مع الطفل عبر أنشطة لعب واجتماعية موحدة، ثم يقوم بتقدير درجات الطفل على مقاييس رتبية لمؤشرات التواصل والسلوكيات النمطية. هنا يبرز خطر الذاتية التقديرية للفاحص في قراءة حركات الطفل ولفتاته، مما يستوجب فحص ثبات بين المقيمين بنسبة اتفاق مطلقة عالية بين فاحصين مدربين يشاهدان الجلسة ذاتها لضمان نزاهة التشفير. وفي الوقت نفسه، بما أن التوحد يُعرّف كاضطراب نمائي عصبي دائم ومستقر في جوهره عبر الأسابيع، يتعين على مصممي المقياس أيضاً التحقق من ثبات الاختبار وإعادة الاختبار للدرجات عبر فاصل زمني (من أسبوعين إلى ثلاثة أسابيع) للتأكد من أن تقلبات مزاج الطفل الطارئة أو تغير الفاحص لا تقود إلى إسقاط تصنيف التوحد أو تثبيته خطأً.

ينطبق هذا النموذج المركب أيضاً على مقاييس الملاحظة السلوكية المدرسية للأطفال في الفصول الدراسية، كتقييم أعراض اضطراب فرط الحركة وتشتت الانتباه (ADHD)؛ حيث يُشترط أولاً إثبات اتفاق الملاحظين المستقلين الجالسين في مؤخرة الفصل على تشفير سلوكيات “مغادرة المقعد” أو “مقاطعة المعلم” لحظياً، ثم يُشترط ثانياً تكرار الملاحظة بعد أسبوعين في نفس الحصة للتأكد من أن وتيرة هذا السلوك تمثل نمطاً سلوكياً راسخاً وليست استجابة عارضة لمثير صفي طارئ. ويمتد هذا النموذج إلى تقييم المهارات الجراحية المتقدمة في التعليم الطبي؛ حيث يتم تقييم براعة المتدرب في إجراء استئصال معين بواسطة جراحين استشاريين متعددين (ثبات المقيمين لضبط التحيز الشخصي)، مع تكرار التقييم في عمليتين جراحيتين منفصلتين تفصل بينهما فترة وجيزة لم تتضمن تدريباً إضافياً (ثبات الاستقرار للتأكد من رسوخ الكفاءة الحركية واليدوية لدى المتدرب).

7. أسئلة شائعة حول ثبات الاختبار وإعادة الاختبار وثبات المقيمين

7.1 لماذا لا يُعد معامل كابا كوهين كافياً إذا كانت هناك رتب تراتبية للبيانات؟

يستند معامل كابا كوهين البسيط (Simple Cohen’s Kappa) إلى منطق تصنيفي ثنائي حاسم؛ حيث يعامل كافة أشكال الخلاف بين المحكمين على أنها متكافئة تماماً في قيمتها وسلبيتها الرياضية دون أي مراعاة لحجم التباعد بين الفئات. فإذا كان المحكمان يقومان بتقييم شدة الاكتئاب على مقياس رتبي يتكون من أربع درجات متدرجة: (1 = منعدم، 2 = خفيف، 3 = متوسط، 4 = شديد)، فإن كابا البسيط سيعاقب الخلاف الذي يقع عندما يصنف المحكم الأول الحالة بأنها “منعدمة” ويصنفها الثاني بأنها “خفيفة” بنفس المقدار العقابي الدقيق الذي يعاقب به الخلاف الذي يقع عندما يصنفها الأول بأنها “منعدمة” والآخر بأنها “شديدة”.

هذا التجاهل للبعد المسافي والتراتبي في البيانات الرتبية يؤدي إلى إهدار معلومات سيكومترية وإحصائية بالغة الأهمية، ويقلل بصورة غير مبررة من قيمة التوافق الإجمالي للبيانات المترابطة تراتبياً. لذلك، فإن البديل المنهجي الإلزامي هنا هو استخدام معامل كابا الموزون (Weighted Kappa)، وتحديداً باستخدام “الأوزان التربيعية” (Quadratic Weights) التي تتوافق رياضياً مع معامل الارتباط داخل الفئات. يمنح كابا الموزون أوزاناً جزئية توافقية للاختلافات الطفيفة المتقاربة بين الرتب المتجاورة، بينما يفرض عقوبة رياضية قصوى وتنازلية حادة على الاختلافات المتباعدة ذات الفجوات الواسعة، مما يقدم تقديراً واقعياً ومنصفاً لاتساق المحكمين في المقاييس الرتبية المتدرجة.

7.2 ما هو الفاصل الزمني المثالي لتطبيق ثبات إعادة الاختبار لتجنب أثر الذاكرة؟

لا يوجد في أدبيات القياس السيكومتري رقم سحري واحد ينطبق كقاعدة مطلقة على كافة المقاييس والسمات، ولكن التوافق الأكاديمي العام يحدد فترة تتراوح بين أسبوعين وأربعة أسابيع كنافذة زمنية نموذجية لمعظم البناءات النفسية والتربوية لدى البالغين. يرجع هذا التحديد إلى أن هذه المدة كافية منطقياً لتلاشي تفاصيل الذاكرة قصيرة المدى وتآكل الاسترجاع الحرفي للفقرات والخيارات، وفي الوقت ذاته لا تمثل فترة كافية لحدوث تحولات نمائية ذات دلالة أو تغيرات بنيوية في السمة النفسية المقاسة.

تتغير هذه التوصية بصورة جذرية تبعاً لثلاثة محددات منهجية:

1. عمر العينة المستهدفة: فلدى الأطفال والرضع، تُعتبر نافذة الأربعة أسابيع طويلة للغاية وقد تشهد طفرات نمائية سريعة؛ لذا يُفضل اختصار الفاصل الزمني إلى أسبوع واحد أو بضعة أيام لتجنب خلط تباين الخطأ بتباين النمو الطبيعي.
2. طبيعة البناء (State vs. Trait): إذا كان البناء المستهدف حالة عابرة بطبيعتها كـ “القلق كحالة” (State Anxiety) أو المزاج اليومي، فإن مفهوم ثبات إعادة الاختبار الزمني يصبح غير ذي موضوع إذا زاد الفاصل عن ساعات قليلة أو يوم واحد؛ لأن الهدف في بناءات الحالات هو رصد الحساسية للتغير وليس الاستقرار المستمر، خلافاً لبناءات “السمة” (Traits).
3. طبيعة المهام المتضمنة: إذا كان الاختبار يعتمد على ألغاز استبصارية وحل مشكلات غير مألوفة تعتمد على ومضة فهم مفاجئة (Aha! moment)، فإن أثر الذاكرة قد يمتد لعدة أشهر؛ مما يفرض إما إطالة الفاصل الزمني لستة أشهر، أو الاستعاضة عن ذلك باستخدام طريقة الصور المتكافئة (Alternate Forms Method) المقترنة بالفاصل الزمني، لضمان قياس الاستقرار دون تعريض المفحوص لنفس الأسئلة الحرفية مجدداً.

7.3 هل يغني ارتفاع ثبات الاتساق الداخلي (كرونباخ ألفا) عن قياس هذين النوعين؟

الإجابة القاطعة هي: لا، إطلاقاً. يُعد الاعتقاد بأن معامل كرونباخ ألفا (أو ما شابهه من مؤشرات كمعامل أوميغا ماكدونالد) يغني عن حساب ثبات إعادة الاختبار أو ثبات بين المقيمين واحداً من أوسع وأخطر الأخطاء المنهجية الشائعة في البحوث المنشورة. يرجع هذا الوهم إلى الخلط بين المفاهيم؛ فمعامل الاتساق الداخلي يمثل مؤشراً على تجانس وتماسك الفقرات (Item Homogeneity) وارتباطها المتبادل داخل الأداة في جلسة واحدة ونقطة زمنية فريدة ومحددة، وتحت إشراف مقيّم واحد مفترض الحياد.

إن معامل كرونباخ ألفا أعمى بالكامل من الناحية الرياضية والسيكومترية عن رصد وتطويق التباين الزمني أو التباين البشري للمحكمين؛ إذ يمكن لباحث أن يطبق استبانة على عينة في لحظة زمنية معينة وتفرز تحليلاتها معامل ألفا مرتفعاً ومبهراً يصل إلى (0.92)، دالاً على أن جميع الفقرات تقيس بعداً واحداً بتجانس ممتاز. ولكن لو أُعيد تطبيق هذه الاستبانة ذاتها على نفس العينة بعد أسبوعين وجاءت درجات الجميع متقلبة بصورة عشوائية حادة، فإن معامل الاستقرار الزمني سينهار إلى الصفر، مما يثبت أن الأداة لا تتمتع بأي استقرار رغم ارتفاع اتساقها الداخلي. وبالمثل، إذا كان التصحيح يعتمد على الملاحظة الذاتية، فإن اتساق فقرات بطاقة الملاحظة داخلياً لا يعني إطلاقاً أن محكّمين مستقلين سيتفقان في تسجيل درجات متقاربة للمفحوص نفسه. وبالتالي، فإن الاتساق الداخلي يقيس تجانس الأدوات، بينما يقيس ثبات إعادة الاختبار وثبات المقيمين صمود القياس أمام عوامل البيئة والزمن والبشر، وهي أبعاد متباينة لا يُلغي أحدها الآخر بأي وجه.

7.4 ما هو الحد الأدنى المقبول إحصائياً لمعاملات الثبات في الأبحاث المنشورة؟

تخضع معايير قبول معاملات الثبات لمحددات السياق والهدف الوظيفي من عملية القياس، وذلك وفقاً لأدبيات القياس المعتمدة؛ ومن أبرزها معايير جوم نونالي (Jum Nunnally, 1978/1994) التأسيسية. تُحدد هذه المعايير عبر المستويات الإرشادية التالية:

• الأبحاث الاستكشافية والمراحل المبكرة لتطوير الأدوات (Exploratory Research): يُقبل معامل ثبات في حدود 0.70 كحد أدنى. في هذه المرحلة يكون الهدف فحص الروابط الأولية واستطلاع الفرضيات الكلية، ويكون الباحث مستعداً للتسامح مع نسبة من تباين الخطأ في سبيل استكشاف المتغيرات.
• البحوث الأساسية والتطبيقية العامة في العلوم السلوكية (Applied Research): يُشترط ألا يقل معامل الثبات عن 0.80 لضمان متانة العلاقات الإحصائية وقابلية تعميم النتائج والحد من تضاؤل معاملات الارتباط الناتج عن ضعف القياس (Attenuation).
• القرارات الفردية والتشخيصية والمصيرية عالية الحساسية (High-Stakes Individual Decisions): كاختبارات القبول الوظيفي للأجهزة الحساسة، وقرارات الإيداع في مصحات الأمراض النفسية، وتشخيص الإعاقات الذهنية أو موهبة الأطفال، وتحديد مسارات التخرج في كليات الطب؛ يُلزم الميثاق السيكومتري بألا يقل معامل الثبات عن 0.90، ويُحبذ أن يتجاوز 0.95. يرجع هذا التشدد الصارم إلى أن أي خطأ معياري طفيف في هذه القرارات يترتب عليه تكلفة إنسانية وقانونية وأخلاقية باهظة تمس مستقبل الأفراد مباشرة، حيث يؤدي انخفاض الثبات إلى اتساع فترات الثقة حول درجات الأفراد بما يجعل التصنيف الفردي أمراً محفوفاً بالشك.

تخضع معاملات التوافق (ككابا كوهين) لمعايير نوعية موازية وضعها لانديس وكوخ (Landis & Koch, 1977)، حيث تُصنف قيمة كابا الأقل من 0.40 بأنها ضعيفة أو غير مقبولة، ومن 0.41 إلى 0.60 بأنها توافق متوسط، ومن 0.61 إلى 0.80 بأنها توافق جوهري (Substantial)، وتعتبر القيم التي تتجاوز 0.81 دليلاً على توافق شبه تام (Almost Perfect Agreement).

8. خاتمة: إرشادات تركيبية لضمان سلامة القياس وموثوقية النتائج

8.1 خلاصة التكامل بين الثبات الزمني وثبات التحكيم

تُظهر القراءة المتعمقة المقارنة بين ثبات الاختبار وإعادة الاختبار وثبات بين المقيمين أن هذين المؤشرين ليسا مجرد إجراءين إحصائيين متعارضين، بل هما منظاران سيكومتريان متكاملان يسلطان الضوء على زاويتين مختلفتين من مصادر الخطأ في عملية القياس الإنساني المعقدة. يمثل الاستقرار الزمني حصناً يختبر مدى رسوخ السمة النفسية المقاسة وتجردها من عوارض اللحظة وتذبذبات الظروف الموقفية العابرة، بينما يمثل ثبات المقيمين ضمانة إبستمولوجية تحمي المفحوص والبحث من تحيزات العين البشرية الملاحظة وأهواء التفسير الفردي.

إن النضج المنهجي يقتضي من الباحثين التوقف عن التعامل الشكلي مع معاملات الثبات؛ كأن يُحشر جدول إحصائي تقليدي في الفصل المنهجي للأطروحات دون تأمل نقدي في دلالاته الواقعية وملاءمته لسياق الأداة. فالثبات ليس بطاقة مرور تُشترى بأي معامل إحصائي متاح، بل هو برهان عملي يقدمه الباحث ليؤكد للمجتمع العلمي أن الدرجات التي بنيت عليها استنتاجاته ومصفوفات نماذجه البنائية هي قراءات حقيقية تعكس جوهر المفحوص وسلوكه، وليست صدى لتشويش قاعة الاختبار، أو نتاجاً لذاكرة متدربة، أو حكماً متساهلاً من مقيّم متعاطف.

8.2 خارطة طريق إجرائية للباحثين ومصممي المقاييس

سعياً لترجمة هذه المبادئ السيكومترية إلى ممارسة بحثية معيارية رصينة، نضع بين يدي الباحثين ومصممي المقاييس خارطة طريق منهجية تتألف من خطوات متسلسلة لضمان التحقق الأمثل من الخصائص السيكومترية لأدواتهم:

1. التشخيص الإبستمولوجي لمصدر الخطر الأكبر في الأداة: قبل اختيار مؤشر الثبات، يجب فحص طبيعة استجابة المفحوص؛ فإذا كانت الأداة ذاتية الإغلاق وخالية من التدخل البشري وتقيس سمة مستقرة، يوجه الجهد المنهجي فوراً نحو ثبات إعادة الاختبار. أما إذا كانت الأداة تستند إلى بطاقة ملاحظة، أو مقابلة، أو مهمة مفتوحة، فإن الأولوية القصوى تتجه دون إبطاء إلى حشد وتدريب المحكمين وتأكيد ثبات بين المقيمين أولاً.
2. التأسيس الإجرائي الدقيق قبل الجمع الميداني: إذا كان الخيار هو ثبات المقيمين، يجب الاستثمار الجاد في بناء دليل تحكيم (Rubric) عياني محكم، والقيام بجلسات معايرة تجريبية لعزل آثار الهالة والنزعة المركزية، وضمان استقلالية الفحص والتعمية المنهجية التامة. وإذا كان الخيار هو ثبات إعادة الاختبار، يجب الموازنة المنهجية في اختيار فاصل زمني ملائم لطبيعة الظاهرة وعمر المفحوصين، مع توحيد بيئة التطبيق وتوقيته ومكافحة مهددات تسرب العينة.
3. المواءمة الصارمة في التحليل الإحصائي: تجنب الاعتماد الساذج على معامل ارتباط بيرسون أو نسبة الاتفاق المئوية البسيطة في غير موضعهما؛ واستبدالهما إجبارياً بنماذج معامل الارتباط داخل الفئات ($\text{ICC}$) الملائمة لطبيعة التصميم (متقاطع أو متداخل) والهدف (اتفاق مطلق أم اتساق نسبي)، وتطبيق كابا كوهين وكابا الموزون بحسب مستويات القياس الاسمية أو الترتيبية.
4. الشفافية الكاملة في كتابة التقرير السيكومتري: الالتزام الصارم بالمعايير الدولية المشتركة الصادرة عن الجمعية الأمريكية لبحوث التعليم والجمعية الأمريكية لعلم النفس والمجلس الوطني للقياس في التعليم (AERA, APA, & NCME Standards for Educational and Psychological Testing). يقتضي ذلك التوثيق الدقيق لكافة الظروف المحيطة بحساب المعامل: ذكر طول الفاصل الزمني بالأيام بدقة، وعرض خصائص العينة السيكومترية، وتوضيح عدد المحكمين وخلفياتهم التدريبية، والإفصاح عن النموذج الرياضي الدقيق لمعامل الثبات المستخدم، وإرفاق فترات الثقة (Confidence Intervals) المحيطة بالمعامل لتمكين القارئ والمحكم من تقييم الجودة الإحصائية للأداة بصورة مستقلة وموضوعية.

المراجع

• American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association. https://www.apa.org/science/programs/testing/standards
• Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
• Cohen, J. (1968). Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213–220. https://doi.org/10.1037/h0026256
• Cronbach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. John Wiley & Sons.
• Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382. https://doi.org/10.1037/h0031619
• Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310
• Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric theory (3rd ed.). McGraw-Hill.
• Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. https://doi.org/10.1037/0033-2909.86.2.420
• Spearman, C. (1904). The proof and measurement of association between two things. The American Journal of Psychology, 15(1), 72–101. https://doi.org/10.2307/1412159