موثوقية ما بين المقيمين: التعريف، الأمثلة، والتقييم

تُعد عملية القياس في العلوم الإنسانية، السلوكية، والطبية واحدة من أعقد التحديات الإبستمولوجية والمنهجية التي تواجه الباحثين والممارسين الإكلينيكيين على حد سواء. فعلى عكس العلوم الفيزيائية والطبيعية التي تعتمد على وحدات قياس معيارية ثابتة وأدوات قياس مادية كالطول والكتلة والزمن، تتعامل العلوم السلوكية مع تكوينات فرضية وبناءات نفسية غير ملموسة بصورة مباشرة، مثل القلق، الاكتئاب، الكفاءة القيادية، السلوك الفصامي، أو جودة التفاعل الاجتماعي. هذا التحدي البنيوي يفرض في كثير من الأحيان الاستعانة بالعنصر البشري كأداة للرصد والملاحظة والتقييم، مما يفتح الباب واسعاً أمام تباين الأحكام الذاتية والتحيزات الإدراكية التي تهدد دقة القياس ورصانته.

من هذا المنطلق، تبرز موثوقية ما بين المقيمين (Inter-Rater Reliability) بوصفها الحصن المنهجي والمعياري الأهم لضمان تجريد الملاحظات الإكلينيكية والبحثية من شوائب الذاتية الفردية. إنها تمثل المؤشر الإحصائي الذي يقيس درجة التوافق أو الاتساق بين حكمين مستقلين أو أكثر عند تقييمهم لنفس الظاهرة السلوكية أو الاستجابة النفسية باستخدام الأداة المعيارية ذاتها. ولا تقتصر أهمية هذا المفهوم على كونه متطلباً إحصائياً شكلياً لإجازة الدراسات العلمية، بل يمتد ليكون صمام الأمان التشخيصي الذي يحمي المريض من أخطاء التصنيف الطبي، ويضمن للمؤسسات دقة اتخاذ القرارات المصيرية المتعلقة باختيار الكفاءات أو تقييم الأداء البشري في السياقات عالية الحساسية.

يهدف هذا الدليل المرجعي الموسع إلى تفكيك مفهوم موثوقية ما بين المقيمين من كافة أبعاده النظرية، المنهجية، والرياضية. سننطلق من التعريفات الإجرائية العميقة للثبات السيكومتري وعلاقته بالصدق، مروراً بالأطر النظرية المفسرة للقياس وأخطائه، والتمييز الدقيق بين الموثوقية التقييمية وأنماط الثبات الأخرى. كما سنتناول باستفاضة المعادلات الإحصائية لمختلف مستويات القياس من معاملات كابا وكندال إلى نماذج الارتباط داخل الفئات (ICC) ومعامل كريبندورف المتقدم، مدعمة بالأمثلة الإكلينيكية والتنظيمية، مع تقديم خطة عمل منهجية للتدريب والمعايرة وتطبيقات الحوسبة الإحصائية ومستقبل القياس السلوكي في عصر الذكاء الاصطناعي التوليدي.

1. مقدمة شاملة حول مفهوم موثوقية ما بين المقيمين وأهميتها المنهجية

1.1 التعريف الإجرائي لموثوقية ما بين المقيمين في سياق القياس النفسي

تُعرّف موثوقية ما بين المقيمين (Inter-Rater Reliability)، والتي يُطلق عليها أيضاً ثبات المحكمين أو اتساق الملاحظين، بأنها الدرجة التي يُعطي بها ملاحظان مستقلان أو أكثر تقييمات متسقة ومتطابقة للظاهرة السلوكية نفسها عند خضوعها للقياس تحت نفس الشروط والظروف التجريبية أو الإكلينيكية. في سياق القياس النفسي (Psychometrics)، لا يُنظر إلى المقيم البشري كمجرد جامع للبيانات، بل يُعامل بوصفه أداة قياس قائمة بذاتها (Measurement Instrument)، وبالتالي فإن خصائص هذه الأداة من حيث الدقة والاستقرار وخلوها من التباين العشوائي تخضع لنفس المعايير الصارمة التي تُطبق على الاختبارات النفسية المقننة.

تستدعي طبيعة المتغيرات السلوكية والنفسية اللجوء إلى التقييم البشري عندما تعجز أدوات التقرير الذاتي (Self-Report Inventories) أو المقاييس الفسيولوجية المباشرة عن الإحاطة بالظاهرة المدروسة. ففي دراسات الطفولة المبكرة، أو تقييم اضطرابات التواصل، أو تشخيص نوبات الهوس الحاد، لا يمكن الاعتماد على استبانات ورقية؛ بل يتطلب الأمر ملاحظة مباشرة لسلوكيات معقدة وتفكيك تعبيرات الوجه، نبرات الصوت، ولغة الجسد. في هذه الحالات، يتحول إدراك المقيم وحكمه إلى المترجم الأساسي للسلوك الخام، مما يجعل استقرار هذا الإدراك بين عدة مقيمين مؤشراً حاسماً على أن البيانات الناتجة تعكس خصائص المفحوص الحقيقية وليس التفضيلات الإدراكية للمقيم.

من الناحية المنهجية والرياضية، يجب التمييز بدقة بالغة بين مفهومين مترابطين ولكن متمايزين: الاتفاق التام (Absolute Agreement) والاتساق النسبي (Consistency). يشير الاتفاق التام إلى تطابق الدرجات الرقمية أو التصنيفات الاسمية المعطاة من قبل المقيمين بشكل متطابق حرفياً (مثال: كلاهما أعطى المفحوص 7 من 10)، وهو معيار صارم وضروري في التشخيصات الإكلينيكية القاطعة. أما الاتساق النسبي، فيعني حفاظ المقيمين على نفس الترتيب النسبي للأفراد المفحوصين، حتى وإن كانت هناك إزاحة منتظمة في الدرجات المطلقة (مثال: أحد المقيمين يميل إلى منح درجات أعلى بنقطتين من المقيم الآخر لجميع المفحوصين). يعتمد الاختيار بين هذين المفهومين على الهدف النهائي من عملية القياس والنموذج الإحصائي المعتمد.

تُمثل موثوقية المقيمين الركيزة الأولى لضمان جودة أدوات القياس السيكومتري؛ فبدون إثبات تجريبي يوضح أن باحثين مختلفين، يمتلكان نفس الخلفية التدريبية، يستطيعان الوصول إلى ذات النتيجة عند ملاحظة نفس العينة السلوكية، تصبح البيانات المجمعة غير قابلة للتفسير العلمي الرصين، وتتحول النتائج إلى مجرد انطباعات ذاتية (Subjective Impressions) تفتقر إلى الصفة العلمية المؤسسية.

1.2 الأهمية المعرفية والعملية للموثوقية في البحث العلمي والتشخيص الإكلينيكي

تتجاوز أهمية موثوقية ما بين المقيمين الجوانب الإحصائية البحتة لتشكل صلب النزاهة المعرفية في البحث العلمي والتشخيص الطبي والنفسي. في المقام الأول، تعمل موثوقية المقيمين كخط دفاع منهجي يحمي الدراسات البحثية من التحيزات الفردية وأخطاء القياس الذاتية الناجمة عن الفروق الفردية في الانتباه، التفسير، والتوقعات المسبقة لدى الباحثين. عندما تتعدد الأعين الملاحظة وتتفق على تسجيل السلوك ذاته، يتقلص التباين الذاتي لصالح التباين الحقيقي للسمة المقاسة، مما يرفع من جودة البيانات ويجعل الاستنتاجات المستخلصة ذات موثوقية إبستمولوجية عالية.

في الميدان الإكلينيكي، تُمثل هذه الموثوقية الركيزة الأساسية للتشخيص الموثوق وفق المعايير الدولية المعتمدة، مثل الدليل التشخيصي والإحصائي للاضطرابات النفسية (DSM-5) الصادر عن الجمعية الأمريكية للطب النفسي، أو التصنيف الدولي للأمراض (ICD-11) التابع لمنظمة الصحة العالمية. إن أي خلل في موثوقية المقيمين يعني بالضرورة أن تشخيص مريض باضطراب الاكتئاب الجسيم، أو الفصام، أو اضطراب ثنائي القطب، سيتغير بناءً على الطبيب الذي يفحصه وليس بناءً على المعايير المرضية الكامنة لديه. هذا التباين يقود مباشرة إلى ما يُعرف بـ الخطأ في التصنيف (Misclassification)، وهو ما يترتب عليه وصف بروتوكولات علاجية دوائية ونفسية غير مناسبة قد تلحق ضرراً بالغاً بالمريض وتعيق مسار تعافيه.

إضافة إلى ذلك، تُعد الموثوقية العالية بين المقيمين شرطاً لا غنى عنه لتحقيق القابلية للتكرار (Replicability)، والتي تُعتبر حجر الزاوية للمنهج العلمي الحديث. إذا لم تكن إجراءات التقييم المتبعة في دراسة أولية محددة وقابلة للتطبيق بنفس النتائج من قِبل فرق بحثية مستقلة في مختبرات ومواقع جغرافية أخرى، فإن الفرضيات النظرية للدراسة تسقط وتفقد شرعيتها العلمية. بالتالي، فإن حساب ونشر معاملات موثوقية المقيمين في المجلات العلمية المحكمة ليس ترفاً أكاديمياً، بل هو إقرار صريح بقابلية الملاحظات للتحقق والمساءلة المنهجية المستقلة.

1.3 العلاقة التبادلية بين ثبات المقيمين وصدق أداة القياس

تقوم النظرية السيكومترية على قاعدة ذهبية تنص على أن الثبات (Reliability) شرط ضروري ولكنه غير كافٍ لتحقيق الصدق (Validity). يعني ذلك منطقياً أنه لا يمكن لأداة قياس أن تكون صادقة وتقيس ما وُضعت لقياسه بالفعل ما لم تكن أولاً ثابتة ودقيقة في قياساتها. وإذا طبقنا هذا المبدأ على موثوقية المقيمين، نجد أن التوافق العالي بين حكمين على سلوك معين يضمن لنا أن السلوك يُقاس بدرجة منخفضة من الخطأ العشوائي، ولكنه لا يضمن بالضرورة أن المقيمين يقيسون السمة النفسية المستهدفة؛ فقد يتفق مقيمان تماماً على تشخيص مريض بناءً على مؤشرات خاطئة تماماً أو غير متصلة بالبناء النفسي للمرض.

ومع ذلك، فإن انخفاض موثوقية المقيمين يؤدي بصورة حتمية إلى تآكل وإهدار صدق البناء (Construct Validity) وصدق المحتوى (Content Validity). فإذا كان المقيم (أ) والمقيم (ب) يختلفان في تصنيف استجابات المفحوصين على مقياس اضطراب ما بعد الصدمة (PTSD)، فإن التباين المشترك بين أداة القياس وأي محك خارجي (Criterion) سينخفض رياضياً، مما يجعل من المستحيل إثبات الصدق التنبؤي أو الصدق التمييزي للأداة. يُعرف هذا التأثير في الإحصاء بـ “توهين الارتباط بسبب عدم الثبات” (Attenuation of Correlation Due to Unreliability).

من الناحية الرياضية الصارمة، يُحدد الحد الأعلى لصدق المحك لأي أداة قياس بأن يكون مساوياً للجذر التربيعي لمعامل ثبات الأداة، وفق المعادلة الكلاسيكية:

$$r_{xy(\max)} = \sqrt{r_{xx}}$$

حيث يمثل $r_{xy(\max)}$ الحد الأقصى للارتباط الممكن بين درجات التقييم والمحك الخارجي، بينما يمثل $r_{xx}$ معامل موثوقية المقيمين. توضح هذه الدالة الرياضية بجلاء أنه إذا كانت موثوقية المقيمين منخفضة (ولتكن مثلاً 0.36)، فإن أقصى صدق نظري يمكن أن تحققه الأداة لا يمكن أن يتجاوز 0.60، مما يعني أن غياب الاتساق بين المقيمين يضع سقفاً منخفضاً للغاية لصدق الأداة وفائدتها التطبيقية والبحثية مهما بُذل من جهد في تطوير بنودها ومحتواها.

2. الأسس النظرية والنماذج المفسرة لثبات الملاحظة والتقييم

2.1 النظرية الكلاسيكية للاختبارات (Classical Test Theory) وتفسير خطأ القياس

تُشكل النظرية الكلاسيكية للاختبارات (CTT) الإطار المفاهيمي الأبرز والأقدم لتفسير موثوقية القياس وتحليل مصادر الخطأ المرتبطة به. تنطلق النظرية من المعادلة الأساسية الشهيرة التي تفترض أن الدرجة الملاحظة لأي مفحوص تتكون من مركبين أساسيين:

$$X = T + E$$

حيث يمثل $X$ الدرجة الملاحظة (Observed Score) التي يسجلها المقيم، ويمثل $T$ الدرجة الحقيقية (True Score) للمفحوص، وهي القيمة النظرية للسمة المقاسة في حال خلو عملية القياس من أي شائبة، بينما يمثل $E$ خطأ القياس (Measurement Error).

عند إسقاط هذه النظرية على سياق تقييم المقيمين، يتفكك خطأ القياس $E$ إلى نوعين من الأخطاء: الخطأ العشوائي (Random Error) الناتج عن عوامل لحظية غير متوقعة مثل تشتت انتباه المقيم أو تقلبات طفيفة في استجابة المفحوص، والخطأ المنتظم (Systematic Error) الذي ينشأ عن تحيزات هيكلية لدى المقيمين، مثل نزعة أحد المقيمين إلى التشدد الدائم (Severity) ونزعة الآخر إلى التساهل (Leniency). يؤدي تباين المقيمين الناجم عن هذه الأخطاء إلى تضخيم تباين الخطأ الكلي ($\sigma^2_E$) في المعادلة التباينية للقياس ($\sigma^2_X = \sigma^2_T + \sigma^2_E$)، مما يترتب عليه تقليص نسبة التباين الحقيقي إلى التباين الكلي، وهو التعريف الرياضي لثبات القياس:

$$\text{Reliability} = \frac{\sigma^2_T}{\sigma^2_X} = \frac{\sigma^2_T}{\sigma^2_T + \sigma^2_E}$$

تفترض النظرية الكلاسيكية افتراضات جوهرية لتطبيق نماذج الثبات، ومن أبرزها: أن متوسط أخطاء القياس يساوي صفراً عبر القياسات اللانهائية، وأن الارتباط بين الدرجات الحقيقية وأخطاء القياس معدوم، فضلاً عن استقلالية أخطاء القياس الصادرة عن مقيمين مختلفين ($r_{E_1, E_2} = 0$). يفرض هذا الشرط الأخير منهجياً ضرورة عزل المقيمين عن بعضهم البعض تماماً أثناء جلسات الرصد والملاحظة؛ فإذا تشاور مقيمان أو تأثر أحدهما برأي الآخر أثناء تسجيل الدرجات، يُنتهك افتراض استقلالية الخطأ، مما يؤدي إلى تضخيم زائف لمعامل الموثوقية وانهيار البنية الرياضية للنظرية الكلاسيكية.

2.2 نظرية تعميم القياس (Generalizability Theory) كإطار شامل لمصادر التباين

على الرغم من القيمة التاريخية للنظرية الكلاسيكية، إلا أنها تعاني من محدودية جوهرية تتمثل في دمجها لكافة مصادر الخطأ في معامل خطأ واحد غير متمايز ($E$). لتجاوز هذا القصور، طور لي كرونباخ وزملاؤه نظرية تعميم القياس (Generalizability Theory أو G-Theory)، والتي تُعد الامتداد الإحصائي والليبرالي الأكثر تطوراً للقياس النفسي، حيث تعتمد على تقنيات تحليل التباين (ANOVA) لتفكيك وعزل مصادر التباين المتعددة بدقة، وتسميتها بـ أوجه التباين (Facets).

في إطار نظرية التعميم، لا يُعامل المقيم كمجرد مصدر لخطأ موحد، بل يُمثل وجهاً مستقلاً من أوجه القياس إلى جانب أوجه أخرى مثل البنود (Items)، المناسبات الزمنية (Occasions)، والمهام (Tasks). تنقسم الدراسات في هذه النظرية إلى مرحلتين أساسيتين:

• دراسات التعميم (G-Studies): تهدف إلى عزل وتقدير المكونات التباينية لكل وجه من الأوجه المحددة، بالإضافة إلى التفاعلات الثنائية والثلاثية بينها (مثل تباين المفحوصين، تباين المقيمين، تباين المناسبات، وتفاعل المفحوصين مع المقيمين). يتيح ذلك للباحث معرفة الحجم الحقيقي للمشكلة؛ هل ينبع الخطأ من عدم كفاءة المقيمين أم من عدم وضوح البنود أم من تقلب الظاهرة عبر الزمن؟
• دراسات القرار (D-Studies): تستخدم التقديرات التباينية المستخرجة من مرحلة دراسة التعميم لتصميم بروتوكول القياس الأمثل مستقبلاً. تستطيع دراسة القرار الإجابة رياضياً وبدقة عن أسئلة تصميمية حاسمة، مثل: “كم عدد المقيمين المطلوبين للوصول إلى معامل تعميم ($\text{G-Coefficient}$) يعادل 0.85 فما فوق؟” و”هل من الأفضل اقتصادياً ومنهجياً زيادة عدد المقيمين أم زيادة عدد البنود السلوكية الملاحظة؟”

تتميز نظرية التعميم بقدرتها على التمييز بين نوعين من معاملات الموثوقية بناءً على الغرض من التقييم: معامل التعميم للقرارات النسبية (Relative G-Coefficient) عندما يكون الهدف هو ترتيب المفحوصين وترتيب كفاءتهم مقارنة ببعضهم البعض، ومعامل المؤشر لقرارات المعيار المطلق (Phi-Coefficient / Absolute Dependability) عندما يُقارن أداء المفحوص بمعيار نجاح أو حد تشخيصي محدد وثابت بغض النظر عن أداء أقرانه. هذه المرونة تجعل نظرية التعميم النموذج النظري المفضل في تقييم المهارات الإكلينيكية ومراكز تقييم الكفاءات المتقدمة.

2.3 النماذج المعرفية لعملية إصدار الأحكام والتقييم السلوكي

لا يقتصر فهم موثوقية المقيمين على الحسابات الإحصائية للدرجات النهائية، بل يتطلب غوصاً عميقاً في العمليات النفسية والإدراكية التي تجري في عقل المقيم أثناء استقبال وتشفير وترميز المثيرات السلوكية. تشير النماذج المعرفية للتقييم إلى أن إصدار الحكم يمر بأربع مراحل متسلسلة: الملاحظة والانتباه، التشفير والتفسير الأولي، استرجاع المعلومات من الذاكرة قصيرة وطويلة المدى، وأخيراً دمج المعلومات وتحويلها إلى قيمة رقمية أو فئة اسمية على مقياس التقييم.

خلال هذه المراحل، تتأثر أحكام المقيمين بالنماذج الذهنية والمخططات المعرفية (Cognitive Schemas) المسبقة التي يحملونها. إذا كان لدى مقيمين مخططات معرفية متباينة حول المفهوم الإجرائي لـ “العدوان غير المباشر”، فإن ملاحظة نفس التفاعل السلوكي بين طفلين ستقود المقيم الأول إلى تصنيف السلوك كـ “مزاح عادي”، بينما يفسره المقيم الثاني على أنه “سلوك تنمري عدواني”. هذا التباين الإدراكي يوضح أن انخفاض الموثوقية ليس مجرد خطأ عشوائي في استخدام القلم، بل هو انعكاس لاختلاف البنى التفسيرية الداخلية للمحكمين.

علاوة على ذلك، يبرز دور الاستدلالات المعرفية السريعة (Heuristics)—كما صاغها دانيال كانمان وعاموس تفيرسكي—في إحداث تباين منهجي بين المقيمين. فعند مواجهة مهام تقييمية معقدة ومحملة معرفياً، يميل المحكمون إلى استخدام استدلالات التوافر (Availability Heuristic) أو التثبيت والتعديل (Anchoring and Adjustment). إذا تأثر المقيم بالسلوك الأول الصادر من المفحوص وثبّت حكمه عليه، فإن تقييمه النهائي سيتفاوت جذرياً عن تقييم زميله الذي اعتمد استراتيجية معالجة شمولية وموزعة زمنياً، مما يبرز أهمية تدريب المقيمين على إدراك وضبط هذه العمليات المعرفية التلقائية.

3. التمييز بين موثوقية ما بين المقيمين والأنواع الأخرى لثبات القياس

3.1 المقارنة بين ثبات ما بين المقيمين (Inter-Rater) وثبات المقيم نفسه (Intra-Rater)

من الأخطاء الشائعة في الأدبيات البحثية الخلط بين مفهومين متقاربين في الاسم ولكنهما مختلفان تماماً في الطبيعة المنهجية ومصدر التباين المستهدف: موثوقية ما بين المقيمين (Inter-Rater Reliability) وموثوقية المقيم نفسه عبر الزمن (Intra-Rater Reliability). يُقصد بالأخيرة مدى قدرة المقيم الواحد على إعطاء نفس الدرجات أو التصنيفات لنفس الاستجابات أو المفحوصين عند إعادة التقييم في مناسبتين زمنيتين مختلفتين دون أن يطرأ تغيير حقيقي على السمة المقاسة، وهو ما يوازي اختبار الاستقرار الزمني (Test-Retest) ولكن الموجه لأداء المقيم البشري.

تنشأ الفروق في موثوقية المقيم نفسه نتيجة عوامل داخلية ترتبط بالحالة الفسيولوجية والنفسية للمقيم، مثل الإجهاد الذهني، تقلبات المزاج، التشتت اللحظي، أو ما يُعرف بـ تأثير التعلم والممارسة (Learning Effect)، حيث قد تتطور خبرة المقيم بمرور الوقت مما يجعله يعدل معاييره التقييمية في الجلسة الثانية مقارنة بالجلسة الأولى. في المقابل، تركز موثوقية ما بين المقيمين على التباين بين عقول متعددة تنظر إلى السلوك ذاته في نفس اللحظة أو عبر تسجيلات موحدة.

يوضح الجدول المقارن التالي الفروق الجوهرية بين النوعين:

• مصدر التباين المستهدف: في ثبات ما بين المقيمين، يكون المصدر هو الفروق الفردية بين المحكمين؛ بينما في ثبات المقيم نفسه، يكون المصدر هو عدم استقرار معايير المحكم الواحد عبر الزمن.
• شروط التصميم التجريبي: يتطلب ثبات ما بين المقيمين ملاحظين مستقلين أو أكثر يقيّمون نفس المادة السلوكية بشكل متزامن أو منفصل؛ بينما يتطلب ثبات المقيم نفسه ملاحظاً واحداً يقيّم نفس المادة المسجلة في نقطتين زمنيتين ($T_1$ و $T_2$) مع فاصل زمني يمنع استرجاع الذاكرة المباشرة للأحكام السابقة.
• الأهمية التشخيصية: يكشف انخفاض ثبات المقيمين عن غموض أداة القياس أو تباين الفهم النظري بين الفريق؛ بينما يكشف انخفاض ثبات المقيم نفسه عن عدم استقرار بروتوكول التصحيح أو صعوبة التركيز والإنهاك المعرفي لدى المقيم.

3.2 المقارنة مع الاتساق الداخلي (Internal Consistency)

يُمثل الاتساق الداخلي المفهوم الأكثر شيوعاً للثبات في استبانات التقرير الذاتي والمقاييس النفسية، ويُقاس عادة باستخدام معادلة ألفا كرونباخ (Cronbach’s Alpha) أو أوميغا ماكدونالد (McDonald’s Omega). يكمن الفرق الجوهري بين الاتساق الداخلي وموثوقية المقيمين في طبيعة الوحدات الخاضعة لاختبار التوافق؛ فبينما يفحص الاتساق الداخلي درجة تجانس وتماسك بنود المقياس (Items) المختلفة في قياس نفس السمة الكامنة لدى المفحوص، تركز موثوقية المقيمين على تماسك درجات المحكمين (Raters) أنفسهم عند استخدامهم لتلك البنود.

يمكن لمقياس نفسي أن يتمتع باتساق داخلي ممتاز (مثلاً: $\alpha = 0.92$) مما يدل على أن أسئلة المقياس مترابطة تماماً، ولكنه في الوقت ذاته قد يعاني من موثوقية بالغة الضعف بين المقيمين (مثلاً: $kappa = 0.35$) إذا كانت بنود المقياس فضفاضة لغوياً وتسمح بتفسيرات إكلينيكية متناقضة من قِبل الأطباء الملاحظين. والعكس صحيح أيضاً؛ فقد يتفق مقيمان بشكل شبه تام على تقدير درجات بنود معينة، ولكن تلك البنود تقيس أبعاداً نفسية متعددة ومتباينة تجعل الاتساق الداخلي للمقياس ككل منخفضاً.

في المنهجيات السيكومترية المتقدمة لبناء وتقنين أدوات الملاحظة السلوكية، لا يتم الاختيار بين هذين النوعين كبدائل، بل يجب دمجهما معاً في تصميم تكاملي؛ حيث يتم أولاً التحقق من الاتساق الداخلي للأداة لضمان أحادية البعد للسمة المدروسة، ثم يتم فحص موثوقية ما بين المقيمين للتأكد من أن الأداة المتماسكة داخلياً يمكن تطبيقها وتصحيحها بموضوعية تامة وبمعزل عن هوية الشخص الذي يجري التقييم.

3.3 المقارنة مع الثبات عبر الصور المتكافئة (Parallel Forms Reliability)

يقوم ثبات الصور المتكافئة (Parallel or Alternate Forms Reliability) على بناء نسختين متكافئتين تماماً من أداة القياس السيكومتري، بحيث تمتلك النسختان نفس الخصائص الإحصائية (نفس المتوسط الحسابي، نفس التباين، ونفس مصفوفة الارتباطات بالسمة الكامنة)، ثم تطبيقهما على نفس العينة لحساب معامل الارتباط بين درجات الصورتين (أ) و(ب). الهدف هنا هو عزل التباين الناتج عن عينة البنود المحددة واختبار ما إذا كانت نتائج القياس تتغير إذا تم تغيير مفردات الأسئلة مع الحفاظ على جوهرها النفسي.

يختلف هذا المفهوم جذرياً عن موثوقية المقيمين، حيث تظل أداة القياس والبنود ثابتة وموحدة بنسبة 100% في دراسات المقيمين، بينما يكون المتغير المستقل المراد اختبار تأثيره هو المقيم البشري الذي يمنح التقدير. في سيناريوهات بحثية معقدة، قد يلجأ المصمم المنهجي إلى مزج هذين النوعين معاً لتقييم مصادر الخطأ المتقاطعة؛ كأن يقوم المقيم الأول باستخدام الصورة (أ) لملاحظة المفحوص، بينما يستخدم المقيم الثاني الصورة (ب) بالتزامن لملاحظة المفحوص ذاته، وهو ما يُعرف في نظرية تعميم القياس بتصميم الأوجه المتقاطعة ($Raters \times Forms$).

يتحدد اختيار نوع الثبات المناسب بناءً على سؤال البحث وطبيعة التصميم التجريبي؛ فإذا كان القلق المنهجي ينصب على مدى تذكر المفحوصين للإجابات واعتيادهم على أسئلة الاختبار، تكون الصور المتكافئة هي الحل. أما إذا كان القلق ينبع من ذاتية الحكم البشري وطبيعة البيانات النوعية أو السلوكية التي لا تعتمد على إجابات رقمية مغلقة، فإن موثوقية ما بين المقيمين تصبح الخيار المنهجي الإلزامي الذي لا يمكن الاستعاضة عنه بأي نوع آخر من الثبات.

4. أمثلة وتطبيقات عملية لموثوقية ما بين المقيمين في الحقول النفسية

4.1 التشخيص النفسي والمقابلات الإكلينيكية المقننة

يُمثل التشخيص النفسي أحد الميادين الأكثر اعتماداً على موثوقية ما بين المقيمين، نظراً لأن معايير الأدلة التشخيصية الكلاسيكية تعتمد على تقييم الأعراض الوجدانية والمعرفية والسلوكية التي يصفها المريض أو يلاحظها المعالج. للتغلب على ذاتية المقابلات الحرة، تم تطوير المقابلات الإكلينيكية المقننة وشبه المقننة، وأشهرها المقابلة الإكلينيكية المقننة لاضطرابات الدليل التشخيصي (SCID-5)، ومقياس هاميلتون لتقييم الاكتئاب (HAM-D)، والمقياس الموجز لتقييم الأعراض النفسية (BPRS).

عند تقييم مريض يُشتبه في إصابته بالفصام (Schizophrenia)، يُطلب من مقيمين إكلينيكيين متعددين مراقبة نفس المقابلة التشخيصية المسجلة بالفيديو واستخدام مقياس الأعراض الإيجابية والسلبية (PANSS). يقوم كل مقيم بمفرده بترميز شدة الهلاوس والضلالات وتسطح الوجدان على سلم متدرج من 1 إلى 7. تُحسب بعد ذلك موثوقية ما بين المقيمين لضمان أن قرار حجز المريض أو خضوعه لبروتوكول مضادات الذهان يستند إلى توافق موضوعي بين الخبراء ولا يخضع لتقدير فردي متشدد أو متساهل.

تتضاعف التحديات الميدانية عند تقييم وتشخيص اضطرابات الشخصية المعقدة، مثل اضطراب الشخصية الحدية (BPD) أو النرجسية؛ حيث تتداخل السمات المرضية مع السمات الشخصية المعيارية للمفحوص، وتكون المظاهر السلوكية متقلبة وسياقية. تُظهر الدراسات الإكلينيكية أن معاملات كابا للتوافق التشخيصي في اضطرابات الشخصية تكون تاريخياً أقل من نظيرتها في الاضطرابات المزاجية والذهانية، مما يفرض إجراء جولات متعددة من المراجعة والتحكيم المتبادل واستخدام معايير إجرائية مشددة لضمان الدقة التشخيصية.

4.2 الاختبارات الإسقاطية وتحليل الرسوم والاستجابات غير المنظمة

تعتمد الاختبارات الإسقاطية (Projective Techniques)، بطبيعتها البنيوية، على تقديم مثيرات بصرية أو لفظية غامضة وغير منتظمة للمفحوص، وتطلب منه إسقاط مخاوفه وصراعاته ودوافعه اللاشعورية على تلك المثيرات. تُعد هذه الأدوات الاختبار الأكثر صعوبة واختباراً لموثوقية المقيمين، نظراً للكم الهائل من الذاتية التي قد تتسرب إلى مرحلة تفسير وترميز تلك الاستجابات الحرة.

يبرز اختبار بقع الحبر لرورشاخ (Rorschach Inkblot Test) كنموذج تطبيقي رائد في هذا السياق؛ فحتى منتصف السبعينيات، كان الاختبار يواجه انتقادات منهجية لاذعة بسبب انخفاض موثوقية المقيمين في تصحيحه. تغير هذا الواقع جذرياً مع تطوير جون إكسنر لنظام التصحيح الشامل (Exner Comprehensive System – CS)، وتلاه نظام تقييم الأداء برورشاخ (R-PAS). وضع هذا النظام معايير ترميز إجرائية دقيقة ومحكمة لاستجابات المفحوصين بناءً على محددات واضحة: الموقع المختار من البقعة، المحددات البصرية (الشكل، اللون، الحركة، التظليل)، ومحتوى الاستجابة ودرجة ملاءمتها للشكل الخارجي. بفضل هذا التقنين، بات بالإمكان تحقيق معاملات موثوقية بين المقيمين تتجاوز 0.85 لكثير من متغيرات الاختبار الأساسية.

ينطبق الأمر ذاته على تحليل قصص اختبار تفهم الموضوع (TAT) باستخدام نظم الترميز الموضوعية مثل نظام ماكليلاند لدوافع الإنجاز والقوة والانتماء، وكذلك على تحليل رسومات الأطفال (مثل رسم الشخص، رسم العائلة المتحركة، أو رسم المنزل والشجرة والشخص H-T-P) المستخدمة في كشف الصدمات والاعتداءات. يتطلب إثبات الموثوقية هنا تدريب المقيمين على تحويل الرموز البصرية غير المقيدة إلى فئات كمية وترميزات محددة بدقة خالية من التأويل الإسقاطي من قِبل الفاحص نفسه.

4.3 الملاحظة السلوكية المباشرة في علم النفس المدرسي والنمائي

في علم النفس المدرسي والنمائي، تُمثل الملاحظة المباشرة في البيئات الطبيعية (Naturalistic Observation) المعيار الذهبي لتقييم اضطرابات الطفولة ومتابعة التدخلات السلوكية. تشمل هذه التطبيقات رصد وتسجيل السلوكيات النمطية، والاندفاعية، وتشتت الانتباه لدى الأطفال المشتبه في إصابتهم بـ اضطراب فرط الحركة وتشتت الانتباه (ADHD)، أو تقييم التفاعلات الاجتماعية واللعب الإيهامي لدى أطفال طيف التوحد داخل بيئة الفصل الدراسي أو غرف اللعب العلاجية.

تستخدم هذه الدراسات أدوات تشخيصية مقننة قائمة على الملاحظة مثل جدول الملاحظة التشخيصية للتوحد (ADOS-2). يجلس في هذه البيئة ملاحظان مستقلان خلف مرآة ذات اتجاه واحد (One-Way Mirror) أو يقومان بتحليل تسجيلات الفيديو لجلسات التفاعل المقننة. يتم استخدام أنظمة الترميز السلوكي (Behavioral Coding Systems) التي تعتمد على تقسيم الجلسة إلى فترات زمنية دقيقة (مثلاً فترات من 10 ثوانٍ) وتطبيق أسلوب تسجيل الفترات الزمنية (Interval Recording) أو تسجيل العينات اللحظية (Momentary Time Sampling) لرصد حدوث أو غياب سلوكيات معينة مثل “التواصل البصري”، “الاستجابة لنداء الاسم”، أو “الرفرفة باليدين”.

يمتد التطبيق ليشمل جلسات العلاج الأسري من خلال تحليل أنماط التواصل والتفاعل اللفظي وغير اللفظي بين الأزواج والآباء والأبناء، حيث تُستخدم مقاييس متخصصة مثل نظام ترميز التفاعل الأسري (FICS). يُعد حساب موثوقية المقيمين لكل فئة سلوكية شرطاً إلزامياً لضمان أن التغيرات المرصودة في سلوك الطفل أو الأسرة تعكس التأثير الفعلي لبرامج التدخل والتعديل السلوكي وليست مجرد نتاج لأخطاء الملاحظة والتسجيل.

4.4 تقييم الكفاءات في علم النفس الصناعي والتنظيمي

في بيئات الأعمال والمؤسسات الحديثة، تلعب موثوقية ما بين المقيمين دوراً جوهرياً في حماية العدالة التنظيمية وضمان صحة القرارات الاستراتيجية المتعلقة بالتوظيف والترقية وتطوير القيادات. يبرز هذا التطبيق بوضوح في مراكز التقييم والتطوير (Assessment Centers)، حيث يمر المرشحون بمحاكاة وظيفية معقدة، مثل تمارين سلة المهام (In-Basket Exercises)، دراسات الحالة الجماعية، ولعب الأدوار الإدارية.

يقوم فريق من المقيمين والخبراء التنظيميين (Assessors) بمراقبة أداء المرشحين وتصنيف جداراتهم السلوكية (مثل: التفكير الاستراتيجي، حل النزاعات، التفاوض، وإدارة فرق العمل). لتقليل الخطأ الفردي، تعتمد هذه المراكز على التقييم المزدوج أو التقييم الثلاثي، حيث يقيّم أكثر من خبير نفس السلوك، وتُحسب معاملات الموثوقية للتأكد من أن تقييم الجدارة متسق ولا يخضع لانطباع فردي أو تحيز شخصي تجاه مرشح بعينه.

كذلك تظهر الموثوقية في المقابلات الوظيفية المقننة القائمة على الجدارات، وفي تقييمات الأداء الشاملة بزاوية 360 درجة (360-Degree Feedback). في هذا النمط الأخير، تجمع التقييمات من الرؤساء، الأقران، والمرؤوسين؛ ويتيح التحليل الإحصائي لموثوقية المقيمين معرفة مدى الاتساق داخل كل مجموعة تقييمية وتفسير التباين الهيكلي بين وجهات النظر الوظيفية المختلفة، مما يوفر رؤية موضوعية متكاملة للكفاءة البشرية.

5. المقاييس الإحصائية للمتغيرات الاسمية (Nominal Data)

5.1 نسبة الاتفاق البسيط (Percent Agreement) ومحدوديتها الرياضية

تُعد نسبة الاتفاق البسيط (Percent Agreement)، وتُسمى أيضاً الاتفاق الخام الملاحظ ($P_o$)، المقياس الإحصائي الأبسط والأكثر بديهية لحساب التوافق بين مقيمين في البيانات الاسمية والتصنيفية الثنائية أو المتعددة. تُحسب هذه النسبة رياضياً بقسمة مجموع الحالات التي اتفق فيها المقيمان تماماً على التصنيف على إجمالي عدد الحالات الخاضعة للتقييم، وفق المعادلة التالية:

$$P_o = \frac{\sum f_{ii}}{N}$$

حيث يمثل $\sum f_{ii}$ مجموع التكرارات الواقعة على القطر الرئيسي في مصفوفة التقاطع التوافقية (حيث يتطابق تصنيف المقيم الأول مع الثاني)، ويمثل $N$ الحجم الكلي للعينة المصنفة.

على الرغم من سهولة حسابها وتفسيرها المباشر، إلا أن نسبة الاتفاق البسيط تعاني من قصور رياضي ومنهجي فادح يمنع الاعتماد عليها بمفردها في الأبحاث السيكومترية الرصينة؛ فالخلل الجوهري فيها يكمن في تجاهلها التام لحقيقة أن جزءاً من هذا الاتفاق الملاحظ يحدث حتماً بمحض الصدفة الإحصائية العشوائية (Chance Agreement). إذا كان لدينا مقيمان يرميان نردين عشوائيين لتصنيف المرضى إلى (مكتئب / غير مكتئب)، فإنهما سيحققان نسبة اتفاق معينة بمجرد الاحتمال الرياضي البحت دون أي معرفة إكلينيكية فعلية.

يتجلى هذا القصور بأوضح صوره في ظاهرة تُعرف بـ مفارقة معدل الانتشار (Prevalence Paradox)؛ ففي الحالات التي تكون فيها إحدى الفئات التشخيصية نادرة جداً أو شائعة جداً في العينة (مثلاً: 95% من العينة أصحاء و 5% فقط يعانون من اضطراب نادر)، فإن مقيمين يميلان إلى تصنيف الجميع كـ “أصحاء” سيحققان نسبة اتفاق بسيط تصل إلى 95% أو أكثر، على الرغم من فشلهما الكامل في تشخيص الحالات المرضية الحقيقية وعجزهما عن إظهار أي قدرة تمييزية موضوعية.

5.2 معامل كابا لكوهين (Cohen’s Kappa) لحالتي المقيمين الثنائيين

لتجاوز المعضلة الرياضية للاتفاق بالصدفة، قدم الإحصائي وعالم النفس جاكوب كوهين عام 1960 ابتكاره الرياضي الشهير المعروف بـ معامل كابا لكوهين (Cohen’s Kappa – $kappa$) لحساب الموثوقية بين مقيمين اثنين في المتغيرات الاسمية. تقوم الفكرة العبقرية لكوهين على طرح نسبة الاتفاق المتوقع بالصدفة ($P_e$) من نسبة الاتفاق الفعلي الملاحظ ($P_o$)، وقسمة الناتج على أقصى اتفاق ممكن بعد استبعاد الصدفة ($1 – P_e$)، وفق المعادلة الصريحة:

$$\kappa = \frac{P_o – P_e}{1 – P_e}$$

تُحسب نسبة الاتفاق المتوقع بالصدفة ($P_e$) بضرب التكرارات الهامشية لصفوف وأعمدة مصفوفة التوافق لكل فئة، وجمع النواتج وقسمتها على مربع الحجم الكلي للعينة:

$$P_e = \frac{\sum (R_i \times C_i)}{N^2}$$

حيث يمثل $R_i$ المجموع الهامشي للصف $i$ (تقديرات المقيم الأول)، ويمثل $C_i$ المجموع الهامشي للعمود $i$ (تقديرات المقيم الثاني). تتراوح قيمة كابا عادة بين 0 (عندما يكون الاتفاق الملاحظ مساوياً تماماً لما يمكن توقعه بمحض الصدفة) و +1.00 (عندما يتحقق الاتفاق التام بين المقيمين)، في حين تشير القيم السالبة النادرة إلى أن الاتفاق الملاحظ أقل حتى مما تجود به الصدفة العشوائية، وهو ما يعكس تناقضاً منهجياً هيكلياً بين المحكمين.

لتفسير قيم كابا، وضع لانديس وكوخ (Landis & Koch, 1977) معايير إرشادية واسعة الاستخدام في الأدبيات الطبية والسلوكية تصنف الموثوقية كما يلي:

• أقل من 0.00: اتفاق معدوم أو سلبي (Poor).
• 0.00 إلى 0.20: اتفاق طفيف للغاية (Slight).
• 0.21 إلى 0.40: اتفاق مقبول أو معتدل جزئياً (Fair).
• 0.41 إلى 0.60: اتفاق متوسط (Moderate).
• 0.61 إلى 0.80: اتفاق جوهري ورصين (Substantial).
• 0.81 إلى 1.00: اتفاق شبه تام أو مثالي (Almost Perfect).

وعلى الرغم من تفوق كابا الكاسح، إلا أنه يجب الانتباه إلى ما يُعرف بـ مفارقات كابا (Kappa Paradoxes)—والتي وثقها فاينشتاين وسيكيتي (Feinstein & Cicchetti, 1990)—حيث تؤدي التوزيعات الهامشية غير المتكافئة (عالية التباين) إلى خفض قيمة كابا بشكل مصطنع وقاسٍ على الرغم من وجود اتفاق ملاحظ مرتفع جداً، أو العكس في حالات التحيز الهامشي للمقيمين (Bias Paradox)، مما يستدعي من الباحث فحص مصفوفة التقاطع دائماً وعدم الاكتفاء بقراءة الرقم النهائي بمعزل عن سياقه التوزيعي.

5.3 معامل كابا لفليكس (Fleiss’ Kappa) للمقيمين المتعددين

يقتصر معامل كابا لكوهين في صياغته الأصلية على سيناريو وجود مقيمين اثنين فقط. ولكن في العديد من الدراسات الميدانية والتجارب الإكلينيكية الموسعة، يتطلب التصميم الاستعانة بـ 3 مقيمين أو أكثر لتقييم الحالات الخاضعة للدراسة. لحل هذه المعضلة، طور جوزيف فليكس عام 1971 امتداداً رياضياً وتعميماً شاملاً لكابا أطلق عليه معامل كابا لفليكس (Fleiss’ Kappa).

يتميز كابا فليكس بمرونة فائقة؛ فهو لا يفترض بالضرورة أن نفس المقيمين المحددين قد قاموا بتقييم كل المفحوصين، بل يمكن تطبيقه عندما يتم اختيار عينة عشوائية من $m$ مقيمين من مجتمع أكبر لتقييم كل مفحوص $n$. يعتمد البناء الرياضي لكابا فليكس على حساب درجة التوافق الداخلي لكل وحدة خاضعة للتقييم عبر فئات التصنيف المتاحة، وفق المعادلة العامة التي تحافظ على نفس المنطق الفلسفي:

$$\kappa_{\text{Fleiss}} = \frac{\bar{P} – \bar{P}_e}{1 – \bar{P}_e}$$

حيث يمثل $\bar{P}$ متوسط نسب الاتفاق الملاحظة المحسوبة عبر كافة الموضوعات والمفحوصين في العينة، بينما يمثل $\bar{P}_e$ مجموع مربعات النسب الإجمالية لاختيار كل فئة تشخيصية عبر كامل مصفوفة الملاحظات. تتيح هذه الصيغة للباحث التعامل مع مصفوفات بيانات معقدة تضم عدداً كبيراً من المحكمين والحالات، وتوفر اختباراً دلالياً إحصائياً صارماً قائم على التوزيع الطبيعي المعياري ($Z\text{-test}$) لاختبار الفرضية الصفرية القائلة بأن التوافق الإجمالي لا يختلف عن الصدفة العشوائية.

6. المقاييس الإحصائية للمتغيرات الترتيبية (Ordinal Data)

6.1 معامل كابا الموزون (Weighted Kappa)

عندما تكون البيانات المستهدفة في القياس ذات طبيعة ترتيبية (Ordinal Data)—مثل سلالم ليكرت الخماسية، أو درجات شدة الاضطراب الإكلينيكي (خفيف، متوسط، شديد، حاد جداً)—يصبح تطبيق كابا كوهين غير الموزون غير عادل ومضللاً من الناحية القياسية؛ ذلك لأن كابا البسيط يعامل جميع أشكال عدم الاتفاق بنفس الدرجة من العقوبة الإحصائية، فعدم الاتفاق بين تصنيفي “خفيف” و”متوسط” يُعامل تماماً مثل الخطأ الجسيم بين تصنيفي “خفيف” و”حاد جداً”.

لمعالجة هذا التدرج المنطقي في الأخطاء، ابتكر كوهين عام 1968 معامل كابا الموزون (Weighted Kappa – $\kappa_w$)، والذي يسمح بتحديد أوزان رقمية نسبية لدرجات التباعد بين أحكام المقيمين، وفق المعادلة:

$$\kappa_w = 1 – \frac{\sum w_{ij} O_{ij}}{\sum w_{ij} E_{ij}}$$

حيث يمثل $w_{ij}$ مصفوفة الأوزان التي تحدد درجة الخلاف أو التباعد بين الفئة $i$ والفئة $j$، بينما يمثل$O_{ij}$ التكرارات الملاحظة و $E_{ij}$ التكرارات المتوقعة بالصدفة.

يوجد نوعان رئيسيان ومشهوران من مصفوفات الأوزان المستخدمة في التطبيقات السيكومترية والإكلينيكية:

• الأوزان الخطية (Cicchetti-Allison / Linear Weights): تتناسب فيها العقوبة على عدم الاتفاق طردياً وخطياً مع المسافة بين الرتب ($w_{ij} = |i – j|$ أو بصيغة التشابه: $w = 1 – \frac{|i – j|}{k – 1}$). وهي مناسبة عندما يكون الفارق المتتالي بين الرتب متجانساً إدراكياً.
• الأوزان التربيعية (Fleiss-Cohen / Quadratic Weights): تُعاقب الأخطاء الكبيرة والتباعدات الشديدة بشكل أسّي غير خطي عبر تربيع مسافة الاختلاف ($w_{ij} = (i – j)^2$ أو $w = 1 – \frac{(i – j)^2}{(k – 1)^2}$).

تتمتع الأوزان التربيعية بأهمية رياضية استثنائية في النظرية السيكومترية، حيث أثبت فليكس وكوهين (1973) أن كابا الموزون تربيعياً يتطابق رياضياً وبشكل تام مع معامل الارتباط داخل الفئات (ICC) المعتمد على تحليل التباين ثنائي الاتجاه، مما يبني جسراً منهجياً متيناً يربط بين إحصاءات البيانات الترتيبية ومقاييس البيانات الفئوية المتصلة.

6.2 معامل ارتباط الرتب لسبيرمان وكندال (Spearman’s Rho & Kendall’s Tau)

عندما تكون المهمة التقييمية موجهة لترتيب مجموعة من الأفراد أو الموضوعات تصاعدياً أو تنازلياً وفق محك معين (مثلاً: قيام مقيمين بترتيب 20 طفلاً من الأكثر إلى الأقل عدوانية داخل الفصل)، تُستخدم معاملات ارتباط الرتب كأدوات لقياس موثوقية المقيمين. يتصدر هذه المقاييس معامل ارتباط الرتب لسبيرمان (Spearman’s Rho – $r_s$) ومعامل تاو لكندال (Kendall’s Tau – $tau$).

يُحسب معامل سبيرمان بتطبيق معادلة بيرسون للارتباط الخطي على الرتب الفعلية بعد تحويل الدرجات إليها، ويعتمد حسابه المباشر على فروق الرتب ($d_i$) بين تقييمي الملاحظين:

$$r_s = 1 – \frac{6 \sum d_i^2}{n(n^2 – 1)}$$

أما معامل تاو لكندال ($\tau_b$ أو $\tau_c$) فيعتمد على مبدأ احتمالي أكثر صلابة رياضياً؛ حيث يفحص الأزواج المتوافقة (Concordant Pairs) والأزواج المتنافرة (Discordant Pairs) بين ترتيبات المقيمين. يتميز معامل كندال بمزايا إحصائية تفوق سبيرمان في عينات الدراسات النفسية الصغيرة، كما يمتلك كفاءة أعلى وتوزيعاً احتمالياً يقترب من التوزيع الطبيعي بسرعة أكبر عند التعامل مع حالات تساوي الرتب وتكرارها (Tied Ranks).

ومع ذلك، يجب التأكيد على حد منهجي خطير عند استخدام هذه المعاملات لقياس موثوقية المقيمين: إن معاملات الارتباط تقيس قوة العلاقة الخطية والاتساق النسبي في الترتيب (Relative Consistency) فقط، ولكنها تفشل تماماً في رصد التوافق المطلق (Absolute Agreement). فإذا رتّب المقيم الأول ثلاثة مرضى كـ (1، 2، 3) ورتبهم المقيم الثاني كـ (10، 20، 30)، فإن معامل سبيرمان وتاو سيعطيان قيمة مثالية تبلغ +1.00 على الرغم من وجود هوة شاسعة في المعايير التقييمية المطلقة بين المحكمين، مما يفرض توخي الحذر الشديد عند تفسيرها كمؤشرات ثبات تشخيصي.

6.3 معامل التوافق لكندال (Kendall’s Coefficient of Concordance – W)

عندما يتوسع تصميم التقييم الترتيبي ليشمل عدداً كبيراً من المحكمين ($m$ مقيمين) يطلب من كل منهم ترتيب نفس المجموعة المكونة من ($n$) مفحوصاً أو موضوعاً نفسياً، يتحول الاختيار الإحصائي الأمثل إلى معامل التوافق لكندال (Kendall’s $W$). يُمثل هذا المعامل امتداداً متعدد الأطراف لارتباط الرتب، ويعكس بصورة غير معلمية درجة التوافق الشامل في الترتيب بين كافة المحكمين مجتمعين.

يستند الأساس الرياضي لمعامل $W$ إلى مقارنة التباين الملاحظ لمجموع رتب كل مفحوص عبر كافة المحكمين مع أقصى تباين ممكن في حال تطابقت الرتب تماماً بين جميع المحكمين، وفق المعادلة التالية:

$$W = \frac{12 S}{m^2 (n^3 – n)}$$

حيث يمثل $S$ مجموع مربعات انحرافات مجموع الرتب التي نالها كل موضوع عن متوسط مجموع الرتب الكلي:

$$S = \sum_{i=1}^{n} \left( R_i – \frac{m(n + 1)}{2} \right)^2$$

تتراوح قيمة معامل $W$ لكندال حصراً بين 0 (غياب تام للتوافق واستقلال كامل في ترتيبات المحكمين) و 1.00 (إجماع تام ومطلق في ترتيب جميع الموضوعات بين كافة المحكمين). ولا يمكن للمعامل أن يأخذ قيماً سالبة نظراً لتعذر وجود تعاكس منتظم بين أكثر من مقيمين اثنين في وقت واحد.

تُختبر الدلالة الإحصائية لمعامل التوافق $W$ عبر تحويله إلى توزيع مربع كاي ($\chi^2$) بدرجات حرية مساوية لـ ($n – 1$) وفق المعادلة:

$$\chi^2 = m(n – 1) W$$

تُعد هذه الأداة الإحصائية ذات قيمة منهجية هائلة في علم النفس الإكلينيكي والاستشاري عند الرغبة في توحيد أولويات الأهداف العلاجية، أو تقييم مدى اتفاق لجان الفحص على ترتيب الكفاءات القيادية أو تفضيلات الاستجابة السلوكية في المقاييس الكيفية.

7. معامل الارتباط داخل الفئات (ICC) للبيانات الفئوية والنسبية

7.1 الأسس الرياضية وتفكيك التباين عبر تحليل التباين (ANOVA)

يُمثل معامل الارتباط داخل الفئات (Intraclass Correlation Coefficient – ICC) المعيار الذهبي المطلق والأكثر استخداماً وتطوراً لتقدير موثوقية ما بين المقيمين في البيانات الكمية المتصلة المقاسة على مستويات فئوية (Interval) أو نسبية (Ratio). تعود الجذور التاريخية والرياضية لهذا المعامل إلى رائد الإحصاء رونالد فيشر، ولكن تم تقنينه وتطويره بشكل منهجي عميق في علم النفس والطب السلوكي من خلال الورقة التأسيسية لـ شروت وفليكس (Shrout & Fleiss, 1979).

ينطلق الأساس الرياضي للـ ICC من تقنية تحليل التباين (ANOVA)؛ حيث يتم تجزئة وتفكيك التباين الإجمالي الكلي للدرجات الملاحظة إلى مكوناته الأساسية المستقلة:
1. تباين ما بين المفحوصين أو الحالات ($\sigma^2_{\text{Between Subjects}}$)، وهو التباين الحقيقي المرغوب قياسه والذي يعكس الفروق الفردية في السمة النفسية.
2. تباين ما بين المقيمين ($\sigma^2_{\text{Between Raters}}$)، وهو التباين النظامي الناتج عن تشدد أو تساهل المحكمين.
3. تباين الخطأ المتبقي العشوائي والتفاعلي ($\sigma^2_{\text{Residual Error}}$).

يُعرّف معامل الارتباط داخل الفئات نظرياً بأنه نسبة التباين الحقيقي للمفحوصين إلى التباين الكلي الملاحظ:

$$\text{ICC} = \frac{\sigma^2_{\text{Subjects}}}{\sigma^2_{\text{Subjects}} + \sigma^2_{\text{Error}}}$$

من هذه النقطة، يظهر الفارق الجوهري في المعادلات بين حساب الاتفاق المطلق (Absolute Agreement) والاتساق النسبي (Consistency). في معادلات الاتفاق المطلق، يُضاف تباين المقيمين ($\sigma^2_{\text{Raters}}$ أو متوسط مربعات المحكمين $MS_R$) إلى مقام المعادلة بوصفه جزءاً لا يتجزأ من تباين الخطأ، مما يخفض قيمة المعامل إذا اختلف المقيمون في درجاتهم الخام حتى لو توازت خطوط تقييمهم. أما في معادلات الاتساق النسبي، فيُحذف تباين المقيمين تماماً من المقام، ليصبح التركيز محصوراً فقط في قدرة المقيمين على الحفاظ على نفس الترتيب والفروق النسبية بين الحالات بصرف النظر عن تطابق الدرجات الرقمية.

7.2 النماذج الستة لمعامل ICC وفق تصنيف شروت وهوت (Shrout & Fleiss)

وضع شروت وفليكس (1979) تصنيفاً كلاسيكياً يضم ستة نماذج متمايزة لحساب معامل الارتباط داخل الفئات، وتتحدد بناءً على تقاطع ثلاثة أبعاد تصميمية رئيسية مع بعدين لطبيعة القياس (درجة فردية مقابل متوسط درجات). يتطلب الاستخدام المنهجي الدقيق اختيار النموذج الذي يطابق تماماً بروتوكول جمع البيانات:

تنقسم النماذج حسب بنية التصميم الإحصائي إلى:

• النموذج أحادي الاتجاه العشوائي (One-Way Random-Effects Model): يُستخدم عندما يتم تقييم كل مفحوص بواسطة مجموعة مختلفة من المقيمين تم اختيارهم عشوائياً من مجتمع المقيمين الكلي، دون وجود تقاطع أو تثبيت للمقيمين عبر الحالات. يُرمز له بـ $\text{ICC}(1,1)$ للدرجة المفردة، و $\text{ICC}(1,k)$ لمتوسط الدرجات.
• النموذج ثنائي الاتجاه العشوائي (Two-Way Random-Effects Model): يُستخدم عندما يقوم نفس الفريق المكون من $k$ مقيمين (تم اختيارهم عشوائياً من مجتمع المقيمين) بتقييم جميع المفحوصين في العينة. يهدف هذا النموذج إلى تعميم النتائج على مجتمع المقيمين المحتملين. يُرمز له بـ $\text{ICC}(2,1)$ للدرجة المفردة، و $\text{ICC}(2,k)$ لمتوسط التقييمات، وهو النموذج الأكثر شيوعاً في تقنين المقاييس الإكلينيكية واختبار الاتفاق المطلق.
• النموذج ثنائي الاتجاه المختلط (Two-Way Mixed-Effects Model): يُستخدم عندما يكون المقيمون الحاليون هم فقط المعنيين بالدراسة (تأثيرات ثابتة – Fixed Effects) ولا توجد رغبة في تعميم النتائج على مقيمين آخرين خارج فريق البحث. يُرمز له بـ $\text{ICC}(3,1)$ للمقيم المنفرد، و $\text{ICC}(3,k)$ لمتوسط الأحكام، ويُستخدم عادة في حساب الاتساق الداخلي والاتساق النسبي بين محكمين محددين بأسمائهم.

أما التمييز بين الدرجات الفردية (Single Measures) ومتوسط الدرجات (Average Measures) فيرتبط بكيفية استخدام الأداة في الميدان العملي لاحقاً؛ فإذا كان التطبيق المستقبلي للأداة سيعتمد على قيام مقيم واحد فقط بإعطاء الدرجة التشخيصية للمفحوص، يجب الاعتماد على معاملات الدرجة الفردية ($\text{ICC}(1,1)$، $\text{ICC}(2,1)$، أو $\text{ICC}(3,1)$). أما إذا كان بروتوكول العمل الإكلينيكي أو البحثي ينص على أن التشخيص النهائي هو دائماً متوسط درجات لجنة مكونة من عدة محكمين، فإن معاملات متوسط الدرجات ($\text{ICC}(2,k)$ أو $\text{ICC}(3,k)$) هي التي تعبر بدقة عن موثوقية هذا المتوسط المجمّع وتكون قيمتها دائماً أعلى رياضياً بفضل قانون تقليل خطأ القياس بالمتوسطات (Spearman-Brown Formula analogue).

7.3 دليل اختيار النموذج المناسب من ICC وتفسير النتائج

نظراً لتعدد نماذج الـ ICC واحتمالية الوقوع في أخطاء اختيار النموذج المناسب داخل البرمجيات الإحصائية، وضع كو ولي (Koo & Li, 2016) دليلاً عملياً ومخططاً تدفقياً منهجياً لإرشاد الباحثين في اختيار وتفسير النموذج الصحيح. يجب على الباحث اتباع الخطوات المنطقية الثلاث التالية:

1. تحديد بنية النموذج (Model): هل المقيمون عينة عشوائية للتعميم (Two-Way Random)، أم محكمون محددون حصراً للبحث (Two-Way Mixed)، أم أن كل مفحوص قُيّم بمقيمين مختلفين (One-Way Random)؟
2. تحديد نوع التوافق (Type): هل يتطلب الهدف الإكلينيكي أو البحثي تطابقاً تاماً في الدرجات (Absolute Agreement)، أم يكفي توازي الترتيب والأنماط التقديرية (Consistency)؟
3. تحديد وحدة القياس (Unit): هل سيُطبق المقياس مستقبلاً بمقيم مفرد (Single Measure) أم بلجنة تحكيم متوسطة (Average Measure)؟

فيما يتعلق بتفسير قيم ICC، وضعت إرشادات كو ولي (2016) المعايير الكمية الصارمة التالية والتي تُعد المرجع القياسي الأحدث في العلوم الصحية والنفسية:

• أقل من 0.50: موثوقية ضعيفة (Poor Reliability).
• بين 0.50 و 0.75: موثوقية مقبولة أو متوسطة (Moderate Reliability).
• بين 0.75 و 0.90: موثوقية جيدة (Good Reliability).
• أعلى من 0.90: موثوقية ممتازة ومثالية (Excellent Reliability).

ويشدد علماء الإحصاء السيكومتري على ضرورة عدم الاكتفاء بتقرير النقطة التقديرية لمعامل ICC فقط، بل يجب إلزامياً توثيق فترات الثقة (Confidence Intervals – 95% CI) المرافقة للمعامل. يجب أن يُبنى التفسير السريري والمنهجي على الحد الأدنى لفترة الثقة؛ فإذا كانت قيمة ICC النقطية تبلغ 0.82 (مما يبدو “جيداً”) ولكن فترة الثقة تمتد من [0.48 إلى 0.93]، فإن التقييم الحقيقي للموثوقية يقع في النطاق “الضعيف”، نظراً لأن حجم العينة غير كافٍ لتأكيد جودة الثبات بدقة إحصائية قاطعة.

8. المقاييس الشاملة المتقدمة: معامل ألفا لكريبندورف (Krippendorff’s Alpha)

8.1 المرونة المنهجية لمعامل كريبندورف في الأبحاث السلوكية

يُمثل معامل ألفا لكريبندورف (Krippendorff’s Alpha – $\alpha$)، الذي ابتكره عالم المنهجيات والاتصال كلاوس كريبندورف عام 1970 وطوره عبر عقود، المقياس الإحصائي الأكثر شمولية ومرونة ومناعة رياضية في التحليلات النفسية والسلوكية وتحليل المحتوى. تجاوز كريبندورف كافة القيود التي تعاني منها المعاملات السابقة (مثل اشتراط كوهين لمقيمين اثنين فقط، أو حساسية كابا للتوزيعات الهامشية، أو عجز نماذج ICC عن استيعاب البيانات الاسمية).

تتجلى العبقرية المنهجية لمعامل ألفا كريبندورف في قدرته على تلبية المتطلبات البحثية المعقدة من خلال الخصائص الفريدة التالية:

• التعامل مع كافة مستويات القياس: يُطبق المعامل بنفس البنية النظرية على البيانات الاسمية (Nominal)، الترتيبية (Ordinal)، الفئوية (Interval)، النسبية (Ratio)، والبيانات الدائرية والزاوية (Circular)، مع تغيير دالة المسافة الرياضية فقط.
• استيعاب البيانات المفقودة (Missing Data): لا يشترط المعامل قيام كل المقيمين بتقييم جميع الحالات؛ فإذا قيّم مقيم 50 حالة وقيّم مقيم آخر 20 حالة فقط، أو غاب بعض المحكمين عن بعض الجلسات، يستطيع كريبندورف حساب الموثوقية دون الحاجة إلى حذف الحالات أو تعويض القيم بطرق مصطنعة.
• عدم التأثر بعدد المقيمين أو حجم العينة: يمكن تطبيقه على أي عدد من المحكمين (من 2 إلى مئات المقيمين)، ويمتلك تصحيحاً رياضياً مدمجاً للأحجام الصغيرة من العينات لتجنب تضخيم الثبات.

8.2 آلية الحساب وتفسير دالة عدم الاتفاق (Difference Function)

على عكس المعاملات الكلاسيكية التي تنطلق من حساب “الاتفاق”، يقوم البناء الرياضي لمعامل ألفا كريبندورف على مفهوم عدم الاتفاق الملاحظ ($D_o$) مقارنة بـ عدم الاتفاق المتوقع بالصدفة ($D_e$)، وفق الصيغة الرياضية الشاملة:

$$\alpha = 1 – \frac{D_o}{D_e}$$

تُحسب دوال عدم الاتفاق عبر مصفوفات المطابقة الزوجية المتقاطعة، حيث تُعرّف دالة الاختلاف الرياضية ($d^2_{ck}$) وفقاً للمستوى القياسي المستخدم:

• في المستوى الاسمي: $d^2_{ck} = 0$ إذا كان $c = k$، و $d^2_{ck} = 1$ إذا كان $c \neq k$.
• في المستوى الترتيبي: تعتمد الدالة على مربعات الفروق التراكمية للرتب بين الفئات.
• في المستوى الفئوي: $d^2_{ck} = (c – k)^2$ (مربع الفارق الرقمي المباشر).
• في المستوى النسبي: $d^2_{ck} = \left(\frac{c – k}{c + k}\right)^2$ (الفارق المنسوب لمجموع القيمتين لتفادي انحياز الحجم).

فيما يتعلق بمعايير القبول والقطع الإحصائي، يضع كريبندورف (2004) معايير منهجية صارمة للأبحاث العلمية وتحليل البيانات النفسية والنوعية:

• $\alpha ge 0.800$: يُعد المعيار الذهبي الموصى به لاعتماد موثوقية الأداة وتأكيد صلاحية البيانات للتعميم العلمي والتشخيصي الرصين.
• $0.667 le alpha < 0.800$: هو الحد الأدنى المقبول للاستنتاجات المؤقتة والمؤشرات الاستكشافية في الدراسات الأولية، مع ضرورة الإشارة إلى وجود هوامش خطأ تتطلب ضبطاً لاحقاً.
• $\alpha < 0.667$: تُرفض البيانات تماماً بوصفها تفتقر إلى الثبات والموثوقية، ولا يجوز البناء عليها في استخلاص فرضيات أو تعميمات نفسية.

8.3 تطبيقات ألفا كريبندورف في تحليل المحتوى النفسي والنوعي

يجد معامل ألفا كريبندورف تطبيقاته الأوسع في حقول التحليل النوعي المتقدم وعلم النفس اللغوي والعيادي، حيث تتحول النصوص اللفظية والتفاعلات الحوارية إلى وحدات قياس رقمية. من أبرز هذه التطبيقات: ترميز نصوص التفريغ الصوتي لجلسات العلاج النفسي؛ حيث يُطلب من محللين مستقلين تحديد وتحليل مقاطع محددة من النص تظهر فيها آليات الدفاع النفسي (كالإسقاط، الإنكار، والترشيد)، أو تصنيف تعبيرات التحالف العلاجي (Therapeutic Alliance) ومشقة المريض الوجدانية.

كما يبرز المعامل كركيزة أساسية في الأبحاث الظاهراتية (Phenomenological Research) والتحليل الموضوعي (Thematic Analysis)؛ حيث يتولى الباحثون استخراج وتكويد التيمات والموضوعات الكبرى من المقابلات المعمقة مع الناجين من الصدمات أو المرضى المزمنين. يتيح كريبندورف إثبات أن استخراج الموضوعات النفسية لم يكن نتاج خيال الباحث أو تحيزه التأويلي، بل يستند إلى قواعد تكويد موضوعية وقابلة للتكرار عبر باحثين مستقلين.

في العصر الرقمي الحديث، توسعت تطبيقات ألفا كريبندورف لتشمل تحليل البيانات الضخمة لمنصات التواصل الاجتماعي؛ مثل ترميز التغريدات والمنشورات لقياس المؤشرات السلوكية للاكتئاب، السلوك الانتحاري، أو خطاب الكراهية والتعصب. ونظراً لأن هذه الدراسات تتضمن غالباً مقيمين متعددين يقيّمون مجموعات بيانات غير مكتملة، يظل كريبندورف الأداة الإحصائية الأكثر قدرة على توفير قياس موثوقية علمي ودقيق في هذه البيئات الرقمية غير المنتظمة.

9. العوامل المؤثرة ومصادر الخطأ في موثوقية التقييم

9.1 التحيزات الإدراكية والشخصية لدى المقيمين (Rater Biases)

يُمثل المقيم البشري نظام معالجة معلومات معقداً وعرضة للتأثر بسلسلة من التحيزات النفسية والإدراكية التي تؤدي إلى تباين منهجي يهدد موثوقية التقييم ويفسد موضوعيته. من أبرز هذه التحيزات التي وثقتها الأدبيات السيكومترية:

• أثر الهالة (Halo Effect): يحدث عندما يطغى انطباع عام إيجابي أو سلبي تكوّن لدى المقيم عن المفحوص على تقييمه لكافة السمات السلوكية المحددة والمنفصلة. فإذا كان المفحوص وسيماً، فصيحاً، أو مبتسماً، يميل المقيم المتأثر بالهالة إلى منحه تقييمات مرتفعة في سمات غير مرتبطة كـ “الذكاء التحليلي” أو “الاتزان الانفعالي”، بينما يقيم زميله الأكثر موضوعية تلك السمات بشكل مستقل ومنفصل.
• تحيز التساهل أو التشدد (Leniency / Strictness Bias): ينبع من الفروق الفردية في سمات شخصية المحكمين أنفسهم. فالمقيم “المتساهل” يمنح درجات تقع في الطرف الأعلى للمقياس بغض النظر عن الأداء الفعلي لتجنب المواجهة أو للتعاطف، بينما المقيم “المتشدد” يتبنى معايير كمالية غير واقعية تجعله يحجب الدرجات العالية حتى عن الأداء المتميز، مما يؤدي إلى تباين منهجي صارخ في التوافق المطلق.
• تحيز النزعة المركزية (Central Tendency Bias): يعكس تردد المقيم وخوفه من إصدار أحكام حاسمة، مما يدفعه إلى حشر جميع التقييمات في الفئات الوسطى من المقياس وتجنب استخدام الأطراف إطلاقاً، وهو ما يقلص التباين الملاحظ للسمة ويؤدي إلى تشويه معاملات الثبات.
• تحيز المقارنة والتباين (Contrast Effects): يحدث عندما يتأثر تقييم المفحوص الحالي بمستوى أداء المفحوص الذي سبقه مباشرة في التقييم، فإذا ظهر مفحوص متوسط الأداء بعد مفحوص ضعيف جداً، فإنه ينال تقييماً مرتفعاً بشكل مبالغ فيه والعكس صحيح، مما يجعل الدرجات دالة على ترتيب الظهور وليس على السلوك الحقيقي.

9.2 غموض أداة القياس وعدم وضوح المعايير الإجرائية

لا يقع اللوم في انخفاض موثوقية المقيمين دائماً على عاتق المحكمين وتحيزاتهم، بل ينبع في كثير من الأحيان من عيوب بنيوية قاتلة في تصميم أداة القياس نفسها وأدلة التصحيح والترميز الملحقة بها. إذا كانت بنود المقياس مصاغة بعبارات فضفاضة وتعتمد على صفات عامة قابلة للتأويل الشخصي—مثل “يُظهر المفحوص سلوكاً مناسباً” أو “يعاني من قلق ملحوظ”—فإن كل مقيم سيعيد تعريف هذه المصطلحات وفقاً لخلفيته النظرية الخاصة وخبرته الميدانية الفردية، مما يؤدي حتماً إلى تشتت التقييمات.

يتفاقم هذا المصدر من مصادر الخطأ في أنظمة الترميز السلوكي التي تتسم بـ التعقيد الزائد (System Complexity)؛ كأن يُطلب من المقيم رصد وتصنيف 40 سلوكاً دقيقاً في نفس اللحظة الزمنية. هذا التعقيد يولد عبئاً معرفياً مفرطاً (Cognitive Overload) يتجاوز سعة الانتباه والذاكرة العاملة للمقيم، مما يدفعه لا إرادياً إلى إسقاط بعض الملاحظات أو الاعتماد على التخمين والتقريب.

كذلك يؤدي غياب المراسيم والمؤشرات السلوكية المثبتة (Behavioral Anchors) لكل نقطة على مقياس التقدير إلى انعدام المعايرة المشتركة؛ فإذا تضمن المقياس درجات من 1 إلى 5 دون تقديم وصف سلوكي محدد ومفصل يوضح بدقة ماذا يعني السلوك عند النقطة (3) مقارنة بالنقطة (4)، فإن درجات المقيمين ستتباين بشكل عشوائي، ويفقد المقياس قدرته على توجيه الملاحظة الموضوعية.

9.3 العوامل البيئية وظروف جمع البيانات

تشمل مصادر الخطأ المؤثرة في موثوقية الملاحظة مجموعة العوامل الفيزيقية والبيئية والسياقية المحيطة بعملية جمع البيانات وإجراء التقييمات الإكلينيكية والميدانية. من أبرز هذه العوامل الإجهاد البدني والإنهاك المعرفي للمقيمين (Rater Fatigue)؛ حيث تشير الدراسات التجريبية إلى أن معاملات الموثوقية تتدهور بصورة دراماتيكية في النصف الثاني من جلسات الملاحظة الطويلة والمستمرة، نتيجة تراجع مستويات اليقظة والانتباه الانتقائي لدى المحكمين بمرور الوقت.

في الدراسات التي تعتمد على الملاحظة غير المباشرة عبر الوسائط، تلعب جودة التسجيلات السمعية والبصرية دوراً حاسماً؛ فالصوت المشوش، الإضاءة الرديئة، أو زوايا الكاميرا غير المحيطة بكامل مسرح التفاعل تؤدي إلى حجب مؤشرات سلوكية وتعبيرية دقيقة عن المقيمين، مما يجبرهم على ملء الفجوات الحسية باستنتاجات ذاتية تقود إلى خفض التوافق الإحصائي بينهم.

أخيراً، يؤثر عدم الاستقرار الزمني للظاهرة السلوكية المقاسة (Behavioral Instability) على موثوقية المقيمين إذا لم يتم التقييم في نفس اللحظة التزامنية؛ فالسلوكيات النفسية لدى الأطفال أو المرضى النفسيين قد تتغير وتتقلب جذرياً بين الصباح والمساء، أو بين حضور الوالدين وغيابهم. فإذا قيّم المقيم (أ) الطفل صباحاً وقيّمه المقيم (ب) ظهراً، فإن الاختلاف الناتج لا يعكس انخفاضاً في ثبات المقيمين بل يعكس تغيراً حقيقياً في الظاهرة السلوكية ذاتها (True Behavioral Fluctuation)، مما يفرض توحيد النافذة الزمنية للملاحظة كشرط منهجي ملزم.

10. منهجية وخطوات تقييم موثوقية المقيمين عملياً في الدراسات النفسية

10.1 مرحلة التخطيط وتصميم بروتوكول القياس

تبدأ الممارسة السيكومترية الرصينة لتقييم موثوقية المقيمين في المراحل المبكرة جداً من تصميم البحث وقبل النزول إلى الميدان لجمع البيانات الفعلية. تتطلب مرحلة التخطيط صياغة بروتوكول قياس تفصيلي وموثق يحدد بدقة متناهية الإجراءات المتبعة لضبط الملاحظة السلوكية وحساب الثبات.

تتضمن هذه المرحلة ثلاث خطوات حاسمة:

1. تحديد نمط الموثوقية والمؤشر الإحصائي المستهدف: يجب على الباحث أن يحدد بوضوح نوع ومستوى البيانات التي سيجمعها (اسمية، ترتيبية، كمية متصلة)، وما إذا كان التصميم يتطلب إثبات الاتفاق المطلق أم الاتساق النسبي، وبناءً عليه يتم تحديد المعامل الإحصائي المستهدف مسبقاً (كابا، ICC بنموذج محدد، أو كريبندورف).
2. حساب حجم العينة المطلوب للقوة الإحصائية: لا يجوز اختيار حجم عينة المفحوصين والمقيمين عشوائياً. يجب إجراء تحليل قوة إحصائية قبلي (A-priori Power Analysis) لحساب حجم العينة اللازم لضمان رفض الفرضية الصفرية لموثوقية الثبات بدقة، بالاعتماد على جداول والتر وزملائه (Walter et al., 1998) أو برمجيات مثل $G*\text{Power}$، مع الأخذ في الاعتبار الحد الأدنى المقبول لمعامل الموثوقية ($\rho_0$) والقيمة المتوقعة في المجتمع ($\rho_1$).
3. بناء وتطوير دليل الترميز المرجعي (Coding Manual): يُعد الوثيقة المنهجية المركزية للدراسة، ويجب أن يشتمل على: التعريف الإجرائي الشامل لكل متغير سلوكي، القواعد الصارمة لبدء وإنهاء تسجيل السلوك، أمثلة توضيحية سلوكية لكل فئة، ونماذج للأخطاء الشائعة واستجابات الحدود الفاصلة (Borderline Cases) وكيفية التعامل معها وحسمها نظامياً.

10.2 مرحلة الدراسة الاستطلاعية واختبار كفاءة المقيمين

قبل الشروع في التطبيق الميداني وجمع بيانات العينة الأساسية للدراسة، من الضروري منهجياً تنفيذ دراسة استطلاعية مصغرة (Pilot Reliability Study) على عينة تجريبية مستقلة ولكنها ممثلة للمجتمع المستهدف. تهدف هذه المرحلة إلى اختبار كفاءة المقيمين والتحقق من قابلية دليل الترميز للتطبيق العملي وتطهيره من أي لبس أو غموض مفاهيمي.

تتم إدارة هذه المرحلة من خلال الخطوات الإجرائية التالية:

• يقوم فريق المقيمين بتطبيق دليل الترميز بشكل مستقل ومغلق تماماً على عينة تجريبية من السجلات أو الفيديوهات (تتراوح عادة بين 15 إلى 30 حالة).
• تُجرى المعالجة الإحصائية الأولية لحساب معاملات التوافق (كابا أو ICC) لكل بند سلوكي على حدة ولكل مقياس فرعي، وليس للدرجة الكلية فقط.
• يتم عقد جلسات مناقشة وتغذية راجعة (Debriefing Sessions) لفحص البنود التي أظهرت معاملات موثوقية منخفضة أو دون عتبة القبول، وتحليل مصفوفات عدم الاتفاق لمعرفة أسباب التباين بين المحكمين.
• تُنقح بنود دليل الترميز ويُعاد ضبط التعاريف الإجرائية والمؤشرات السلوكية المثبتة، مع استبعاد المقيمين الذين يعجزون عن الوصول إلى معايير الكفاءة الدنيا أو إخضاعهم لجولات تدريبية تكميلية حتى الوصول إلى مستوى الإتقان المعياري.

10.3 مرحلة المعالجة الإحصائية وكتابة التقارير الأكاديمية

عند اكتمال جمع البيانات الميدانية الأساسية، ينتقل الباحث إلى مرحلة التحليل الإحصائي النهائي وتوثيق النتائج وفق المعايير الأكاديمية الصارمة، ولا سيما معايير النشر الصادرة عن الجمعية الأمريكية لعلم النفس (APA Style – 7th Edition). يتطلب التقرير العلمي الإفصاح الكامل والشفاف عن كافة التفاصيل المنهجية التي تضمن للقارئ والمحكم التحقق من صدق الإجراءات.

يجب أن يتضمن قسم المنهجية والنتائج في البحث المحكم البيانات والمعلومات التالية بشكل تفصيلي:

• الاسم الدقيق للمعامل الإحصائي المستخدم والبرمجية الإحصائية المعتمدة مع ذكر رقم الإصدار والحزم البرمجية المطبقة.
• في حال استخدام معامل ICC، يجب التحديد الصريح لنموذج شروت وفليكس المختار (مثال: Two-way random-effects model, absolute agreement, single measure $\text{ICC}(2,1)$) وتبرير هذا الاختيار منهجياً.
• عرض النتائج في جداول واضحة تتضمن: قيمة المعامل النقطية، فترات الثقة بدقة 95% ($95% text{ CI}$)، قيمة الإحصاء الاختباري ($Ftext{-value}$ أو $Z\text{-value}$)، درجات الحرية ($df$)، والقيمة الاحتمالية الدقيقة ($p\text{-value}$).
• تقديم تفسير موضوعي ودقيق لجودة الموثوقية بالاستناد إلى المعايير الإرشادية المعتمدة في الأدبيات (مثل Landis & Koch أو Koo & Li)، ومناقشة أي انخفاض في الثبات وتأثيره المحتمل على صدق الاستنتاجات الإكلينيكية والبحثية للدراسة.

11. استراتيجيات تحسين وتطوير موثوقية ما بين المقيمين

11.1 برامج التدريب والتأهيل المنهجي للمقيمين (Rater Training)

يُمثل التدريب المنهجي والمكثف للمحكمين والمقيمين التدخل الأكثر فاعلية وأثراً في رفع معاملات الموثوقية وتقليص أخطاء القياس الذاتية. أثبتت الدراسات السيكومترية أن مجرد إعطاء دليل الترميز للمقيمين ومطالبتهم بقراءته ذاتياً لا يحقق أي تحسن جوهري في الثبات، بل يتطلب الأمر برامج تدريبية منظمة ومصممة وفق نظريات التعلم المعرفي.

تتصدر استراتيجيات التدريب ما يُعرف بـ التدريب القائم على التأطير المعياري المرجعي (Frame-of-Reference Training – FOR)، والذي ابتكره برناردين وباكلي (Bernardin & Buckley, 1981). يقوم هذا النموذج على توحيد البنية الذهنية والمعرفية لجميع المقيمين من خلال الخطوات التالية:
1. تعريف المقيمين بالأبعاد الدقيقة للجدارة أو الاضطراب النفسي.
2. تزويدهم بأمثلة سلوكية واقعية تمثل مستويات الأداء المختلفة (ضعيف، متوسط، متميز).
3. تدريب المقيمين على تقييم حالات تدريبية قياسية تم تحديد درجاتها مسبقاً بواسطة لجنة من كبار الخبراء (True Standard Scores).
4. مقارنة درجات المتدربين بدرجات الخبراء وتصحيح التحيزات الإدراكية والتفسيرية فورياً من خلال التغذية الراجعة المكثفة حتى تتطابق أطرهم المرجعية تماماً مع معايير الأداة.

يُضاف إلى ذلك التدريب على مهارات الملاحظة السلوكية (Behavioral Observation Training – BOT)، والذي يركز على تعليم المقيمين كيفية الفصل التام بين “ملاحظة ورصد السلوك الخام المباشر” وبين “تفسير وتقييم دلالة السلوك”، وتدريبهم على استخدام استراتيجيات تدوين الملاحظات الفورية والمستمرة لمنع تسرب تحيزات الذاكرة الانتقائية وأثر الهالة.

11.2 تطوير سلالم التقدير واستخدام مقاييس التثبيت السلوكي (BARS)

تعتمد الموثوقية العالية للأحكام على مدى جودة وصلابة التصميم البنيوي لسلم التقدير المستخدم. تُعد سلالم التقدير المثبتة سلوكياً (Behaviorally Anchored Rating Scales – BARS)، والتي تعود أصولها إلى سميث وكيندال (Smith & Kendall, 1963)، المعيار الهندسي الأرقى لتطوير أدوات القياس السلوكي القائمة على المحكمين البشريين.

تتميز سلالم BARS باستبدال التسميات الوصفية الغامضة (مثل: ممتاز، جيد، ضعيف) بـ أوصاف ومؤشرات سلوكية صريحة، موضوعية، وقابلة للملاحظة المادية المباشرة لكل نقطة أو درجة على المقياس المتدرج. يتطلب بناء هذه السلالم منهجية صارمة تعتمد على أسلوب الوقائع الحرجة (Critical Incident Technique) بمشاركة مجموعات تركيز متعددة من الخبراء لاستخراج السلوكيات الفارقة التي تحدد بدقة الانتقال من مستوى أداء إلى مستوى آخر.

علاوة على ذلك، يجب تحسين عدد فئات الاستجابة على سلم التقدير؛ حيث تشير البحوث السيكومترية إلى أن السلالم التي تتراوح خياراتها بين 5 إلى 7 نقاط تمثل المدى الأمثل الذي يوفر تبايناً كافياً للسمة المقاسة ويحافظ في الوقت ذاته على قدرة المقيم المعرفية على التمييز المتسق بين النقاط المتجاورة، في حين تؤدي السلالم المفرطة في الطول (كالسلالم العشرية أو المئوية) إلى تشتيت المحكمين وخفض موثوقية الاتفاق المطلق بشكل ملحوظ.

11.3 المراقبة المستمرة والمعايرة الدورية لمنع انحراف المقيمين (Rater Drift)

حتى بعد خضوع المقيمين لبرامج تدريبية مكثفة ووصولهم إلى مستويات ثبات واتفاق ممتازة في المرحلة الاستطلاعية، فإن الموثوقية تظل مهددة بظاهرة سيكومترية خطيرة تُعرف بـ انحراف المقيمين عبر الزمن (Rater Drift). يُقصد بهذه الظاهرة التغير التدريجي وغير الواعي في المعايير والأطر المرجعية للمقيمين بمرور الوقت وخلال فترات جمع البيانات الميدانية الطويلة، حيث يميل بعض المقيمين إلى التساهل التدريجي نتيجة الاعتياد، بينما يميل آخرون إلى التشدد أو إعادة تفسير بنود الترميز بشكل فردي ومستقل عن زملائهم.

لمواجهة هذا التدهور المنهجي المستمر، يجب وضع خطة عمل للمراقبة الإحصائية المستمرة تشتمل على الإجراءات الوقائية التالية:

• جلسات إعادة المعايرة الدورية (Calibration / Booster Sessions): عقد اجتماعات دورية منتظمة (أسبوعية أو نصف شهرية) يقوم خلالها فريق المقيمين بتقييم حالة قياسية موحدة ومناقشة النتائج جماعياً لإعادة ضبط الأطر التقييمية وإعادتها إلى مسارها المعياري المعتمد.
• الفحص الإحصائي العشوائي المستمر: إخضاع عينة عشوائية ومستمرة (تمثل مثلاً 10% إلى 20% من البيانات المجمعة ميدانياً) للتقييم المزدوج الأعمى من قِبل مقيم ثانٍ أو كبير المحكمين، وحساب معاملات الموثوقية بصفة دورية طوال فترة الدراسة لاكتشاف أي تدهور مبكر في الثبات ومعالجته فورياً.
• التدوير العشوائي للمقيمين (Rater Rotation): تجنب ثبات أزواج التقييم طوال فترة البحث؛ بل يجب تدوير المحكمين وتبادلهم عشوائياً لمنع تشكل تحيزات مشتركة أو “ثقافات تقييم فرعية” خاصة بأزواج محددين من الملاحظين.

12. التطبيق العملي بالبرمجيات الإحصائية والآفاق المستقبلية في ظل الذكاء الاصطناعي

12.1 حساب موثوقية المقيمين باستخدام برنامج SPSS

يُعد الحساب العملي لموثوقية المقيمين خطوة أساسية في التحليل الإحصائي السيكومتري. يوفر برنامج IBM SPSS Statistics واجهات رسومية قوية لحساب مختلف معاملات التوافق بدقة متناهية. تختلف الخطوات البرمجية بناءً على المستوى القياسي للمتغيرات:

أولاً: حساب معامل كابا لكوهين للبيانات الاسمية والترتيبية:

1. تجهيز ملف البيانات بحيث يُمثل كل سطر مفحوصاً مستقلاً، وتوضع تقييمات المقيم الأول في العمود (Rater1) وتقييمات المقيم الثاني في العمود (Rater2).
2. من القائمة الرئيسية، يتم التوجه إلى: Analyze -> Descriptive Statistics -> Crosstabs.
3. يتم نقل متغير Rater1 إلى صندوق الصفوف (Row(s))، ومتغير Rater2 إلى صندوق الأعمدة (Column(s)).
4. الضغط على زر Statistics وتفعيل خيار Kappa، ثم الضغط على Continue ثم OK.
5. تُقرأ المخرجات من جدول Symmetric Measures؛ حيث يُمثل عمود Value قيمة معامل كوهين كابا النقطية، ويمثل Approx. Sig الدلالة الإحصائية، بينما يتيح عمود Asymptotic Standard Error حساب فترة الثقة 95% يدوياً ($Kappa \pm 1.96 \times ASE$).

ثانياً: حساب معامل الارتباط داخل الفئات (ICC) للبيانات الكمية:

1. هيكلة البيانات بحيث تُمثل الأعمدة درجات كل مقيم (Rater1, Rater2, Rater3) والصفوف تمثل الحالات المفحوصة.
2. من القائمة، يتم التوجه إلى: Analyze -> Scale -> Reliability Analysis.
3. نقل متغيرات المقيمين معاً إلى صندوق البنود (Items).
4. الضغط على زر Statistics، ومن الجزء السفلي تفعيل خيار Intraclass correlation coefficient.
5. تحديد خيارات النموذج بدقة: اختيار Two-Way Random في خانة النموذج (Model)، واختيار Absolute Agreement أو Consistency في خانة النوع (Type)، مع تحديد فترة الثقة المطلوبة (95%).
6. الضغط على Continue ثم OK. تتضمن المخرجات جدولين رئيسيين: جدول Single Measures (لقياس ثبات المقيم المنفرد) وجدول Average Measures (لقياس ثبات متوسط لجنة المقيمين)، مع توفير قيم F وفترات الثقة الصريحة.

12.2 التحليل الإحصائي المتقدم باستخدام لغة R وحزمة ‘irr’ و ‘psych’

توفر البيئة الإحصائية مفتوحة المصدر لغة R أفقاً رياضياً أكثر مرونة وتقدماً لإجراء تحليلات الموثوقية المعقدة، والتعامل مع البيانات المفقودة والمصفوفات غير المتوازنة، وتوليد الرسوم البيانية التفاعلية عبر حزم متخصصة مثل irr و psych و irrCAC.

تتيح لغة R تنفيذ الأوامر والتحليلات البرمجية المقابلة لمختلف النماذج بدقة فائقة من خلال الدوال المعيارية التالية:

1. حساب كابا كوهين وكابا فليكس باستخدام حزمة irr:

لحساب كابا الثنائي لكوهين، يتم استدعاء الدالة kappa2(ratings[, c("Rater1", "Rater2")], weight = "unweighted") للبيانات الاسمية، أو تغيير الوسيط إلى weight = "squared" لحساب كابا الموزون تربيعياً. وفي حال وجود أكثر من مقيمين اثنين، تُستخدم دالة فليكس المباشرة: kappam.fleiss(ratings) والتي تتعامل بكفاءة مع مصفوفات التقييم المتعددة وتستخرج الدلالة الإحصائية المعيارية وقيمة Z.

2. حساب معامل الارتباط داخل الفئات (ICC) باستخدام حزمة psych:

توفر حزمة psych الدالة الشاملة ICC(ratings_matrix)؛ والتي تقوم تلقائياً بتفكيك التباين عبر تحليل التباين ثنائي الاتجاه واستخراج وطباعة النماذج الستة لـ شروت وفليكس في مخرج موحد ($\text{ICC1}, \text{ICC2}, \text{ICC3}, \text{ICC1k}, \text{ICC2k}, \text{ICC3k}$) مصحوبة بفترات الثقة 95% والقيم الاحتمالية، مما يمنح الباحث رؤية مقارنة كاملة لاختيار النموذج الأنسب لبحثه.

3. حساب معامل ألفا لكريبندورف:

باستخدام حزمة irr، تُنفذ الدالة kripp.alpha(ratings_matrix, method = "nominal")، مع إمكانية تغيير وسيط الطريقة إلى "ordinal" أو "interval" أو "ratio"، وتتميز هذه الدالة في R بقدرتها على معالجة القيم المفقودة (NA) تلقائياً دون الحاجة إلى حذف المفحوصين، مما يوفر تقديراً موثوقاً وشاملاً لثبات تحليل المحتوى والبيانات النفسية.

12.3 مستقبل تقييم الموثوقية: النماذج اللغوية الكبيرة والذكاء الاصطناعي كمقيمين

يشهد ميدان القياس النفسي والسلوكي ثورة إبستمولوجية وتكنولوجية متسارعة مع دخول النماذج اللغوية الكبيرة (Large Language Models – LLMs) وأنظمة الذكاء الاصطناعي التوليدي كعناصر فاعلة في عملية إصدار الأحكام والترميز السلوكي. لم يعد الذكاء الاصطناعي مجرد أداة لحساب المعادلات الإحصائية، بل بات يُستخدم بوصفه مقيماً مستقلاً (Artificial Rater) أو مكملاً للمقيمين البشريين في تحليل المقابلات الإكلينيكية، تصحيح الاختبارات الإسقاطية، وترميز التفاعلات النفسية في السجلات النصية والصوتية.

أفرز هذا التطور نشأة حقل بحثي جديد يركز على قياس التوافق بين المقيم البشري والذكاء الاصطناعي (Human-AI Inter-Rater Reliability). يتم في هذه الدراسات تزويد النماذج اللغوية (مثل GPT-4 أو Claude) بدليل الترميز السلوكي عبر هندسة التلقين المتطورة (Prompt Engineering) ومنهجيات التلقين القائم على الأمثلة (Few-Shot Prompting)، ثم قياس درجة الاتفاق (عبر كابا أو كريبندورف) بين المخرجات التوليدية للنموذج وتصنيفات كبار الخبراء الإكلينيكيين البشريين. تُظهر النتائج الحديثة قدرات مذهلة للنماذج في تحقيق معاملات توافق تتجاوز في بعض المهام المعيارية 0.85، مما يفتح آفاقاً واسعة لأتمتة التقييمات واسعة النطاق وخفض التكاليف المادية والزمنية للبحوث السلوكية.

ومع ذلك، تثير هذه النقلة التكنولوجية تحديات منهجية وأخلاقية وسيكومترية بالغة الحساسية، ومن أبرزها:

• الهلوسة والهشاشة السياقية (Hallucination & Brittleness): قد تولد النماذج تصنيفات غير متوقعة أو تختلق مبررات تشخيصية غير موجودة في النص نتيجة تغيرات طفيفة وغير محسوسة في صياغة الأوامر اللفظية (Prompt Sensitivity)، مما يهدد استقرار القياس.
• التحيز الخوارزمي المضمر (Algorithmic Bias): تشرب النماذج للتحيزات الثقافية، الجندرية، والعرقية الموجودة في بيانات التدريب الضخمة، مما يجعلها تصدر تقييمات غير عادلة أو متشددة ضد فئات مجتمعية معينة، وهو ما يمثل انتهاكاً لصدق المحتوى والعدالة النفسية.
• مشكلة الصندوق الأسود (Black-Box Problem): صعوبة التفسير السببي والمعرفي الدقيق لكيفية توصل خوارزمية الذكاء الاصطناعي إلى حكم تشخيصي أو تقييم سلوكي معين مقارنة بالمقيم البشري الذي يمكن استجوابه وتدريبه وفق أطر نظرية واضحة.

بناءً على ذلك، يتجه الإجماع المنهجي الحديث في القياس النفسي نحو تبني نماذج “الإنسان في حلقة القياس” (Human-in-the-Loop)؛ حيث لا يُستبدل العنصر البشري بالكامل، بل يُستخدم الذكاء الاصطناعي كمقيم أولي مساعد يقوم بفرز وتصنيف البيانات الضخمة، بينما يتولى الخبراء البشريون المراقبة المستمرة، إعادة المعايرة الإحصائية، وفصل النزاعات التقييمية في الحالات الإكلينيكية المعقدة، لضمان أعلى مستويات الدقة والموثوقية والنزاهة العلمية.

خاتمة

تُمثل موثوقية ما بين المقيمين الركيزة المنهجية التي لا غنى عنها لبناء علم نفس وسلوكي يتسم بالرصانة، الموضوعية، والقدرة على التراكم المعرفي. ففي عالم تتشابك فيه البناءات النفسية المعقدة مع الذاتية البشرية للملاحظين، يقف التحليل الإحصائي الدقيق للموثوقية—سواء عبر معاملات كابا، نماذج الارتباط داخل الفئات (ICC)، أو معامل كريبندورف الشامل—كحارس أمين يضمن تجريد البيانات من التحيزات الفردية وأخطاء القياس العشوائية والمنتظمة.

لقد أوضح هذا الدليل أن الوصول إلى معاملات موثوقية مرتفعة ليس مجرد عملية معالجة حسابية لاحقة تُجرى بعد الانتهاء من جمع البيانات، بل هو منظومة منهجية متكاملة تبدأ من التخطيط النظري المحكم وبناء أدلة الترميز المحددة بسلالم التثبيت السلوكي (BARS)، وتمر عبر برامج التدريب المعرفي المتطورة مثل التدريب القائم على التأطير المرجعي (FOR)، وتستمر طوال فترة البحث من خلال المعايرة المستمرة لمنع انحراف المقيمين، وصولاً إلى التوثيق الأكاديمي الشفاف وفق معايير الجمعية الأمريكية لعلم النفس.

ومع دخولنا عصر الذكاء الاصطناعي والنمذجة الحسابية المتقدمة للسلوك البشري، تكتسب موثوقية ما بين المقيمين أبعاداً وآفاقاً مستقبلية جديدة؛ حيث يصبح التحقق من التوافق بين العقل البشري والأنظمة الخوارزمية التوليدية معياراً أساسياً للسلامة والعدالة الإكلينيكية والتنظيمية. إن الالتزام الصارم بهذه المبادئ والتقنيات السيكومترية يضمن للباحثين والممارسين الانتقال من عالم الانطباعات والتقديرات الذاتية الهشة إلى فضاء القياس العلمي الدقيق والموثوق، بما يخدم في نهاية المطاف صحة ورفاهية الإنسان في كافة السياقات النفسية والمجتمعية.

References

• Bernardin, H. J., & Buckley, M. R. (1981). Strategies in rater training. Academy of Management Review, 6(2), 205–212. https://doi.org/10.5465/amr.1981.4287781
• Cicchetti, D. V., & Allison, T. (1971). A new procedure for assessing reliability of scoring EEG sleep recordings. American Journal of EEG Technology, 11(3), 101–110. https://doi.org/10.1080/00029238.1971.11080838
• Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
• Cohen, J. (1968). Weighted kappa: Nominal scale agreement provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213–220. https://doi.org/10.1037/h0026256
• Cronbach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. John Wiley & Sons.
• Feinstein, A. R., & Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543–549. https://doi.org/10.1016/0895-4356(90)90077-C
• Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382. https://doi.org/10.1037/h0031619
• Fleiss, J. L., & Cohen, J. (1973). The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educational and Psychological Measurement, 33(3), 613–619. https://doi.org/10.1177/001316447303300309
• Kendall, M. G., & Smith, B. B. (1939). The problem of $m$ rankings. The Annals of Mathematical Statistics, 10(3), 275–287. https://doi.org/10.1214/aoms/1177732186
• Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163. https://doi.org/10.1016/j.jcm.2016.02.012
• Krippendorff, K. (2004). Content analysis: An introduction to its methodology (2nd ed.). SAGE Publications.
• Krippendorff, K. (2011). Agreement and information in the reliability of coding. Communication Methods and Measures, 5(2), 93–112. https://doi.org/10.1080/19312458.2011.568376
• Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310
• Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. https://doi.org/10.1037/0033-2909.86.2.420
• Smith, P. C., & Kendall, L. M. (1963). Retranslation of expectations: An approach to the construction of unambiguous anchors for rating scales. Journal of Applied Psychology, 47(2), 149–155. https://doi.org/10.1037/h0047060
• Walter, S. D., Eliasziw, M., & Donner, A. (1998). Sample size and optimal designs for reliability studies. Statistics in Medicine, 17(1), 101–110. <a href="https://doi.org/10.1002/(SICI)1097-0258(19980115)17:13.0.CO;2-E”>https://doi.org/10.1002/(SICI)1097-0258(19980115)17:13.0.CO;2-E