عرب سايكلوجي

الحكم المقارن: كيف تقيس الجودة بدقة بعيداً عن الدرجات؟

المحتويات:

الحكم المقارن (Comparative Judgment)

Primary Disciplinary Field(s): القياس النفسي (Psychometrics) | تقييم التعليم (Educational Assessment) | الإحصاء التطبيقي (Applied Statistics)

1. التعريف الجوهري

يُعد الحكم المقارن (CJ) منهجية تقييمية متطورة تهدف إلى تحديد جودة مخرجات التعلم أو أي مجموعة من العناصر القابلة للتقييم، وذلك عن طريق مطالبة المحكمين باتخاذ سلسلة من الأحكام النسبية الثنائية بدلاً من تخصيص درجات مطلقة. ترتكز هذه المنهجية على فرضية أساسية في علم النفس التجريبي والقياس النفسي، وهي أن البشر أكثر كفاءة وموثوقية في إصدار أحكام حول أيهما أفضل (أو أكبر، أو أجمل) عند مقارنة عنصرين مباشرة، مقارنة بقدرتهم على تحديد قيمة مطلقة لعنصر واحد بناءً على مقاييس معقدة. يتم تحويل هذه الأحكام الثنائية المتعددة، التي تُجمع من مجموعة من المحكمين، إلى مقياس خطي مستمر يمثل ترتيب الجودة النسبي لجميع العناصر المُقيمة باستخدام نماذج إحصائية متقدمة.

تتميز هذه الطريقة بكونها تتجاوز القيود المتأصلة في استخدام أدوات التقييم التقليدية التي تعتمد على قوائم المراجعة التفصيلية (Rubrics) أو الدرجات المطلقة، والتي غالباً ما تؤدي إلى انخفاض في موثوقية اتفاق المحكمين (Inter-Rater Reliability)، خصوصاً عند تقييم المهام المعقدة أو الإبداعية التي يصعب تفكيكها إلى مكونات جزئية واضحة. وبدلاً من ذلك، يدعو الحكم المقارن إلى تقييم شامل (Holistic Assessment) للجودة الكلية، مما يسمح للمحكمين بالتركيز على خبرتهم المهنية المجمعة لإصدار الحكم. إن النتيجة النهائية ليست مجرد مجموع لدرجات جزئية، بل هي مقياس دقيق وموثوق للجودة النسبية تم استخلاصه من آلاف المقارنات البسيطة.

في سياق التعليم، اكتسب الحكم المقارن شعبية هائلة كأداة لتقييم الأعمال الطلابية التي تتطلب مستويات عالية من التفكير النقدي، أو الإبداع، مثل المقالات الطويلة، أو أعمال التصميم الفني، أو محافظ الإنجاز (Portfolios). وهو يمثل تحولاً جذرياً نحو التقييم القائم على الموثوقية الإحصائية (Statistical Reliability) بدلاً من الاعتماد المفرط على الذاتية الفردية (Individual Subjectivity) للمصحح، مما يعزز من عدالة عملية التقييم ويقدم تغذية راجعة أكثر دقة حول موقع عمل الطالب ضمن مجموعة الأقران.

2. الجذور التاريخية والتطور

تعود الجذور النظرية للحكم المقارن إلى أوائل القرن العشرين، وبالتحديد إلى أعمال عالم النفس والرياضيات لويس ليون ثيرستون (L. L. Thurstone). ففي عام 1927، نشر ثيرستون عمله الرائد حول قانون الحكم المقارن (Law of Comparative Judgment)، الذي قدم إطاراً رياضياً لتحويل بيانات المقارنات الثنائية – سواء كانت تتعلق بتقدير الأوزان، أو الجمال، أو حتى الإنجازات الأكاديمية – إلى مقياس فاصل (Interval Scale) يمكن من خلاله قياس المسافات بين العناصر بدقة. كان هدف ثيرستون هو بناء مقاييس نفسية وعاطفية على أسس تجريبية وكمية صارمة، مماثلة لتلك المستخدمة في العلوم الفيزيائية.

على الرغم من الأهمية النظرية لعمل ثيرستون، ظل تطبيق الحكم المقارن محدوداً لعقود طويلة بسبب العقبات اللوجستية والرياضية. فمن أجل الحصول على ترتيب موثوق لعشرة عناصر فقط، يتطلب الأمر إجراء 45 مقارنة ثنائية (وفقاً للمعادلة n(n-1)/2)، ويزداد هذا العدد بشكل كبير مع زيادة حجم العينة، مما يجعل التحكيم اليدوي لمجموعات كبيرة من الأعمال أمراً غير عملي ومستهلكاً للوقت. وقد اقتصر استخدام هذا القانون في البداية على مجالات محدودة في القياس النفسي وعلم النفس التجريبي، مثل بناء مقاييس الاتجاهات والمواقف.

شهد الحكم المقارن إحياءً وتطوراً كبيراً في مطلع الألفية الثالثة، مدفوعاً بالتقدم في تكنولوجيا المعلومات وانتشار الحوسبة السحابية. وقد قام باحثون في مجال تقييم التعليم، أبرزهم بيتر بوليت (Peter Pollitt) وفريقه في المملكة المتحدة، بتكييف نموذج ثيرستون مع نماذج القياس النفسي الحديثة مثل نموذج راش (Rasch Model). أتاحت المنصات الرقمية الحديثة جمع آلاف المقارنات بكفاءة عالية وإجراء الحسابات المعقدة اللازمة لتحديد مقياس الجودة، مما حوّل الحكم المقارن من مفهوم نظري إلى أداة تقييم عملية وقابلة للتوسع في البيئات التعليمية واسعة النطاق.

3. المبادئ النظرية الأساسية

يرتكز الحكم المقارن على عدد من المبادئ الإحصائية والقياسية التي تضمن موثوقية النتائج. أول هذه المبادئ هو مبدأ التباعد الفردي، الذي يفترض أن كل عنصر (عمل طلابي مثلاً) يمتلك “قيمة حقيقية” ضمن مقياس الجودة، وأن الفروق الملحوظة في الجودة بين عنصرين تخضع لتوزيع احتمالي طبيعي. عندما يواجه المحكم مهمة المقارنة بين العمل (أ) والعمل (ب)، فإن الحكم الصادر (أفضلية أ على ب، أو العكس) يعكس احتمال أن يكون التباعد الملحوظ بين قيمتيهما الحقيقية موجباً أو سالباً.

المبدأ الثاني هو تحويل الأحكام إلى مقياس خطي. يتم تحقيق ذلك عبر استخدام الخوارزميات، التي غالباً ما تستند إلى تعديلات على نموذج راش، حيث يتم تقدير معلمتين رئيسيتين: معلمة “صعوبة” أو “جودة” كل عنصر (التي تمثل الموقع على مقياس الجودة)، ومعلمة “صرامة” أو “تساهل” كل محكم. تسمح هذه النمذجة الإحصائية بفصل جودة العمل عن الميل الذاتي للمحكم، مما يصحح تلقائياً لأي تحيزات فردية (مثل ميل محكم معين إلى التقييم بأعلى أو أقل من المتوسط).

يتم قياس موثوقية عملية الحكم المقارن عبر مؤشر موثوقية فصل المقياس (Scale Separation Reliability)، والذي يشبه مؤشر موثوقية الفصل في نماذج راش. يشير هذا المؤشر إلى مدى دقة الترتيب الخطي الذي تم إنشاؤه في التمييز بين جودة الأعمال المختلفة. عندما تكون موثوقية فصل المقياس عالية، فهذا يعني أن الأحكام المجمعة كانت متسقة بما يكفي لإنتاج ترتيب مستقر وموثوق يعكس فروقاً حقيقية في الجودة بين الأعمال. وتعتبر موثوقية فصل المقياس دليلاً قوياً على العدالة الإجرائية في التقييم.

4. الآليات الإجرائية والتطبيق

يتطلب تطبيق الحكم المقارن بنجاح اتباع مراحل إجرائية منظمة تعتمد بشكل أساسي على البنية التحتية الرقمية. تبدأ العملية بـ إعداد العينة، حيث يتم جمع الأعمال المراد تقييمها (كأن تكون 200 مقال) وتحويلها إلى صيغة رقمية موحدة. تلي ذلك مرحلة تدريب المحكمين، حيث يتم تزويدهم بتعليمات واضحة حول المهمة المطلوبة، وهي التركيز فقط على الجودة الكلية للعمل وتحديد أيهما أفضل، دون الحاجة إلى تطبيق معايير محددة مسبقاً بشكل صارم.

المرحلة الجوهرية هي عملية المقارنة الثنائية. يتم تقديم الأعمال للمحكمين في أزواج عشوائية عبر واجهة مستخدم رقمية بسيطة (عادةً ما يظهر العمل “أ” على اليسار والعمل “ب” على اليمين). يضغط المحكم ببساطة على زر يشير إلى العمل الذي يعتبره أفضل جودة. يتم تصميم الخوارزميات لضمان أن كل عمل تتم مقارنته بعدد كافٍ من المرات (عادةً ما بين 25 و 40 مقارنة لكل عمل) ومع مجموعة متنوعة من الأعمال الأخرى ومجموعة متنوعة من المحكمين، لضمان تغطية واسعة للبيانات. تتم هذه العملية بشكل متكرر ومستمر، حيث يقوم النظام بتحديث الترتيب الأولي للأعمال في الوقت الحقيقي.

بمجرد جمع عدد كافٍ من الأحكام لتحقيق مستوى الموثوقية المطلوب (الذي يحدده الباحث أو المؤسسة مسبقاً، عادةً ما يكون معامل موثوقية فصل المقياس فوق 0.75 أو 0.80)، تتوقف عملية التحكيم. يقوم النظام بعد ذلك بتطبيق النمذجة الإحصائية لتحويل جميع المقارنات (التي قد يصل عددها إلى الآلاف) إلى ترتيب خطي نهائي. هذا الترتيب يحدد قيمة الجودة لكل عمل على المقياس المستمر، مما يسمح بتعيين الدرجات أو الفئات (مثل ممتاز، جيد جداً، مقبول) بناءً على الموقع النسبي للعمل على هذا المقياس.

5. الخصائص والمزايا الرئيسية

يقدم الحكم المقارن العديد من المزايا التي تجعله بديلاً قوياً لأساليب التقييم التقليدية، لا سيما في سياق التقييم التكويني والختامي للمهارات المعقدة. تتمثل الميزة الأبرز في الموثوقية العالية التي يتم تحقيقها. فبما أن الحكم يعتمد على تجميع آلاف الأحكام البسيطة، فإن الأخطاء العشوائية أو التحيزات الفردية للمحكمين تتلاشى إلى حد كبير، مما يؤدي إلى اتفاق عالٍ في الترتيب النهائي يفوق بكثير ما يمكن تحقيقه عبر التقييم التقليدي القائم على قوائم المراجعة.

ميزة أخرى مهمة هي التركيز على الجودة الشاملة (Holistic Quality). بدلاً من تفكيك العمل إلى مكونات جزئية قد تفقد المعنى الأكبر للعمل (مثل تقييم النحو منفصلاً عن أصالة الفكرة في مقال)، يشجع الحكم المقارن المحكمين على تقييم العمل كوحدة متكاملة. هذا يعزز الصدق البنيوي (Construct Validity) للتقييم، حيث يضمن أن التقييم يعكس ما يُقصد قياسه حقاً، وهو القدرة الكلية للطالب على إنتاج عمل ذي جودة عالية.

علاوة على ذلك، يتميز الحكم المقارن بالكفاءة التشغيلية. على الرغم من أن كل عمل تتم مقارنته عدة مرات، فإن كل حكم فردي يستغرق وقتاً قصيراً جداً (عادةً أقل من 10 ثوانٍ)، ويقلل من الحمل المعرفي على المحكم. كما أنه يعالج مشكلة تعديل الدرجات (Moderation) بشكل طبيعي؛ فجميع المحكمين يساهمون في بناء نفس المقياس، مما يلغي الحاجة إلى اجتماعات تصحيح طويلة ومضنية لضمان الاتساق بين المصححين المختلفين.

6. المجالات التطبيقية

إن المجالات التطبيقية للحكم المقارن واسعة ومتنوعة، وتمتد من التعليم الأساسي والعالي إلى تقييم المنتجات المهنية والإبداعية. في مجال التعليم، يُستخدم الحكم المقارن بشكل متزايد لتقييم الكتابة الإبداعية، والمهارات التحليلية في العلوم الإنسانية، وتقييم مشاريع فرق العمل، والامتحانات الشفهية أو العروض التقديمية. وقد أثبتت الدراسات أن استخدامه في تقييم المقالات، على سبيل المثال، يوفر موثوقية أعلى بكثير من الطرق التقليدية القائمة على قوائم المراجعة.

في التصميم والفنون، يعد الحكم المقارن مثالياً لتقييم الأعمال التي تتطلب حكماً جمالياً أو وظيفياً يصعب قياسه كمياً. يمكن استخدامه لترتيب جودة تصميمات الجرافيك، أو الأعمال المعمارية، أو المقطوعات الموسيقية، حيث يتم الاعتماد على الخبرة المجمعة لمجموعة من الخبراء الفنيين. كما يجد تطبيقات في التطوير المهني وتقييم الكفاءات، حيث يمكن استخدامه لتقييم محافظ الإنجاز المهنية للموظفين أو المرشحين للوظائف.

بالإضافة إلى ذلك، يتم استخدام المبادئ الأساسية للحكم المقارن في القياس النفسي السريري وفي أبحاث السوق. ففي القياس النفسي، يمكن استخدامه لترتيب شدة الأعراض النفسية أو جودة الاستجابات العلاجية. وفي أبحاث السوق، يمكن للشركات استخدامه لتحديد المنتج أو الإعلان الأكثر جاذبية من خلال مطالبة المستهلكين بإجراء مقارنات ثنائية بسيطة، مما يوفر مقياس تفضيل كمي ودقيق.

7. التحديات والنقد

على الرغم من المزايا الإحصائية والعملية للحكم المقارن، فإنه لا يخلو من التحديات والانتقادات التي يجب التعامل معها بعناية. أحد الانتقادات الرئيسية يتعلق بالافتقار إلى التغذية الراجعة التفصيلية (Detailed Feedback). فبما أن المحكمين يصدرون حكماً شاملاً على الجودة الكلية دون تبرير مفصل لدرجات جزئية، قد يجد الطالب صعوبة في فهم نقاط القوة والضعف المحددة في عمله. وغالباً ما تتطلب المؤسسات التعليمية استخدام آليات إضافية (مثل اختيار أمثلة “حدود الفشل” أو “أفضل الأعمال” التي حددها النظام) لتقديم تغذية راجعة نوعية.

التحدي الثاني هو الاعتماد على البنية التحتية التكنولوجية. يتطلب الحكم المقارن منصات برمجية متطورة لإدارة الأزواج العشوائية، وجمع البيانات، وإجراء النمذجة الإحصائية المعقدة. أي عطل أو قصور في النظام يمكن أن يعيق العملية بأكملها. بالإضافة إلى ذلك، يجب تدريب المحكمين على استخدام النظام بشكل صحيح وفهم طبيعة مهمة المقارنة النسبية، وهو ما يمثل تحدياً لوجستياً في المؤسسات الكبيرة.

هناك أيضاً نقاش مستمر حول صلاحية المحتوى (Content Validity) في ظل غياب قوائم المراجعة الصارمة. يجادل البعض بأن ترك الحكم للمحكمين دون معايير واضحة قد يؤدي إلى تحيز لا إرادي نحو عوامل غير مرتبطة بالجودة التعليمية المطلوبة، مثل جاذبية العرض أو حجم العمل. ومع ذلك، يرد مؤيدو الحكم المقارن بأن الجودة الشاملة التي يقيسونها هي المعيار الحقيقي المطلوب في المهام المعقدة، وأن استخدام قوائم مراجعة صارمة يحد من تقييم الإبداع والأصالة.

8. مقارنة بالتحكيم التقليدي

يختلف الحكم المقارن جوهرياً عن طرق التحكيم التقليدية (التي تعتمد على الدرجات المطلقة أو قوائم المراجعة) في عدة نقاط محورية. التحكيم التقليدي يسعى إلى قياس الجودة بناءً على معيار مطلق ومحدد مسبقاً؛ حيث يحاول المصحح مطابقة العمل مع وصف مستوى معين (مثل “درجة 4 من 5 في بند التنظيم”). وفي المقابل، يركز الحكم المقارن على الموقع النسبي للعمل ضمن مجموعة الأقران.

أما فيما يتعلق بالموثوقية، فإن التقييم التقليدي يعاني غالباً من مشكلة موثوقية اتفاق المحكمين المنخفضة، حيث يختلف المصححون في تفسيرهم للمعايير. أما الحكم المقارن، فيحقق موثوقية عالية لأنه يستخدم تقنية إحصائية لتجميع الاتفاق العام للمحكمين، مما يصحح للتباينات الفردية. إن الأحكام البسيطة (أفضل أم أسوأ) أقل عرضة للتفسير الخاطئ من تطبيق معيار معقد.

وفيما يخص الشفافية والتدريب، يتطلب التقييم التقليدي تدريباً مكثفاً للمصححين لضمان فهمهم الموحد لقائمة المراجعة. بينما يتطلب الحكم المقارن تدريباً أقل على المعايير، ويركز بشكل أكبر على بناء ثقافة الحكم الجماعي. المحكمون في نظام الحكم المقارن يتعلمون من خلال عملية المقارنة نفسها، حيث يبدأون في تطوير فهم ضمني مشترك لمعنى “الجودة” داخل تلك المجموعة المحددة من الأعمال.

9. القراءة المتعمقة