1. الملخص / Abstract
تُعد أداة التغذية الراجعة لاختبارات تطوير فرق الإنقاذ (FIRE-P) مقياساً سيكومترياً متقدماً صُمم خصيصاً لتقييم الجودة المدركة للاختبارات التحريرية ضمن برامج تدريب وتأهيل كوادر الإطفاء والإنقاذ. طُوِّرت هذه الأداة استجابةً للحاجة الملحة إلى وسائل قياس مقننة لضبط جودة التقييمات في البيئات عالية المخاطر، بالتعاون بين معهد إطفاء شمال الراين-وستفاليا (IdF NRW) وقسم علم النفس التنظيمي والاقتصادي في جامعة مونستر (WWU Münster). يستند المقياس نظرياً إلى نماذج تقييم الامتحانات الأكاديمية (مثل مقياس MFE-K)، مع تكييفه ليناسب طبيعة العمليات التكتيكية والقيادية في خدمات الطوارئ عبر دراسات استكشافية نوعية ومسوحات قبلية شملت فاحصين ومدربين وقادة فرق إطفاء.
يتألف المقياس الأساسي المقنن في صورته النهائية من 12 فقرة أساسية تتوزع على ثلاثة أبعاد رئيسية مستخلصة عبر التحليلات العاملية الاستكشافية والتوكيدية، وهي: الإعداد والتحضير (Preparation)، والتصميم والصياغة (Design)، والعبء والضغط المعرفي/النفسي (Load). بالإضافة إلى ذلك، يتضمن المقياس ملحقاً يحتوي على 12 فقرة تكميلية اختيارية ترصد الظروف المحيطة بالامتحان، ومتغيرات التحيز المحتملة، وملاحظات التغذية الراجعة المفتوحة، والتقييم الإجمالي الشامل. تُقاس الاستجابات على الفقرات الأساسية باستخدام مقياس ليكرت سباعي النقاط، يمتد من 1 (لا أوافق بشدة) إلى 7 (أوافق بشدة)، مع توفير خيار إضافي “لا يمكن الإجابة عليه بشكل مفيد”.
أظهرت النتائج السيكومترية تمتع الأداة بمستويات ثبات مقبولة إلى ممتازة عبر مؤشر ألفا كرونباخ، حيث تراوحت قيمه للأبعاد المختلفة بين 0.76 و 0.86 في عينات مختلفة (ن = 428 و ن = 301). كما كشفت نتائج دراسات الصدق عن تمتع المقياس بصدق محتوى قوي مستمد من المقابلات والتحليل الموضوعي، وصدق بناء تقاربي وتمايزي واضح من خلال علاقاته الارتباطية بمتغيرات الشخصية (كالعصابية ويقظة الضمير)، والكفاءة الذاتية العامة، والالتزام التنظيمي العاطفي، ووجهة الضبط، والصلابة النفسية، وقلق الاختبار. توفر الأداة للمعاهد التدريبية والجهات الإشرافية آلية موثوقة لضمان العدالة والشفافية وتطوير أدوات القياس والتقويم في قطاع السلامة العامة.
2. الكلمات المفتاحية / Keywords
تقييم الامتحانات، خدمات الإنقاذ، قوات الإطفاء، القياس النفسي، جودة التقييم، التدريب التكتيكي، الصدق البنائي، ألفا كرونباخ، التحليل العاملي، الإجهاد المعرفي، الكفاءة الذاتية، التغذية الراجعة الأكاديمية.
3. المؤلفون / Authors
طُوِّرت الأداة كجزء من مبادرة بحثية وتطبيقية مشتركة قادها باحثون في مجال علم النفس والتقييم المؤسسي:
- ماينالد تي. تيلش (Meinald T. Thielsch): بروفيسور مشارك في قسم علم النفس التنظيمي والاقتصادي، معهد علم النفس، جامعة وستفاليا فيلهلم في مونستر (WWU Münster)، ألمانيا. خبير في مجالات التفاعل بين الإنسان والآثار التنظيمية والتقييم النفسي في قطاعات الأمن والطوارئ. البريد الإلكتروني: [email protected].
- إلينا بوزيان (Elena Busjan): باحثة في علم النفس المؤسسي والتنظيمي، ساهمت في تطوير البنك المبدئي للفقرات والتحليلات النوعية والتجريبية الأولية، جامعة مونستر.
- يانيس فريريخس (Jannis Frerichs): باحث في القياس النفسي وإدارة التدريب، أشرف على التحليلات العاملية التوكيدية وربط الأداة بمتغيرات الشخصية والصدق التمايزي والتقاربي.
- فابيان شولته (Fabian Schulte): باحث متعاون ومستشار في تأهيل كوادر الطوارئ والسلامة العامة.
- معهد إطفاء شمال الراين-وستفاليا (Institut der Feuerwehr Nordrhein-Westfalen – IdF NRW): المؤسسة الأكاديمية والتدريبية الحكومية الرائدة لتأهيل القيادات التكتيكية والإدارية لفرق الإطفاء في ألمانيا.
4. الغرض / Purpose
تتميز مهام وأدوار كوادر الإنقاذ والإطفاء بظروف تشغيلية بالغة التعقيد وحرجة زمنياً، حيث تقع على عاتقهم حماية الأرواح والممتلكات وإدارة المخاطر الكبرى في الميدان. تبرز هذه المسؤولية الجسيمة بشكل مضاعف لدى قادة المجموعات (Gruppenführer) وقادة الفصائل (Zugführer)، إذ يمثلون الخط الأول في قيادة العمليات التكتيكية واتخاذ القرارات المصيرية. وبناءً على ذلك، تلعب برامج التأهيل النظري والتكتيكي في معاهد الإطفاء دوراً حاسماً في إعداد الكوادر المؤهلة، وتُعد الامتحانات النهائية التحريرية أداة الفرز المركزية التي تقرر مدى أهلية المتدرب لتولي هذه المناصب القيادية الحساسة. على الرغم من هذه الأهمية القصوى، ظلت عمليات مراجعة جودة الامتحانات في قطاع الطوارئ خاضعة لتقديرات غير مقننة سيكومترياً، على النقيض من قطاع التعليم العالي الذي شهد تطويراً واسعاً لأدوات تقييم المقررات والامتحانات مثل مقياس (MFE-K).
جاء تطوير أداة FIRE-P لردم هذه الفجوة المهنية والمعرفية، محققاً الأغراض التالية:
- التقييم التكويني والختامي لجودة الاختبارات: تمكين المؤسسات التدريبية المعنية بالطوارئ من قياس انطباعات المتدربين الموضوعية حول الامتحانات التحريرية فور الانتهاء منها، مما يوفر بيانات تشخيصية فورية تسهم في رصد مواطن الخلل في صياغة الأسئلة أو توزيع المادة التدريبية.
- ضبط الشفافية والعدالة التقييمية: التأكد من أن متطلبات الاختبار كانت واضحة سلفاً للمتدربين، وأن أسئلة الامتحان تعكس بدقة واقع الممارسة الميدانية والمحتوى التعليمي المقدم خلال الدورات، دون وجود غموض في صياغة التعليمات.
- رصد الإجهاد والعبء المعرفي: قياس العبء النفسي والمعرفي الذي تفرضه حزمة الامتحانات، والتأكد من أن مستوى صعوبة الامتحان وحجم مواده يقعان ضمن الحدود التعليمية المقبولة دون أن يتحولا إلى عامل ضغط معيق للأداء الوظيفي السليم.
- البحث العلمي والتطوير التنظيمي: توفير منصة بيانات موحدة تفيد في مقارنة جودة الاختبارات بين البرامج التدريبية المختلفة، وتحليل العلاقة بين سمات المتدربين الشخصية (كالكفاءة الذاتية والقدرة على اتخاذ القرار) وبين تقييمهم لجودة أدوات القياس.
5. البناء النفسي / Construct
يقيس اختبار FIRE-P مفهوم “الجودة المدركة للامتحانات التحريرية في تأهيل كوادر الإنقاذ”، وهو بناء متعدد الأبعاد يعكس إدراك المتدرب للعملية التقييمية من مرحلة الإعداد المسبق حتى تجربة خوض الامتحان والشعور بالضغط الناتج عنه. يتألف النموذج المعتمد للمقياس من ثلاثة أبعاد أساسية (تضم 12 فقرة)، يضاف إليها أبعاد مساعدة (12 فقرة اختيارية) تُستخدم وفقاً لسياق التدخل التقييمي:
الأبعاد الأساسية الثلاثة
- 1. الإعداد والتحضير (Preparation / Vorbereitung):
يقيس هذا البعد مدى كفاية وملاءمة التدريب المسبق الذي تلقاه المتدرب لخوض الامتحان، ودرجة توفير المواد التعليمية التدريبية (كنماذج الاختبارات والأسئلة الاسترشادية)، بالإضافة إلى شفافية متطلبات التقييم وقدرة المتدرب على نقل وتطبيق المعرفة النظرية التي اكتسبها خلال الدورة داخل بيئة الاختبار. يتضمن هذا البعد أربع فقرات (الفقرات 1، 2، 3، و8). يشير ارتفاع الدرجة في هذا البعد إلى كفاءة المسار التدريبي ومطابقته للمواصفات التقييمية المرجوة.
- 2. التصميم والصياغة (Design / Gestaltung):
يركز هذا البعد على الخصائص الفنية والهيكلية لأداة الاختبار نفسها. يشمل ذلك دقة ووضوح صياغة الأسئلة، وضوح تعليمات الإجابة، ملاءمة نسق ونمط الاختبار المتبع (مثل أسئلة الاختيار من متعدد أو الأسئلة المقالية)، التنسيق والترتيب المنطقي العام لورقة الامتحان، والأهمية التطبيقية لمحتوى الاختبار ومدى صلته بممارسة المتدرب الميدانية كقائد فرقة إطفاء. يضم هذا البعد خمس فقرات (الفقرات 4، 5، 6، 7، و9). تعكس الدرجات المرتفعة تصميماً احترافياً وموضوعياً للامتحان يسهل الفهم ويقلل من الأخطاء التفسيرية غير المرتبطة بجوهر الكفاءة.
- 3. العبء والضغط (Load / Belastung):
يقيس هذا البعد المدركات السلبية والضغوط الذاتية المرتبطة بالاختبار. يتناول تحديداً إدراك الصعوبة المفرطة للامتحان، وكثافة وحجم المادة المشمولة بالتقييم، والعبء النفسي والذهني التراكمي الناتج عن تعدد الاختبارات وتتابعها ضمن الدورة التدريبية. يتكون هذا البعد من ثلاث فقرات (الفقرات 10، 11، و12). وخلافاً للبعدين السابقين، يُعتبر الحصول على درجات منخفضة إلى متوسطة في هذا المقياس هو المؤشر الإيجابي المنشود، حيث إن الدرجات المرتفعة تشير إلى إجهاد معرفي معيق وبيئة اختبارية مرهقة قد تؤثر سلباً على مصداقية الأداء.
الأبعاد المساندة والمتغيرات التكميلية (اختيارية)
- الشروط الإطارية والبيئية (Contextual Framework): تتناول ظروف قاعة الامتحان، مثل غياب المشتتات والضوضاء، والجو النفسي الذي أشاعه الفاحصون، وكفاية المستلزمات اللوجستية، وتوفير فرصة طرح الأسئلة التوضيحية (الفقرات 13-17).
- متغيرات التحيز (Bias Variables): صُممت لرصد العوامل الدخيلة والميول الذاتية التي قد تشوه تقييم المتدرب للاختبار، مثل اهتمامه الأصيل بموضوع الدورة، والحاجة الوظيفية الإلزامية لاجتياز الامتحان، والرغبة المجردة في النجاح بأي ثمن، ومستوى الرضا الذاتي عن الأداء الفردي في الحل (الفقرات 18-21).
- التغذية الراجعة والتقييم الشامل (Feedback & Global Judgement): تتناول أهمية الجلسات النقاشية التحليلية لنتائج الامتحان، وأسئلة نوعية مفتوحة للمقترحات التطويرية، بالإضافة إلى منح درجة تقدير مدرسية عامة لجودة الامتحان (الفقرات 22-24).
6. الإطار النظري / Theoretical Framework
يستند مقياس FIRE-P إلى توليفة من النماذج التربوية والنفسية التي تُعنى بجودة التقييم والأداء في البيئات المهنية الحرجة:
1. نظرية العبء المعرفي (Cognitive Load Theory – CLT)
تفترض نظرية العبء المعرفي التي طورها جون سويلر (John Sweller) أن الذاكرة العاملة لدى الإنسان تمتلك طاقة معالجة محدودة. ينقسم العبء المعرفي أثناء التعلم والاختبار إلى ثلاثة أنواع: العبء الجوهري (Intrinsic) الناشئ عن صعوبة المادة وطبيعتها، والعبء الدخيل (Extraneous) الناجم عن سوء تصميم المادة الاختبارية وصياغتها غير الواضحة، والعبء البناء (Germane) الموجه نحو معالجة وتخزين المعرفة في الذاكرة طويلة المدى. ينعكس هذا الأساس النظري في بعدي “التصميم” و”العبء” في FIRE-P؛ فالأسئلة غير المترابطة والتعليمات المبهمة تفرض عبئاً معرفياً دخيلاً يستنزف موارد التفكير لدى متدرب الإنقاذ، مما يؤدي إلى تقييم سلبي لجودة الامتحان وعدم قدرته على إظهار كفاءته الحقيقية.
2. نماذج تقييم الامتحانات الأكاديمية (The MFE-K Model)
ينحدر المقياس بصورة مباشرة من الأساس النظري لـ استبيان مونستر لتقييم الامتحانات (MFE-K) الذي طوره فرونتسيك وهيرشفيلد وتيلش (Froncek, Hirschfeld, & Thielsch, 2014). أثبت نموذج MFE-K أن رضا الدارسين وجودة الاختبار لا تتحدد فقط بدرجة الاختبار الفردية، بل ترتكز على مبادئ الشفافية، والملاءمة البنائية، ومستوى الضغط المتوازن. تم تكييف هذا الإطار ليلائم المتطلبات الصارمة الموجهة للمهام (Task-oriented) في قوات الدفاع المدني، حيث ترتبط الشفافية بـ لوائح الخدمة الميدانية (مثل FwDV 100 و FwDV 3).
3. نموذج متطلبات الوظيفة ومواردها (JD-R Model) ونظرية قلق الاختبار
ينظر الإطار النظري إلى الاختبار النهائي كحالة تقييمية تتطلب موازنة دقيقة بين المتطلبات (صعوبة الأسئلة، ضيق الوقت، حجم المادة) والموارد (الإعداد المسبق، المواد التجريبية، وضوح المهام). عندما تفوق المتطلبات الموارد المتاحة، يدخل المختبر في حالة من قلق الاختبار (Test Anxiety) المفرط، مما يعيق استرجاع المعرفة التكتيكية. لذا فإن وجود مستوى منخفض إلى معتدل من الضغط، مصحوباً بمستوى عالٍ من الإعداد الواضح والتصميم المحكم، هو المعيار النفسي الحاسم الذي يقيسه هذا النموذج.
7. الصدق / Validity
أُخضع مقياس FIRE-P لمسار تحقّق سيكومتري متعدد المراحل لضمان مختلف أشكال الصدق العلمي:
صدق المحتوى (Content Validity)
تم استخلاص الأبعاد الأساسية للمقياس استناداً إلى دراسة نوعية أولى (الدراسة 1) أُجريت في معهد (IdF NRW). تضمنت الدراسة مقابلات شفهية معمقة (ن = 11: 6 متدربين و5 مدربين وفاحصين)، متبوعة بمسح كتابي شمل 50 متدرباً في دورات قادة المجموعات والفصائل (المتوسط العمري للمتدربين = 34.0 سنة، وللفاحصين = 42.2 سنة). أسفر التحليل النوعي للمحتوى عن تحديد ثماني فئات جوهرية تمثل معايير الامتحان الجيد في مجال الإنقاذ: الإعداد، الشفافية، الواقعية والصلة العملية، التصميم، التغذية الراجعة، العبء، العدالة، والشروط المحيطة. تلا ذلك في (الدراسة 2) فحص مدى وضوح وأهمية الفقرات من قبل 22 متدرباً، حيث أجمع المشاركون على الأهمية الفائقة للفقرات وصياغتها الدقيقة، مع حذف ثلاث فقرات اعتُبرت غير جوهرية.
صدق البناء والصدق التمايزي والتقاربي (Construct, Convergent & Discriminant Validity)
نظراً لغياب مقاييس معيارية أخرى متخصصة في تقييم امتحانات الإنقاذ، استخدم الباحثون في الدراسة الرابعة (ن = 268 إلى 301) شبكة من المتغيرات البديلة (Proxy Variables) والمقاييس الشخصية والنفسية المقننة لاختبار الفرضيات النظرية التالية:
- الارتباط بالتقييم العام للامتحان (Global Judgement): أظهر بعد الإعداد ارتباطاً موجباً قوياً بـ الدرجة المدرسية للامتحان (r = 0.58, p < .01)، وارتبط بعد التصميم أيضاً ارتباطاً موجباً مع التقييم الإجمالي (r = 0.65, p < .01)، في حين ارتبط بعد العبء (المعاد ترميزه) سلباً مع الإحساس بالضغط، مما يؤكد صدق المحك.
- يقظة الضمير (Conscientiousness): قِيست بواسطة مقياس BFI-S، وأظهرت ارتباطاً إيجابياً دالاً مع بعد الإعداد (r = 0.22, p < .01)، وهو ما يتسق مع الأدبيات التربوية التي تشير إلى أن الأفراد ذوي يقظة الضمير العالية يمتلكون دافعية تعلم أعلى ويثمنون الجاهزية المسبقة.
- الكفاءة الذاتية العامة (Self-Efficacy): قِيست عبر مقياس ASKU، وأظهرت علاقة إيجابية مع بعد الإعداد وبعد التصميم، مما يعكس أن المتدرب الواثق من كفاءته يدرك إمكانية تطبيق المعارف النظرية بصورة أفضل في الامتحان.
- الالتزام التنظيمي العاطفي (Affective Commitment): قيس بمقياس COBB، وارتبط إيجابياً بتقييم جودة الإعداد والمحتوى (r = 0.19, p < .01)، مبيناً أن الارتباط القوي بمهنة الإطفاء يعزز التفاعل الإيجابي مع الاختبارات التقييمية.
- مركز الضبط الخارجي والتشاؤم: أظهرت مقاييس وجهة الضبط ومقياس التفاؤل والتشاؤم (SOP2) ارتباطات سلبية متوقعة مع تقييم الإعداد، حيث يميل الأفراد ذوو الضبط الخارجي والميل التشاؤمي إلى النظر إلى الامتحان كعبء عشوائي خارج عن نطاق سيطرتهم.
- القدرة على اتخاذ القرار والصلابة النفسية: قِيست بمقياس LMI ومقياس CD-RISC، وأظهرت ارتباطاً موجباً مع بعد التصميم، مما يؤكد أن وضوح تصميم الامتحان يساعد القادة ذوي القدرة العالية على حسم القرارات على استعراض قدراتهم بسهولة.
- قلق الاختبار والتوتر: أظهر بعد العبء في FIRE-P ارتباطاً قوياً مع مقاييس التوتر المعاش أثناء الامتحان، ومقياس الحالة المزاجية الآنية (Smiley-Scale; Jäger, 2004).
8. الثبات / Reliability
تم حساب الاتساق الداخلي لمقاييس FIRE-P باستخدام معامل ألفا كرونباخ (Cronbach’s Alpha) عبر عينتين مستقلتين واسعتين في سياق تقييم الدورات التدريبية الميدانية في معهد (IdF NRW):
- الدراسة الثالثة (Study III – ن = 428):
- مقياس الإعداد (Vorbereitung – 4 فقرات): α = 0.84 (اتساق داخلي جيد جداً).
- مقياس التصميم (Gestaltung – 5 فقرات): α = 0.81 (اتساق داخلي جيد).
- مقياس العبء (Belastung – 3 فقرات): α = 0.79 (اتساق داخلي مقبول إلى جيد).
- الدراسة الرابعة (Study IV – ن = 301):
- مقياس الإعداد (Vorbereitung – 4 فقرات): α = 0.82.
- مقياس التصميم (Gestaltung – 5 فقرات): α = 0.86.
- مقياس العبء (Belastung – 3 فقرات): α = 0.76.
تُعد هذه المؤشرات مرتفعة ومثالية للاستخدام العملي والبحثي، لا سيما إذا أخذنا في الاعتبار أن الغرض الميداني للأداة هو التقييم التجميعي على مستوى المجموعات والدورات التدريبية (Aggregated Group-Level Evaluation) وليس اتخاذ قرارات مصيرية فردية متعلقة بتشخيص الأفراد. كما أظهرت معاملات تمييز الفقرات (Item-total correlations) قيماً تراوحت بين 0.49 و 0.77 في العينات المستهدفة، مما يثبت تجانس وتماسك فقرات كل بعد من الأبعاد الفرعية.
9. التحليل العاملي / Factor Analysis
تم التحقق من البنية العاملية لمقياس FIRE-P عبر مرحلتين رئيسيتين شملتا التحليل العاملي الاستكشرافي (EFA) والتحليل العاملي التوكيدي (CFA):
التحليل العاملي الاستكشافي (EFA – الدراسة 3)
أُجري تحليل العوامل الرئيسية (Principal Axis Factoring) مع تدوير بروماكس المائل (Promax Rotation) على عينة مكونة من 428 استمارة تقييمية صالحة من 17 دورة تدريبية لقيادات الإطفاء. استند استخراج العوامل إلى محكات متعددة تضمنت محك كايزر-غوتمن (الجذور الكامنة > 1)، واختبار المنحدر البياني السكري (Scree Plot)، واختبار التحديد الجزئي التلقائي (MAP-Test). أشارت النتائج الأولية المشتركة إلى نموذج رباعي العوامل:
- العامل الأول (الجذر الكامن = 9.35) وفسر ما نسبته 38.95% من التباين الكلي.
- العامل الثاني (الجذر الكامن = 2.15) وفسر ما نسبته 8.96% من التباين.
- العامل الثالث (الجذر الكامن = 1.54) وفسر ما نسبته 6.42% من التباين.
- العامل الرابع (الجذر الكامن = 1.49) وفسر ما نسبته 6.19% من التباين.
عند الفحص المعمق لمصفوفة التشبعات العاملية، أظهرت جميع فقرات العامل الرابع (باستثناء فقرة واحدة) تشبعات مزدوجة (Cross-loadings > .30) على العوامل الأخرى؛ ونظراً لعدم إمكانية بناء مقياس فرعي بفقرة وحيدة، تم إسقاط العامل الرابع من البنية الهيكلية وتوزيع الفقرات أو استبعادها بناءً على المنطق النظري. أدى ذلك إلى تقليص الأداة إلى نموذج ثلاثي العوامل يضم 15 فقرة في نهاية الدراسة الثالثة.
تشبعات الفقرات في التحليل الاستكشافي (الدراسة 3 – ن = 428):
- بعد الإعداد: تراوحت تشبعات الفقرات بين 0.51 و 0.81 (الفقرة 1: 0.81، الفقرة 2: 0.77، الفقرة 3: 0.79، الفقرة 8: 0.51).
- بعد التصميم: تراوحت التشبعات بين 0.47 و 0.81 (الفقرة 4: 0.68، الفقرة 5: 0.64، الفقرة 6: 0.81، الفقرة 7: 0.61، الفقرة 9: 0.47).
- بعد العبء: تراوحت التشبعات بين 0.67 و 0.78 (الفقرة 10: 0.72، الفقرة 11: 0.78، الفقرة 12: 0.67).
التحليل العاملي التوكيدي (CFA – الدراسة 4)
طُبق التحليل العاملي التوكيدي على عينة ثانية مستقلة (ن = 301) شملت متدربي دورات قيادية متعددة في إطفاء شمال الراين-وستفاليا. أكدت النتائج ملاءمة النموذج ثلاثي العوامل للبيانات عبر مختلف مؤشرات المطابقة (Goodness-of-Fit Indices). وخلال خطوة التحسين والتشذيب النهائي للنموذج، حُذفت ثلاث فقرات إضافية بسبب انخفاض تشبعاتها القياسية (λ ≤ 0.50) وارتفاع تباين الخطأ فيها (ε > 0.70)، لتستقر النسخة النهائية الرسمية للمقياس على 12 فقرة أساسية موزعة تماماً على العوامل الثلاثة.
تشبعات الفقرات المعيارية في التحليل التوكيدي (الدراسة 4 – ن = 301):
- بعد الإعداد: الفقرة 1 (λ = 0.79)، الفقرة 2 (λ = 0.62)، الفقرة 3 (λ = 0.77)، الفقرة 8 (λ = 0.80).
- بعد التصميم: الفقرة 4 (λ = 0.78)، الفقرة 5 (λ = 0.79)، الفقرة 6 (λ = 0.75)، الفقرة 7 (λ = 0.80)، الفقرة 9 (λ = 0.64).
- بعد العبء: الفقرة 10 (λ = 0.76)، الفقرة 11 (λ = 0.74)، الفقرة 12 (λ = 0.66).
10. أداة القياس / Instrument
فيما يلي المواصفات الفنية والتطبيقية الخاصة بأداة FIRE-P:
- نوع الاختبار: استبيان تقرير ذاتي (Self-report questionnaire) لتقييم الامتحانات والبرامج التدريبية.
- الفئة المستهدفة: متدربو وكوادر فرق الإطفاء والإنقاذ وخدمات الطوارئ، وتحديداً المشاركون في الدورات التأهيلية القيادية والتكتيكية.
- توقيت التطبيق: يُطبق الاستبيان مباشرة وبشكل فوري عقب انتهاء المتدربين من أداء الامتحان التحريري في قاعة الاختبار، وقبل إعلان نتائج التصحيح، لضمان استقلالية التقييم وتفادي تحيز النتيجة الشخصية.
- عدد الفقرات: 12 فقرة إلزامية تمثل المقياس الأساسي المقنن، بالإضافة إلى 12 فقرة ملحقة اختيارية تُطبق وفق أهداف التقويم المؤسسي.
- مقياس الاستجابة:
- الفقرات الأساسية (1-12) والفقرات (13-15، 18-22): سلم ليكرت سباعي النقاط يتدرج من: 1 = لا أوافق على الإطلاق (stimme gar nicht zu)، 2 = لا أوافق (stimme nicht zu)، 3 = أميل إلى عدم الموافقة (stimme eher nicht zu)، 4 = محايد (neutral)، 5 = أميل إلى الموافقة (stimme eher zu)، 6 = أوافق (stimme zu)، إلى 7 = أوافق تماماً (stimme vollkommen zu). ويتوفر خيار إضافي هو: “لا يمكن الإجابة عليه بشكل مفيد” (nicht sinnvoll beantwortbar).
- الفقرة 16 والفقرة 23: نسق إجابة مفتوح (Open-ended format) لإدخال النسب المئوية والملاحظات النصية الاسترجاعية.
- الفقرة 17: نسق إجابة ثنائي اختياري (نعم / لا).
- الفقرة 24: نسق التقدير المدرسي السداسي الألماني: 1 = ممتاز (sehr gut)، 2 = جيد (gut)، 3 = مرضٍ (befriedigend)، 4 = كافٍ/مقبول (ausreichend)، 5 = ضعيف (mangelhaft)، 6 = غير كافٍ/راسب (ungenügend).
- إجراءات التصحيح واحتساب الدرجات:
- تُحسب درجة كل مقياس فرعي من المقاييس الثلاثة عبر جمع قيم استجابات الفقرات المكونة له وقسمتها على عدد الفقرات المكتملة للحصول على المتوسط الحسابي للبعد:
- متوسط بعد الإعداد: (فقرة 1 + فقرة 2 + فقرة 3 + فقرة 8) ÷ عدد الفقرات المجاب عنها.
- متوسط بعد التصميم: (فقرة 4 + فقرة 5 + فقرة 6 + فقرة 7 + فقرة 9) ÷ عدد الفقرات المجاب عنها.
- متوسط بعد العبء: (فقرة 10 + فقرة 11 + فقرة 12) ÷ عدد الفقرات المجاب عنها.
- تُعامل الإجابات التي تختار خيار “لا يمكن الإجابة عليه بشكل مفيد” كقيم مفقودة (Missing values).
- تفسير النتائج:
- في بعدي الإعداد والتصميم: تُعد الدرجات المرتفعة (التي تقترب من 6 أو 7) هي النتيجة المرغوبة والمؤشر على الجودة التعليمية والتصميمية العالية.
- في بعد العبء: تُعد الدرجات المنخفضة إلى المعتدلة كحد أقصى (أقل من 3.5) هي المؤشر المرغوب، بينما تشير الدرجات المرتفعة إلى ضغوط مفرطة وغير مبررة.
- تُفسر الفقرات التكميلية (13-24) على مستوى الفقرة الفردية كقائمة تدقيق استرشادية، ولا تؤخذ الملاحظات النصية المفتوحة كأساس إجرائي إلا عند تكرارها بشكل دال إحصائياً.
- معايير التعامل مع البيانات المفقودة: في التطبيق الورقي، يُوصى باستبعاد استمارات المشاركين الذين تركوا ثلاث فقرات أساسية أو أكثر دون إجابة. وفي التطبيقات الرقمية عبر الإنترنت، يُفضل جعل الفقرات 1-12 متطلبات إجابة إلزامية.
11. الأذونات والرسوم وسنة الاختبار / Permissions & Fee and Test Year
سنة التطوير والنشر: طُوِّرت الأداة في الفترة ما بين 2016 و 2017 من خلال الشراكة بين معهد إطفاء شمال الراين-وستفاليا (IdF NRW) وجامعة مونستر، ونُشرت تفاصيلها المنهجية والدراسات الخاصة بها خلال عامي 2016 و 2017 (Busjan, 2016; Frerichs, 2017).
حالة الأذونات والرسوم: تُعد أداة FIRE-P أداة ذات نفع عام متاحة ومفتوحة للاستخدامات الأكاديمية والبحثية ولأغراض تطوير وتأهيل كوادر خدمات الإطفاء والإنقاذ والسلامة العامة دون فرض أي رسوم مالية. يُشترط عند استخدام الاستبيان أو ترجمته أو تكييفه الإشارة المنهجية التامة للأبحاث والمؤلفين الأصليين والمعهد المطور وفقاً للأعراف الأكاديمية (APA). أما بالنسبة للاستخدامات المؤسسية التجارية خارج إطار قطاعات الإطفاء والطوارئ، فيتطلب الأمر التواصل مع الجهة المالكة لحقوق المقياس (WWU Münster / IdF NRW) للحصول على موافقة خطية مسبقة.
12. المراجع / References
- Bechler, C., & Thielsch, M. T. (2012). Feedback in der Hochschullehre: Praxisleitfaden zur Lehrevaluation. Fachbereich Psychologie und Sportwissenschaft, Westfälische Wilhelms-Universität Münster.
- Beierlein, C., Kovaleva, K., Kemper, C. J., & Rammstedt, B. (2014). Ein Messinstrument zur Erfassung subjektiver Kompetenzerwartungen: Die Allgemeine Selbstwirksamkeit Kurzskala (AKSU). GESIS Working Papers, 2014/35. Mannheim: GESIS. https://doi.org/10.12758/gesis-wp-2014-35
- Bühner, M. (2011). Einführung in die Test- und Fragebogenkonstruktion (3. Aufl.). München: Pearson Studium.
- Busjan, E. (2016). Evaluation von Prüfungen in der Ausbildung von Rettungskräften (Unveröffentlichte Masterarbeit). Westfälische Wilhelms-Universität Münster.
- Colquitt, J. A., LePine, J. A., & Noe, R. A. (2000). Toward an integrative theory of training motivation: A meta-analytic path analysis of 20 years of research. Journal of Applied Psychology, 85(5), 678–707. https://doi.org/10.1037/0021-9010.85.5.678
- Colquitt, J. A., & Simmering, M. J. (1998). Conscientiousness, goal orientation, and motivation to learn during the learning process: A longitudinal study. Journal of Applied Psychology, 83(4), 654–665. https://doi.org/10.1037/0021-9010.83.4.654
- Felfe, J., Six, B., Schmook, R., & Knorz, C. (2014). Fragebogen zur Erfassung von organisationalem Commitment (COBB). In Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis58
- Feuerwehr-Dienstvorschrift 3 (FwDV 3). (2008). Einheiten im Lösch- und Hilfeleistungseinsatz. Ausschuss Feuerwehrangelegenheiten, Katastrophenschutz und zivile Verteidigung (AFKzV).
- Feuerwehr-Dienstvorschrift 100 (FwDV 100). (1999). Führung und Leitung im Einsatz. Ausschuss Feuerwehrangelegenheiten, Katastrophenschutz und zivile Verteidigung (AFKzV).
- Frerichs, J. (2017). Konstruktion und Validierung von Skalen zur Evaluation von Führungslehrgangsprüfungen am Institut der Feuerwehr Nordrhein-Westfalen (Unveröffentlichte Masterarbeit). Westfälische Wilhelms-Universität Münster.
- Froncek, B., Hirschfeld, G., & Thielsch, M. T. (2014). Münsteraner Fragebogen zur Evaluation von Klausuren (MFE-K). Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis73
- Froncek, B., & Thielsch, M. T. (2014). Evaluation von Klausuren: Entwicklung und Validierung eines standardisierten Instruments. Zeitschrift für Hochschulentwicklung, 9(2), 101–118. https://doi.org/10.3217/zfhe-9-02/08
- Hagemann, V. (2011). Teamtraining für Hochrisikoteams: Evaluation verhaltensorientierter Trainings bei Feuerwehren. Hamburg: Kovac.
- Jäger, R. S. (2004). Von der Beobachtung zur Notengebung: Ein Lehrbuch für die Praxis (4. Aufl.). Landau: Verlag Empirische Pädagogik.
- Jakoby, N., & Jacob, R. (2014). Skala zur Erfassung von internalen und externalen Kontrollüberzeugungen (IE-4). In Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis184
- Kemper, C. J., Beierlein, C., Kovaleva, K., & Rammstedt, B. (2014). Skala Optimismus-Pessimismus-2 (SOP2). Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis82
- Lee, S. H., & Olshfski, D. (2002). Employee commitment and performance: A study of the fire service. Public Administration Review, 62(s1), 142–151. https://doi.org/10.1111/1540-6210.62.s1.23
- Martocchio, J. J., & Judge, T. A. (1997). Relationship between conscientiousness and learning in employee training: Mediating influences of self-deception and self-efficacy. Journal of Applied Psychology, 82(5), 764–773. https://doi.org/10.1037/0021-9010.82.5.764
- Modick, H. (2014). Leistungsfördernde Spannung und leistungshemmende Angst bei Prüfungen: Entwicklung und psychometrische Überprüfung eines Kurzfragebogens. Münster: Fachbereich Psychologie, Westfälische Wilhelms-Universität.
- Mummendey, H. D., & Grau, I. (2014). Die Fragebogen-Methode (6. Aufl.). Göttingen: Hogrefe.
- Noe, R. A. (1986). Trainees’ attributes and attitudes: Neglected influences on training effectiveness. Academy of Management Review, 11(4), 736–749. https://doi.org/10.5465/amr.1986.4283922
- Richardson, M., Abraham, C., & Bond, R. (2012). Psychological correlates of university students’ academic performance: A systematic review and meta-analysis. Psychological Bulletin, 138(2), 353–387. https://doi.org/10.1037/a0026838
- Sarubin, N., Giegling, I., Fischer, H. L., Rujescu, D., & Bühner, M. (2015). Die deutsche Version der Connor-Davidson Resilience Scale (CD-RISC-10). Zeitschrift für Psychodidaktik und Diagnostik, 40(4), 211–222.
- Scheier, M. F., & Carver, C. S. (1985). Optimism, coping, and health: Assessment and implications of generalized outcome expectancies. Health Psychology, 4(3), 219–247. https://doi.org/10.1037/0278-6133.4.3.219
- Schuler, H., & Prochaska, M. (2001). Leistungsmotivationsinventar (LMI). Göttingen: Hogrefe.
- Schulte, F., & Thielsch, M. T. (in press). Kompetenzdiagnostik in der Rettungskräfteausbildung. Zeitschrift für Notfallkompetenz und Gefahrenabwehr.
- Schupp, J., & Gerlitz, J.-Y. (2014). Big Five Inventory-SOEP (BFI-S). In Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis54
- Smith, T. D., & Dyal, M. A. (2016). A systematic review of fire fighter job stress and health outcomes. Safety Science, 89, 219–227. https://doi.org/10.1016/j.ssci.2016.06.016
- Spooren, P., Brockx, B., & Mortelmans, D. (2013). On the validity of student evaluation of teaching: The state of the art. Review of Educational Research, 83(4), 598–642. https://doi.org/10.3102/0034654313496870
- Wachtel, H. K. (1998). Student evaluation of college teaching effectiveness: A brief review. Assessment & Evaluation in Higher Education, 23(2), 191–212. https://doi.org/10.1080/0260293980230207
- West, S. G., Finch, J. F., & Curran, P. J. (1995). Structural equation models with nonnormal variables: Problems and remedies. In R. H. Hoyle (Ed.), Structural equation modeling: Concepts, issues, and applications (pp. 56–75). Thousand Oaks, CA: Sage Publications.
- Young, K. M., & Cooper, C. L. (1995). Occupational stress in the ambulance service: A review of the literature. Stress Medicine, 11(4), 253–264. https://doi.org/10.1002/smi.2460110406
13. فقرات المقياس / Items of the Scale
تُعرض فيما يلي التعليمات الرسمية والفقرات الأصلية الكاملة لمقياس FIRE-P بلغتها الأصلية المعتمدة (الألمانية) كما قُدمت للمشاركين في الدراسات، بالإضافة إلى المقاييس التكميلية الاختيارية:
Instruktion
Liebe/r Lehrgangsteilnehmer/in,
wir danken Ihnen, dass Sie an der Befragung teilnehmen! Im nachfolgenden Teil wird es darum gehen, wie Sie die schriftliche Prüfung bewerten. Sie helfen uns damit, die Qualität der Prüfungen in der Rettungskräfteausbildung zu beurteilen und gegebenenfalls zu verbessern. Wir werden Ihnen nachfolgend zuerst einige Aussagen präsentieren. Bitte teilen Sie uns für jede Aussage mit, wie sehr Sie dieser zustimmen. Kreuzen Sie für jede Aussage das Feld an, das den Grad Ihrer Zustimmung am besten wiedergibt.
Anschließend präsentieren wir Ihnen auch einige Fragen, die Sie gerne stichpunktartig beantworten können. Generell gilt dabei: Es gibt bei dieser Befragung keine richtigen oder falschen Antworten. Vielmehr interessieren wir uns für Ihre ganz persönliche Meinung.
Ihre Teilnahme an der Befragung ist freiwillig. Zudem erfolgt die Befragung selbstverständlich anonym. Die Ergebnisse werden nur in gesammelter Form, das heißt beispielsweise in Form von Mittelwerten aller befragten Lehrgänge, an die Schulungseinrichtung zurückgemeldet. Ein Rückschluss auf Ihre Person ist damit ausgeschlossen.
Antwortvorgaben
Items 1-15, 18-22:
Siebenstufiges Antwortformat mit den Optionen:
1 = stimme gar nicht zu
2 = stimme nicht zu
3 = stimme eher nicht zu
4 = neutral
5 = stimme eher zu
6 = stimme zu
7 = stimme vollkommen zu
(Ein zusätzliches Feld bietet die Möglichkeit anzugeben, dass das jeweilige Item nicht sinnvoll beantwortbar sei.)
Items 16, 23:
Offenes Antwortformat
Item 17:
Dichotomes Antwortformat mit den Optionen: ja / nein
Item 24:
Sechsstufiges Antwortformat mit den Optionen:
1 = sehr gut
2 = gut
3 = befriedigend
4 = ausreichend
5 = mangelhaft
6 = ungenügend
Tabelle 1: Items der Skala FIRE-P (Kerbskalen)
| Nr. | Item | Subskala |
|---|---|---|
| 1 | Ich wurde im Lehrgang sehr gut auf die Prüfung vorbereitet. | Vorbereitung |
| 2 | Vorbereitungsmaterial (Probeklausur, Beispielaufgaben, o. ä.) wurde vor der Prüfung in ausreichender Menge zur Verfügung gestellt. | Vorbereitung |
| 3 | Die Anforderungen waren vor der Prüfung transparent. | Vorbereitung |
| 4 | Ich finde, die Aufgaben waren präzise und eindeutig formuliert. | Gestaltung |
| 5 | Ich finde, die Arbeitsanweisungen zur Beantwortung der Aufgaben waren eindeutig. | Gestaltung |
| 6 | Mit dem Antwortformat dieser Prüfung bin ich gut zurechtgekommen. | Gestaltung |
| 7 | Ich finde, die Prüfung war übersichtlich gegliedert. | Gestaltung |
| 8 | In der Prüfung konnte ich das vermittelte Wissen anwenden. | Vorbereitung |
| 9 | Die Inhalte der Prüfung sind relevant für meine Tätigkeit. | Gestaltung |
| 10 | Die Prüfung war zu schwierig für mich. | Belastung |
| 11 | Ich finde, der Umfang des Prüfungsstoffs für diese Prüfung war zu hoch. | Belastung |
| 12 | Die Anzahl der Prüfungen in diesem Lehrgang stellt eine große Belastung für mich da. | Belastung |
Tabelle 2: Je nach Evaluationskontext optionale Items
| Nr. | Item | Itemfokus |
|---|---|---|
| 13 | Die Prüfung konnte ohne Störfaktoren (Lärm, Ablenkung) durchgeführt werden. | Rahmenbedingungen |
| 14 | Die PrüferInnen haben versucht, eine angenehme Atmosphäre zu schaffen. | Rahmenbedingungen |
| 15 | Prüfungsmaterial wurde in ausreichender Menge gestellt. | Rahmenbedingungen |
| 16 | Zu wie viel Prozent wurden die Inhalte der Prüfung im Lehrgang vermittelt? | Rahmenbedingungen |
| 17 | Ich hatte während der Prüfung die Möglichkeit, Fragen zu stellen. | Rahmenbedingungen |
| 18 | Die Inhalte des Lehrgangs interessieren mich sehr. | Bias-Variable |
| 19 | Ich brauche diese Prüfung für meinen weiteren beruflichen Werdegang. | Bias-Variable |
| 20 | Ich wollte diese Prüfung nur bestehen, egal mit welcher Leistung. | Bias-Variable |
| 21 | Ich bin zufrieden damit, wie ich die Aufgabe(n) gelöst habe. | Bias-Variable |
| 22 | Eine Nachbesprechung der Prüfung finde ich wichtig. | Feedback |
| 23 | Hier ist Platz für weitere Anmerkungen. Was hat Ihnen an der schriftlichen Prüfung, unabhängig von Ihrer eigenen Leistung, gut gefallen? Was kann aus Ihrer Sicht noch verbessert werden? | Feedback |
| 24 | Insgesamt würde ich die schriftliche Prüfung, unabhängig von meiner eigenen Leistung, mit folgender Schulnote bewerten. | Globalurteil |