تُعد معضلة البيانات المفقودة (Missing Data) واحدة من أكثر التحديات المنهجية والإحصائية إلحاحاً وتعقيداً في مجمل حقول البحث العلمي المعاصر، وتتضاعف وطأتها بصورة جلية في العلوم السلوكية، والنفسية، والاجتماعية، والعلوم الطبية الحيوية. لعقود طويلة من الزمن، تعاملت الممارسات البحثية التقليدية مع غياب الاستجابات أو انقطاع القياسات بنوع من التبسيط المخل؛ حيث كان اللجوء التلقائي إلى حذف الحالات غير المكتملة يمثل الخيار الافتراضي السائد في غالبية حزم البرمجيات الإحصائية. غير أن التطورات العاصفة في نظرية الاحتمالات، ونماذج الاستدلال الإحصائي، وتوافر القوة الحاسوبية الفائقة، كشفت أن هذا التجاهل لا يقتصر أثره على الهدر الفادح للموارد وحجم العينات، بل يؤدي بصورة حتمية إلى تشويه المعالم الإحصائية (Parameter Estimates)، وتآكل القوة الاختبارية، وتوليد استنتاجات مضللة قد تعصف بصدق النظريات وتضر بسلامة القرارات السريرية والسياسات العامة.
إن تعويض القيم المفقودة (Missing Data Imputation) يمثل إطاراً منهجياً متكاملاً يتجاوز مجرد كونه حيلة ترقيعية لملء الفراغات في مصفوفات البيانات؛ فهو فلسفة إحصائية دقيقة تهدف إلى نمذجة حالة عدم اليقين (Uncertainty) المحيطة بعملية الفقدان ذاتها، واستعادة البنية التوزيعية والعلاقات الارتباطية الكامنة بين المتغيرات دون تشويه للواقع التجريبي. لقد نقلت أبحاث رواد الإحصاء الحديث، وفي مقدمتهم دونالد روبين (Donald Rubin) ورودريك ليتل (Roderick Little)، معالجة البيانات الغائبة من حيز الحلول الارتجالية الساذجة إلى مصاف النظريات الصارمة القائمة على دراسة آليات الفقدان، ونمذجة التوزيعات الاحتمالية المشتركة، وتطوير خوارزميات التقدير المتعددة وفائقة التعقيد.
يهدف هذا المرجع الموسوعي الشامل إلى تقديم تفكيك نظري، وتطبيقي، ورياضي، وأخلاقي معمق لقضية تعويض القيم المفقودة. سنستعرض عبر فصوله التفصيلية الأسس المفاهيمية، والأنماط التوزيعية للفقدان، والتداعيات الرياضية المترتبة على إهمالها، فضلاً عن تقديم تقييم نقدي مقارن لكافة التقنيات الكلاسيكية، وطرق التعويض القائمة على المطابقة، والتعويض المتعدد عبر المعادلات المتسلسلة (MICE)، ونماذج التوقع الأقصى والإمكان الكامل (FIML)، وصولاً إلى خوارزميات الذكاء الاصطناعي والتعلم الآلي المتطورة، مع التركيز على خصوصية القياس السيكومتري وضوابط النشر العلمي الرصين.
- 1. مدخل مفاهيمي: ما هو تعويض القيم المفقودة في الإحصاء والبحث النفسي؟
- 2. تصنيف آليات وأنماط الفقدان الإحصائي (Missingness Mechanisms)
- 3. الآثار المنهجية والإحصائية لإهمال معالجة القيم المفقودة
- 4. المقاربات التقليدية: أساليب الحذف الإحصائي وحدودها المنهجية
- 5. طرق التعويض الأحادي البسيط (Single Imputation Techniques)
- 6. التعويض القائم على التطابق والمسافة الإحصائية (Donor-Based Imputation)
- 7. التعويض المتعدد للقيم المفقودة: المبادئ النظرية والخطوات المنهجية (Multiple Imputation)
- 8. النماذج الاحتمالية ونماذج التوقع الأقصى (Likelihood-Based Approaches)
- 9. تطبيقات تعويض القيم المفقودة في القياس النفسي والمسوح السلوكية
- 10. تقييم جودة ودقة البيانات المعوضة وتشخيص النماذج (Model Diagnostics)
- 11. المعايير الأخلاقية وضوابط التوثيق المنهجي للبيانات المعوضة
- 12. البرمجيات الإحصائية المعتمدة والاتجاهات المستقبلية في تعويض البيانات
- خاتمة
- References
1. مدخل مفاهيمي: ما هو تعويض القيم المفقودة في الإحصاء والبحث النفسي؟
1.1 تعريف تعويض القيم المفقودة وأبعاده المنهجية
يُعرَّف تعويض القيم المفقودة (Data Imputation) في أدبيات الاستدلال الإحصائي المتقدم بأنه العملية المنهجية المنضبطة رياضياً لاستبدال نقاط البيانات الغائبة أو غير المسجلة في مصفوفة الملاحظات بقيم بديلة مقدرة منطقياً، وذلك بالاعتماد على المعلومات المتوفرة في المتغيرات المرصودة لنفس الحالة أو من حالات أخرى مشابهة داخل مجتمع العينة. تتجاوز هذه العملية فكرة التخمين العشوائي؛ إذ تنطلق من افتراض مفاده أن البيانات المفقودة تترك وراءها آثاراً إحصائية في المتغيرات المقترنة بها، مما يتيح إعادة بناء التوزيع الاحتمالي الشرطي للقيم الغائبة استناداً إلى البنية الارتباطية للمصفوفة الكلية.
تتجلى الفروق الجوهرية بين التعويض الإحصائي واستراتيجيات الحذف المباشر (Deletion Methods) في كيفية التعامل مع وحدة التحليل؛ فبينما يعاقب الحذف العينة بإسقاط أفراد كاملين يمتلكون قدراً كبيراً من المعلومات الصالحة لمجرد نقص عنصر واحد، يسعى التعويض إلى تعظيم الاستفادة من كل معلومة مرصودة تم جمعها بجهد ميداني أو تجريبي. من منظور منهجي، يهدف التعويض إلى الحفاظ على الخصائص البنيوية والتوزيعية للمصفوفة، بما يشمل مقاييس النزعة المركزية، والتباينات الفردية، والتباينات المشتركة (Covariances)، دون إحداث انكماش مصطنع في التشتت الطبيعي للبيانات.
في حقل القياس النفسي والعلوم السلوكية، يلعب التعويض دوراً حاسماً في استعادة القوة الإحصائية (Statistical Power) للاختبارات الفرضية. إن فقدان جزء من العينة يقلل من حجم العينة الفعال (Effective Sample Size)، مما يرفع من احتمالية ارتكاب خطأ من النوع الثاني (Type II Error) المتمثل في الفشل في رصد تأثيرات علاجية أو فروق نفسية حقيقية موجودة بالفعل في الواقع. وبالتالي، يمثل التعويض المنهجي درعاً واقياً يضمن عدم إهدار الموارد البحثية ويصون الحساسية التحليلية للتصاميم التجريبية والارتباطية المعقدة.
1.2 حتمية وجود البيانات المفقودة في العلوم السلوكية والنفسية
تنفرد العلوم السلوكية والنفسية بطبيعة إبستمولوجية وميدانية تجعل من ظاهرة البيانات المفقودة قدراً لا مفر منه في معظم الأبحاث الامبيريقية. تنبع هذه الحتمية في المقام الأول من طبيعة أدوات القياس السيكومتري؛ فالمسوح الميدانية الشاملة والبطاريات التشخيصية الطويلة غالباً ما تضع المفحوصين تحت وطأة الإرهاق المعرفي (Cognitive Fatigue) وفقدان التركيز، مما يدفع العديد من المشاركين إلى تجاوز بعض الفقرات عمداً أو سهواً، خاصة عندما تقترب الاستبانة من نهايتها وتتطلب جهداً ذهنياً مستمراً للإجابة عن مقاييس الشخصية أو القدرات المعرفية المتعددة.
علاوة على ذلك، تلعب الحساسية النفسية والاجتماعية لبعض الأسئلة دوراً محورياً في امتناع المفحوصين عن تقديم إجابات صريحة؛ حيث تثير الاستفسارات المتعلقة بالصدمات النفسية المبكرة، أو التوجهات والممارسات الجنسية، أو محاولات الانتحار وإيذاء النفس، أو تعاطي المواد المخدرة، مشاعر الخجل والخوف من التقييم الاجتماعي السلبي أو الملاحقة، مما يؤدي إلى ظهور نمط من الفقدان الانتقائي المنهجي (Item Nonresponse) الذي يستهدف أسئلة محددة بعينها ترتبط بطبيعة الظاهرة المدروسة ارتباطاً وثيقاً.
تتفاقم المشكلة أيضاً في بيئات المختبرات النفسية والفسيولوجية العصبية؛ حيث تتعرض أجهزة القياس المعقدة مثل التخطيط الدماغي (EEG)، والرنين المغناطيسي الوظيفي (fMRI)، وأدوات تتبع حركة العين وموصلية الجلد لأعطال فنية مفاجئة أو تشويشات ناتجة عن حركة المفحوص اللاإرادية، مما يقود إلى فقدان مقاطع كاملة من السلاسل الزمنية الحيوية. يضاف إلى ذلك معضلة التسرب التدريجي للمشاركين (Participant Attrition) في الدراسات التتبعية الطولية والتجارب السريرية للتدخلات النفسية، حيث يؤدي انتقال الأفراد، أو انتكاس حالاتهم السريرية، أو فقدان الدافعية للمتابعة عبر الأشهر والسنوات، إلى تآكل متزايد في مصفوفة الملاحظات عبر نقاط القياس المتكررة.
1.3 الأهداف الأساسية لتطبيق تقنيات التعويض
تنطلق عملية تطبيق أساليب التعويض الإحصائي من حزمة من الأهداف المنهجية الراسخة التي تسعى إلى حماية البناء الاستدلالي للبحث العلمي. الهدف الأسمى يكمن في تقليل التحيز المنهجي (Systematic Bias) إلى أدنى حد ممكن؛ فعندما ترتبط احتمالية فقدان البيانات بخصائص معينة لدى المشاركين، فإن استبعاد هؤلاء الأفراد يحول العينة إلى فئة غير ممثلة لمجتمع الأصل، وهو ما يتكفل التعويض بمعالجته عبر إعادة موازنة تمثيل مختلف الشرائح استناداً إلى النمذجة التوزيعية للمتغيرات المتاحة.
الهدف الثاني يرتبط بالاحتفاظ بالحجم الكلي للعينة الفعالة، وهو ما يترتب عليه حماية الاستثمارات المالية، والزمنية، والأخلاقية المبذولة في تجنيد المشاركين وإخضاعهم للقياس. إن كل مشارك يمثل قيمة معلوماتية فريدة، ويساهم التعويض في استخلاص أقصى فائدة ممكنة من البيانات الجزئية التي قدمها، دون الاضطرار للتضحية بكامل مساهمته بسبب وجود خلايا فارغة في سجله الرقمي.
علاوة على ذلك، يبرز هدف تقني يتمثل في تمكين الباحثين من تشغيل النماذج الإحصائية متعددة المتغيرات (Multivariate Models) المتقدمة، مثل نمذجة المعادلات البنائية (Structural Equation Modeling)، والانحدار اللوجستي المتعدد، والتحليل العاملي التوكيدي، ونماذج المسار؛ إذ إن هذه التقنيات الرياضية تشترط غالباً وجود مصفوفات بيانات مستطيلة مكتملة الحساب لحساب مصفوفة التباين والتغاير. وأخيراً، يؤدي التعويض المنهجي القويم إلى تحسين دقة تقدير المعالم المجتمعية وتضييق فترات الثقة المعيارية (Confidence Intervals)، مما يعزز الصدق الإحصائي والقدرة على اتخاذ قرارات دقيقة مبنية على البراهين.
2. تصنيف آليات وأنماط الفقدان الإحصائي (Missingness Mechanisms)
2.1 الفقدان التام العشوائي (MCAR – Missing Completely at Random)
يُمثل الفقدان التام العشوائي (MCAR) الحالة المثالية والأنقى من المنظور الإحصائي الرياضي؛ حيث ينص هذا الافتراض على أن احتمالية فقدان نقطة بيانية في المتغير المستهدف $Y$ لا تعتمد مطلقاً على القيمة الحقيقية المفترضة لـ $Y$ ذاتها (سواء كانت مرصودة أو غير مرصودة)، كما أنها لا تعتمد على أي متغير آخر مرصود $X$ داخل مصفوفة البيانات الكلية. رياضياً، يُعبر عن ذلك بأن دالة توزيع مؤشر الفقدان $R$ مستقلة تماماً عن كافة عناصر مصفوفة البيانات $Y = (Y_{obs}, Y_{mis})$، بحيث يتحقق الشرط:
$$P(R mid Y_{obs}, Y_{mis}, \phi) = P(R mid \phi)$$
حيث تمثل $phi$ معالم نموذج الفقدان. يتجلى هذا النمط في الواقع الميداني في حوادث عشوائية بحتة لا صلة لها بسلوك المفحوص أو سماته؛ مثل تمزق صفحة من استبانة ورقية نتيجة خطأ مطبعي عشوائي، أو فقدان استبيان بالبريد بسبب ظرف طارئ، أو حدوث انقطاع مفاجئ في التيار الكهربائي بالمختبر في لحظة عشوائية لا ترتبط بنوعية المهمة السلوكية المنفذة.
للكشف الإحصائي عن مدى انطباق هذا الشرط، طور الإحصائي رودريك ليتل اختباره الشهير المعروف باسم اختبار ليتل للـ MCAR (Little’s MCAR Test)، والذي يختبر الفرضية الصفرية القائلة بأن أنماط الفقدان المختلفة عبر مجموعات فرعية من العينة تشترك في نفس متوسطات المتغيرات المرصودة؛ حيث يشير الحصول على قيمة دلالة إحصائية غير دالة ($p > 0.05$) إلى عدم وجود دليل كافٍ لرفض فرضية الفقدان التام العشوائي. ورغم أن تحقق شرط MCAR يضمن أن الاقتصار على الحالات المكتملة لن يؤدي إلى إدخال تحيز منهجي في تقدير المتوسطات، إلا أنه يظل سبباً مباشراً في فقدان القوة الإحصائية للاختبارات.
2.2 الفقدان العشوائي المشروط (MAR – Missing at Random)
يُعد الفقدان العشوائي المشروط (MAR) الافتراض المنهجي الأكثر واقعية وشيوعاً، والذي بُنيت عليه الغالبية الساحقة من خوارزميات ونظريات التعويض الإحصائي الحديثة. يقر هذا الافتراض بأن احتمالية فقدان البيانات في المتغير $Y$ لا ترتبط بالقيمة الحقيقية المجهولة لـ $Y$ ذاتها بعد ضبط والتحكم في المتغيرات الأخرى المرصودة في النموذج $X$. رياضياً، تُصاغ هذه العلاقة الاحتمالية بالمعادلة التالية:
$$P(R mid Y_{obs}, Y_{mis}, \phi) = P(R mid Y_{obs}, \phi)$$
بمعنى أن حالة الفقدان تصبح عشوائية تماماً بمجرد أن نأخذ في الحسبان المعلومات المتوفرة في المتغيرات المرصودة $Y_{obs}$.
لتوضيح ذلك في سياق نفسي، لنتأمل دراسة تبحث في مستوى القلق النفسي لدى عينة من البالغين؛ إذا وُجد أن الذكور يمتنعون عن الإجابة على بنود مقياس القلق بمعدل أعلى بكثير من الإناث، ولكن داخل فئة الذكور أنفسهم لا توجد علاقة بين مستوى القلق الحقيقي للرجل واحتمالية تركه للسؤال فارغاً، فإن آلية الفقدان هنا تصنف كـ MAR. في هذه الحالة، يفسر متغير “النوع الاجتماعي” (المرصود بالكامل) نمط الفقدان في مقياس القلق.
تبرز هنا الأهمية القصوى لتوظيف ما يُعرف بـ المتغيرات المساعدة (Auxiliary Variables)؛ وهي متغيرات تُجمع أثناء الدراسة وتكون مرتبطة بقوة بكل من المتغيرات ذات القيم المفقودة ونمط الفقدان نفسه، مما يمكن خوارزميات التعويض من استخدامها كجسور إحصائية لتوليد قيم معوضة دقيقة وغير متحيزة، وهو ما يجعل افتراض MAR الأساس الذي تستند إليه نماذج التعويض المتعدد ومعادلات السلسلة المترابطة.
2.3 الفقدان غير العشوائي (MNAR – Missing Not at Random)
يُمثل الفقدان غير العشوائي (MNAR)، ويُطلق عليه أحياناً الفقدان غير القابل للتجاهل (Non-Ignorable Missingness)، التحدي الأكثر تعقيداً وخطورة في التحليل الإحصائي للبيانات السلوكية والطبية. يتحقق هذا النمط عندما تعتمد احتمالية فقدان القيمة في المتغير $Y$ اعتماداً مباشراً على القيمة غير المرصودة نفسها لـ $Y$، حتى بعد إدخال وضبط جميع المتغيرات الأخرى المتاحة في قاعدة البيانات. وتأخذ الصيغة الرياضية هنا شكلاً تتوقف فيه الاحتمالية على مصفوفة القيم المفقودة:
$$P(R mid Y_{obs}, Y_{mis}, \phi) \neq P(R mid Y_{obs}, \phi)$$
تتعدد الأمثلة النفسية الصارخة على هذا النمط؛ ففي الدراسات السريرية لمرضى الاكتئاب الجسيم، يميل المرضى الذين يعانون من أعلى درجات تثبيط النشاط واليأس (وهي القيمة المرتفعة المراد قياسها على مقياس الاكتئاب) إلى التخلف التام عن حضور جلسة التقييم لعدم قدرتهم الجسدية والنفسية على مغادرة الفراش، مما يؤدي إلى غياب درجات الاكتئاب الحادة تحديداً من البيانات. وبالمثل، في مسوح الدخل المالي، يمتنع الأفراد ذوو الثروات الطائلة جداً أو الأفراد ذوو الدخل المتدني جداً عن الإفصاح عن مداخيلهم لأسباب تتعلق بالسرية أو الحرج الاجتماعي.
إن تجاهل آلية MNAR والتعامل مع البيانات كأنها MAR يولد تحيزات هيكلية فادحة في المعالم الإحصائية؛ إذ ستبدو العينة دائماً أكثر صحة نفسية أو أكثر تجانساً مما هي عليه في الواقع. تتطلب معالجة MNAR استراتيجيات نمذجة بالغة التعقيد، مثل نماذج خليط الأنماط (Pattern-Mixture Models)، ونماذج الاختيار (Selection Models)، ونماذج المعالم المشتركة (Shared-Parameter Models)، والتي تحاول صياغة معادلات رياضية متزامنة لنمذجة الظاهرة وآلية فقدانها في آن واحد.
3. الآثار المنهجية والإحصائية لإهمال معالجة القيم المفقودة
3.1 تآكل القوة الإحصائية وتضخم خطأ النوع الثاني
يؤدي الإهمال المنهجي للبيانات الغائبة واللجوء غير المدروس إلى استبعاد الحالات الناقصة إلى انخفاض حاد في حجم العينة الفعال ($N$). تستند القوة الإحصائية لاختبار الفرضيات—وهي احتمالية رفض الفرضية الصفرية الخاطئة بنجاح ($1 – \beta$)—بشكل جوهري إلى الجذر التربيعي لحجم العينة؛ وكلما تقلصت العينة، اتسعت الأخطاء المعيارية (Standard Errors) لتقديرات المعالم، مما يجعل اختبارات الدلالة الإحصائية، مثل اختبارات $t$، وتحليل التباين (ANOVA)، واختبارات معاملات الانحدار، عاجزة عن رصد الفروق والتأثيرات التي يمتلكها المتغير المستقل فعلياً في المجتمع.
تتجلى العلاقة الرياضية بين نسبة الفقدان والتراجع في القوة الإحصائية بشكل أسوأ في التصاميم التجريبية متعددة العوامل؛ حيث تتطلب دراسة التفاعلات المعقدة (Interaction Effects) بين المتغيرات النفسية أحجام عينات ضخمة لضمان كفاية الخلايا المتقاطعة. وعند حدوث تسرب أو فقدان متناثر في عدة متغيرات، تتناقص الحالات التي تمتلك بيانات مكتملة في كافة المتغيرات مجتمعة بشكل أسي، مما يؤدي إلى تضخم هائل في خطأ النوع الثاني، ويقود الباحث إلى قبول استنتاجات خاطئة تنفي وجود علاقات تفاعلية ذات أهمية نظرية بالغة.
علاوة على ذلك، يتأثر حساب حجم الأثر (Effect Size)—مثل معامل $d$ لكوهين أو $\eta^2$ الجزئي—بتشتت العينة الناتج عن التقدير غير الدقيق للتباينات الخطية؛ فعندما تتآكل العينة، تتذبذب تقديرات التباين المشترك، وتصبح فترات الثقة المحيطة بحجم الأثر شديدة الاتساع، مما يفقد الدراسات السلوكية دقتها التراكمية ويقوض إمكانية دمج نتائجها في دراسات التحليل البعدي (Meta-Analysis) الموثوقة.
3.2 تشوه الخصائص التوزيعية والانحياز المنهجي
لا تقتصر تداعيات إهمال القيم المفقودة على تقليص العينة فحسب، بل تمتد لتضرب في صميم البنية التوزيعية للمتغيرات السيكومترية. عند غياب شرط MCAR، فإن الحالات المتبقية في التحليل لا تمثل عينة عشوائية بسيطة من المجتمع الأصلي، بل تشكل عينة خاضعة لعملية ترشيح وانتقاء ذاتي غير خاضعة للضبط التجريبي، مما ينتج عنه تحريف مباشر لمقاييس النزعة المركزية؛ حيث قد ينزاح المتوسط الحسابي ($M$) أو الوسيط نحو اليمين أو اليسار بشكل زائف يعكس خصائص الفئة الأكثر ميلاً للاستجابة فقط.
يمتد هذا التشوه ليصيب تباين المتغيرات وتفرطحها (Kurtosis) والتواءها (Skewness)، مما يؤدي إلى انتهاك صارم لافتراض التوزيع الطبيعي المتعدد (Multivariate Normality) الذي ترتكز عليه معظم الاختبارات البارامترية المتقدمة. يوضح الجدول التالي المقارنة المنهجية لتأثير آليات الفقدان على الخصائص التوزيعية:
| آلية الفقدان | التأثير على المتوسطات | التأثير على مصفوفة التغاير | القوة الإحصائية |
|---|---|---|---|
| MCAR | غير متحيزة (Unbiased) | غير متحيزة، لكن الأخطاء المعيارية تتسع | تنخفض بتناسب مباشر مع نسبة الفقدان |
| MAR | متحيزة عند الحذف المباشر | تشوه معاملات الارتباط والتباينات المشتركة | تنخفض مع تشوه شديد في فترات الثقة |
| MNAR | تحيز هيكلي فادح وغير قابل للتصحيح البسيط | انهيار كامل للبنية التوزيعية الأصلية | نتائج مضللة وتضخم غير منضبط للأخطاء |
تنعكس هذه التغيرات التوزيعية سلباً على الصدق البنائي (Construct Validity) والاتساق الداخلي (Internal Consistency) للمقاييس النفسية؛ حيث يؤدي تشويه مصفوفات الارتباط بين الفقرات إلى تقديرات غير دقيقة لمعاملات الثبات مثل ألفا كرونباخ ($\alpha$) وأوميغا ماكدونالد ($\omega$)، وقد يسفر التحليل العاملي الاستكشافي عن استخراج عوامل وهمية لا تعبر عن البناء النفسي الحقيقي للمفحوصين بل تعكس تجمعات ناتجة عن أنماط الفقدان المشترك بين الفقرات.
3.3 تداعيات الانحياز على تعميم النتائج والقرارات العيادية
إن النتيجة الحتمية للتشوهات الإحصائية المذكورة هي الانهيار الدراماتيكي للصدق الخارجي (External Validity) للبحوث السلوكية؛ فالنتائج المستخلصة من عينات جرى تشذيبها بالحذف الإحصائي غير المبرر تفقد قدرتها على التعميم على المجتمع الإحصائي المستهدف. يمثل هذا التهديد خطراً مضاعفاً في الدراسات الوبائية والمسوح الوطنية للصحة النفسية، حيث يؤدي تمثيل الفئات السكانية الأكثر هشاشة بصورة ناقصة إلى رسم خرائط وبائية خاطئة لا تعكس الحجم الحقيقي للمشكلات النفسية والاجتماعية.
وعلى الصعيد التطبيقي والعيادي، تبرز مخاطر تبني تدخلات علاجية أو دوائية نفسية بناءً على تجارب سريرية مشوهة الفقدان؛ فإذا كان المرضى الأكثر تعرضاً للآثار الجانبية المزعجة أو الأقل استجابة للعلاج هم الأكثر تسرباً من التجربة، فإن التحليل القائم على الحالات المكتملة سيُظهر الدواء أو العلاج السلوكي بفعالية مفرطة وأمان غير حقيقي، مما قد يدفع اللجان الصحية والعيادات النفسية لاعتماد بروتوكولات علاجية تعرض المرضى لانتكاسات غير متوقعة وتكبد المؤسسات الصحية أعباءً مالية باهظة ناجمة عن تكرار التدخلات غير المجدية.
4. المقاربات التقليدية: أساليب الحذف الإحصائي وحدودها المنهجية
4.1 الحذف الكلي للحالات (Listwise / Complete-Case Deletion)
يُعد أسلوب الحذف الكلي للحالات (Listwise Deletion)، والذي يُعرف أيضاً بتحليل الحالات المكتملة (Complete-Case Analysis)، أقدم المقاربات الإحصائية وأكثرها بساطة وبدائية؛ حيث تقوم خوارزمية هذا الأسلوب بمسح مصفوفة البيانات سطراً بسطر، واستبعاد أي مشارك (أو سطر) يحتوي على قيمة مفقودة واحدة على الأقل في أي متغير من المتغيرات المدرجة في نموذج التحليل، بصرف النظر عما إذا كان هذا المتغير رئيسياً أو ثانوياً في الدراسة.
تقتصر مزايا الحذف الكلي على سهولة تطبيقه الحسابي المطلقة وكونه الخيار الافتراضي المتجذر في الحزم الإحصائية التقليدية (مثل الإصدارات القديمة من SPSS)، إضافة إلى أنه ينتج مصفوفة متسقة رياضياً ذات حجم عينة موحد ($N$) عبر جميع أجزاء التحليل. غير أن عيوبه تصنف اليوم بالكارثية في أدبيات القياس الحديث؛ ففي دراسة تحتوي على 50 متغيراً ومعدل فقدان ضئيل لا يتجاوز 2% في كل متغير موزعة بشكل عشوائي، قد يؤدي الحذف الكلي إلى التخلص من أكثر من 60% إلى 70% من إجمالي أفراد العينة الأصلية، مما يمثل هدراً غير مبرر للجهد البحثي.
من الناحية الرياضية الصارمة، لا يكون الحذف الكلي غير متحيز إلا إذا تحقق شرط MCAR بشكل مطلق ونادر الحدوث في الواقع؛ أما إذا كانت آلية الفقدان هي MAR أو MNAR، فإن الحذف الكلي يولد تقديرات متحيزة بنسب هائلة لمتوسطات المتغيرات ومعاملات الانحدار. ولذلك، تُجمع التوصيات الأكاديمية المعاصرة على قصر استخدام هذا الأسلوب فقط على الحالات التي تكون فيها نسبة الفقدان الكلية في كامل مصفوفة البيانات ضئيلة للغاية ولا تتجاوز 3% إلى 5% ضمن ظروف تحقق شبه تام لشرط MCAR.
4.2 الحذف الثنائي للبيانات (Pairwise Deletion / Available-Case Analysis)
طُوِّر أسلوب الحذف الثنائي (Pairwise Deletion)، المعروف أيضاً بتحليل الحالات المتاحة (Available-Case Analysis)، كمحاولة للحد من الاستنزاف الهائل لحجم العينة الذي يفرضه الحذف الكلي. تتمثل آلية عمل هذه الطريقة في الاحتفاظ بجميع الحالات التي تتوفر لديها بيانات صالحة لكل زوج محدد من المتغيرات أثناء حساب مصفوفة الارتباطات أو التباينات المشتركة؛ فإذا كان المفحوص يمتلك بيانات في المتغيرين $X$ و $Y$ ولكنه يفتقد القيمة في $Z$، فإنه يُدرج في حساب معامل الارتباط $r_{xy}$ ويُستبعد فقط عند حساب $r_{xz}$ و $r_{yz}$.
ورغم أن هذه الطريقة تنجح ظاهرياً في تعظيم استخدام البيانات المرصودة المتاحة لكل متغير على حدة، إلا أنها تخلق معضلات رياضية وإحصائية غاية في التعقيد؛ حيث يصبح لكل عنصر داخل مصفوفة الارتباط حجماً مختلفاً للعينة ($N_{ij}$)، مما يفقد مصفوفة التغاير الكلية اتساقها الرياضي ويجعلها في كثير من الأحيان مصفوفة غير موجبة التحديد (Non-Positive Definite Matrix)، وهي حالة حسابية تمنع البرمجيات من إيجاد معكوس المصفوفة (Matrix Inversion) الرياضي اللازم لتشغيل النماذج المتقدمة.
يترتب على ذلك انهيار كامل عند محاولة تطبيق تقنيات مثل التحليل العاملي الاستكشافي والتوكيدي (EFA / CFA) أو نمذجة المعادلات البنائية؛ حيث تنتج قيم شاذة لمعاملات المسار، وتباينات سالبة غير منطقية (Heywood Cases)، وتصبح اختبارات الدلالة وفترات الثقة مشوهة تماماً نظراً لعدم وجود حجم عينة محدد يمكن استخدامه لحساب درجات الحرية (Degrees of Freedom) بدقة رياضية سليمة.
4.3 إسقاط وتجاهل المتغيرات المفقودة (Variable Deletion)
تتضمن مقاربة إسقاط المتغيرات المفقودة التخلي التام عن إدراج متغير بأكمله وحذفه من مصفوفة التحليل الإحصائي، وذلك عندما يتبين للباحث أن نسبة البيانات الغائبة في هذا المتغير مرتفعة جداً وتتجاوز قدرة التقنيات التعويضية البسيطة على معالجتها بأمان. يتم اللجوء إلى هذا الخيار أحياناً كحل عملي جذري لإنقاذ بقية مصفوفة البيانات من الحذف الكلي أو لتفادي النمذجة الرياضية المعقدة.
تكمن المخاطر المنهجية الكبرى لهذا الإجراء في احتمالية استبعاد متغيرات نظرية ذات أهمية محورية في تفسير الظاهرة السلوكية المدروسة؛ فحذف متغير يمثل وسيطاً نفسياً أو متغيراً معدلاً (Moderator) رئيسياً في الفرضيات بناءً على نسبة الفقدان فقط قد يشوه النموذج المفاهيمي للدراسة برمته ويقود إلى بناء نظريات قاصرة علمياً لا تعكس تعقيد الظاهرة النفسية في الواقع.
تضع الأدبيات المنهجية المعاصرة حدوداً وضوابط مشددة لإسقاط المتغيرات؛ حيث يُنصح بعدم حذف أي متغير يمثل بعداً جوهرياً في الفرضيات البحثية إلا إذا تجاوزت نسبة الفقدان فيه 40% إلى 50% مع انعدام وجود أي متغيرات مساعدة قوية يمكن استخدامها للتنبؤ بقيمه بدقة، مع ضرورة الإفصاح الكامل في متن البحث عن أسباب الإسقاط وتأثيراته المحتملة على تفسير النتائج ونطاق تعميمها.
5. طرق التعويض الأحادي البسيط (Single Imputation Techniques)
5.1 التعويض بمقاييس النزعة المركزية (Mean/Median/Mode Imputation)
يُعد التعويض بالمتوسط الحسابي (أو الوسيط للبيانات الترتيبية، والمنوال للبيانات الاسمية) أحد أكثر الأساليب التقليدية انتشاراً وجاذبية للباحثين المبتدئين نظراً لبساطته الحسابية الفائقة؛ وتتلخص فكرته في حساب المتوسط الحسابي لجميع القيم المرصودة في المتغير المستهدف، ثم زرع هذه القيمة الثابتة نفسها في كل خلية مفقودة تنتمي إلى ذلك المتغير.
تتسبب هذه الطريقة في عيب بنيوي حرج يُعرف إحصائياً بـ التضييق الاصطناعي للتباين (Artificial Variance Underestimation)؛ فعندما نقوم بإضافة عدد كبير من القيم المتطابقة تماماً والمساوية للمتوسط، فإننا نخفض قسراً من التشتت الطبيعي للمتغير ونجعل تباينه المحسوب أقل بكثير من تباينه الحقيقي في المجتمع، كما يُعبر عن ذلك بالمعادلة الموضحة لانخفاض التباين المقدر:
$$S^2_{imputed} = \frac{n_{obs} – 1}{N – 1} S^2_{obs}$$
يؤدي هذا التشويه البنيوي إلى تضخيم زائف للدلالة الإحصائية؛ حيث تتضاءل الأخطاء المعيارية بشكل غير حقيقي وتضيق فترات الثقة، مما يقود إلى تضخم معدلات الخطأ من النوع الأول (Type I Error) ورفض فرضيات صفرية صحيحة. كما تعمل هذه الطريقة على إضعاف وتشويه معاملات الارتباط الخطي والتباينات المشتركة بين المتغير المعوض وبقية المتغيرات، نظراً لأن التعويض بالمتوسط يفترض ضمنياً عدم وجود أي علاقة ارتباطية بين القيمة المفقودة وسائر سمات الفرد؛ ولهذه الأسباب، صُنفت هذه الطريقة في النشر الأكاديمي الرصين كطريقة غير مقبولة إحصائياً وتاريخاً بالياً يجب تجنبه.
5.2 التعويض بالانحدار الأحادي (Deterministic Regression Imputation)
يمثل التعويض بالانحدار الحتمي (Deterministic Regression) خطوة متقدمة عن التعويض بالمتوسط؛ حيث يعترف هذا الأسلوب بوجود علاقات ارتباطية بين المتغير ذي القيم المفقودة والمتغيرات الأخرى المرصودة في العينة. تقوم المنهجية على بناء نموذج انحدار خطي متعدد باستخدام الحالات المكتملة، حيث يكون المتغير ذو القيم المفقودة هو المتغير التابع ($Y$) وبقية المتغيرات المرصودة هي المتغيرات المستقلة ($X_1, X_2, dots, X_p$)، ثم يتم التنبؤ بالقيم المفقودة وتوليدها بالمعادلة التالية:
$$\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1 X_{1i} + \hat{\beta}_2 X_{2i} + dots + \hat{\beta}_p X_{\pi}$$
ورغم أن هذه الطريقة تنجح في الحفاظ على متوسط المتغير وتعيد بناء جزء من العلاقات الارتباطية بين المتغيرات، إلا أنها تعاني من مشكلة منهجية خطيرة تتمثل في إسقاط كافة القيم المعوضة مباشرة على خط الانحدار الهندسي دون مراعاة لوجود أي تشتت أو خطأ عشوائي حول الخط. هذا التوليد الحتمي الخالي من التباين المتبقي (Residual Variance) يؤدي إلى تضخيم مصطنع وشديد لمعاملات الارتباط بين المتغيرات، مما يجعل العلاقات النفسية تبدو أقوى بكثير وأكثر مثالية مما هي عليه في الطبيعة البشرية، وهو ما يقود إلى تشويه خطير لنتائج التحليلات الاستدلالية اللاحقة.
5.3 التعويض بالانحدار العشوائي (Stochastic Regression Imputation)
جاء التعويض بالانحدار العشوائي (Stochastic Regression) كمعالجة مباشرة للقصور الفادح في الانحدار الحتمي؛ وتعتمد فكرته على استعادة التباين الطبيعي المفقود من خلال إضافة حد خطأ عشوائي (Random Error Term) مسحوب من توزيع طبيعي إلى القيمة المتنبأ بها من معادلة الانحدار لكل حالة مفقودة، بحيث تأخذ معادلة التعويض الصيغة:
$$Y_i^{i\mp} = \hat{Y}_i + e_i \quad \text{where} \quad e_i \sim \mathcal{N}(0, \hat{\sigma}^2_e)$$
حيث تمثل $\hat{\sigma}^2_e$ تباين البواقي المحسوب من نموذج الانحدار للأجزاء المرصودة.
تنجح هذه الإضافة في محاكاة التشتت العشوائي الطبيعي للبيانات؛ إذ تعيد للبيانات تباينها الكلي السليم ولا تؤدي إلى تضخيم مصطنع لمعاملات الارتباط كما في الطريقة الحتمية. غير أن القصور الجوهري للتعويض بالانحدار العشوائي كطريقة أحادية يكمن في عجزها عن عكس حالة عدم اليقين المرتبطة بتقدير معالم نموذج الانحدار نفسه ($\beta$ و $\sigma_e$)؛ حيث تفترض أن معالم النموذج المقدرة من العينة الحالية هي المعالم الحقيقية المطلقة للمجتمع، مما يولد أخطاء معيارية أصغر من الواقع في التحليلات الختامية.
5.4 طرق الإسناد التتبعي (LOCF & NOCB)
في الدراسات التتبعية والتجارب السريرية النفسية التي تتضمن قياسات متكررة عبر الزمن، شاع استخدام أسلوبي إسناد المشاهدات الزمنية: أسلوب نقل آخر مشاهدة للأمام (Last Observation Carried Forward – LOCF) وأسلوب نقل المشاهدة التالية للخلف (Next Observation Carried Backward – NOCB). في أسلوب LOCF، إذا تخلف المريض عن حضور جلسات التقييم اللاحقة في تجربة علاجية، يتم نسخ آخر درجة نفسية تم قياسها له قبل التسرب وتثبيتها كدرجة نهائية له في جميع نقاط المتابعة اللاحقة.
يرتكز أسلوب LOCF على افتراض غير واقعي وسيكولوجياً باطل؛ إذ يفترض ثباتاً مطلقاً وتجمداً تاماً للحالة النفسية والسريرية للمفحوص منذ لحظة انقطاعه وحتى نهاية فترة التجربة، متجاهلاً مسارات التحسن الطبيعي العفوي، أو التدهور السريري، أو تقلبات الأعراض المزمنة. وقد أثبتت الدراسات المنهجية أن LOCF يولد تحيزات خطيرة في تقدير فعالية العلاج؛ ففي حال تسرب المرضى بسبب تدهور حالاتهم، فإن تثبيت درجاتهم القديمة قبل التدهور يصور التدخل العلاجي بصورة مضللة توحي بنجاحه الزائف في استقرار الحالة.
لهذه الاعتبارات المنهجية، أصدرت الهيئات التنظيمية الكبرى، مثل إدارة الغذاء والدواء الأمريكية (FDA) ووكالة الأدوية الأوروبية (EMA)، تحذيرات وإرشادات صارمة تمنع استخدام LOCF كخيار أساسي لتحليل بيانات التجارب الإكلينيكية، داعية إلى استبداله بالنماذج الخطية المختلطة والتعويض المتعدد الأحدث والأكثر رصانة.
6. التعويض القائم على التطابق والمسافة الإحصائية (Donor-Based Imputation)
6.1 خوارزمية الجار الأقرب (K-Nearest Neighbors – KNN Imputation)
تُعد خوارزمية الجار الأقرب (KNN Imputation) من أبرز أساليب التعويض غير المعلمية (Non-Parametric) المستعارة من حقل تعلم الآلة؛ وتعتمد في جوهرها على مبدأ التطابق التوزيعي والتشابه الفردي. تقوم الخوارزمية بحساب المسافة الرياضية—باستخدام مقياس المسافة الإقليدية (Euclidean Distance) للمتغيرات المتصلة، أو مسافة مانهاتن (Manhattan)، أو مقياس غاور (Gower Distance) للمصفوفات المختلطة—بين الحالة التي تحتوي على قيمة مفقودة وسائر الحالات المكتملة بناءً على المتغيرات المشتركة المرصودة بينهما، كما توضح صيغة المسافة الإقليدية القياسية:
$$d(i, j) = \sqrt{\sum_{k=1}^p (X_{ik} – X_{jk})^2}$$
بمجرد تحديد أقرب $k$ من الحالات المتطابقة (المتبرعين الأكثر شبهاً بالحالة المفقودة)، يتم تعويض القيمة المفقودة بحساب المتوسط الحسابي المرجح (أو الوسيط) لقيم هؤلاء الجيران إذا كان المتغير متصلاً، أو أخذ المنوال (الفئة الأكثر تكراراً) إذا كان المتغير فئويّاً. تكمن القوة المنهجية لـ KNN في قدرتها الفائقة على التقاط العلاقات غير الخطية والتفاعلات المعقدة بين المتغيرات دون الحاجة لافتراض توزيع طبيعي مسبق للبيانات.
مع ذلك، تواجه الخوارزمية تحديات تقنية تتمثل في صعوبة تحديد القيمة المثلى لـ $k$؛ إذ إن اختيار قيمة صغيرة جداً قد يدخل ضجيجاً عشوائياً، في حين يؤدي اختيار قيمة كبيرة جداً إلى تمييع الفروق الفردية وإعادة إنتاج عيوب التعويض بالمتوسط الكلي. كما تتطلب الخوارزمية قدرات حاسوبية مكثفة عند تطبيقها على مجموعات البيانات الضخمة، وتتأثر كفاءتها سلباً بما يُعرف بـ “لعنة الأبعاد” (Curse of Dimensionality) عند تزايد عدد المتغيرات المرصودة.
6.2 التعويض بالسطح الساخن والسطح البارد (Hot-Deck and Cold-Deck)
ينتمي أسلوب التعويض بالسطح الساخن (Hot-Deck Imputation) إلى التقاليد العريقة في معالجة مسوح التعداد السكاني والمسوح الاجتماعية الكبرى. تعتمد هذه الطريقة على البحث داخل نفس قاعدة البيانات الميدانية الحالية عن مشارك “متبرع” (Donor) يشترك مع المفحوص صاحب القيمة المفقودة في حزمة من المتغيرات الديموغرافية والتشخيصية الأساسية (مثل: نفس الفئة العمرية، والجنس، والمستوى التعليمي، والمنطقة الجغرافية)، ثم نسخ قيمة المتغير المستهدف من هذا المتبرع وإسنادها للمفحوص الناقص.
أما أسلوب السطح البارد (Cold-Deck Imputation)، فيتبع نفس المنطق المنهجي للتطابق، ولكنه يستعير القيم البديلة من مصادر بيانات خارجية منفصلة ومسبقة؛ مثل مسوح وطنية تاريخية سابقة، أو دراسات استطلاعية مرجعية مماثلة. تتميز طرائق السطح الساخن والبارد بميزة سيكومترية جوهرية؛ وهي أنها لا تولد أبداً قيماً مصطنعة أو غير واقعية، بل تضمن بقاء القيم المعوضة متطابقة تماماً مع بنية الاستجابات الحقيقية الممكنة على مقاييس ليكرت أو المتغيرات الاسمية الصريحة.
تكمن محدودية التعويض بالسطح الساخن في عجزه النسبي عن التعامل بكفاءة مع التوليفات المعقدة للمتغيرات متعددة الأبعاد؛ حيث قد يتعذر أحياناً العثور على متبرع مطابق في نفس قاعدة البيانات إذا كانت شروط التطابق صارمة أو كانت المتغيرات المساعدة كثيرة، مما يضطر الباحث إلى تخفيف قيود المطابقة وبالتالي إدخال قدر من التحيز الإحصائي في مصفوفة النتائج.
6.3 المطابقة التنبؤية بالمتوسط (Predictive Mean Matching – PMM)
تُعد المطابقة التنبؤية بالمتوسط (Predictive Mean Matching – PMM) واحدة من أذكى وأقوى تقنيات التعويض الإحصائي شبه المعلمية؛ حيث تجمع ببراعة فائقة بين القوة التنبؤية لنماذج الانحدار الخطي وميزة الواقعية التي توفرها أساليب المتبرع الأقرب في خوارزميات السطح الساخن. تبدأ العملية ببناء نموذج انحدار للتنبؤ بالقيم المفقودة، ولكن بدلاً من زرع القيمة المحسوبة رياضياً مباشرة في الخلية الفارغة، يُستخدم هذا التنبؤ فقط لتحديد موقع الحالة في فضاء المتغير التابع، ثم البحث عن أقرب الحالات المرصودة التي تمتلك قيمة تنبؤية مقاربة جداً لتكون هي المتبرع الفعلي بقيمتها الحقيقية المرصودة.
تتجلى العبقرية المنهجية لـ PMM في تطبيقات العلوم النفسية والسلوكية؛ فهي تضمن بشكل قاطع عدم توليد أي قيم تقع خارج النطاق المنطقي المسموح به للمقاييس السيكومترية (مثل توليد قيمة 5.7 على مقياس استجابة من 1 إلى 5)، كما تحافظ بشكل مذهل على التوزيعات المنحرفة بشدة، والمنفصلة، وتلك التي تشتمل على كتل تكرارية عند الحدود الصفرية أو القصوى (Boundary Constraints).
علاوة على ذلك، تتميز PMM بحصانة استثنائية ضد انتهاك افتراضات خطية النماذج وتماثل التباين؛ إذ تظل تقديراتها متينة ودقيقة حتى لو كان نموذج الانحدار التنبئي الأولي يعاني من سوء تحديد طفيف (Slight Misspecification)، مما جعلها الخيار الافتراضي والذهبي المفضل في معظم حزم التعويض المتعدد الحديثة للبيانات المستمرة وشبه الترتيبية.
7. التعويض المتعدد للقيم المفقودة: المبادئ النظرية والخطوات المنهجية (Multiple Imputation)
7.1 الفلسفة الرياضية لنظرية روبين (Rubin’s Framework)
أحدث عالم الإحصاء في جامعة هارفارد، دونالد روبين، ثورة مفاهيمية كبرى عام 1987 عندما صاغ الإطار النظري لـ التعويض المتعدد (Multiple Imputation – MI)؛ إذ انطلقت فلسفته من نقد راديكالي لكل أشكال التعويض الأحادي التي تدعي القدرة على معرفة القيمة المفقودة برقم واحد جازم. أكد روبين أن القيمة المفقودة هي بالضرورة كمية مجهولة تحيط بها حالة حتمية من عدم اليقين (Imputation Uncertainty)، ولا يمكن تمثيلها علمياً إلا من خلال توليد توزيع احتمالي كامل للقيم الممكنة.
يقوم الإطار الرياضي للتعويض المتعدد على محاكاة هذا التوزيع عبر سحب عشوائي متكرر يولد بدلاً من مصفوفة واحدة مكتملة، عدداً ($m$) من مصفوفات البيانات المكتملة والمستقلة، بحيث تعكس الفروق الطفيفة بين هذه المصفوفات حجم عدم اليقين الإحصائي الناجم عن غياب البيانات الأصلية. يتيح هذا النهج استرجاعاً غير منقوص لتباين المعالم وفترات الثقة، مما يعيد ضبط الأخطاء المعيارية للاختبارات ويزيل التحيز التوزيعي بصورة جذرية.
يميز إطار روبين بدقة بين نمطين من التباين في التحليل النهائي: التباين داخل مجموعات البيانات المعوضة (Within-Imputation Variance)، والذي يمثل الخطأ المعياري المعتاد لتقدير العينة، والتباين بين مجموعات البيانات المعوضة المختلفة (Between-Imputation Variance)، والذي يمثل مقدار الشك الإحصائي المرتبط بعملية التعويض نفسها. إن دمج هذين التباينين معاً هو ما يمنح التعويض المتعدد تفوقه الرياضي الحاسم على كافة المقاربات التقليدية السابقة.
7.2 المراحل الثلاث الأساسية للتعويض المتعدد
تنتظم عملية التعويض المتعدد وفق تسلسل إبستمولوجي وإجرائي صارم يتألف من ثلاث مراحل متتابعة ومستقلة، تضمن الانتقال السلس من مصفوفة البيانات الناقصة إلى التقرير الإحصائي النهائي المكتمل:
- مرحلة التعويض (Imputation Phase): يتم فيها استخدام خوارزمية احتمالية معتمدة لنمذجة البيانات وتوليد عدد $m$ من مجموعات البيانات الكاملة (عادة ما تتراوح بين 5 إلى 50 نسخة)، حيث تكون الأجزاء المرصودة متطابقة تماماً في جميع النسخ بينما تتغير وتتذبذب القيم المعوضة في الخلايا المفقودة عبر النسخ لتعكس التوزيع الاحتمالي الشرطي للقيم الغائبة.
- مرحلة التحليل (Analysis Phase): يقوم الباحث بتطبيق النموذج الإحصائي المستهدف والمحدد في خطته البحثية (مثل تحليل الانحدار المتعدد، أو النماذج البنائية، أو تحليل التباين) على كل مجموعة من المجموعات الـ $m$ المعوضة بشكل منفصل ومستقل تماماً، لينتج عن ذلك $m$ من التقديرات المستقلة لكل معلمة إحصائية ($\hat{Q}_ell$) مصحوبة بتباينها المعياري الخاص ($U_ell$).
- مرحلة التجميع (Pooling Phase): يتم في هذه المرحلة الأخيرة دمج ومكاملة التقديرات الـ $m$ المستخرجة من النماذج في تقدير مركب نهائي واحد وفق معادلات رياضية قياسية دقيقة وضعها دونالد روبين تُعرف بـ قواعد روبين (Rubin’s Rules).
تُحسب المعلمة المجمعة النهائية ($\bar{Q}$) ببساطة عبر أخذ المتوسط الحسابي لتقديرات النماذج المنفصلة عبر المعادلة التالية:
$$\bar{Q} = \frac{1}{m} \sum_{ell=1}^m \hat{Q}_ell$$
بينما يُحسب التباين الكلي المجمع ($T$) عبر الجمع التركيبي للتباين المتوسط داخل المجموعات ($\bar{U}$) والتباين التشتتي بين المجموعات ($B$) مع إدخال معامل تصحيح لحجم التكرار ($1 + 1/m$) كما توضح الصيغة الرياضية الشاملة:
$$\bar{U} = \frac{1}{m} \sum_{ell=1}^m U_ell, \quad B = \frac{1}{m-1} \sum_{ell=1}^m (\hat{Q}_ell – \bar{Q})^2$$
$$T = \bar{U} + \left(1 + \frac{1}{m}\right) B$$
تُستخدم قيمة التباين الكلي ($T$) المستخرجة لحساب الخطأ المعياري النهائي وفترات الثقة المعيارية وتحديد درجات الحرية المعدلة بدقة فائقة تعكس الواقع التجريبي الأصلي دون تزييف أو تضخيم.
7.3 معادلات السلسلة المترابطة (MICE / FCS)
تُمثل طريقة التعويض المتعدد عبر المعادلات المتسلسلة (Multiple Imputation by Chained Equations – MICE)، والمعروفة أيضاً في الأدبيات الإحصائية باسم المواصفات الشرطية الكاملة (Fully Conditional Specification – FCS)، الخوارزمية الأكثر مرونة وعملية في التطبيقات الحديثة. لا تفترض MICE وجود توزيع طبيعي مشترك متعدد الأبعاد لمصفوفة البيانات بأكملها، بل تعمل على تفكيك المشكلة متعددة المتغيرات إلى سلسلة من نماذج الانحدار الأحادية المستقلة المشروطة بجميع المتغيرات الأخرى.
تتحرك الخوارزمية عبر دورات تكرارية (Iterations) منظمة؛ حيث تبدأ بملء أولي بسيط للفراغات، ثم تبدأ الدورة بالمتغير الأول $Y_1$ لتعويضه عبر نموذج انحدار يتنبأ بقيمه بالاعتماد على $Y_2, Y_3, dots, Y_p$. وبمجرد تحديث قيمه، تنتقل الخوارزمية مباشرة للمتغير $Y_2$ لتعويضه بالاعتماد على القيم المحدثة لـ $Y_1$ وبقية المتغيرات، وتستمر هذه السلسلة في الدوران عبر جميع المتغيرات دورة تلو الأخرى حتى تصل سلاسل مونتي كارلو لماركوف (MCMC) إلى حالة الاستقرار والتقارب الإحصائي (Convergence).
تتجلى القوة الاستثنائية لـ MICE في قدرتها على تخصيص نموذج الانحدار الملائم لطبيعة كل متغير على حدة داخل نفس المصفوفة؛ فيمكن استخدام الانحدار الخطي للمتغيرات المتصلة، والانحدار اللوجستي الثنائي (Binary Logistic) للمتغيرات ثنائية الاستجابة، والانحدار اللوجستي الترتيبي (Ordinal Logistic) لمقاييس ليكرت، ونماذج بواسون للبيانات التكرارية. كما تتيح MICE للممارس دمج حدود التفاعلات المعقدة والتحويلات غير الخطية للمتغيرات السلوكية عبر إجراءات التعويض السلبي (Passive Imputation)، مما يجعلها الأداة القياسية المهيمنة في أبحاث العلوم النفسية والاجتماعية المعاصرة.
7.4 تحديد العدد الأمثل لمجموعات البيانات المعوضة (m)
شهدت التوصيات المنهجية المتعلقة بالعدد الكافي لمجموعات البيانات المعوضة ($m$) تحولاً جذرياً على مدار العقود الثلاثة الماضية. في المؤلفات الكلاسيكية المبكرة لروبين (1987)، ساد الاعتقاد بأن توليد ما بين $m = 3$ إلى $m = 5$ مجموعات بيانات يعد كافياً تماماً لتحقيق كفاءة إحصائية مقبولة، استناداً إلى معادلة الكفاءة النسبية (Relative Efficiency – RE) التي تحسب مكاسب الدقة بدلالة نسبة الفقدان ($\gamma$) كما يلي:
$$\text{RE} = \left(1 + \frac{\gamma}{m}\right)^{-1/2}$$
إلا أن الدراسات المحاكاتية الحديثة، ولا سيما أعمال غراهام وستيفانوفتش (Graham et al., 2007)، برهنت على أن التوصيات القديمة كانت تركز حصرياً على كفاءة تقدير النقطة للمعالم (Point Estimates)، وتتجاهل استقرار وقوة اختبارات الفرضيات، وتذبذب الأخطاء المعيارية وفترات الثقة، خاصة عندما تكون نسبة الفقدان في العينة مرتفعة نسبياً أو عند استخدام نماذج نمذجة المعادلات البنائية المعقدة.
تنص التوصيات الإحصائية الصارمة المعاصرة على تطبيق قاعدة عملية تقضي بأن يكون عدد مجموعات البيانات المعوضة مساوياً على الأقل للنسبة المئوية للفقدان الإجمالي في مصفوفة البيانات؛ فإذا كانت نسبة الفقدان في متغيرات الدراسة تصل إلى 30%، فيجب توليد ما لا يقل عن $m = 30$ إلى $m = 50$ مجموعة بيانات معوضة لضمان استقرار فترات الثقة وعدم تذبذب قيم الدلالة الإحصائية ($p$-values) عند إعادة تشغيل التحليلات، مع مراعاة التوازن بين الدقة المنشودة والتكلفة الزمنية والحاسوبية في مجموعات البيانات الكبيرة جداً.
8. النماذج الاحتمالية ونماذج التوقع الأقصى (Likelihood-Based Approaches)
8.1 خوارزمية تعظيم التوقع (Expectation-Maximization – EM)
تُعد خوارزمية تعظيم التوقع (Expectation-Maximization Algorithm – EM) التي صاغها ديمبستر وليرد وروبين عام 1977، إحدى الركائز الرياضية الكبرى في حقل التقدير الاحتمالي للبيانات غير المكتملة. لا تهدف هذه الخوارزمية إلى تعويض قيم مفردة داخل خلايا مصفوفة البيانات الفردية، بل تركز حصرياً على التقدير المباشر للمعالم الإحصائية الكلية للمجتمع (مثل متجه المتوسطات $boldsymbol{\mu}$ ومصفوفة التباين والتغاير المشترك $boldsymbol{\Sigma}$) في ظل وجود الفراغات.
تتحرك الخوارزمية عبر حلقة ثنائية تكرارية متصلة حتى الوصول إلى الاستقرار:
- خطوة التوقع (E-step): يتم فيها حساب القيمة المتوقعة لدالة الإمكان اللوغاريتمية الكاملة للبيانات (Expected Log-Likelihood Function) مشروطة بالبيانات المرصودة المتاحة والتقديرات الحالية للمعالم الإحصائية المستخرجة من التكرار السابق.
- خطوة التعظيم (M-step): يتم فيها تعظيم دالة الإمكان المحسوبة في خطوة التوقع لإيجاد تقديرات جديدة ومحدثة للمعالم الإحصائية ($boldsymbol{\mu}^{(t+1)}, boldsymbol{\Sigma}^{(t+1)}$) التي تجعل احتمالية ظهور هذه البيانات في أعلى مستوياتها الممكنة.
تتكرر هاتان الخطوتان بالتناوب حتى يصبح الفرق في تقديرات المعالم بين دورتين متتاليتين متناهي الصغر دون حد محدد سلفاً. تُنتج خوارزمية EM مصفوفة تباين وتغاير متسقة وموجبة التحديد تماماً وخالية من التحيز تحت افتراض MAR. غير أن محدوديتها الجوهرية تكمن في عجزها عن تزويد الباحث بالأخطاء المعيارية المباشرة لتقديرات المعالم الفرعية، مما يتطلب تقنيات إضافية مثل التمهيد الذاتي (Bootstrapping) لحساب اختبارات الدلالة وفترات الثقة.
8.2 تقدير الإمكان الأقصى للمعلومات الكاملة (FIML – Full Information Maximum Likelihood)
يُمثل أسلوب تقدير الإمكان الأقصى للمعلومات الكاملة (Full Information Maximum Likelihood – FIML)، والمعروف في بعض الأدبيات بالنمذجة المباشرة للإمكان الأقصى (Direct ML)، قمة التطور المنهجي في معالجة البيانات المفقودة ضمن النماذج الإحصائية المعلمية المتقدمة. تنطلق فلسفة FIML من مبدأ هندسي مباشر: عدم اللجوء مطلقاً لإنشاء بيانات معوضة أو تقسيم التحليل لمراحل منفصلة، بل احتساب دالة الإمكان اللوغاريتمية للنموذج الهيكلي مباشرة من البيانات المتاحة على مستوى كل فرد في العينة.
في هذا النهج، يُحسب الإمكان الفردي لكل مشارك ($i$) بناءً على المتغيرات التي استجاب لها فعلياً فقط، مع استبعاد المتغيرات المفقودة الخاصة به من دالة الإمكان الخاصة به دون استبعاده هو نفسه من التحليل العام، كما توضح معادلة دالة الإمكان اللوغاريتمية الكلية للعينة المجمعة:
$$\ln L(boldsymbol{\theta}) = \sum_{i=1}^N \left( -\frac{p_i}{2} \ln(2\pi) – \frac{1}{2} ln|boldsymbol{\Sigma}_i(boldsymbol{\theta})| – \frac{1}{2} (\mathbf{y}_i – boldsymbol{\mu}_i(boldsymbol{\theta}))^T boldsymbol{\Sigma}_i(boldsymbol{\theta})^{-1} (\mathbf{y}_i – boldsymbol{\mu}_i(boldsymbol{\theta})) \right)$$
حيث تمثل $p_i$ عدد المتغيرات المرصودة للمشارك $i$، بينما تمثل $boldsymbol{\mu}_i(boldsymbol{\theta})$ و $boldsymbol{\Sigma}_i(boldsymbol{\theta})$ متجهات المتوسطات ومصفوفات التغاير الفرعية الخاصة بالمتغيرات المرصودة لذلك المشارك والمشتقة من النموذج الهيكلي الكلي ذي المعالم $boldsymbol{\theta}$.
تتكامل تقنية FIML بصورة نموذجية واستثنائية مع نماذج نمذجة المعادلات البنائية (SEM)، والتحليل العاملي التوكيدي، ونماذج المسار، وتحليل منحنيات النمو الكامنة، حيث توفر تقديرات غير متحيزة للمعالم وأخطاء معيارية متسقة واختبارات جودة مطابقة دقيقة في خطوة تحليلية موحدة. ورغم تقارب FIML والتعويض المتعدد (MI) في الكفاءة الإحصائية تحت افتراض MAR، فإن FIML تتميز بالاتساق الرياضي وتفادي العشوائية الناتجة عن محاكاة التعويض، إلا أنها تتطلب افتراض التوزيع الطبيعي المتعدد للمتغيرات، وهو ما تم تداركه حديثاً عبر المقدرات المتينة مثل MLR (Robust Maximum Likelihood).
9. تطبيقات تعويض القيم المفقودة في القياس النفسي والمسوح السلوكية
9.1 التعويض على مستوى الفقرة مقابل مستوى الدرجة الكلية (Item vs. Scale Level)
تواجه الباحثين في القياس النفسي معضلة منهجية شائعة عند تطبيق المقاييس متعددة الفقرات التي تهدف إلى قياس سمة كامنة معينة (مثل مقياس بيك للاكتئاب أو مقاييس الذكاء العاطفي): هل يجب تطبيق خوارزميات التعويض على مستوى الفقرات الفردية المنفصلة (Item-Level Imputation)، أم الانتظار وحساب الدرجة الكلية للمقياس أولاً ثم تعويض الحالات المفقودة على مستوى الدرجة المركبة الكلية (Scale-Level Imputation)؟
تحذر الأدبيات السيكومترية الحديثة بشدة من اللجوء إلى التعويض البسيط للدرجة الكلية عبر حساب متوسط الفقرات المتاحة للمفحوص داخل المقياس (Mean Scale Imputation) عندما تكون بعض الفقرات غائبة؛ فهذا الإجراء يفترض توازي وتساوي جميع الفقرات في وزنها التمييزي وثباتها وصعوبتها، وهو افتراض ينتهك أسس نظرية الاستجابة للمفردة (Item Response Theory – IRT) والتحليل العاملي. كما أن التعويض على مستوى الدرجة الكلية يؤدي إلى فقدان التباين الخاص بالفقرات الفردية ويشوه مصفوفة التغاير بين الأبعاد الفرعية للمقياس.
تؤكد التوصيات المنهجية الرصينة أن التعويض على مستوى الفقرة الفردية—باستخدام تقنيات متطورة مثل المطابقة التنبؤية بالمتوسط (PMM) أو النماذج اللوجستية الترتيبية المتعددة—هو الخيار الأمثل والأنسب إحصائياً؛ فهو يحافظ بدقة على العلاقات الارتباطية الدقيقة وغير الخطية بين فقرات المقياس، ويضمن تقديراً نزيهاً وسليماً لمعاملات ثبات الاتساق الداخلي (ألفا كرونباخ وأوميغا ماكدونالد)، فضلاً عن إتاحة الفرصة لإجراء تحليلات القياس المتقدمة مثل فحص الثبات البنائي واختبار الثبات عبر المجموعات (Measurement Invariance).
9.2 معالجة فقدان البيانات في المقاييس الرتبية وبيانات ليكرت (Likert Scales)
تمثل مقاييس ليكرت (Likert Scales) ومقاييس التقدير الرتبي العمود الفقري لأدوات القياس السلوكي والاجتماعي المعاصر. تنطوي هذه المقاييس على تحديات إحصائية فريدة عند تعويض بياناتها؛ إذ إن الاستجابات تتخذ قيماً عددية منفصلة ومحدودة المدى (مثل 1 إلى 5 أو 1 إلى 7) تعبر عن رتب سيكولوجية وليست كميات كمية متصلة تمتلك فترات متساوية بالمعنى الرياضي التام.
إن تطبيق خوارزميات التعويض القائمة على الانحدار الخطي العادي على مقاييس ليكرت يسفر عن توليد أرقام كسرية غير منطقية سيكومترياً (مثل تعويض درجة بـ 3.42 على مقياس خماسي مغلق)، مما يضطر الباحث إلى تقريبها قسرياً، وهو إجراء يولد تشوهات إضافية في التباين التوزيعي للفقرة. لمواجهة هذه المعضلة، تبرز النماذج اللوجستية الترتيبية متعددة الحدود (Ordinal Logistic Regression / Proportional Odds Models) كأداة تعويض مخصصة تصون الطبيعة الرتبية الصرفة للاستجابات عبر نمذجة الاحتمالات التراكمية للانتقال من فئة استجابة إلى أخرى.
علاوة على ذلك، تتميز هذه النماذج المتخصصة بقدرتها على التعامل مع الانحيازات التوزيعية الشائعة في الاستبيانات السريرية؛ مثل التجمع الشديد للاستجابات عند الأطراف الدنيا للمقياس في العينات غير السريرية (Floor Effects) أو التجمع عند الأطراف العليا في مقاييس الرضا الاجتماعي (Ceiling Effects)، مما يضمن توليد قيم معوضة واقعية تعكس التوزيع السيكومتري الحقيقي للأفراد في المجتمع المدروس.
9.3 البيانات الطولية والقياسات المتكررة في التجارب الإكلينيكية
تتسم البيانات الطولية والتصاميم التجريبية ذات القياسات المتكررة بتعقيد مضاعف ينبع من الارتباط الذاتي العالي (Autocorrelation) بين القياسات المتتالية لنفس الفرد عبر الزمن، إضافة إلى التباين المستمر في مسارات النمو والتغير الفردي عبر الجلسات ونقاط المتابعة العلاجية. في هذه البيئات، لا يقتصر الفقدان على خلايا متفرقة، بل يتخذ غالباً شكل تسرب تدريجي مستمر ينقطع فيه سجل المريض تماماً بدءاً من نقطة زمنية محددة حتى نهاية الدراسة.
تتطلب معالجة الفقدان في هذا السياق نمذجة متقدمة تدمج بين البعدين الأفقي (عبر الزمن) والرأسي (بين الأفراد)؛ ويتحقق ذلك عبر توظيف نماذج منحنيات النمو الكامنة (Latent Growth Curve Models – LGCM) ونماذج التأثيرات المختلطة الخطية (Linear Mixed-Effects Models) المقترنة بـ FIML أو التعويض المتعدد للسلاسل الزمنية. تتيح هذه المقاربات تقدير معالم المسار النمائي الفردي (نقطة البداية Intercept، ومعدل التغير عبر الزمن Slope) لكل مريض استناداً إلى نقاط القياس المتوفرة لديه والمعلومات المستمدة من مسارات أقرانه المشابهين.
كما تراعي هذه الخوارزميات المتقدمة الجمع بين المتغيرات المعتمدة على الزمن (Time-Varying Covariates) مثل تقلب شدة الأعراض والجرعات الدوائية، والمتغيرات الثابتة عبر الزمن (Time-Invariant Covariates) مثل السمات الجينية والخصائص الديموغرافية، مما يوفر منصة تحليلية بالغة الدقة لتقييم الفعالية الحقيقية للبرامج العلاجية والتدخلات النفسية الطولية دون الوقوع في شراك التحيز الناجم عن التسرب السريري.
10. تقييم جودة ودقة البيانات المعوضة وتشخيص النماذج (Model Diagnostics)
10.1 الفحص البصري والإحصائي لمطابقة التوزيعات
لا تنتهي عملية التعويض الإحصائي بمجرد تشغيل الخوارزمية وتوليد الأرقام، بل تبدأ مرحلة حاسمة من التشخيص والتقييم لجودة ودقة البيانات المعوضة قبل الشروع في التحليلات الاستدلالية الختامية. يُعد الفحص البصري التوزيعي الخطوة الاستكشافية الأولى للتحقق من أن القيم المعوضة لا تشوه المعالم الأساسية للبيانات المرصودة وتتناغم معها منطقياً وإحصائياً.
يتم ذلك من خلال رسم ومقارنة منحنيات الكثافة الاحتمالية (Density Plots) ومخططات التشتت النقطي للبيانات المرصودة في مقابل البيانات المعوضة؛ حيث ينبغي أن يتطابق المنحنيان في الشكل العام، مع توقع وجود اختلافات منطقية طفيفة تعكس آلية الفقدان المفترضة (مثلاً: إذا كان الفقدان يتركز في الفئات ذات الدرجات المرتفعة تحت افتراض MAR، فمن الطبيعي أن يُظهر منحنى البيانات المعوضة كثافة أعلى في الطرف الأيمن مقارنة بالبيانات المرصودة دون أن يولد قيماً شاذة غير معقولة).
تُستخدم أيضاً مخططات الصندوق (Boxplots) ومخططات التشتت ثنائية المتغيرات (Scatterplots) للتأكد الحاسم من عدم قيام نموذج التعويض بإنشاء قيم تتجاوز الحدود الدنيا والقصوى المسموح بها للمقاييس السيكومترية (Plausible Range)، والتأكد من بقاء العلاقات الارتباطية بين المتغيرات محتفظة باتجاهاتها وشدتها الطبيعية دون إحداث انكسارات شاذة في خطوط الانحدار التوزيعية.
10.2 تشخيص تقارب السلاسل الحسابية (Convergence Diagnostics)
عند استخدام خوارزميات التعويض المتكرر المعتمدة على سلاسل مونتي كارلو لماركوف، مثل MICE، يصبح فحص استقرار وتقارب السلاسل الحسابية (Chain Convergence) شرطاً لازماً لضمان صحة النتائج المستخرجة. تتطلب هذه العملية التحقق من أن الخوارزمية قد تجاوزت مرحلة الإحماء الأولي (Burn-in Period) ووصلت إلى مرحلة الاستقرار التوزيعي حيث تتذبذب السلاسل بحرية وعشوائية تامة حول توزيع احتمالي ثابت ومستقر.
يتم التحقق من التقارب بصرياً عبر فحص مخططات المسار الزمني للتكرارات (Trace Plots) لمتوسطات وتباينات المتغيرات المعوضة عبر التكرارات المتتالية؛ حيث تدل المسارات المتقاربة والمتداخلة تماماً كحبل مجدول (Well-Mixed Chains) والخالية من أي اتجاهات خطية صاعدة أو هابطة واضحة على نجاح التقارب الإحصائي واستقرار عملية التعويض، كما هو موضح في المخطط المفاهيمي لتقارب السلاسل.
إحصائياً، يتم فحص مؤشرات الارتباط الذاتي (Autocorrelation) بين التكرارات المتتابعة للتأكد من خلو السلاسل من الاعتمادية العالية، وفحص معامل غيلمان-روبين التشخيصي ($\hat{R}$)، حيث تشير القيم القريبة جداً من 1.00 (أقل من 1.05) إلى ثبات تام للتقارب. وفي حال كشف التشخيص عن عدم تقارب، يلتزم الباحث بمراجعة النموذج، وزيادة عدد التكرارات، ومعالجة مشكلات التعددية الخطية العالية (Multicollinearity) بين المتغيرات التنبؤية التي قد تعيق حركة السلاسل وتسبب جمودها الحسابي.
10.3 تحليلات الحساسية لاختبار متانة النتائج (Sensitivity Analysis)
نظراً لأن افتراض الفقدان العشوائي (MAR) الذي تستند إليه معظم تقنيات التعويض هو افتراض رياضي غير قابل للإثبات التجريبي القاطع من داخل مصفوفة البيانات المرصودة وحدها، فإن التقاليد المنهجية الرصينة تفرض إجراء ما يُعرف بـ تحليلات الحساسية (Sensitivity Analysis) لتقييم مدى متانة وصلابة الاستنتاجات العلمية والقرارات السريرية في حال كان افتراض الفقدان الحقيقي ينحرف نحو الفقدان غير العشوائي (MNAR).
تتضمن تحليلات الحساسية بناء نماذج إحصائية افتراضية بديلة تتبنى سيناريوهات الفقدان غير العشوائي، ومن أبرزها أسلوب تحليل نقطة التحول (Tipping Point Analysis) وأسلوب مطابقة خليط الأنماط (Pattern-Mixture Models) مع تطبيق معاملات الإزاحة والانحياز (Offset/Delta Parameter Approach)؛ حيث يتم إضافة قيم تدريجية مصطنعة ($\delta$) للبيانات المعوضة لمحاكاة أسوأ الاحتمالات السيكولوجية للمرضى الغائبين (مثلاً: افتراض أن درجات الاكتئاب لدى الممتنعين عن الإجابة كانت أسوأ بمقدار انحراف معياري كامل عن تقديرات نموذج MAR).
إذا أظهرت التحليلات أن النتائج الأساسية للدراسة—مثل الدلالة الإحصائية لفعالية برنامج تدخلي أو اتجاه مسار نمائي معين—تظل ثابتة وقائمة حتى في ظل السيناريوهات المشددة لافتراض MNAR، يكتسب الباحث ثقة منهجية بالغة في صلابة استنتاجاته وصدقها العلمي؛ أما إذا انهارت النتائج عند أدنى إزاحة طفيفة، فيجب مناقشة هذه الهشاشة بشفافية كاملة وتقييد نطاق التوصيات المستخلصة من البحث.
11. المعايير الأخلاقية وضوابط التوثيق المنهجي للبيانات المعوضة
11.1 الشفافية في التوثيق والامتثال لإرشادات APA و STROBE
تفرض النزاهة الأكاديمية ومعايير النشر في المجلات العلمية الرصينة المصنفة شفافية مطلقة وتوثيقاً منهجياً شاملاً لكافة الخطوات والقرارات المتعلقة بمعالجة البيانات المفقودة، وذلك امتثالاً لإرشادات نشر تقارير البحوث الصادرة عن جمعية علم النفس الأمريكية (APA Journal Article Reporting Standards – JARS) وإرشادات مبادرة STROBE و CONSORT للدراسات الوبائية والتجارب السريرية.
يتعين على الباحثين الإفصاح الدقيق والكامل في قسم المنهجية عن العناصر المحددة التالية:
- حجم ونمط الفقدان: تقديم جدول إحصائي تفصيلي يوضح عدد ونسبة القيم المفقودة لكل متغير من متغيرات الدراسة على حدة، وتحديد نسبة الحالات التي تحتوي على بيانات كاملة في كافة المتغيرات.
- فحص آليات الفقدان: استعراض النتائج التشخيصية لاختبارات الفقدان (مثل اختبار ليتل لـ MCAR) وتقديم المبررات النظرية والمنطقية التي تدعم تبني افتراض MAR أو MNAR في سياق العينة المدروسة.
- تفاصيل خوارزمية التعويض: ذكر اسم التقنية المستخدمة بالتفصيل (مثل MICE أو FIML أو PMM)، وتحديد المتغيرات المساعدة (Auxiliary Variables) التي تم تضمينها في نموذج التنبؤ، وتوضيح عدد مجموعات البيانات المعوضة ($m$)، وعدد التكرارات المنفذة.
- البرمجيات والإعدادات الدقيقة: ذكر اسم الحزم البرمجية المستخدمة وأرقام إصداراتها المحددة، مع تحديد البذرة العشوائية الأولية (Random Seed Number) لضمان إمكانية إعادة الإنتاج والتحقق المستقل (Replicability) من قِبل الباحثين الآخرين.
- مقارنة النتائج: تقديم تحليل مقارن يوضح النتائج الإحصائية قبل وبعد عملية التعويض (مثلاً: مقارنة نتائج الحالات المكتملة بنتائج التعويض المتعدد) لمصارحة القارئ بحجم الأثر الذي أحدثته المعالجة الإحصائية.
11.2 المحاذير الأخلاقية وتجنب تزييف البيانات (Data Fabrication)
يجب التمييز الصارم والدقيق من منظور أخلاقيات البحث العلمي بين التعويض الإحصائي المنهجي المنضبط ونشاط تزييف واختلاق البيانات الوهمية (Data Fabrication)؛ فالتعويض الإحصائي ليس محاولة لتلفيق ملاحظات ميدانية وهمية لم تقع، بل هو نمذجة رياضية قائمة على الاستدلال الاحتمالي لحالة عدم اليقين الناتجة عن غياب القياس بهدف حماية تقديرات المعالم الإجمالية للعينة من التشويه والتحيز.
تتجلى المسؤولية الأخلاقية للباحث في الامتناع التام عن استغلال خوارزميات التعويض في ممارسات التلاعب بالبيانات لتحقيق دلالة إحصائية زائفة أو ما يُعرف بـ (p-hacking)؛ مثل تجربة عدة خوارزميات تعويض مختلفة وانتقاء الطريقة الوحيدة التي تؤدي بالصدفة إلى خفض قيمة $p$ إلى ما دون 0.05 لتدعيم فرضيات مسبقة للباحث. إن مثل هذه الممارسات تعد انتهاكاً جسيماً للنزاهة الأكاديمية وتدميراً لجوهر المنهج العلمي التجريبي.
وفي إطار حركة العلم المفتوح (Open Science) ومشاركة قواعد البيانات البحثية (Open Data)، يُحظر أخلاقياً وقانونياً نشر مصفوفة البيانات المعوضة كما لو كانت هي البيانات الأصلية الخام دون تمييز واضح؛ إذ يتعين على الباحث مشاركة قاعدة البيانات الأصلية متضمنة الخلايا الفارغة الحقيقية، مع إرفاق الكود البرمجي (Script) الكامل الذي يُظهر بشفافية خطوات التحويل والتعويض التي خضعت لها البيانات للوصول إلى المخرجات النهائية المنشورة.
12. البرمجيات الإحصائية المعتمدة والاتجاهات المستقبلية في تعويض البيانات
12.1 الأدوات البرمجية الشائعة لتنفيذ التعويض الإحصائي
توفر البيئات البرمجية الإحصائية المعاصرة ترسانة هائلة من الأدوات والحزم المتخصصة التي جعلت من تطبيق أكثر خوارزميات التعويض تعقيداً أمراً متاحاً وميسوراً للباحثين والمحللين في مختلف التخصصات العلمية. تتصدر بيئة الحوسبة الإحصائية R المشهد العالمي في هذا المجال بفضل حزمها مفتوحة المصدر وفائقة القوة والشمول:
- حزمة mice في لغة R: الحزمة المرجعية الأكثر شهرة عالمياً للتعويض المتعدد عبر المعادلات المتسلسلة (MICE)، والتي تدعم طيفاً غير محدود من نماذج الانحدار، والمطابقة التنبؤية بالمتوسط (PMM)، والتعامل الاحترافي مع المتغيرات متعددة المستويات (Multilevel Imputation).
- حزمة Amelia في لغة R: تعتمد خوارزمية التعظيم التوقعي المتزامن مع التمهيد الذاتي (EMB) لنمذجة التعويض المتعدد للبيانات متعددة المتغيرات ذات التوزيع الطبيعي المستمر بكفاءة وسرعة حاسوبية فائقة.
- حزمة missForest في لغة R: الخوارزمية الرائدة في التعويض غير المعلمي المستند إلى غابات القرارات العشوائية، والتي تتميز بقدرتها على التعامل مع مختلف أنواع المتغيرات دون أي افتراضات مسبقة حول توزيع البيانات.
وفي بيئة لغة Python، تبرز مكتبات رائدة مثل Scikit-Learn التي تقدم وحدات تعويض قوية تشمل SimpleImputer و IterativeImputer (المستوحاة من MICE)، بالإضافة إلى مكتبة fancyimpute المتخصصة في الخوارزميات المتقدمة مثل استكمال المصفوفات عبر تحليل القيمة المفردة (Matrix Completion via SVD) ونماذج الشبكات العصبية.
أما في الحزم الإحصائية التجارية الكلاسيكية، فقد طورت برمجيات SPSS وحدات مدمجة مخصصة للتعويض المتعدد واختبار ليتل للـ MCAR، كما توفر برمجيات SAS و Stata إجراءات متقدمة للغاية (مثل PROC MI في SAS و mi impute في Stata). وتنفرد برمجيات نمذجة المعادلات البنائية التخصصية، مثل Mplus وحزمة lavaan في R وبرنامج Amos، بتقديم أعلى مستويات الأداء في تطبيق تقدير الإمكان الأقصى للمعلومات الكاملة (FIML) مباشرة داخل التحليلات الهيكلية المعقدة.
12.2 تطبيقات الذكاء الاصطناعي وتعلم الآلة في التعويض (Machine Learning Imputation)
يشهد حقل تعويض البيانات ثورة تكنولوجية عاصفة مدفوعة بالقفزات الهائلة في تقنيات الذكاء الاصطناعي، ونماذج التعلم العميق (Deep Learning)، والنماذج التوليدية الحديثة. تبرز خوارزمية missForest القائمة على الغابات العشوائية (Random Forests) كإحدى أكثر الأدوات غير المعلمية كفاءة؛ حيث تبني مئات أشجار القرار لنمذجة العلاقات والتشابكات غير الخطية فائقة التعقيد والتفاعلات متعددة المستويات بين المتغيرات بصورة تلقائية ودون الحاجة لتحديد مسبق لصيغة النموذج الرياضي من قِبل الباحث.
وفي طليعة النماذج العميقة المعاصرة، حققت شبكات الخصومة التوليدية لتعويض البيانات (Generative Adversarial Networks – GAIN) اختراقاً نوعياً بارزاً؛ حيث تتألف البنية الهندسية لـ GAIN من شبكتين عصبيتين تتنافسان ضد بعضهما البعض: شبكة “المُوَلِّد” (Generator) التي ترصد البيانات المتاحة وتحاول توليد قيم معوضة واقعية للغاية للخلايا المفقودة، وشبكة “المُمَيِّز” (Discriminator) التي تحاول التمييز والفصل بين القيم الأصلية المرصودة والقيم المعوضة حديثاً. يؤدي هذا التنافس المستمر إلى تدريب المُوَلِّد على إنتاج قيم معوضة تحاكي التوزيع الاحتمالي الأصلي للبيانات الحقيقية بدقة متناهية.
تتكامل هذه التطورات مع استخدام نماذج المرمزات التلقائية المتغيرة (Variational Autoencoders – VAEs) المصممة لضغط واستخلاص التمثيلات الكامنة من البيانات السلوكية والطبية الضخمة عالية الأبعاد، وإعادة بنائها لتعويض الفراغات بدقة متفوقة. تتجه الخوارزميات المستقبلية نحو تطوير نظم ذكية هجينة تمتلك القدرة على الكشف الآلي الذاتي عن آلية الفقدان الكامنة في البيانات (MCAR أو MAR أو MNAR) وتكييف بنية التعويض الرياضية ديناميكياً لتلائم السياق التوزيعي الخاص بكل مصفوفة بيانات بدقة غير مسبوقة.
12.3 دليل إرشادي لاختيار تقنية التعويض المثلى في الأبحاث المستقبلية
لتسهيل مهمة الباحثين وصناع القرار في العلوم السلوكية والنفسية، يقدم هذا الدليل المنهجي إطاراً متكاملاً لاتخاذ القرار الإحصائي الصائب لاختيار الخوارزمية الأكثر ملاءمة لمعالجة القيم المفقودة بناءً على خصائص مصفوفة البيانات:
| طبيعة وسياق البيانات | التقنية الإحصائية الموصى بها | المبررات المنهجية ونقاط القوة |
|---|---|---|
| فقدان ضئيل جداً (< 3-5%) وتحقق تام لـ MCAR | الحذف الكلي (Listwise Deletion) | بساطة التطبيق وعدم وجود تحيز جوهري في هذه الحدود الدنيا الاستثنائية |
| نماذج بنائية ومسارات هيكلية (SEM / CFA) مع افتراض MAR | تقدير الإمكان الأقصى للمعلومات الكاملة (FIML / MLR) | كفاءة رياضية عليا، خطوة نمذجة موحدة، تقدير دقيق لمؤشرات جودة المطابقة والأخطاء |
| بيانات مسحية مختلطة (رتبية، فئوية، متصلة) مع افتراض MAR | التعويض المتعدد بالمعادلات المتسلسلة (MICE / FCS) | مرونة فائقة في تخصيص نماذج الانحدار، ودعم PMM واللوجستي الترتيبي، وتكامل قواعد روبين |
| مقاييس ليكرت وبيانات منحرفة أو ذات حدود صارمة | المطابقة التنبؤية بالمتوسط (PMM) داخل MICE | تضمن مطابقة القيم المعوضة للقيم الممكنة واقعياً، وحماية البنية السيكومترية للفقرات |
| بيانات ضخمة عالية الأبعاد ذات تفاعلات غير خطية معقدة | خوارزميات التعلم الآلي والتعلم العميق (missForest / GAIN) | عدم الحاجة لافتراضات توزيعية بارامترية مسبقة، وقدرة فائقة على التقاط التفاعلات الكامنة المعقدة |
| شبهة قوية بوجود فقدان غير عشوائي (MNAR) | نماذج خليط الأنماط (Pattern-Mixture) + تحليلات الحساسية | تقييم متانة النتائج واختبار استقرار القرارات السريرية والبحثية تحت أسوأ الاحتمالات التوزيعية |
تظل النصيحة الذهبية والوصية المنهجية الأسمى لكافة الباحثين هي أن أفضل استراتيجية للتعامل مع البيانات المفقودة هي العمل على منع حدوثها منذ البداية؛ وذلك من خلال التحسين المستمر لتصاميم المسوح الميدانية، وتقليص أطوال الاستبانات لتفادي إجهاد المشاركين، وتوفير بيئات قياس آمنة ومريحة، وبناء قنوات تواصل مهنية فعالة تضمن استبقاء المشاركين في الدراسات الطولية والتجارب الإكلينيكية إلى أقصى حد مستطاع.
خاتمة
لقد قطعت نظرية ومنهجية تعويض القيم المفقودة شوطاً طويلاً ومبهراً منذ البدايات الأولى لعلم الإحصاء التطبيقي، لتتحول من مجرد ممارسات حذف ارتجالية تفرط في هدر البيانات وتشوه المعالم التوزيعية، إلى فضاء معرفي متقدم يستند إلى أرقى نظريات الاحتمال، والنمذجة الرياضية متعددة المستويات، والذكاء الاصطناعي. إن استيعاب الباحثين في العلوم النفسية والسلوكية والطبية لطبيعة آليات الفقدان (MCAR, MAR, MNAR) والتسلح بالتقنيات الحديثة كالتعويض المتعدد عبر المعادلات المتسلسلة (MICE) والإمكان الأقصى للمعلومات الكاملة (FIML) لم يعد مجرد رفاهية تقنية أو خيار إحصائي ثانوي، بل غدا شرطاً جوهرياً لضمان نزاهة الاستدلال العلمي وصدق النتائج القابلة للتطبيق السريري والمجتمعي.
إن الالتزام بالمعايير الأخلاقية، والشفافية التامة في التوثيق المنهجي، وإجراء تحليلات الحساسية الصارمة يمثل الجسر الواقي الذي يعبر بالبحث العلمي نحو آفاق الدقة والموثوقية. ومع استمرار تطور الخوارزميات الذكية والتعلم العميق، تتعزز قدرة المجتمع العلمي على استخلاص المعرفة الكامنة من البيانات المعقدة بأعلى درجات الأمانة الإحصائية؛ ليبقى الهدف الأسمى دائماً هو فهم الظواهر الإنسانية والسلوكية فهماً دقيقاً وعميقاً يساهم بفاعلية في ارتقاء المعرفة وتحسين جودة الحياة الإنسانية.
References
- Dempster, A. P., Laird, N. M., & Rubin, D. B. (1977). Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: Series B (Methodological), 39(1), 1–22. https://doi.org/10.1111/j.2517-6161.1977.tb01600.x
- Enders, C. K. (2022). Applied missing data analysis (2nd ed.). Guilford Press.
- Graham, J. W., Olchowski, A. E., & Gilreath, T. D. (2007). How many imputations are really needed? Some practical clarifications of multiple imputation theory. Prevention Science, 8(3), 206–213. https://doi.org/10.1007/s11121-007-0070-9
- Little, R. J. A. (1988). A test of missing completely at random for multivariate data with missing values. Journal of the American Statistical Association, 83(404), 1198–1202. https://doi.org/10.1080/01621459.1988.10478722
- Little, R. J. A., & Rubin, D. B. (2019). Statistical analysis with missing data (3rd ed.). John Wiley & Sons. https://doi.org/10.1002/9781119482260
- Rubin, D. B. (1976). Inference and missing data. Biometrika, 63(3), 581–590. https://doi.org/10.1093/biomet/63.3.581
- Rubin, D. B. (1987). Multiple imputation for nonresponse in surveys. John Wiley & Sons. https://doi.org/10.1002/9780470316696
- Schafer, J. L., & Graham, J. W. (2002). Missing data: Our view of the state of the art. Psychological Methods, 7(2), 147–177. https://doi.org/10.1037/1082-989X.7.2.147
- Stekhoven, D. J., & Bühlmann, P. (2012). MissForest—non-parametric missing value imputation for mixed-type data. Bioinformatics, 28(1), 112–118. https://doi.org/10.1093/bioinformatics/btr597
- van Buuren, S. (2018). Flexible imputation of missing data (2nd ed.). Chapman and Hall/CRC. https://doi.org/10.1201/9780429492259
- van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate imputation by chained equations in R. Journal of Statistical Software, 45(3), 1–67. https://doi.org/10.18637/jss.v045.i03
- Yoon, J., Jordon, J., & Schaar, M. (2018). GAIN: Missing data imputation using generative adversarial nets. Proceedings of the 35th International Conference on Machine Learning, PMLR, 80, 5689–5698. https://proceedings.mlr.press/v80/yoon18a.html