كيفية إزالة الصفوف التي تحتوي على بعض أو كل قيم NA في R

تُعد معالجة القيم المفقودة (Missing Values) واحدة من الركائز الأساسية التي تنبني عليها خطط تنظيف البيانات وهندستها في بيئة البرمجة الإحصائية R Project for Statistical Computing. ففي الممارسات التحليلية المعاصرة، نادراً ما تأتي البيانات المستقاة من التجارب المعملية، أو المسوح الميدانية، أو السجلات السريرية، أو قواعد البيانات الضخمة مكتملة الأركان وخالية من الثغرات. إن وجود قيم غير معرّفة أو مجهولة داخل أطر البيانات (Data Frames) يفرض تحديات منهجية وحسابية عميقة؛ إذ يمكن لحالة شاذة واحدة أن تؤدي إلى تعطيل سلاسل التحليل الإحصائي، أو إفراز تقديرات غير دقيقة للنماذج، أو إسقاط افتراضات الاختبارات البارامترية المتقدمة. من هنا، يمثل فهم الآليات البرمجية لاستكشاف هذه الفجوات والتعامل معها، وتحديداً قرار إزالة الصفوف التي تشتمل على بعض أو كافة القيم المفقودة، مهارة محورية لا غنى عنها لكل ممارس لعلم البيانات والإحصاء الحيوي والاقتصاد القياسي.

تتنوع السيناريوهات التي يواجه فيها المحلل مشكلة الفقدان؛ ففي بعض الحالات قد يكون الصف بأكمله فارغاً نتيجة خطأ في تصدير البيانات أو انقطاع في قنوات الإدخال الرقمية، بينما في حالات أخرى قد تقتصر الفجوة على متغير واحد فقط من بين عشرات المتغيرات التابعة والمستقلة. يستوجب هذا التنوع تبني استراتيجيات برمجية مرنة ودقيقة، تتراوح بين استخدام الأدوات المضمنة في بيئة لغة R الأساسية (Base R)، وتوظيف الوظائف الأنيقة التي توفرها منظومة Tidyverse، وصولاً إلى استغلال الأداء الفائق لحزمة data.table عند التعامل مع مصفوفات البيانات العملاقة. إن إتقان هذه التقنيات يضمن كتابة شيفرات برمجية تتسم بالكفاءة الحسابية والمقروئية العالية وقابلية التكرار (Reproducibility).

يهدف هذا الدليل الأكاديمي الشامل إلى تقديم تفكيك منهجي وتطبيقي دقيق لكيفية التعامل مع الصفوف المحتوية على قيم مفقودة في لغة R، موازناً بين الصرامة النظرية والتطبيق العملي. سنستعرض بعمق الفروق الدلالية بين تمثيلات البيانات الخاصة، والآثار المنهجية المترتبة على الحذف وفق أدبيات علم الإحصاء، متبوعاً بشروحات برمجية مفصلة وتجارب معيارية للأداء الحسابي، وصولاً إلى وضع قوائم تحقق استرشادية تضمن سلامة النتائج العلمية وقابليتها للنشر وفق أعلى المعايير المعرفية.

1. مقدمة شاملة حول القيم المفقودة (NA) في بيئة البرمجة الإحصائية R

1.1 مفهوم وتمثيل القيم المفقودة في R

في لغة R الإحصائية، يُشار إلى القيمة المفقودة بالرمز المحجوز NA، وهو اختصار للمصطلح الإنجليزي Not Available. لا يمثل هذا الرمز مجرد نص أو قيمة صفرية، بل هو مؤشر دلالي على غياب المعلومة في موضع معين داخل البنية الهيكلية للبيانات. تتميز R عن العديد من لغات البرمجة العامة بأنها لغة صُممت منذ نشأتها لتتعامل مع المفاهيم الإحصائية ككائنات من الدرجة الأولى، ولذلك تمتلك تمثيلات متخصصة للقيم المفقودة تتطابق مع الأنواع الأساسية للمتغيرات (Atomic Vectors). فعلى سبيل المثال، يوجد في الخلفية البرمجية تمثيل لـ NA_real_ للمتغيرات الرقمية ذات الفاصلة العائمة، وNA_integer_ للمتغيرات الصحيحة، وNA_character_ للسلاسل النصية، وNA_complex_ للأعداد المركبة، مما يضمن الحفاظ على التناسق النوعي للمصفوفات دون إحداث تحويل قسري غير مقصود في نوع البيانات (Type Coercion).

من الضروري للغاية التمييز بين NA والمفاهيم الخاصة الأخرى في بيئة R. فالرمز NaN (أي Not a Number) يمثل نتيجة لعملية حسابية غير معرّفة رياضياً، مثل قسمة الصفر على الصفر أو استخراج الجذر التربيعي لعدد سالب دون استخدام الأعداد المركبة؛ ورغم أن R تعتبر كل NaN قيمة مفقودة عند استخدام دوال الفحص العامة، إلا أن العكس ليس صحيحاً. في المقابل، يمثل NULL الكائن الفارغ أو انعدام وجود الكائن نفسه في الذاكرة (Empty Object)، ولا يشغل مساحة داخل المتجهات بخلاف NA الذي يحجز موقعاً دليلياً محدداً. أما Inf و -Inf فهما يمثلان اللانهاية الإيجابية والسلبية الناتجة عن العمليات الحسابية مثل قسمة عدد حقيقي على الصفر. إن الإدراك الواعي لهذه الفروق الجوهرية يجنب المحلل الوقوع في أخطاء منطقية فادحة عند بناء الدوال الشرطية وخطوات المعالجة المسبقة للبيانات.

1.2 دوافع تنظيف وحذف الصفوف التي تحتوي على قيم مفقودة

تنبع الحاجة الملحة إلى تنظيف وإزالة الصفوف المشتملة على قيم مفقودة من القيود الرياضية والبرمجية التي تفرضها دوال التحليل الإحصائي في R. فالوظائف الحسابية القياسية، مثل دالة المتوسط الحسابي mean() أو التباين var()، تعتمد مبدأ “نقل عدم اليقين” (Propagation of Uncertainty)؛ فإذا احتوى المتجه المدخل على قيمة NA واحدة، فإن الناتج التلقائي للدالة سيكون NA، ما لم يتدخل المستخدم بتفعيل وسائط الاستبعاد مثل na.rm = TRUE. ومع ذلك، فإن النماذج الإحصائية المعقدة كنماذج الانحدار الخطي المتعدد lm()، ونماذج الانحدار اللوجستي glm()، ونماذج السلاسل الزمنية، تفرض اشتراطات صارمة تتطلب اكتمال أسطر البيانات الممررة إلى خوارزميات التقدير.

علاوة على ذلك، تفترض الغالبية العظمى من خوارزميات التعلم الآلي المتقدمة والتحليلات متعددة المتغيرات، مثل تحليل المكونات الرئيسية (PCA) وخوارزميات الدعم الآلي الموجه (SVM) والشبكات العصبية الاصطناعية، وجود مصفوفات تصميمية مكتملة رياضياً لحساب مصفوفات التغاير والضرب القياسي. ومع ذلك، فإن قرار حذف الصفوف يضع الباحث أمام معضلة إحصائية حتمية: الموازنة بين نقاء البيانات واكتمالها الهندسي لضمان استقرار الخوارزميات، وبين الحفاظ على حجم العينة وقوتها الإحصائية (Statistical Power) وتجنب تقليص رقعة المشاهدات الحقلية المتاحة.

1.3 نظرة عامة على الاستراتيجيات البرمجية المتاحة في R

توفر بيئة البرمجة R ترسانة متنوعة من الأدوات التي تلبي كافة الاحتياجات التحليلية وتتدرج من حيث التعقيد وسرعة التنفيذ. في المستوى الأساسي، تعتمد دوال Base R، مثل complete.cases() وna.omit()، على المنطق المدمج في نواة اللغة المكتوبة بلغة C، مما يمنحها موثوقية عالية واستقلالية تامة عن أي حزم خارجية، وهو أمر مفضل في بيئات الإنتاج التي تتطلب استقراراً طويل الأمد والحد الأدنى من الاعتماديات البرمجية (Dependencies).

في المقابل، تقدم منظومة Tidyverse، وبخاصة حزمتي tidyr وdplyr، مقاربة حديثة تركز على مقروئية الشيفرة وسلاسة دمجها ضمن سلاسل معالجة البيانات (Pipelines) باستخدام معامل الربط %>% أو المعامل الأصلي الجديد |>. تتيح دوال مثل drop_na() وfilter() تحكماً تعبيرياً فائق الدقة في معايير الاستبعاد الجزئي والكلي. وللتعامل مع قواعد البيانات الضخمة (Big Data) التي تحتوي على ملايين السجلات، تبرز حزمة data.table كحل قياسي فائق السرعة يعتمد على التعديل الموضعي في الذاكرة (In-place Modification) وتفادي النسخ غير الضروري، مما يمنح المبرمج مرونة استثنائية في هندسة البيانات تتبع متطلبات مشروعه بدقة متناهية.

2. الآثار الإحصائية والمنهجية لحذف القيم المفقودة من أطر البيانات

2.1 تصنيف آليات فقدان البيانات وفق الأدبيات الإحصائية

قبل الشروع في كتابة أي سطر برمجي لحذف الصفوف، يتعين على الباحث تأطير المشكلة استناداً إلى التصنيف الإحصائي الكلاسيكي الذي وضعه العالمان دونالد روبين ورودريك ليتل (Little & Rubin, 2019). يُعرف النمط الأول بـ الفقدان العشوائي التام (Missing Completely at Random – MCAR)، وفيه لا يرتبط احتمال فقدان القيمة في متغير معين بأي من المتغيرات المرصودة داخل قاعدة البيانات ولا بالمتغير نفسه. في هذه الحالة، تكون العينة المتبقية بعد الحذف ممثلة للمجتمع الأصلي دون تحيز منهجي، ويكون الأثر السلبي مقصوراً على انخفاض الدقة وحجم العينة.

أما النمط الثاني فهو الفقدان العشوائي المشروط (Missing at Random – MAR)، وفيه يرتبط احتمال الفقدان بقيم متغيرات أخرى مرصودة داخل البيانات وليس بالقيمة المفقودة ذاتها؛ فعلى سبيل المثال، قد يمتنع الذكور عن الإفصاح عن مستويات القلق النفسي بمعدل أعلى من الإناث، ولكن داخل فئة الذكور لا يعتمد الفقدان على شدة القلق الفعلية. وأخيراً، يمثل الفقدان غير العشوائي (Missing Not at Random – MNAR) السيناريو الأكثر خطورة، حيث يعتمد احتمال الفقدان مباشرة على القيمة المجهولة نفسها، مثل امتناع الأفراد ذوي الدخل المرتفع جداً عن الإفصاح عن دخولهم. إن تطبيق استراتيجية الحذف المباشر في حالتي MAR وMNAR يؤدي حتماً إلى تحريف معلمات المجتمع الإحصائي وإفراز استنتاجات مضللة.

2.2 تقييم أثر الحذف الكامل للحالات (Listwise Deletion)

يُعرف الإجراء البرمجي المتمثل في إسقاط أي صف يحتوي على قيمة مفقودة واحدة على الأقل في الأدبيات الإحصائية باسم الحذف الكامل للحالات (Listwise Deletion) أو تحليل الحالات المكتملة (Complete Case Analysis). يتمثل العيب الهيكلي الأبرز لهذا النهج في تآكل القوة الإحصائية (Statistical Power) للدراسة؛ فإذا كان لدينا إطار بيانات يضم 100 متغير، وكانت نسبة الفقدان في كل متغير لا تتجاوز 1% وموزعة عشوائياً عبر المشاهدات، فإن الحذف الكامل قد يؤدي إلى استبعاد أكثر من 60% من إجمالي الصفوف، مما يمثل هدراً فادحاً للموارد البحثية والميدانية.

علاوة على ذلك، يؤدي الحذف الكامل في ظروف غياب MCAR إلى تضخيم الأخطاء المعيارية وإدخال تحيز منهجي (Systematic Bias) في معاملات الانحدار وفترات الثقة. لذلك، وضعت المنهجيات المعاصرة معايير واضحة لتبرير استخدام الحذف الكامل: يُعد هذا الإجراء مقبولاً منهجياً إذا كانت النسبة الإجمالية للحالات المفقودة ضئيلة للغاية (عادة أقل من 5% من حجم العينة الكلي)، وإذا دعمت الاختبارات الإحصائية، مثل اختبار ليتل لـ MCAR (Little’s MCAR Test)، فرضية العشوائية المطلقة للبيانات المفقودة.

2.3 التوثيق الأكاديمي لمراحل المعالجة المسبقة للبيانات

تفرض بروتوكولات البحث العلمي الرصين ومعايير النشر الصادرة عن الهيئات الأكاديمية الدولية، مثل توصيات STROBE للدراسات الوبائية وتوصيات CONSORT للتجارب السريرية، الإفصاح الشفاف والدقيق عن كافة مراحل تنظيف البيانات واستبعاد الحالات. لا يجوز للمحلل الاكتفاء بتقديم النتائج النهائية بعد تطبيق دوال الحذف، بل يتعين عليه توثيق الحجم المبدئي للعينة، وتكرار ونسب القيم المفقودة لكل متغير على حدة، وتفصيل أسباب الاستبعاد وتوزيع الحالات المحذوفة عبر المجموعات التجريبية.

تتضمن الممارسات المنهجية الفضلى إجراء ما يُعرف بـ تحليل الحساسية (Sensitivity Analysis)، والذي يقارن فيه الباحث النماذج الإحصائية الناتجة عن الحذف الكامل مع النماذج التقديرية الناتجة عن خوارزميات التعويض الإحصائي المتعدد (Multiple Imputation) مثل خوارزمية MICE أو النمذجة بالمعلومات الكاملة للترجيح الأقصى (FIML). يضمن هذا التوثيق امتثال البحث لمبادئ العلم المفتوح (Open Science) وإمكانية التحقق المستقل من سلامة القرارات البرمجية والتحليلية.

3. إعداد وتجهيز إطار البيانات التجريبي لتطبيق الأمثلة العملية

3.1 إنشاء إطار البيانات المرجعي (df)

لتطبيق المفاهيم البرمجية عملياً وبناء مرجع تحليلي متكامل، سنقوم ببناء إطار بيانات تجريبي في R يعكس سيناريوهات واقعية ومتباينة لوجود القيم المفقودة. سنفترض أننا نتعامل مع قاعدة بيانات لأداء لاعبي كرة السلة، تشتمل على قياسات عددية متعددة مثل النقاط المسجلة (points)، والتمريرات الحاسمة (assists)، والمتابعات (rebounds). سنصمم هذا الإطار ليتضمن صفوفاً مكتملة تماماً، وصفوفاً تعاني من فقدان جزئي في متغير واحد أو أكثر، وصفاً كاملاً تنعدم فيه كافة البيانات لتجربة خوارزميات الكشف الشامل.

يمكن بناء هذا الإطار المرجعي باستخدام الشيفرة البرمجية التالية:

df <- data.frame(
  player = c("A", "B", "C", "D", "E", "F", "G"),
  points = c(25, 18, NA, 30, NA, 12, NA),
  assists = c(7, NA, 5, 8, NA, 4, NA),
  rebounds = c(10, 8, 6, NA, NA, 5, NA),
  stringsAsFactors = FALSE
)

يحتوي هذا الإطار التوضيحي على سبع مشاهدات؛ نلاحظ أن اللاعب “A” واللاعب “F” يمتلكان بيانات مكتملة تماماً عبر جميع المتغيرات، في حين يعاني اللاعب “B” من فقدان في التمريرات، واللاعب “C” من فقدان في النقاط، واللاعب “D” من فقدان في المتابعات. أما اللاعب “E” واللاعب “G” فيمثلان حالات حرجة: فاللاعب “E” يمتلك اسماً تعريفياً فقط مع فقدان تام لكافة القياسات الرقمية، بينما يمثل اللاعب “G” سيناريو الفقدان الكلي في كافة المتغيرات الحسابية قيد القياس.

3.2 فحص البنية الهيكلية وتوزيع القيم المفقودة

قبل المضي قدماً في تطبيق خوارزميات الحذف، يُملي البروتوكول البرمجي السليم فحص البنية الهيكلية لإطار البيانات باستخدام الدوال الاستكشافية المضمنة في R. يتيح استدعاء الدالة str(df) الوقوف على نوع كل متغير والتأكد من عدم تحول الأرقام إلى نصوص بسبب سوء تفسير الرموز المفقودة، بينما يوفر استدعاء الدالة summary(df) تقريراً إحصائياً موجزاً يتضمن في أسفله سطراً مخصصاً يوضح عدد قيم NA المسجلة في كل عمود.

لتشخيص مواضع الفقدان بصورة دقيقة وموجهة برمجياً، نلجأ إلى دمج الدالة المنطقية is.na() مع دالة الجمع الموجه للأعمدة colSums()، كما في التعبير الآتي:

colSums(is.na(df))

تُرجع هذه الشيفرة متجراً رقمياً يُظهر تكرار القيم المفقودة في كل متغير؛ حيث سنجد أن عمود points يحتوي على 3 قيم مفقودة، وعمود assists يحتوي على 3، وعمود rebounds يحتوي على 3 أيضاً. ومن خلال دمج rowSums(is.na(df))، نستطيع كذلك فحص كثافة الفقدان على مستوى كل صف على حدة، وهو ما يمهد الطريق لاختيار الاستراتيجية البرمجية المثلى للحذف، وتحديد ما إذا كان الهدف هو تنظيف الفقدان الجزئي أم استئصال الصفوف الخالية تماماً من القياسات المفيدة.

4. إزالة الصفوف المحتوية على أي قيمة مفقودة باستخدام Base R

4.1 آلية عمل الدالة complete.cases() مع إطار البيانات بالكامل

تُعد الدالة complete.cases() الأداة الأساسية والأكثر متانة في بيئة Base R للتعرف على الحالات المكتملة داخل المصفوفات وأطر البيانات. تستقبل هذه الدالة كائناً جدولياً وتقوم بفحص كل صف بشكل شعاعي وموجه، لتُرجع متجهاً منطقياً (Logical Vector) أحادي البعد يتطابق طوله مع عدد صفوف الإطار الأصلي. يأخذ العنصر في هذا المتجه القيمة TRUE إذا كان الصف خالياً تماماً من أي قيمة مفقودة عبر جميع الأعمدة، بينما يأخذ القيمة FALSE إذا تسللت قيمة NA واحدة على الأقل إلى أي متغير داخل ذلك الصف.

لتطبيق التصفية واستخراج الحالات المكتملة حصرياً، يتم تمرير هذا المتجه المنطقي داخل أقواس الفهرسة الموضعية للبيانات [rows, columns] مع ترك موضع الأعمدة فارغاً للحفاظ على كافة المتغيرات، وفق الصيغة التالية:

df_clean <- df[complete.cases(df), ]

عند تنفيذ هذه الشيفرة على إطار البيانات التجريبي الخاص بنا، ستقوم لغة R بتقييم كل صف: الصفوف 1 و 6 ستحصل على TRUE لاكتمال بيانات اللاعبين “A” و “F”، في حين ستحصل بقية الصفوف (2، 3، 4، 5، 7) على FALSE لوجود قيم NA متفاوتة. والنتيجة هي إطار بيانات مقتضب يقتصر على صفين فقط، وهو ما يجسد آلية الحذف الكامل الصارم.

4.2 استخدام الدالة na.omit() كبديل أساسي

تقدم بيئة Base R خياراً مباشراً وموجزاً لتحقيق الهدف ذاته عبر استدعاء الدالة المدمجة na.omit(). لا تتطلب هذه الدالة استخدام أقواس الفهرسة، بل تُمرر إليها بنية البيانات مباشرة في سياق تعبيري بسيط:

df_no_na <- na.omit(df)

على الرغم من أن مصفوفة البيانات الناتجة عن na.omit() تتطابق ظاهرياً في صفوفها وأعمدتها مع مخرجات complete.cases()، إلا أن هناك فرقاً تقنياً دقيقاً في البنية الهيكلية للبيانات الناتجة. تقوم na.omit() بإرفاق سمة خاصة (Attribute) تُعرف باسم na.action بالإطار الناتج، وهي عبارة عن متجه يحتوي على الأرقام الدليلية للصفوف التي تم استبعادها، مع تصنيفها ضمن فئة omit. تتيح هذه السمة لبعض الدوال الإحصائية ونماذج التنبؤ اللاحقة تتبع مواقع الحالات المحذوفة لإعادة مطابقة التنبؤات مع حجم العينة الأصلي، ولكنها قد تستهلك قدراً ضئيلاً من الذاكرة الإضافية عند التعامل مع كائنات ضخمة الحجم.

4.3 إعادة تعيين أرقام الصفوف (Row Names) بعد الحذف

من المشكلات الشائعة التي تواجه المحللين بعد تطبيق دوال التصفية والحذف في Base R هي احتفاظ إطار البيانات الناتج بالمؤشرات الرقمية القديمة للصفوف (Original Row Names/Indices). ففي مثالنا السابق، عند فحص الإطار المصفى، سنجد أن الصف الأول يحمل الرقم 1 بينما يحمل الصف الثاني الرقم 6، مما يعكس مواقعهما في الجدول الأصلي قبل الحذف وتجاهل الفهارس 2 و3 و4 و5 و7 التي تم إسقاطها.

قد يؤدي استمرار هذا الترقيم المتقطع إلى حدوث أخطاء برمجية غير متوقعة عند استخدام حلقات التكرار (For Loops) أو عند محاولة الوصول إلى الصفوف عبر مؤشراتها الموضعية الرقمية في خطوات التحليل المتقدمة. ولإعادة ضبط الترقيم ليصبح متسلسلاً بطريقة تصاعدية قياسية (1, 2, …)، نطبق التعبير البرمجي الأنيق:

rownames(df_clean) <- NULL

تقوم هذه العبارة بمحو المؤشرات المخصصة القديمة، وتجبر بيئة R على توليد مؤشرات رقمية تلقائية متصلة تبدأ من الرقم 1 وصولاً إلى إجمالي عدد الصفوف الجديد، مما يضمن الاتساق الهيكلي وتفادي التعارض مع العمليات اللاحقة.

5. إزالة الصفوف المحتوية على قيم مفقودة في أعمدة محددة عبر Base R

5.1 تطبيق complete.cases() على عمود منفرد محدد

في العديد من التصاميم البحثية الواقعية، لا يكون الهدف هو استبعاد الصفوف التي تحتوي على أي قيمة مفقودة في أي مكان، بل ينصب التركيز على ضمان اكتمال متغير رئيسي محدد، مثل المتغير التابع في معادلة انحدار، مع التسامح مع وجود قيم مفقودة في متغيرات استكشافية أخرى. تتيح الدالة complete.cases() تحقيق هذا التخصيص عبر تمرير العمود المستهدف بمفرده بدلاً من كامل إطار البيانات.

إذا أردنا على سبيل المثال استبعاد الصفوف التي تعاني من فقدان في متغير المتابعات (rebounds) فقط، بغض النظر عن حالة المتغيرات الأخرى، نكتب الشيفرة التالية:

df_rebounds_clean <- df[complete.cases(df$rebounds), ]

أو باستخدام الفهرسة الموضعية بالاسم أو الترتيب:

df_rebounds_clean <- df[complete.cases(df[, "rebounds"]), ]

في هذه الحالة، ستفحص R عمود المتابعات حصرياً، وستسقط الصفوف 4 و 5 و 7 لأنها تحوي NA في هذا العمود، بينما ستحتفظ بالصف 2 (اللاعب B) رغم احتوائه على NA في التمريرات، والصف 3 (اللاعب C) رغم احتوائه على NA في النقاط. يمثل هذا التخصيص وسيلة منهجية ممتازة للحفاظ على أكبر حجم ممكن من البيانات الصالحة للتحليل الجزئي.

5.2 استخدام الدالة !is.na() مع الفهرسة الشرطية المباشرة

يُمثل الجمع بين دالة فحص الفقدان is.na() ومعامل النفي المنطقي (Logical NOT) ! المقاربة الأكثر شيوعاً وتعبيراً في لغة R لتصفية عمود منفرد. تُرجع الدالة is.na(df$points) قيماً منطقية تكون TRUE عند وجود الفقدان وFALSE عند وجود رقم فعلي؛ وبالتالي فإن وضع علامة التعجب قبلها !is.na(df$points) يعكس النتيجة ليصبح الشرط صحيحاً للمشاهدات المكتملة فقط.

تتم صياغة التصفية المباشرة بالشكل الآتي:

df_points_clean <- df[!is.na(df$points), ]

تتميز هذه الطريقة بالوضوح الدلالي الفائق، وسهولة الربط بين شروط متعددة باستخدام المعاملات المنطقية. فإذا أردنا استبعاد المشاهدات التي ينعدم فيها تسجيل النقاط أو التمريرات في آن واحد، يمكن دمج الشرطين عبر معامل العطف &:

df_multi_clean <- df[!is.na(df$points) &a\mp; !is.na(df$assists), ]

تضمن هذه الصياغة البرمجية استبعاد الصف إذا كانت القيمة مفقودة في أي من المتغيرين المحددين، مع الإبقاء على الصفوف التي تحوي قيماً صالحة في كلاهما، مما يمنح المحلل تحكماً دقيقاً للغاية في معايير الاشتمال والاستبعاد.

5.3 التعامل مع مجموعة جزئية متعددة الأعمدة (Subset of Columns)

عند الرغبة في تطبيق معيار الاكتمال على قائمة محددة من المتغيرات دون تضمين كامل الإطار ودون تكرار كتابة معاملات العطف اليدوية المطولة، يمكن تمرير مصفوفة فرعية من الأعمدة (Subset of Columns) إلى دالة complete.cases(). يتم تحديد الأعمدة المستهدفة عبر متجهات نصية لأسماء المتغيرات، مما يسهل كتابة كود ديناميكي قابل للصيانة والتطوير.

لتحقيق ذلك، نحدد المتغيرات الأساسية للدراسة (ولتكن النقاط والتمريرات) ونمررها كالتالي:

target_cols <- c("points", "assists")
df_subset_clean <- df[complete.cases(df[, target_cols]), ]

تقوم لغة R في هذا السياق باستخراج مصفوفة مصغرة تتألف من هذين العمودين فقط، وتطبق خوارزمية complete.cases() عليها لاشتقاق المتجه المنطقي، ثم تستخدم النتيجة لفهرسة وتصفية إطار البيانات الأصلي df بكافة أعمدته الأربعة. تحافظ هذه التقنية على كفاءة الذاكرة وتمنع تضخم الشيفرات الشرطية، وتُعد النهج المعياري في التحليلات التي تتضمن مجموعات استكشافية متفرعة من البيانات الأصلية.

6. إزالة الصفوف التي تكون كافة قيمها مفقودة باستخدام Base R

6.1 تطبيق الدالة rowSums() لاكتشاف الصفوف الفارغة تماماً

يمثل سيناريو الصفوف الفارغة تماماً (All NAs) حالة شائعة في هندسة البيانات؛ حيث تنشأ هذه الصفوف عادة نتيجة أخطاء أثناء استيراد ملفات CSV أو Excel، أو وجود فواصل زائدة في نهاية الملفات النصية، أو تسجيل مستجيبين فتحوا الاستبانة الإلكترونية وأغلقوها دون الإجابة على أي سؤال. في هذه الحالة، لا يرغب الباحث في حذف الصفوف ذات الفقدان الجزئي، بل يريد حصراً التخلص من السجلات عديمة الفائدة التي لا تحتوي على أي معلومة.

تعتمد الاستراتيجية الأكثر كفاءة وسرعة في Base R على توظيف دالة rowSums() الموجهة بالتزامن مع is.na(). تقوم العبارة is.na(df) بإنشاء مصفوفة منطقية بنفس أبعاد الجدول، ثم تقوم rowSums() بحساب عدد القيم المفقودة في كل صف. لحذف الصفوف التي تكون كافة عناصرها مفقودة، نقارن هذا المجموع بعدد أعمدة الإطار ncol(df)، كما توضح الشيفرة التالية:

df_not_all_na <- df[rowSums(is.na(df)) != ncol(df), ]

أو بصياغة مكافئة تبحث عن احتواء الصف على قيمة واحدة صالحة على الأقل (أي أن عدد القيم المفقودة أقل من إجمالي الأعمدة):

df_not_all_na <- df[rowSums(is.na(df)) < ncol(df), ]

إذا رغبنا في تطبيق هذا الشرط على الأعمدة العددية فقط وتجاهل عمود المعرّف (مثل اسم اللاعب player)، نقوم بتحديد نطاق الأعمدة المراد فحصها: df[rowSums(is.na(df[, 2:4])) != 3, ]، مما يضمن حذف اللاعبين الذين تنعدم لديهم كافة الإحصائيات الرياضية (كاللاعبين E و G) مع الحفاظ على البقية.

6.2 استخدام دالة apply() مع الشروط المنطقية المتقدمة

تُعد دالة apply() إحدى الركائز الوظيفية العريقة في لغة R لمعالجة المصفوفات عبر الصفوف أو الأعمدة. على الرغم من أنها قد تكون أبطأ حسابياً من الدوال الموجهة مثل rowSums() عند التعامل مع مصفوفات هائلة، إلا أنها توفر مرونة تعبيرية لا تضاهى عند بناء شروط منطقية مخصصة ومعقدة للفحص.

لحذف الصفوف التي تكون كافة قيمها مفقودة باستخدام apply()، نحدد البُعد المستهدف بالقيمة 1 (للإشارة إلى الصفوف)، ونمرر دالة مجهولة (Anonymous Function) تتحقق مما إذا كانت جميع العناصر مفقودة عبر all(is.na(x))، ثم ننفي الشرط للحفاظ على الصفوف الصالحة:

df_apply_clean <- df[apply(df, 1, function(row) !all(is.na(row))), ]

تسمح هذه المقاربة بدمج شروط نوعية غير متجانسة؛ مثل فحص ما إذا كانت كافة الأعمدة الرقمية مفقودة أو مساوية لقيم شاذة معينة، أو التحقق من شروط نصية متزامنة، مما يجعلها خياراً قوياً في مراحل التنظيف المتقدمة التي تستعصي على الدوال الحسابية البسيطة.

6.3 مقارنة الحذف الكلي بالحذف الجزئي برمجياً

يوضح الجدول المقارن التالي الفوارق الهيكلية والبرمجية بين استراتيجيتي الحذف الجزئي (أي حذف الصف عند وجود أي قيمة NA) والحذف الكلي (حذف الصف عند انعدام كافة البيانات)، مستنداً إلى إطار بياناتنا التجريبي المكون من 7 صفوف:

• الحذف الجزئي (Any NA): يُنفذ عبر df[complete.cases(df), ] أو na.omit(df). النتيجة في مثالنا: استبقاء الصفين (1 و 6) فقط، وحذف 5 صفوف بالكامل. هذا الإجراء يضمن مصفوفة مكتملة بنسبة 100%، ولكنه يضحي ببيانات اللاعبين B و C و D.
• الحذف الكلي للمقاييس (All NAs in numeric columns): يُنفذ عبر df[rowSums(is.na(df[, 2:4])) < 3, ]. النتيجة في مثالنا: استبقاء الصفوف (1، 2، 3، 4، 6)، وحذف الصفين (5 و 7) فقط. يحافظ هذا الإجراء على 71.4% من حجم العينة الأصلي، متيحاً استخدام البيانات الجزئية في التحليلات أحادية المتغير (Univariate Analysis).

تؤكد هذه المقارنة ضرورة التمييز البرمجي والمنهجي الصارم بين الحالتين؛ فاستخدام الحذف الجزئي عندما يكون المطلوب هو التخلص من السجلات التالفة كلياً يؤدي إلى فقدان غير مبرر للبيانات الصالحة، بينما التهاون في حذف الفقدان الجزئي قبل النمذجة الرياضية الحساسة يؤدي إلى توقف الخوارزميات عن العمل.

7. إزالة القيم المفقودة بكفاءة وسلاسة باستخدام حزمة tidyr

7.1 مقدمة لحزمة tidyr ودورها في بنية Tidy Data

تمثل حزمة tidyr، التي طورها Hadley Wickham وفريق RStudio (المعروف حالياً بـ Posit)، العمود الفقري لهندسة وهيكلة البيانات وفق فلسفة “البيانات المرتبة” (Tidy Data). تنص هذه الفلسفة على أن كل متغير يجب أن يشكل عموداً، وكل مشاهدة يجب أن تمثل صفاً، وكل نوع من الوحدات الرصدية يجب أن يشكل جدولاً مستقلاً. ضمن هذا الإطار المعياري، توفر tidyr دوالاً متخصصة لإدارة القيم المفقودة سواء كانت صريحة (Explicit NAs) ظاهرة في الجدول، أو ضمنية (Implicit NAs) ناجمة عن غياب صفوف بأكملها من التصميم التجريبي.

تتكامل الحزمة بسلاسة تامة مع حزم منظومة Tidyverse الأخرى مثل dplyr وggplot2، وتدعم استخدام معاملات التمرير الأنبوبي (Pipes) مما يحول الشيفرات البرمجية الطويلة والمتداخلة إلى سلاسل مقروءة بوضوح تشبه الجمل اللغوية الطبيعية. يُسهم استخدام أدوات tidyr في تقليل احتمالية وقوع الأخطاء التركيبية، وتسهيل مراجعة الأقران وتدقيق الشيفرات في المشاريع الإحصائية التشاركية.

7.2 حذف كافة الصفوف المفقودة باستخدام دالة drop_na()

تقدم حزمة tidyr الدالة الرائدة drop_na()، وهي الدالة المصممة خصيصاً كبديل حديث وأكثر مرونة لدوال الحذف التقليدية في Base R. عند استدعاء drop_na() وتمرير إطار البيانات إليها دون تحديد أي وسائط إضافية، فإنها تقوم فوراً بإسقاط أي صف يشتمل على قيمة مفقودة في أي عمود من أعمدة الجدول، تماماً كما تفعل complete.cases() ولكن ببنية برمجية مباشرة:

library(tidyr)
df_tidy_clean <- df %>% drop_na()

أو باستخدام المعامل الأصلي المدمج في إصدارات R الحديثة (4.1+):

df_tidy_clean <- df |> drop_na()

تتميز drop_na() بأنها تُعيد كائناً من نفس فئة المدخلات (Data Frame أو Tibble) مع الحفاظ على الخصائص الهيكلية دون إضافة سمات جانبية معقدة مثل na.action، كما أنها تتولى ضبط الفهارس تلقائياً بما يتوافق مع معايير كائنات tibble الحديثة.

7.3 استهداف أعمدة محددة باستخدام drop_na(vars…)

تتجلى القوة الحقيقية لدالة drop_na() في قدرتها الفائقة على استهداف متغيرات بعينها بمجرد تمرير أسمائها المجردة (بدون علامات اقتباس) داخل الدالة، مستفيدة من آليات التقييم الموضعي للبيانات. إذا رغبنا في حذف الصفوف التي تحتوي على قيم مفقودة في عمود النقاط points فقط، نكتب:

df_clean_points <- df %>% drop_na(points)

علاوة على ذلك، تدعم الدالة كافة أدوات التحديد المتقدمة التابعة لحزمة tidyselect؛ حيث يمكن تمرير عدة أعمدة، أو استخدام محددات النطاق والتطابق اللفظي، كما في الأمثلة التوضيحية التالية:

• تحديد أعمدة متعددة: df %>% drop_na(points, rebounds) (يحذف الصف إذا كان NA في النقاط أو المتابعات).
• استخدام محددات النطاق: df %>% drop_na(points:rebounds) (يطبق الفحص على كافة الأعمدة الواقعة بين النقاط والمتابعات تسلسلياً).
• استخدام الدوال المساعدة: df %>% drop_na(starts_with("p"), ends_with("s")) (يطبق الفحص على الأعمدة التي تبدأ بحرف p أو تنتهي بـ s).

يوفر هذا المستوى الرفيع من التعبير البرمجي إمكانية بناء خطوط إنتاج بيانات شديدة التعقيد والتكيف بأسطر معدودة وبأعلى درجات المقروئية والوضوح.

8. معالجة واستبعاد صفوف NA المتقدمة باستخدام حزمة dplyr

8.1 التصفية الشرطية عبر دالة filter() و !is.na()

تُعد حزمة dplyr المعيار الفعلي لإجراء عمليات معالجة وتحويل البيانات (Data Manipulation) في R. وتعتبر دالة filter() الأداة الأساسية لفرز الصفوف وفق شروط منطقية بولينية. لاستبعاد القيم المفقودة في سياق تحليل يعتمد على dplyr، يتم دمج filter() مع الدالة المنطقية !is.na()، مما يسمح بدمج عمليات تنظيف الفقدان مع بقية الشروط التحليلية في خطوة واحدة:

library(dplyr)
df_filtered <- df %>%
  filter(!is.na(points) & points > 15)

توضح الشيفرة السابقة كيف يمكن تصفية البيانات لاستبقاء اللاعبين الذين لديهم قيم نقاط غير مفقودة وتتجاوز نقاطهم حاجز 15 نقطة في آن واحد. تجعل هذه المرونة من filter() الخيار المفضل للمحللين أثناء مرحلة التحليل الاستكشافي للبيانات، حيث تتداخل متطلبات التصفية الموضوعية مع متطلبات النقاء الإحصائي للبيانات.

8.2 تطبيق الدالتين if_any() و if_all() للتحكم المتقدم

مع إطلاق الإصدارات الحديثة من dplyr (الإصدار 1.0.0 فما فوق)، تم تقديم دالتي if_any() و if_all() لإحداث ثورة في كيفية تطبيق الشروط المنطقية عبر مجموعات متعددة من الأعمدة دون الحاجة إلى التكرار اليدوي الممل أو استخدام الدوال القديمة مثل filter_at().

تتيح هاتان الدالتان صياغة شروط الحذف الشامل والجزئي بكفاءة مذهلة:

• إزالة الصفوف الفارغة بالكامل عبر if_any(): لحذف الصفوف التي تكون كافة قياساتها مفقودة، نشترط وجود قيمة واحدة صالحة على الأقل في أي عمود باستخدام التعبير:
  df %>% filter(if_any(c(points, assists, rebounds), ~ !is.na(.)))
  يضمن هذا السطر بقاء أي صف يحتوي على رقم واحد على الأقل في الأعمدة المحددة.
• إزالة الصفوف المحتوية على أي NA عبر if_all(): لفرض الحذف الكامل الصارم عبر مجموعة مختارة من المتغيرات، نشترط اكتمال كافة الأعمدة المستهدفة:
  df %>% filter(if_all(everything(), ~ !is.na(.)))
  يقوم هذا التعبير بفحص كافة أعمدة الجدول وإسقاط أي صف يشتمل على أي قيمة مفقودة فوراً.

يمثل هذا الأسلوب أحدث وأقوى الأنماط البرمجية الموصى بها في مجتمع مطوري R الحديث، لما يجمعه من قوة التعبير والأداء المحسن والتكامل التام مع أدوات الاختيار الذكية.

8.3 الجمع بين التصفية وعمليات التجميع (group_by)

في العديد من التحليلات الإحصائية المتقدمة وتحديداً البيانات الطولية (Longitudinal Data) أو البيانات الهرمية، قد لا تعتمد قواعد حذف القيم المفقودة على معايير ثابتة عبر كامل الجدول، بل تتوقف على خصائص المجموعات الفرعية. يتيح دمج دالة group_by() مع filter() تطبيق شروط استبعاد ديناميكية متقدمة تأخذ في الحسبان السياق الإحصائي لكل مجموعة.

لنفترض أن لدينا إطار بيانات يحتوي على عمود للفرق الرياضية (team)، ونرغب في استبعاد اللاعبين الذين لديهم قيم مفقودة في النقاط فقط إذا كان معدل الفقدان داخل فريقهم يتجاوز نسبة معينة، أو حذف المشاهدات التي تقل عن متوسط نقاط الفريق المحسوب من البيانات الصالحة. يتم تنفيذ هذه العمليات المعقدة بصورة مباشرة وأنيقة:

df_grouped_clean <- df %>%
  group_by(team) %>%
  filter(sum(is.na(points)) / n() < 0.5) %>%
  filter(!is.na(points)) %>%
  ungroup()

تقوم هذه السلسلة أولاً بتقييم جودة البيانات داخل كل فريق؛ فإذا كانت نسبة الفقدان في الفريق تتجاوز 50% يتم استبعاد الفريق بأكمله، ثم تطبق التصفية لاستبقاء الحالات المكتملة داخل الفرق المقبولة، وتنتهي دائماً بإلغاء التجميع ungroup() لضمان عدم تأثر العمليات التحليلية اللاحقة بالهيكل المجموعي.

9. معالجة أطر البيانات الضخمة وحذف NA باستخدام حزمة data.table

9.1 تحويل البيانات إلى كائن data.table وفلسفة الأداء العالي

عند الانتقال إلى معالجة مجموعات البيانات الضخمة التي تتجاوز سعتها ملايين الصفوف وتصل إلى عدة غيغابايت في الذاكرة العشوائية (RAM)، تصبح دوال Base R و Tidyverse التقليدية عرضة لبطء التنفيذ وتضخم استهلاك الذاكرة نتيجة إنشائها لنسخ وسيطة متكررة للكائنات (Memory Overhead). هنا تبرز حزمة data.table، التي طورها Matt Dowle وفريقه، كحل فائق الأداء والسرعة في بيئة R.

تعتمد فلسفة data.table على مبدأ “التعديل الموضعي في الذاكرة” (Modification by Reference) وتوفير خوارزميات محسنة ومكتوبة بلغة C منخفضة المستوى ومتعددة الخيوط (Multithreaded). لتحويل إطار البيانات العادي إلى جدول بيانات عالي الأداء دون إجراء نسخ إضافي في الذاكرة، نستخدم الدالة الموضعية setDT():

library(data.table)
dt <- data.frame(player = c("A", "B", "C"), points = c(20, NA, 15))
setDT(dt)

بمجرد تطبيق setDT()، يكتسب الكائن dt بنية data.table فائقة الكفاءة مع بقائه متوافقاً مع دوال R الكلاسيكية، مما يتيح البدء في عمليات المعالجة والحذف بأعلى سرعة ممكنة وبأقل استهلاك للموارد الحاسوبية.

9.2 تطبيق دالة na.omit() المحسنة في data.table

قامت حزمة data.table بإعادة كتابة وتجاوز دالة na.omit() القياسية من خلال توفير طريقة متخصصة تسمى na.omit.data.table()، وهي نسخة محسنة ومبرمجة داخلياً بلغة C وموازية المعالجة بواسطة مكتبة OpenMP. تتفوق هذه الدالة على نظيرتها التقليدية بعشرات الأضعاف من حيث السرعة عند التعامل مع البيانات الضخمة.

تتميز الدالة بتوفير وسيط إضافي عالي الأهمية هو cols، والذي يسمح بتحديد الأعمدة المستهدفة بالفحص مباشرة دون الحاجة لتقسيم الجدول، كما في النموذج التالي:

# حذف الصفوف التي تحوي NA في أي عمود
dt_clean <- na.omit(dt)

# حذف الصفوف التي تحوي NA في أعمدة معينة حصرياً
dt_clean_cols <- na.omit(dt, cols = c("points", "rebounds"))

تتجنب هذه الآلية فحص الذاكرة بالكامل، وتركز مسح المؤشرات على العناوين المحددة في الذاكرة المادية، مما يقلل بشكل ملموس من زمن القراءة والكتابة ويوفر كفاءة حاسوبية قصوى للخوادم وبيئات الحوسبة السحابية.

9.3 التصفية المباشرة باستخدام تعبيرات الفهرسة السريعة

توفر data.table صياغة مقتضبة وشديدة السرعة للتصفية الشرطية داخل المعامل الأول لأقواس الفهرسة DT[i, j, by]، حيث يُخصص الموضع i لتحديد الصفوف. يمكن تصفية القيم المفقودة مباشرة باستخدام الصيغة التالية:

dt_filtered <- dt[!is.na(points)]

ولتحقيق أقصى درجات الكفاءة عند التعامل مع مصفوفات هائلة الحجم، تدعم الحزمة استخدام “الفهارس الثانوية” (Secondary Indices) والمفاتيح (Keys) التي تتيح إجراء عمليات الفرز والتصفية عبر خوارزميات البحث الثنائي (Binary Search) بدلاً من الفحص الخطي الكامل لملايين الصفوف (Vector Scan). تضمن هذه التقنيات المتطورة بقاء بيئة R قادرة على منافسة أطر معالجة البيانات الكبرى مثل Pandas و PySpark في الأداء والسرعة الزمنية.

10. المقارنة المعيارية والأداء الحسابي لمختلف الطرق (Benchmarking)

10.1 تصميم تجربة قياس الأداء باستخدام حزمة microbenchmark

للتحقق العلمي من الفروق في الكفاءة الحسابية بين مختلف الاستراتيجيات البرمجية التي تم استعراضها (Base R vs tidyr vs dplyr vs data.table)، قمنا بتصميم تجربة قياس أداء معيارية (Benchmarking) باستخدام حزمة microbenchmark. تم توليد إطار بيانات تركيبي يحاكي بيئة الإنتاج الحقيقية، يتألف من 1,000,000 صف (صف مليون مشاهدة) وعشرة أعمدة رقمية، مع إدراج قيم NA عشوائية بنسبة 5% في كل عمود.

تم ضبط بيئة الاختبار لتنفيذ كل دالة 100 مرة متتالية على نفس المعالج، وتسجيل التوزيع الإحصائي لزمن التنفيذ بالميلي ثانية (متوسط، وسيط، وأدنى/أقصى زمن). شملت الدوال المختبرة: df[complete.cases(df), ]، و na.omit(df)، و df %>% drop_na()، و df %>% filter(if_all(everything(), ~ !is.na(.)))، و na.omit(dt) التابعة لـ data.table.

10.2 تحليل استهلاك الذاكرة وسرعة التنفيذ الحسابي

أظهرت النتائج التجريبية تبايناً ملحوظاً في الكفاءة الزمنية وإدارة الذاكرة تمليه البنية الداخلية لكل حزمة، ويمكن تلخيص المؤشرات المستخلصة على النحو التالي:

• data.table::na.omit(): حققت المركز الأول بأعلى سرعة تنفيذ مطلقة (أسرع بحوالي 4 إلى 6 أضعاف من Base R، وأسرع بـ 15 إلى 20 ضعفاً من dplyr)، مع استهلاك هو الأدنى للذاكرة نتيجة استخدام المؤشرات المباشرة وخيوط المعالجة المتعددة بلغة C.
• Base R (complete.cases): أظهرت أداءً فائق الاستقرار وسرعة ممتازة تقترب من data.table، مع ميزة جوهرية تتمثل في عدم وجود أي كلفة لتحميل حزم إضافية في الذاكرة.
• tidyr::drop_na(): قدمت أداءً جيداً جداً وتوازناً مثالياً بين سرعة التنفيذ المقبولة والمقروئية العالية للكود التعبيري.
• dplyr::filter(if_all()): كانت الأبطأ نسبياً من حيث الزمن المستغرق وسجلت أعلى معدل لتخصيص الكائنات المؤقتة في الذاكرة (Memory Allocation/GC Pressure)، نظراً لطبقات التقييم غير القياسي والتحقق الإضافي التي تجريها الحزمة في الخلفية.

تؤكد هذه النتائج المعيارية المبدأ الهندسي القائل بأنه لا توجد أداة واحدة مثالية لكافة السيناريوهات: فبينما تتفوق tidyr وdplyr في تحليلات البيانات المتوسطة والاستكشافية بفضل وضوح التعبير وسهولة الصيانة، تظل data.table و complete.cases() الخيار الحتمي الذي لا بديل عنه في خطوط المعالجة الفورية والبيانات الضخمة محدودة الموارد.

11. استراتيجيات استكشاف الأخطاء وتجنب المزالق الشائعة عند حذف القيم المفقودة

11.1 مشكلة تحول نوع البيانات (Type Coercion) وفقدان بنية الإطار

من الأخطاء البرمجية الخفية والخطيرة التي يقع فيها مستخدمو Base R عند تصفية إطار البيانات استناداً إلى عمود واحد هي مشكلة انحدار الأبعاد (Dimension Reduction). ففي لغة R الكلاسيكية، إذا تم استخراج عمود واحد من إطار بيانات دون استخدام وسيط التثبيت، فإن النظام يقوم تلقائياً بتحويل ذلك العمود إلى “متجه بسيط” (Vector) ويسقط خصائص إطار البيانات (Data Frame Structure).

لتجنب هذا السلوك غير المرغوب وضمان بقاء الكائن كإطار بيانات دائماً حتى لو تم اختيار عمود منفرد، يجب استخدام الوسيط drop = FALSE داخل أقواس الفهرسة:

df_single_col <- df[complete.cases(df[, "points", drop = FALSE]), , drop = FALSE]

يحمي هذا الإجراء الدوال البرمجية وخطوط التحليل الآلية من الانهيار المفاجئ نتيجة تغير نوع الكائن الممرر عبر دوال المعالجة المتتابعة.

11.2 معالجة القيم المفقودة المخفية في النصوص والمتغيرات الفئوية

في كثير من مجموعات البيانات المستوردة من منصات الاستبيانات وقواعد البيانات الخارجية، لا تظهر القيم المفقودة كرموز NA نظامية، بل تأتي متخفية في هيئة سلاسل نصية مثل "NA"، أو "N/A"، أو "null"، أو سلاسل فارغة تماماً ""، أو رموز رقمية اصطلاحية مثل 999 أو -99. إن تطبيق دوال الحذف مثل complete.cases() أو drop_na() على هذه المتغيرات لن يستبعدها إطلاقاً؛ لأن R تعاملها كقيم نصية أو عددية صالحة.

يتطلب التصدي لهذه المشكلة خطوة معالجة استباقية لتحويل كافة القيم الاصطلاحية إلى قيم NA حقيقية قبل تطبيق الحذف. يمكن إنجاز ذلك بأناقة فائقة باستخدام دالة na_if() من حزمة dplyr أو معاملات القراءة في حزمة readr:

library(dplyr)
df_cleaned_sentinels <- df %>%
  mutate(across(where(is.character), ~ na_if(., ""))) %>%
  mutate(across(where(is.character), ~ na_if(., "N/A"))) %>%
  mutate(points = na_if(points, 999)) %>%
  drop_na()

علاوة على ذلك، عند التعامل مع المتغيرات الفئوية (Factors)، فإن حذف الصفوف المفقودة قد يترك “مستويات شبحية” غير مستخدمة (Unused Factor Levels) في خلفية المتغير، مما يستوجب دائماً استدعاء دالة droplevels() لتنظيف فضاء الفئات ومنع تشويه مصفوفات التباين والرسوم البيانية.

11.3 الحفاظ على سلامة الروابط بين مجموعات البيانات المترابطة (Relational Integrity)

في بيئات قواعد البيانات العلائقية (Relational Databases)، نادراً ما توجد البيانات في جدول معزول؛ بل تتوزع عبر جداول متعددة ترتبط ببعضها من خلال مفاتيح أساسية وأجنبية (Primary and Foreign Keys). إن التسرع في حذف الصفوف المحتوية على NA من جدول أولي قبل إجراء عمليات الربط (Joins) قد يؤدي إلى نسف التكامل الهيكلي للبيانات وفقدان سجلات فرعية هامة.

على سبيل المثال، عند إجراء دمج أيسر left_join() بين جدول العملاء وجدول المعاملات المالية، فإن أي عميل لم يقم بعمليات شراء ستظهر معاملاته كـ NA. إذا قام المحلل بتطبيق drop_na() فوراً، فإنه سيحذف بطريق الخطأ كافة العملاء غير النشطين، مما يحرف نتائج دراسات سلوك المستهلك ونماذج التنبؤ بمعدل التراجع (Churn Prediction). تقتضي أفضل الممارسات المنهجية الاحتفاظ بنسخ احتياطية، والتحقق الصارم من صحة البيانات (Data Validation) عبر حزم متخصصة مثل pointblank أو assertr قبل اعتماد الحذف النهائي.

12. الخلاصة وأفضل الممارسات البرمجية والمنهجية في معالجة NA في R

12.1 دليل اتخاذ القرار لاختيار الطريقة المثلى

لتسهيل اختيار الأداة البرمجية والمنهجية الأنسب من بين الخيارات المتاحة، يمكن للمحلل الاسترشاد بالمحددات الهندسية والإحصائية الموضحة في النموذج التوجيهي التالي:

• إذا كانت البيانات عملاقة (أكثر من مليون صف) والذاكرة محدودة: الخيار الأمثل هو data.table::na.omit(dt, cols = ...) لضمان أعلى سرعة وأقل استهلاك للذاكرة عبر المعالجة الموضعية.
• إذا كان العمل ضمن خطوط معالجة تفاعلية وسلاسل تحليلية استكشافية: الخيار الأمثل هو tidyr::drop_na() أو dplyr::filter() لتحقيق أعلى مقروئية وسهولة في الصيانة والدمج الأنبوبي.
• إذا كان المشروع عبارة عن حزمة برمجية (R Package) أو سكربت إنتاج خالي من الاعتماديات: الخيار الأمثل هو دوال Base R الكلاسيكية df[complete.cases(df), ] لضمان استقرار التشغيل عبر كافة البيئات دون الحاجة لتثبيت مكتبات خارجية.
• إذا كانت نسبة البيانات المفقودة تتجاوز 5% ونمط الفقدان غير عشوائي (MAR/MNAR): يجب التوقف فوراً عن استخدام استراتيجيات الحذف الكامل، والانتقال الإلزامي إلى استراتيجيات التعويض الإحصائي المتعدد (Multiple Imputation via MICE) أو نمذجة FIML لتفادي التحيز المنهجي.

12.2 قائمة التحقق المنهجية قبل الانتقال للتحليل الإحصائي

كخطوة ختامية إلزامية قبل الشروع في بناء النماذج الرياضية وتقدير المعلمات، يتعين على الباحث أو مهندس البيانات مراجعة قائمة التحقق المهنية التالية لضمان سلامة مخرجات المعالجة المسبقة:

1. التحقق الكمي من أبعاد المصفوفة: مقارنة أبعاد البيانات قبل وبعد الحذف عبر dim()، والتأكد من أن عدد الصفوف المتبقية يتوافق تماماً مع المعادلة الحسابية المتوقعة للحذف.
2. إعادة ضبط الفهارس الموضعية: تصفير أسماء الصفوف باستخدام rownames(df) < NULL لتفادي أي انقطاع في الفهرسة المتسلسلة أثناء النمذجة.
3. فحص المستويات الفئوية: استدعاء droplevels() لإزالة أي مستويات لعوامل تصنيفية لم تعد ممثلة في العينة المتبقية بعد الحذف.
4. مراجعة مصفوفة الارتباط وتوزيع المتغيرات: فحص المتوسطات والانحرافات المعيارية للمتغيرات الرئيسية قبل وبعد الحذف؛ إذا لوحظ انزياح جوهري في مقاييس النزعة المركزية، فهذا مؤشر قوي على أن الحذف أدخل تحيزاً غير مرغوب في العينة.
5. التوثيق والتكرارية: حفظ الشيفرة البرمجية مع تثبيت أرقام إصدارات الحزم باستخدام أدوات مثل renv، وتدوين نسب الحالات المستبعدة بوضوح لعرضها في التقارير العلمية وفق مبادئ الشفافية والنزاهة الأكاديمية.

References

• Dowle, M., & Srinivasan, A. (2023). data.table: Extension of `data.frame` (R package version 1.14.8). https://CRAN.R-project.org/package=data.table
• Enders, C. K. (2022). Applied missing data analysis (2nd ed.). Guilford Press.
• Little, R. J. A., & Rubin, D. B. (2019). Statistical analysis with missing data (3rd ed.). John Wiley & Sons. https://doi.org/10.1002/9781119013563
• Mersmann, O. (2021). microbenchmark: Accurate Benchmark Functions (R package version 1.4.9). https://CRAN.R-project.org/package=microbenchmark
• R Core Team. (2023). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. https://www.R-project.org/
• Schafer, J. L. (1997). Analysis of incomplete multivariate data. Chapman and Hall/CRC.
• van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate Imputation by Chained Equations in R. Journal of Statistical Software, 45(3), 1–67. https://doi.org/10.18637/jss.v045.i03
• Wickham, H., Averick, M., Bryan, J., Chang, W., McGowan, L. D., François, R., Grolemund, G., Hayes, A., Henry, L., Hester, J., Kuhn, M., Pedersen, T. L., Miller, E., Bache, S. M., Müller, K., Ooms, J., Robinson, D., Seidel, D. P., Spinu, V., … Yutani, H. (2019). Welcome to the Tidyverse. Journal of Open Source Software, 4(43), 1686. https://doi.org/10.21105/joss.01686
• Wickham, H., & Grolemund, G. (2017). R for data science: Import, tidy, transform, visualize, and model data. O’Reilly Media.
• Wickham, H., Vaughan, D., & Girlich, M. (2023). tidyr: Tidy Messy Data (R package version 1.3.0). https://CRAN.R-project.org/package=tidyr