برمجة بايثونتحليل البياناتعلم البيانات

كيفية تحديد الصفوف التي تحتوي على قيم NaN في بانداس (مع أمثلة)

دليل أكاديمي وتطبيقي شامل يشرح كيفية تحديد وتصفية الصفوف التي تحتوي على قيم NaN في مكتبة بانداس (Pandas) عبر مختلف الطرق والأمثلة العملية البرمجية.

تاريخ النشر

تعتبر معالجة البيانات المفقودة ركناً أساسياً لا غنى عنه في خطوط أنابيب علم البيانات وهندسة التعلم الآلي، حيث تمثل جودة البيانات المدخلة المحدد الجوهري لدقة النماذج الإحصائية وموثوقيتها التنبؤية. في بيئة الحوسبة التحليلية للغة بايثون، تبرز مكتبة بانداس (Pandas) كأداة معيارية فائقة القوة لإدارة وهيكلة وتحليل البيانات المجدولة. ومع ذلك، يواجه المحللون والمهندسون تحدياً دائماً يتمثل في وجود فجوات عددية وقيم غائبة يُعبر عنها برمجياً بالرمز NaN (Not a Number)، والتي تنشأ نتيجة تشوهات الإدخال، أو عيوب النقل عبر الشبكات، أو أخطاء التجميع والدمج، أو طبيعة الظاهرة المدروسة ذاتها.

إن الخطوة الأولى والجوهرية في التعامل مع هذه الفجوات لا تقتصر على الحذف الفوري أو التعويض التلقائي للبيانات، بل تتطلب منهجية استكشافية متقدمة ترتكز على تحديد وعزل وفحص الصفوف التي تحتضن هذه القيم المفقودة بدقة متناهية. يتيح عزل السجلات غير المكتملة للمحلل فهم وتحديد آلية الفقدان الإحصائي، وتقييم ما إذا كان غياب المعلومة يتبع نمطاً عشوائياً بحتاً أم ينطوي على دلالات نظامية قد يؤدي تجاهلها إلى انحياز كارثي في الاستنتاجات، فضلاً عن حماية خوارزميات الاستدلال الرياضي التي تبدي حساسية مفرطة تجاه المدخلات غير المعرفة.

يهدف هذا الدليل الأكاديمي الشامل إلى تقديم تفكيك منهجي وتطبيقي عميق لكافة آليات واستراتيجيات تحديد واختيار الصفوف التي تحتوي على قيم NaN في مكتبة بانداس. سنستعرض عبر هذا المقال التشريح الرياضي والبرمجي لكيفية تمثيل البيانات الغائبة، ونبني مجموعة بيانات مرجعية تحاكي الواقع التطبيقي، ثم نتناول بالشرح والتحليل المقارن مختلف التقنيات البرمجية من الأقنعة المنطقية البسيطة، مروراً بالتجميعات المحورية المتقدمة والتصفية بالعتبات، وصولاً إلى دراسة الأداء الحسابي وتحسين الذاكرة والتكامل المؤسسي مع خطوط الإنتاج البرمجية المتطورة.

جدول المحتويات

1. مقدمة تأصيلية حول تمثيل القيم المفقودة (NaN) في مكتبة بانداس (Pandas)

1.1 المفهوم الرياضي والبرمجي لقيم NaN ومقارنتها بقيم None

يستند تمثيل القيمة المفقودة في الحوسبة الحديثة بصفة عامة، وفي مكتبتي نومباي (NumPy) وبانداس بصفة خاصة، إلى المعيار الدولي المعنون بـ IEEE 754 والمخصص لتنظيم الحسابات المتعلقة بالأرقام العشرية ذات الفاصلة العائمة (Floating-Point Arithmetic). وفقاً لهذا المعيار الهندسي الصارم، تُعرّف القيمة NaN (اختصاراً لعبارة Not a Number) بأنها نمط بتّي خاص ومحدد يُستخدم للدلالة على العمليات الحسابية غير المعرفة أو المستحيلة رياضياً، مثل قسمة الصفر على الصفر، أو محاولة استخراج الجذر التربيعي لعدد سالب ضمن فضاء الأعداد الحقيقية. وقد تبنت المكتبات الحسابية في بايثون هذا التمثيل ليكون الرمز القياسي المعبر عن البيانات العددية الغائبة، مما أتاح الاستفادة من سرعة وكفاءة العمليات المصفوفية المنفذة على مستوى المعالجات المركزية دون الحاجة إلى معالجات برمجية وسيطة مكلفة زمنياً.

من الناحية المعمارية، يجب التمييز الدقيق بين كائن بايثون الأصلي None وقيمة الفاصلة العائمة np.nan. يمثل الكائن None كائناً أحادياً مستقلاً (Singleton Object) ينتمي إلى النوع NoneType، وهو يشير برمجياً إلى غياب القيمة أو انعدام الإسناد في الذاكرة على مستوى لغة بايثون العامة، ويترتب على استخدامه داخل هياكل البيانات المتجانسة عبء تشغيلي كبير يتمثل في تحويل المصفوفة إلى مصفوفة كائنات عامة (Object Dtype)، الأمر الذي يعطل آليات الحوسبة المتجهية (Vectorized Operations) ويؤدي إلى هبوط حاد في كفاءة المعالجة. على النقيض من ذلك، فإن np.nan هي قيمة عددية تتبع النمط العشري float، مما يسمح بحفظ البيانات في مصفوفات عددية متصلة بالذاكرة والاستفادة من تسريع تعليمات الحوسبة المتقدمة.

يكمن السلوك الأكثر إثارة وغرابة لقيم NaN الرياضية في خصائصها المنطقية؛ إذ تفيد المواصفة القياسية للمعيار IEEE 754 بأن قيمة NaN لا تتساوى أبداً مع أي قيمة أخرى، بما في ذلك نفسها. ومن ثم، فإن التعبير المنطقي المقارن np.nan == np.nan يُرجع دائماً القيمة المنطقية الزائفة False. هذا السلوك المنطقي الاستثنائي يجعل آليات الفحص التقليدية، مثل استخدام معامل المساواة المباشر ==، تفشل تماماً في اكتشاف القيم المفقودة أو عزل الصفوف المشتملة عليها، ويفرض حتمية الاعتماد على دوال تفقد بنيوية مخصصة قادرة على قراءة الخصائص البتية للقيم واستبيان حالتها دون الوقوع في شرك المقارنة الصفرية المنطقية.

1.2 أسباب ظهور وتوليد القيم المفقودة في مجموعات البيانات الواقعية

لا تنشأ مجموعات البيانات في معزل عن اضطرابات البيئة الفيزيائية والتقنية والاجتماعية التي تُجمع من خلالها، مما يجعل وجود القيم المفقودة سمة هيكلية لا تكاد تخلو منها أي دراسة تطبيقية. من أبرز هذه الأسباب في السياقات الهندسية والصناعية هو حدوث أعطال مفاجئة في مجسات القياس وأجهزة الاستشعار أثناء فترات التسجيل الميداني، كأن تتعرض محطة رصد مناخي لخلل كهربائي مؤقت يؤدي إلى انقطاع تدفق قراءات سرعة الرياح أو الرطوبة النسبية لفترة زمنية محددة، أو تداخل الإشارات اللاسلكية في شبكات إنترنت الأشياء، مما ينتج عنه سجلات تحوي أزمنة ومواقع صحيحة ولكن بمتغيرات فيزيائية مفقودة لا يمكن استرجاعها إلا عبر التقدير الرياضي اللاحق.

علاوة على التحديات الفيزيائية، تتولد القيم المفقودة بصورة برمجية ممنهجة جراء العمليات التحويلية التي يُجريها علماء البيانات أنفسهم، ومن أبرزها عمليات دمج ومطابقة الجداول (Table Joining and Merging). فعند تطبيق عملية الضم الخارجي (Outer Merge) أو الضم الأيسر (Left Merge) بين إطاري بيانات غير متطابقين تماماً في المفاتيح المشتركة، تقوم مكتبة بانداس آلياً بحقن قيم NaN في الأعمدة التابعة للسجلات التي لم تجد ما يقابلها في الجدول المدمج، وذلك بهدف الحفاظ على شمولية السجلات ومنع فقدان البيانات المرتبطة بمفاتيح أحادية الطرف. وبالمثل، تنتج عمليات إعادة التشكيل الفهرسي (Reindexing) ونشر الجداول المحورية (Pivoting) فجوات مماثلة عندما تتقاطع فئات تصنيفية لا تحتوي على مشاهدات فعلية مقترنة بها.

أما في العلوم الاجتماعية والبحوث الطبية والدراسات السلوكية المعتمدة على المسوح والاستبانات، فإن العامل البشري يُشكل الرافد الأكبر لتوليد السجلات الناقصة. يمتنع المبحوثون في كثير من الأحيان عن الإجابة على أسئلة تتسم بالحساسية الشخصية مثل الدخل المالي، أو المعتقدات الأيديولوجية، أو التاريخ المرضي لبعض الحالات المزمنة، مما يخلق ظاهرة “عدم استجابة العنصر” (Item Nonresponse). بالإضافة إلى ذلك، قد تتضمن استمارات المسح تفريعات شرطية تجعل بعض الأسئلة غير منطقية التطبيق على شرائح معينة من العينة، مما يدفع الأنظمة البرمجية إلى تسجيل تلك الحقول كقيم غير متوفرة تتطلب معالجة منهجية خاصة لعزلها عن حالات الفقدان غير المبرر.

1.3 أهمية عزل وتحديد الصفوف غير المكتملة قبل التحليل الإحصائي

يمثل التحديد الدقيق للصفوف غير المكتملة وعزلها خطوة حاسمة لضمان النزاهة الإحصائية للنتائج التحليلية؛ إذ إن التعامل العشوائي أو الإسقاط غير المدروس للبيانات يمكن أن يترتب عليه تشويه جسيم لمقاييس النزعة المركزية (كالمتوسط الحسابي، والوسيط، والمنوال) ومقاييس التشتت (كالتباين والانحراف المعياري). فعلى سبيل المثال، إذا كانت القيم المفقودة تتركز في السجلات ذات الدخول المرتفعة، فإن حساب متوسط الدخل بناءً على الصفوف المكتملة فقط سيقود حتماً إلى تقدير متحيز بانحراف سلبي عن الواقع الحقيقي للمجتمع المدروس، الأمر الذي يفسد مخرجات النمذجة الاقتصادية ويوجه صانعي القرار نحو استنتاجات خاطئة تماماً.

من منظور النمذجة الرياضية وخوارزميات تعلم الآلة، تشترط معظم الحزم البرمجية الشائعة مثل Scikit-Learn استقبال مصفوفات عددية متجانسة وخالية تماماً من أي قيم غير معرفة؛ حيث إن وجود قيمة NaN واحدة داخل متجه السمات (Feature Vector) لأحد الصفوف كفيل بتعطيل عملية حساب جداء المصفوفات، أو توليد خطأ استثنائي صريح أثناء تدريب نماذج الانحدار الخطي، أو الشبكات العصبية الاصطناعية، أو آلات المتجهات الداعمة. لذلك، يعد استخراج الصفوف المعيبة خطوة تشخيصية لازمة تسبق إما معالجة هذه الفجوات عبر أساليب التعويض، أو استبعاد السجلات المتضررة بصورة مقننة لا تخل بالتوزيع الاحتمالي للبيانات.

تكتسب عملية الفحص والعزل أهمية إضافية في سياق تقييم جودة البيانات والتشخيص الإحصائي لطبيعة الفقدان (Missing Data Mechanisms). يتطلب البحث المنهجي التحقق مما إذا كان الفقدان يتبع نمط الفقدان العشوائي بالكامل (Missing Completely at Random – MCAR)، أو الفقدان العشوائي المشروط بمتغيرات أخرى (Missing at Random – MAR)، أو الفقدان غير العشوائي الناشئ عن المتغير المفقود ذاته (Missing Not at Random – MNAR). لا يمكن الإجابة على هذه الفرضيات وفحص مصفوفات الارتباط بين المتغيرات المكتملة والمتغيرات الناقصة دون استخلاص السجلات التي تشتمل على الفجوات أولاً، وتحويل أنماط التواجد والغياب إلى متغيرات مؤشرية تخضع للتحليل الاستكشافي المتقدم.

2. إعداد بيئة العمل وإنشاء إطار البيانات النموذجي (DataFrame)

2.1 استيراد المكتبات الأساسية وضبط خيارات العرض

تبدأ أي بيئة عمل متخصصة في تحليل البيانات بالتهيئة المنهجية لمكتبات الحوسبة المعتمدة؛ حيث نقوم باستيراد مكتبة بانداس تحت الاسم المستعار القياسي pd ومكتبة نومباي تحت الاسم np. يضمن هذا التوافق الإجرائي الالتزام بأفضل الممارسات المتبعة عالمياً ويسهل تبادل الشفرات البرمجية وإعادة إنتاجها عبر الفرق البحثية. قبل الشروع في بناء أو تحميل أطر البيانات، تبرز الحاجة إلى تهيئة خيارات العرض البرمجية الخاصة ببانداس من خلال الدالة pd.set_option()، وذلك للتحكم في كيفية إظهار البيانات في مخرجات الطرفية أو بيئات الدفاتر التفاعلية، كدفاتر جوبيتر (Jupyter Notebooks).

يساعد ضبط معلمات النظام مثل display.max_rows وdisplay.max_columns وdisplay.width في منع بتر واختصار الأعمدة والصفوف التي تتضمن قيماً مفقودة، مما يتيح للمحلل الحصول على رؤية بصرية كاملة وتفصيلية لهياكل البيانات المستخلصة. بالإضافة إلى ذلك، يعد فحص إصدارات البرمجيات خطوة بالغة الأهمية لتفادي مشكلات التوافقية الرجعية، خاصة في ظل التحولات الكبيرة التي شهدتها مكتبة بانداس بدءاً من الإصدار الثاني (Pandas 2.0+)، والتي قدمت دعماً محسناً لمحركات التخزين الخلفية المبنية على صيغة Apache Arrow، والأنواع البيانية التي تدعم غياب القيم بصورة أصلية دون إجبار البيانات الصحيحة على التحول إلى بيانات عشرية.

فيما يلي الشفرة البرمجية التأسيسية التي تحقق هذا الغرض:

import pandas as pd
import numpy as np
# ضبط معلمات العرض لضمان إظهار كافة التفاصيل التحليلية
pd.set_option('display.max_rows', 100)
pd.set_option('display.max_columns', 10)
pd.set_option('display.width', 1000)
# توثيق الإصدارات لضمان موثوقية العمليات البرمجية
print(f"إصدار مكتبة بانداس: {pd.__version__}")
print(f"إصدار مكتبة نومباي: {np.__version__}")

2.2 بناء إطار البيانات المرجعي للتطبيق العملي

لضمان أن تظل كافة التطبيقات والشروحات البرمجية الواردة في هذا المرجع متسقة وواضحة، سنقوم بإنشاء إطار بيانات نمطي مرجعي يعبر عن إحصائيات الأداء الرياضي لعدد من فرق ولاعبي كرة السلة. يتضمن هذا الإطار مجموعة متنوعة من المتغيرات، تجمع بين البيانات الفئوية النصية مثل اسم الفريق (team)، والبيانات العددية المستمرة والمنفصلة مثل النقاط المسجلة (points)، والتمريرات الحاسمة (assists)، والكرات المرتدة المستحوذ عليها (rebounds).

تم توزيع قيم np.nan بصورة متعمدة ومدروسة للغاية في مواقع استراتيجية داخل الجدول؛ حيث تم تضمين صفوف مكتملة تماماً لتمثيل الحالات المعيارية، وصفوف تحتوي على فقدان مفرد في عمود واحد، وصفوف تجمع بين فقدان متعدد في أكثر من عمود، بالإضافة إلى حقن صف يحتوي على فقدان شامل في كافة المتغيرات العددية، وصف آخر خالٍ تماماً حتى من الاسم الفئوي. يسمح هذا التوزيع الهندسي الشامل باختبار وتقييم كافة سيناريوهات التصفية الشرطية التي سنناقشها لاحقاً دون الحاجة إلى تغيير هيكل البيانات في كل مرحلة.

يتم بناء إطار البيانات المرجعي من خلال القاموس المنسق التالي:

# بناء إطار بيانات مرجعي يحاكي تحديات البيانات الواقعية
data = {
 'team': ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', np.nan],
 'points': [18, np.nan, 19, 14, 30, np.nan, 22, np.nan, np.nan],
 'assists': [5, 7, np.nan, 9, 12, np.nan, 8, np.nan, np.nan],
 'rebounds': [11, 8, 10, 6, np.nan, np.nan, 7, 5, np.nan]
}
df = pd.DataFrame(data)

2.3 الفحص المبدئي لبنية البيانات وأبعادها العامة

قبل الشروع في تطبيق أي تقنية تصفية أو استخلاص، يُلزم النهج الأكاديمي الصارم المحلل بإجراء استكشاف هيكلي أولي (Preliminary Structural Inspection) للتعرف على أبعاد الإطار، والأنماط التخزينية المعتمدة للأعمدة، ونسب اكتمال السجلات. نبدأ باستعراض الجدول بأكمله عبر دالة الطباعة المعيارية لتتبع التوزيع الموضعي للقيم الغائبة وفهم الفهارس العددية المقترنة بكل صف، والتي ستكون بمثابة المرجع الأساسي للتأكد من نجاح عمليات الاسترجاع الشرطي.

يعقب ذلك استدعاء الدالة المنهجية df.info()، وهي إحدى أهم الأدوات التشخيصية في بانداس؛ حيث تقدم تقريراً متكاملاً يوضح أسماء الأعمدة، وعدد القيم غير الفارغة (Non-Null Count) لكل عمود، والنوع البرمجي المقترن به (Dtype)، فضلاً عن المساحة التقريبية المحجوزة في الذاكرة العشوائية. نلاحظ على الفور أن الأعمدة التي تستضيف أعداداً صحيحة في الأصل قد تمت ترقيتها تلقائياً إلى النمط العشري float64 بمجرد دخول np.nan إليها، وهو أحد الآثار الجانبية التاريخية لنظام الكتابة الكلاسيكي في نومباي، والذي يتم تجاوزه في الإصدارات الحديثة عبر استخدام الأنواع القابلة للفقدان مثل Int64.

أخيراً، نقوم بفحص الخاصية df.shape التي تُرجع زَوْجاً مُرَتَّباً يمثل عدد الصفوف والأعمدة، مسجلاً القيمة (9, 4) لإطارنا المرجعي. تكمن أهمية توثيق هذه الأبعاد الأولية في كونها تمثل خط الأساس (Baseline) الذي سنقيس بناءً عليه أحجام الأطر الفرعية المستخرجة بدقة تامة بعد إخضاعها لمختلف أقنعة التصفية المنطقية.

# استعراض إطار البيانات والتشخيص الهيكلي
print("--- جدول البيانات المرجعي الأصلي ---")
print(df)
print("n--- التقرير الهيكلي من دالة info() ---")
df.info()
print(f"nأبعاد إطار البيانات الأصلي: {df.shape}")

3. الطريقة الأولى: تحديد الصفوف التي تحتوي على قيم NaN في أي عمود

3.1 تشريح الدالة isnull() ومقارنتها بالدالة التوأم isna()

تعتبر الدالة isnull() والوظيفة المقابلة لها isna() الأداتين الرئيسيتين في ترسانة مكتبة بانداس لرصد وكشف البيانات الغائبة على مستوى الخلايا الفردية. عند تطبيق أي من هاتين الدالتين على إطار البيانات بأكمله، يتم إجراء مسح شريطي متوازٍ لكل قيمة داخل كل صف وعمود، لإنتاج هيكل بيانات جديد تماماً يُعرف بـ “إطار البيانات المنطقي” (Boolean DataFrame). يتطابق هذا الإطار الناتج تطابقاً هندسياً وموضعياً كاملاً مع أبعاد الجدول الأصلي وفهارسه، ولكنه يستبدل القيم الأصلية بقيم منطقية نقية؛ بحيث تأخذ الخلية القيمة True إذا كانت القيمة المقابلة لها مفقودة وممثلة بـ NaN، بينما تأخذ القيمة False إذا كانت الخلية مكتملة وتحتوي على قيمة معرفة، بصرف النظر عن طبيعة تلك القيمة سواء كانت نصية أو عددية أو منطقية.

يثور في كثير من الأحيان تساؤل برمجي ومنهجي لدى الممارسين حول الفروق الجوهرية والتقنية بين isnull() وisna()، وهل يترتب على استخدام أحدهما دون الآخر أي تأثير على الأداء الحسابي أو دقة النتائج. يوضح التوثيق المصدري لبانداس بوضوح قاطع أن الدالتين متطابقتان وظيفياً وبرمجياً بنسبة مئة بالمئة؛ إذ إن الدالة isnull() ما هي إلا اسم مستعار برمجي مباشر (Alias) للدالة isna(). وقد نشأ هذا التعدد المسمياتي رغبة من مطوري بانداس في تحقيق التوافق السيكولوجي والبرمجي مع مجتمع لغة آر (R) التي تعتمد تاريخياً على التعبير is.na()، وفي الوقت ذاته توفير بديل مألوف لمطوري قواعد البيانات العلائقية (SQL) الذين اعتادوا على استخدام المصطلح الشرطي IS NULL.

تعد هذه المصفوفة المنطقية الأساس الرياضي الذي تُبنى عليه كافة العمليات الشرطية اللاحقة؛ حيث إن تمثيل حالة الفقدان كقيم صواب وخطأ يسمح باستغلال مبادئ الجبر البولياني وقواعد المنطق الرياضي لدمج الشروط، واختزال الأبعاد، وبناء متجهات ترشيح يمكن تمريرها لمحركات الفهرسة دون أي وسائط تحويلية معقدة.

3.2 استخدام الدالة any(axis=1) للتجميع عبر المحور الأفقي

لا يكفي الحصول على مصفوفة منطقية ثنائية الأبعاد لاستخراج صفوف محددة، بل يتعين تقليص واختزال هذه المصفوفة المنطقية إلى متجه أحادي البعد (Boolean Series) يطابق طوله عدد صفوف إطار البيانات الأصلي. هنا يأتي دور الدالة التجميعية any() مقترنة بتحديد محور المعالجة عبر المعامل الصريح axis=1. يستند منطق الدالة any() إلى العملية المنطقية “أو” الشاملة (Logical Disjunction / OR)؛ حيث تقوم بفحص عناصر المتجه، فإذا احتوى على عنصر واحد على الأقل يحمل القيمة True، فإن النتيجة النهائية تكون True، ولا تُرجع الدالة القيمة False إلا إذا كانت جميع عناصر المتجه دون استثناء تحمل القيمة False.

يعد فهم وتحديد المحاور (Axes) في بانداس أمراً بالغ الأهمية لتجنب الوقوع في أخطاء التحليل الموضعي؛ حيث يعبر axis=0 عن المحور العمودي الرأسي (التجميع عبر الصفوف لكل عمود على حدة)، وهو السلوك الافتراضي لمعظم دوال بانداس، والذي لو استُخدم هنا لأنتج متسلسلة تشير إلى ما إذا كان العمود ككل يحتوي على قيم مفقودة. أما المعامل axis=1، فيعبر عن المحور الأفقي (التجميع عبر الأعمدة لكل صف على حدة). وبالتالي، عندما نكتب df.isnull().any(axis=1)، فإننا نأمر النظام بالانتقال أفقياً عبر خلايا كل صف، والتحقق مما إذا كان الصف يعاني من غياب قيمة في أي عمود من أعمدته، مما يُنتج متسلسلة بوليانية نهائية مفهرسة بنفس فهارس الصفوف الأصلية.

يوضح هذا التحويل الأنيق كيف يمكن ضغط ملايين العمليات المقارنة في شفرة متجهية فائقة السرعة، حيث يمثل كل عنصر في المتسلسلة المنطقية الناتجة حكماً قاطعاً على الصف المقابل: هل هو معيب بحاجة إلى فحص (True)، أم أنه صف نقي متكامل البيانات (False).

3.3 التصفية الشرطية باستخدام df.loc وعرض النتائج المستخلصة

تتمثل المرحلة النهائية لتنفيذ هذه الطريقة في تطبيق الفهرسة المنطقية (Boolean Indexing) باستخدام محدد الفهرسة الموضعي المعتمد على التسميات df.loc[]. يتم تمرير المتسلسلة البوليانية الناتجة عن التجميع الأفقي كقناع تصفية (Filter Mask) داخل الأقواس المعقوفة، لتقوم الدالة loc باسترجاع كافة السجلات التي تقابل القيمة True في القناع، مع استبعاد تام وتلقائي لكافة السجلات التي تقابل القيمة False.

تفضل المعايير الهندسية الأكاديمية استخدام التركيب الصريح df.loc[mask] بدلاً من التصفية المباشرة عبر أقواس الإطار العامة df[mask]؛ إذ إن loc توفر وضوحاً دلالياً يؤكد أن العملية هي وصول مقصود للصفوف استناداً إلى فهرس منطقي، وتتفادى الغموض البرمجي الذي قد ينشأ في الحالات المعقدة التي تشمل محاور متعددة أو تحديد متزامن للصفوف والأعمدة.

عند تطبيق هذا التركيب على إطارنا النموذجي عبر الأمر:

# تطبيق الطريقة الأولى: استخلاص أي صف يحتوي على قيمة مفقودة واحدة على الأقل
nan_rows_any = df.loc[df.isnull().any(axis=1)]
print("--- الصفوف التي تحتوي على NaN في أي عمود ---")
print(nan_rows_any)

نحصل على المخرجات التحليلية التالية التي تلتقط الصفوف ذات الفهارس (1، 2، 4، 5، 7، 8). عند فحص النتائج المستخلصة، نجد أن الصف رقم 1 تم استخراجه لغياب النقاط، والصف رقم 2 لغياب التمريرات، والصف رقم 4 لغياب الكرات المرتدة، في حين تم التقاط الصفوف 5 و7 و8 لامتلاكها نمط فقدان متعدد، بينما استُبعدت الصفوف المكتملة ذات الفهارس (0، 3، 6) لسلامتها الهيكلية المطلقة، مما يثبت الكفاءة الرياضية الصارمة لهذه الطريقة في العزل الإجمالي لكافة مصادر الخلل.

4. الطريقة الثانية: تصفية الصفوف التي تحتوي على قيم مفقودة في عمود محدد

4.1 تحديد متجهات الأعمدة الفردية وبناء القناع المنطقي

في كثير من الدراسات المنهجية التطبيقية، لا يكون المحلل معنياً بوجود الفقدان في أي موقع داخل السجل، بل يتركز اهتمامه على متغير تجريبي محدد يمثل المحور الأساسي للبحث (مثل متغير الاستجابة الرئيسي، أو سمة تصنيفية حرجة). في مثل هذه السيناريوهات، يصبح تطبيق التصفية الشاملة على كامل الإطار تصرفاً غير رشيد قد يؤدي إلى هدر مفرط في حجم العينة التحليلية المتاحة. تتطلب الاستراتيجية البديلة عزل العمود المستهدف أولاً كمتسلسلة بيانات مستقلة (Pandas Series)، وبناء قناع منطقي أحادي البعد مخصص لهذا المتغير حصراً.

تتم عملية عزل العمود عبر نمط الفهرسة المعياري df['column_name']. بمجرد الحصول على المتسلسلة الفردية، نطبق الدالة isnull() عليها مباشرة. يؤدي هذا التطبيق الأحادي إلى توليد متسلسلة بوليانية نقية لا تحتاج إلى أي عمليات تجميع محورية عبر الدالة any()؛ إذ إن المتجه المستهدف يمتلك بعداً واحداً بالفعل، وكل عنصر فيه يقابل مباشرة حالة الخلية المقابلة في ذلك العمود المحدد فقط، مما يقلل التعقيد الحسابي ويجعل الفحص لحظياً وعالي الكفاءة في استهلاك موارد المعالج والذاكرة.

إن التحقق من فهارس المتسلسلة الناتجة يكشف بوضوح المواقع التي تعاني من الغياب داخل هذا المتغير المختار، مع الحفاظ على مصفوفة الفهارس الأصلية للجدول كما هي دون تغيير، وهو ما يمهد لمطابقتها السلسة مع بنية إطار البيانات الرئيسي لاستخلاص السجلات الكاملة المرتبطة بتلك الفهارس بدقة متناهية.

4.2 تطبيق دالة loc لاستخراج السجلات المطابقة لشرط العمود

عقب بناء القناع المنطقي الخاص بالعمود المفرد، نقوم بتمريره إلى محدد الوصول df.loc[] لاستخلاص السجلات الكاملة. على سبيل المثال، إذا كان الهدف التحليلي هو حصر كافة الحالات التي أخفقت في تسجيل عدد النقاط، فإن الصياغة التنفيذية تكون كالتالي:

# استخراج الصفوف التي تفتقد لقيم في عمود النقاط (points) فقط
points_nan_rows = df.loc[df['points'].isnull()]
print("--- الصفوف التي تفتقد لقيم في عمود النقاط حصراً ---")
print(points_nan_rows)

تُظهر المخرجات البرمجية لهذا الاستعلام انحصار النتائج في الصفوف ذات الفهارس (1، 5، 7، 8). عند تدقيق النظر في هذه الصفوف، نجد أن الجامع المشترك والوحيد بينها هو ظهور القيمة NaN في خانة points، بغض النظر عن حالة الأعمدة المجاورة؛ فالصف رقم 1 يفتقد للنقاط فقط ولكنه يمتلك قيماً صحيحة في التمريرات والكرات المرتدة، بينما الصف رقم 5 يفتقد للنقاط والتمريرات معاً، والصف رقم 8 يفتقد لكافة البيانات. هذا يوضح بجلاء كيف تعمل التصفية الموجهة على عزل المتغير المستهدف وتجاهل أي تقلبات في باقي المتغيرات الهامشية بالنسبة لذلك السؤال البحثي.

تحافظ الدالة loc في هذه العملية تماماً على الفهارس الأصلية للبيانات (Index Preservation)، وهو أمر ذو أهمية قصوى في العمل التحليلي المؤسسي؛ حيث يتيح للمحلل الرجوع لاحقاً إلى السجلات المصدرية أو مطابقة هذه الصفوف المعيبة مع جداول فرعية أخرى باستخدام مفاتيح الفهرسة دون حدوث أي ترحيل أو اضطراب في ترتيب المدخلات.

4.3 التعامل مع أنواع البيانات المختلفة داخل الأعمدة المستهدفة

يتطلب التحليل الدقيق الوعي الكامل بأن السلوك الداخلي للدالة isnull() يتفاعل بشكل متباين وفقاً للنوع التخزيني (Data Type) الخاص بالعمود الخاضع للفحص. ففي الأعمدة العددية التقليدية (الممثلة بنمط float64)، يتم التعرف على np.nan بصورة سلسة وسريعة لأنها تتبع تمثيل الأرقام العشرية المتوافق مع المعايير الحسابية القياسية. أما في الأعمدة التي خضعت للتحديثات البرمجية الجديدة واستخدمت أنواع بانداس القابلة للفقدان (Nullable Integer Types مثل Int64 المدعومة بكائن pd.NA)، فإن دالة isnull() تُظهر نفس الكفاءة الرياضية في رصد الفقدان دون الخلط بين القيمة صفر والقيمة المفقودة، وهو تفريق جوهري طالما عانت منه الأنظمة البرمجية القديمة.

تنشأ التعقيدات الكبرى عند تطبيق هذه الآليات على الأعمدة الفئوية والنصية (Object Dtype أو String Dtype). فبينما تنجح isnull() تماماً في التقاط قيم np.nan أو None المحقونة في عمود النصوص (كما يظهر في فحص الصف رقم 8 بالنسبة لعمود الفريق team)، فإنها تفشل منهجياً في تصنيف النصوص الفارغة المكونة من سلسلة صفرية الطول "" أو الفراغات البيضاء " " كقيم مفقودة، وتعتبرها سلاسل نصية مشروعة وذات معنى وجودي، مما قد يؤدي إلى تسلل صفوف تالفة نصياً دون أن يرصدها القناع المنطقي المباشر.

لذلك، يتعين على المحلل قبل بناء قناع التصفية لعمود نوعي التأكد من تنقية النصوص، أو توحيد معايير التمثيل عبر إجبار القيم النصية الفارغة على التحول إلى قيم NaN نظامية، وهو ما يضمن اتساق نتائج دالة isnull() وحمايتها من الثغرات البنيوية الشائعة في معالجة المدخلات غير المنظمة.

5. الطريقة الثالثة: استخراج الصفوف التي تحتوي على قيم NaN في جميع الأعمدة

5.1 توظيف الدالة all(axis=1) لاكتشاف الصفوف الفارغة كلياً

تتجه المنهجيات التشغيلية في بعض الحالات إلى التعامل مع سيناريو معاكس وأكثر تطرفاً: كيفية العثور على الصفوف التالفة تماماً التي لا تحتوي على أي معلومة حقيقية على الإطلاق في أي من أعمدتها ومقاييسها. تظهر هذه الصفوف الكارثية عادة نتيجة قفزات غير صحيحة في مؤشرات قراءة الملفات، أو وجود أسطر فارغة متبقية في نهايات ملفات CSV أو جداول إكسل المفرغة آلياً. يمثل التحديد الدقيق لهذه السجلات الفارغة كلياً متطلباً إلزامياً لتطهير البيانات؛ حيث إن الإبقاء عليها لا يضيف أي قيمة إحصائية بل يؤدي إلى تشويه حجم العينة الفعلي والتأثير السلبي على معاملات الانحدار دون مبرر.

لتحقيق هذا الغرض، نستبدل الدالة التجميعية any() بشقيقتها الأكثر صرامة وهي الدالة all()، مع الاحتفاظ بمسار التجميع عبر المحور الأفقي axis=1. ترتكز الدالة all() على منطق “الواو” الاقتراني الصارم (Logical Conjunction / AND)؛ فهي تفحص الصف أفقياً ولا تُرجع القيمة True إلا إذا كانت جميع عناصر ذلك الصف دون استثناء تقابل القيمة True في مصفوفة الفحص البولياني المفرزة بواسطة isnull(). وإذا تضمنت الخلية الواحدة فقط داخل الصف قيمة حقيقية معرفة، فإن الصف يُسقط فوراً من شروط الدالة ويأخذ القيمة False.

تتجسد الصيغة المعيارية لتنفيذ هذا الاستخلاص الصارم في الشفرة التالية:

# استخراج الصفوف التي تحتوي على قيم مفقودة في كافة الأعمدة بلا استثناء
completely_empty_rows = df.loc[df.isnull().all(axis=1)]
print("--- الصفوف الفارغة كلياً (NaN في كافة الحقول) ---")
print(completely_empty_rows)

يؤدي تشغيل هذا الأمر إلى استخلاص السجل الأخير ذي الفهرس رقم 8 حصراً؛ حيث نلاحظ أن هذا الصف بالذات قد غابت عنه تسمية الفريق، وعدد النقاط، والتمريرات، والكرات المرتدة معاً، في حين نجت الصفوف الأخرى التي كانت تعاني من فقدان جزئي (مثل الصفوف 1 و2 و4 و5 و7) من هذا القيد، نظراً لاحتفاظ كل منها بمعلومة واحدة على الأقل صالحة للتحليل.

5.2 المقارنة المنهجية في الأداء والنتائج بين any() وall()

لتكوين رؤية تحليلية متكاملة حول آليات التجميع المنطقي عبر المحور الأفقي، من المفيد وضع الدالتين any() وall() في إطار مقارنة منهجية تقابلية؛ حيث تعبر الأولى عن الشمول التساهلي (Permissive Gathering) الذي يهدف إلى التقاط كل ما تشوبه شائبة، بينما تعبر الثانية عن التحديد الحصري المتشدد (Restrictive Isolation) الذي يستهدف فقط السجلات الميتة معلوماتياً.

يوضح الجدول التوصيفي التالي الفروق الجوهرية بين المقاربتين:

  • الدالة any(axis=1):
    • الأساس المنطقي: الاتحاد المنطقي (OR).
    • شرط التحقق للصف: يكفي وجود قيمة مفقودة واحدة في أي عمود ليصبح الناتج True.
    • حجم الإطار المستخرج: واسع، ويمثل الحد الأقصى للصفوف التي تشوبها فجوات عددية أو نوعية.
    • الاستخدام الشائع: التشخيص الأولي لجودة البيانات، وتحديد الحجم الكلي للملاحظات غير المكتملة لدراسة أنماط التحيز.
  • الدالة all(axis=1):
    • الأساس المنطقي: التقاطع المنطقي الصارم (AND).
    • شرط التحقق للصف: يجب أن تكون جميع خلايا الصف دون استثناء قيماً مفقودة ليعطي True.
    • حجم الإطار المستخرج: ضيق جداً، ويمثل الحد الأدنى وينحصر في الصفوف التالفة هيكلياً.
    • الاستخدام الشائع: التنظيف الآلي والتطهير الفوري للسجلات التي تمثل ضوضاء تخزينية عديمة الفائدة الإحصائية.

تعتبر دراسة حالات الحافة (Edge Cases) ذات أهمية خاصة عند استخدام all()؛ ففي قواعد البيانات المحكمة التي خضعت مسبقاً لضوابط تكامل الكيان (Entity Integrity) داخل مستودعات البيانات المؤسسية، قد يُرجع استعلام df.isnull().all(axis=1) إطار بيانات فارغاً تماماً (Shape: 0, 4). يجب على البرمجيات المتقدمة التعامل مع هذا الاحتمال بسلاسة دون أن ينهار خط المعالجة، من خلال فحص الأبعاد قبل الشروع في إجراءات لاحقة.

5.3 سيناريوهات المعالجة المتقدمة للسجلات التالفة بالكامل

لا تتوقف الممارسة المهنية عند مجرد إظهار الصفوف الفارغة بالكامل في الطرفية التحليلية، بل تتطلب بناء مسار تشغيلي منهجي يتخذ قرارات حاسمة بشأنها. تتمثل الخطوة الأولى في التوثيق الآلي للأثر العددي؛ حيث يقوم النظام بحساب النسبة المئوية التي تمثلها هذه الصفوف الفارغة من إجمالي حجم مجموعة البيانات، وتسجيل الفهارس المتأثرة في سجلات الأحداث البرمجية (System Logs) لأغراض الرقابة وضبط الجودة الهندسية.

تكمن خطورة الإبقاء على صفوف فارغة تماماً داخل قواعد بيانات النماذج الإحصائية في أنها قد تُفسر خطأً من قِبل بعض خوارزميات الحساب الآلي كنقاط تمركز صفرية عند إجراء تحويلات غير منضبطة، أو قد تؤدي إلى تضخيم فضاء الاحتمالات عند حساب مصفوفات التباين المشترك (Covariance Matrices). بناءً على ذلك، يتم تصميم استثناءات المعالجة بحيث يتم تصدير تقرير تحذيري تلقائي ينبه المهندس المسؤول إلى أن هناك أسطراً كاملة قد سقطت أثناء التحويل المصدري.

بعد استخلاص هذه الصفوف للتحقق، يتم في العادة إسقاطها نهائياً باستخدام الدالة المدمجة df.dropna(how='all')، ولكن القيمة التحليلية لعزلها المنفصل أولاً عبر df.loc[df.isnull().all(axis=1)] تكمن في تمكين فريق البيانات من معاينة ما إذا كان هناك نمط تقني أدى إلى هذا التفريغ، كوجود خلل في أداة التصدير من الخادم الأصلي تسبب في كتابة أسطر فواصل بيضاء متتالية في نهاية الملف.

6. التصفية المتقدمة: استهداف مجموعات فرعية متعددة من الأعمدة (Subsets)

6.1 تمرير قائمة مخصصة من الأعمدة إلى دالة isnull() وتطبيق any()

في أغلب التجارب الإحصائية المعقدة، تحتوي مجموعات البيانات على عشرات أو ربما مئات المتغيرات، وتتفاوت أهمية هذه المتغيرات تفاوتاً كبيراً تبعاً للفرضية قيد الاختبار. فقد يشتمل الجدول على متغيرات توضيحية جانبية لا يؤثر غيابها على المسار الرئيسي للبحث، في حين يحتوي على متغيرات جوهرية يُعد اكتمالها شرطاً لا يقبل المساومة. هنا تبرز الحاجة إلى تقييد نطاق فحص الفقدان ليقتصر على مجموعة فرعية محددة من الأعمدة (Subset of Columns)، وتجاهل ما سواها بصورة متعمدة ومدروسة.

تتيح مكتبة بانداس تحقيق هذا المطلب بدرجة استثنائية من الأناقة البرمجية والسرعة الحسابية؛ وذلك من خلال تمرير قائمة نصية بأسماء الأعمدة المستهدفة داخل أقواس الفهرسة المزدوجة قبل استدعاء دالة الكشف، كأن نكتب df[['points', 'assists']]. يُنتج هذا الاستقطاع إطار بيانات فرعياً مقتطعاً مؤقتاً في الذاكرة، وعند تطبيق .isnull().any(axis=1) عليه، يتم قصر الفحص المنطقي والتجميع الأفقي على هذين العمودين تحديداً، متجاهلاً تماماً حالة عمود الكرات المرتدة rebounds أو عمود الفريق team.

يوضح المثال البرمجي التالي كيفية استخلاص الصفوف التي تعاني من نقص في متغير النقاط، أو متغير التمريرات، أو كليهما معاً:

# استهداف مجموعة فرعية من الأعمدة الحيوية للتحليل
subset_cols = ['points', 'assists']
subset_nan_rows = df.loc[df[subset_cols].isnull().any(axis=1)]
print("--- الصفوف التي تفتقد لقيم في النقاط أو التمريرات حصراً ---")
print(subset_nan_rows)

تُظهر نتائج هذا الاستعلام استرجاع الصفوف ذات الفهارس (1، 2، 5، 7، 8). نلاحظ هنا غياب الصف رقم 4 عن النتائج؛ على الرغم من أنه يحتوي على قيمة NaN في عمود rebounds، إلا أنه يمتلك أرقاماً مكتملة ومؤكدة في عمودي النقاط والتمريرات (14 نقطة و9 تمريرات). يثبت هذا السلوك دقة الاستهداف الموضعي وقدرته على حماية السجلات الصالحة للتحليل الجزئي من الاستبعاد غير المبرر.

6.2 الدمج المنطقي المركب بين شروط الأعمدة باستخدام الروابط البوليانية

تتطلب السيناريوهات التحليلية المتقدمة أحياناً تجاوز التجميع البسيط عبر القوائم لصالح بناء تعبيرات منطقية مركبة ومخصصة بالكامل تدمج بين شروط متعددة ومستقلة لكل عمود. لتحقيق هذا المستوى العالي من التحكم، نستعين بالمعاملات البوليانية المتجهية التي توفرها لغة بايثون للتعامل مع مصفوفات بتات بانداس ونومباي، وتحديداً المعامل الواوي & للتعبير عن التقاطع الشرطي الصارم (AND)، والمعامل الانفصالي | للتعبير عن الاتحاد الشرطي (OR).

من الأهمية بمكان التأكيد على أن استخدام الكلمات المفتاحية الاعتيادية للغة بايثون مثل and وor يُعد خطأً برمجياً صريحاً عند التعامل مع متسلسلات بانداس؛ حيث تحاول هذه الكلمات تقييم الحقيقة المنطقية للمتسلسلة بأكملها ككيان واحد مما يولد خطأ القيمة الشهير ValueError، بينما صُممت المعاملات & و| لإجراء العمليات الحسابية عنصرية المقابلة (Element-wise Operations) على امتداد المتجهات البوليانية.

علاوة على ذلك، تفرض قواعد لغة بايثون أولوية متقدمة للمعاملات البتية على معاملات المقارنة؛ مما يجعل إحاطة كل تعبير شرطي بأقواس دائرية إلزاماً لا مفر منه لتجنب أخطاء التفسير النحوي. يوضح المثال التالي كيفية صياغة استعلام يسترجع الصفوف التي تعاني من فقدان مزدوج ومتزامن في عمودي النقاط والتمريرات معاً (التقاطع):

# استخراج السجلات التي تفتقد للبيانات في العمودين معاً في آن واحد
intersection_mask = (df['points'].isnull()) & (df['assists'].isnull())
intersection_nan_rows = df.loc[intersection_mask]
print("--- السجلات التي تفتقد للنقاط والتمريرات معاً ---")
print(intersection_nan_rows)

تنحصر مخرجات هذه الشفرة بدقة رياضية متناهية في الصفوف (5، 7، 8)؛ حيث سقط الصفان 1 و2 من النتائج نظراً لامتلاك الصف رقم 1 تمريرات صحيحة وامتلاك الصف رقم 2 نقاطاً صحيحة، مما يعكس التطبيق الصارم لمعيار التقاطع الشرطي.

6.3 تطبيقات الفحص الشرطي التبادلي بين متغيرات الإحصاء التطبيقي

يمتد توظيف التصفية المتقدمة ليشمل صياغة أقنعة شرطية تبادلية وهجينة تدمج بين فحص الفقدان من جهة وفحص القيم العددية والفئوية من جهة أخرى، وهو ما يمثل جوهر الفحص التشخيصي الميداني لجودة البيانات المجمعة. تتيح هذه التوليفات استكشاف العلاقات الشاذة؛ مثل تحديد السجلات التي تفتقد لمتغير النتيجة الرئيسي (Outcome Variable) على الرغم من اكتمال كافة متغيرات التوقع المستقلة (Predictor Variables)، مما يستدعي عزل تلك الحالات لمعرفة ما إذا كان الفقدان عائداً إلى توقف المتابعة الطبية للمريض أو انسحاب اللاعب من المنافسة.

لنتأمل السيناريو التحليلي الذي يسعى فيه خبير الإحصاء الرياضي إلى استخراج كافة اللاعبين الذين حققوا أداءً هجومياً استثنائياً بتسجيلهم لأكثر من 15 نقطة، ومع ذلك تفتقد سجلاتهم إلى إحصائية الكرات المرتدة، أو تحديد الحالات التي تمتلك قيماً عددية مكتملة ولكنها تفتقر إلى المعرف الفئوي الأساسي. يمكن صياغة هذا الاستعلام المعقد والموجه بدقة عبر الشفرة التالية:

# صياغة قناع هجين يجمع بين العتبات العددية وغياب البيانات
hybrid_mask = (df['points'] > 15) & (df['rebounds'].isnull())
hybrid_rows = df.loc[hybrid_mask]
print("--- اللاعبون ذوو النقاط العالية (>15) والمفتقدون لبيانات المتابعات ---")
print(hybrid_rows)

يلتقط هذا الاستعلام حصرياً الصف رقم 4، حيث يمتلك اللاعب 30 نقطة (مما يحقق الشرط العددي points > 15) وتظهر لديه القيمة NaN في خانة rebounds. يبرهن هذا التطبيق على المرونة الفائقة لأطر بيانات بانداس في ترجمة أكثر الفرضيات التحليلية تعقيداً إلى تعليمات برمجية مباشرة وعالية الوضوح والسرعة.

7. تحديد الصفوف استناداً إلى عتبات وعدد القيم المفقودة (Threshold Filtering)

7.1 حساب تكرار قيم NaN في كل صف عبر التجميع بالدالة sum(axis=1)

لا تتوقف المعالجة الإحصائية الرصينة عند رصد الحالات الثنائية البسيطة (مفقود بالكامل أو غير مفقود)، بل تحتاج غالباً إلى قياس كمي مدرج لحجم الضرر البياني داخل كل سجل على حدة. يتيح لنا الجبر البولياني المطبق في لغة بايثون ومكتبة نومباي استغلال خاصية رياضية بديعة؛ حيث يتم التعامل تلقائياً مع القيم المنطقية كأرقام صحيحة عند إخضاعها للعمليات الحسابية الأساسية؛ فالقيمة True تكافئ رقمياً القيمة 1، بينما تكافئ القيمة False الرقم 0.

بناءً على هذا الأساس الرياضي، يؤدي تطبيق دالة الجمع sum() على المصفوفة المنطقية المفرزة بواسطة df.isnull()، مع توجيه محور التجميع أفقياً عبر المعامل axis=1، إلى حساب إجمالي عدد القيم المفقودة لكل صف بصورة عددية مباشرة. تُرجع هذه العملية متسلسلة عددية جديدة تماماً، تُمثل قيمها التكرار المطلق لقيم NaN داخل كل ملاحظة، مما يفتح الباب واسعاً أمام بناء مقاييس تشخيصية متقدمة لجودة السجلات.

يمكننا دمج هذه المتسلسلة الناتجة مؤقتاً أو دائماً داخل إطار البيانات كعمود تشخيصي إضافي، كما توضح الشفرة البرمجية الآتية:

# حساب التكرار العددي للقيم المفقودة لكل صف وإضافته كعمود تشخيصي
df_diagnostic = df.copy()
df_diagnostic['missing_count'] = df.isnull().sum(axis=1)
print("--- إطار البيانات معززاً بعمود عدد القيم المفقودة ---")
print(df_diagnostic[['team', 'points', 'missing_count']])

تُظهر مخرجات هذه الشفرة أن الصفوف المكتملة (0 و3 و6) تسجل القيمة صفر، في حين تسجل الصفوف التي تعاني من نقص جزئي القيم 1 أو 2، بينما يتوج السجل الأخير برقم 4 مشيراً إلى فقدان كافة متغيراته، مما يوفر قاعدة بيانية صلبة لتطبيق التصفية المعتمدة على العتبات الرقمية.

7.2 استخراج الصفوف التي تتجاوز عدداً معيناً من القيم المفقودة

بمجرد امتلاك القدرة على قياس عدد الفجوات داخل كل سجل، يستطيع المحلل وضع قواعد فرز مدروسة تستند إلى عتبات كمية واضحة (Cut-off Thresholds). فبدلاً من الحذف المتسرع لأي صف يفتقد لخاصية مفردة، يقرر الباحث الاحتفاظ بالسجلات التي تمتلك حداً أدنى مقبولاً من المعلومات، مع عزل واستهداف السجلات شديدة التدهور التي تتجاوز فيها البيانات المفقودة حداً فاصلاً محدداً.

لتحقيق هذا الغرض، نُطبق تعبيراً شرطياً عددياً على ناتج التجميع؛ فإذا أردنا على سبيل المثال عزل واستخراج كافة السجلات التي تحتوي على قيمتين مفقودتين أو أكثر لاتخاذ قرار بشأن استبعادها من نمذجة التعلم الآلي، فإننا نكتب القناع التالي:

# استخراج الصفوف التي تحتوي على قيمتين مفقودتين أو أكثر (k >= 2)
threshold_mask = df.isnull().sum(axis=1) >= 2
heavy_missing_rows = df.loc[threshold_mask]
print("--- الصفوف التي تتجاوز عتبة الفقدان (قيمتان مفقودتان أو أكثر) ---")
print(heavy_missing_rows)

تلتقط هذه التصفية بدقة الصفوف ذات الفهارس (5، 7، 8)؛ حيث يمتلك الصف رقم 5 ثلاث قيم مفقودة، والصف رقم 7 قيمتين مفقودتين، والصف رقم 8 أربع قيم، بينما تم استثناء الصفوف (1، 2، 4) التي تحتوي على قيمة مفقودة وحيدة فقط، الأمر الذي يتيح معالجة تفاضلية رصينة تستند إلى حجم المعلومة المتبقية.

يمكن ترقية هذا النهج برمجياً لحساب النسبة المئوية المئوية للفقدان لكل صف بقسمة عدد القيم المفقودة على العدد الإجمالي لأعمدة الجدول len(df.columns). يتيح ذلك للباحث اعتماد القواعد الأكاديمية الصارمة المعمول بها في المجلات العلمية؛ كأن يتم عزل واستبعاد أي ملاحظة استقصائية تتجاوز فيها نسبة الأسئلة غير المجاب عنها حاجز الـ 50% من إجمالي فقرات الاستبيان.

7.3 المقارنة والربط مع الدالة المدمجة dropna(thresh=…)

تمتلك مكتبة بانداس دالة مدمجة فائقة الشهرة لحذف البيانات المفقودة وهي df.dropna()، والتي تقبل معاملاً خاصاً يُدعى thresh. يقع العديد من المطورين والمحللين المبتدئين في ارتباك مفاهيمي حاد عند التعامل مع هذا المعامل؛ نظراً لطبيعته الرياضية العكسية التي تختلف جذرياً عن فلسفة التصفية المباشرة التي طبقناها عبر df.isnull().sum().

يحدد المعامل thresh في دالة dropna() “الحد الأدنى لعدد القيم غير المفقودة (Non-NaN values) المطلوبة للإبقاء على الصف”، وليس الحد الأقصى لعدد القيم المفقودة المسموح بها. وبالتالي، إذا كان الجدول يحتوي على 4 أعمدة، وأردنا استبعاد الصفوف التي تحتوي على قيمتين مفقودتين أو أكثر، فإننا نطلب منطقياً الاحتفاظ بالصفوف التي تمتلك على الأقل 3 قيم صحيحة ومكتملة، مما يفرض كتابة df.dropna(thresh=3).

تتجلى الميزة الهيكلية الكبرى لاستخدام التحديد اليدوي الاستكشافي عبر df.loc[df.isnull().sum(axis=1) >= k] في أنها تمنح المحلل القدرة على “معاينة وعزل وفحص” تلك الصفوف المتضررة قبل الإقدام على تدميرها وحذفها نهائياً من الذاكرة، وهو ما يحقق مبدأ الشفافية والرقابة البيانية الذي تفتقر إليه دالة dropna() التي تنفذ الإسقاط دون إتاحة مساحة للفحص التشخيصي المسبق.

8. استخدام الفهرسة الموضعية ودوال الاستعلام البديلة (query وiloc)

8.1 توظيف دالة query() للتعامل مع القيم المفقودة بأسلوب نصوص الاستعلام

تقدم مكتبة بانداس أسلوباً برمجياً تعبيرياً متميزاً يتمثل في الدالة query()، والتي تسمح للمحللين بكتابة شروط التصفية والاستعلام باستخدام سلاسل نصية مباشرة ومقروءة تشبه إلى حد بعيد لغات الاستعلام البنيوية المستخدمة في أنظمة قواعد البيانات العلائقية. يساعد هذا الأسلوب في تقليل التكرار البرمجي المزعج لاسم إطار البيانات، مما يرفع من مقروئية الشفرة ويجعلها أكثر قرباً من الصياغة الرياضية والمنطقية المجردة.

عند الرغبة في استخدام الدالة query() لتحديد الصفوف التي تفتقد لقيم معينة في عمود ما، لا يمكننا كتابة التعبيرات مثل column == NaN لنفس الأسباب الرياضية التي فصّلناها سابقاً حول المعيار IEEE 754. عوضاً عن ذلك، تدعم بيئة تفسير الاستعلام في الدالة استدعاء الدوال المتجهية واستخدام الصيغ المنطقية الموجهة، إما عبر التحقق من عدم مساواة المتغير لنفسه (استغلالاً للخاصية الرياضية: points != points)، أو عبر استدعاء محركات التقييم الداعمة لدوال الكشف الصريحة.

توضح الشفرة التالية كيفية توظيف الدالة query() لاستخلاص الصفوف التي تفتقد لبيانات في عمود النقاط عبر الاستفادة من السلوك الرياضي لعدم مساواة NaN لنفسها:

# تطبيق استعلام نصي مقروء عبر الدالة query لاستخلاص القيم المفقودة
# استغلال خاصية أن NaN هي القيمة الوحيدة التي لا تساوي نفسها رياضياً
query_nan_rows = df.query("points != points")
print("--- استخلاص مفقودات النقاط عبر دالة query() ---")
print(query_nan_rows)

تُرجع هذه التعليمة البرمجية الأنيقة نفس المخرجات الصادرة عن الطرق التقليدية بالضبط، مستفيدة من محرك التقييم العددي السريع NumExpr الذي يعمل في الخلفية لتسريع معالجة التعبيرات النصية على مجموعات البيانات الكبيرة دون استهلاك ذاكرة وسيطة ضخمة.

8.2 الدمج بين الفهرسة الموضعية iloc ومصفوفات الفهرسة المنطقية

تختص دالة الفهرسة الموضعية df.iloc[] بالتعامل مع المواقع العددية الصحيحة المعتمدة على نظام الفهرسة الصاعد (Integer-based Indexing من 0 إلى N-1)، على العكس تماماً من دالة df.loc[] التي تقبل الفهارس الاسمية والبوليانية المباشرة. يقع العديد من المطورين في فخ أخطاء الأنواع البرمجية عندما يحاولون تمرير متسلسلة بانداس المنطقية الناتجة عن df.isnull().any(axis=1) مباشرة إلى داخل الدالة iloc؛ حيث تفرض التحديثات الصارمة لبانداس منع هذا التمرير لتفادي تضارب دلالات الفهرسة.

لتوظيف الدالة iloc بنجاح في استخلاص الصفوف المشتملة على قيم مفقودة، يتعين علينا أولاً تحويل القناع البولياني إلى مصفوفة مواقع عددية مطلقة تعبر بدقة عن أرقام الأسطر الفيزيائية في الذاكرة. يتم تحقيق هذا التحويل بسلاسة فائقة عبر الاستعانة بدالة البحث الموضعي np.where() من مكتبة نومباي، والتي تقوم بفحص المتسلسلة المنطقية واستخراج مؤشرات الأسطر العددية المقابلة للقيم True فقط في هيئة مصفوفة أرقام صحيحة.

يوضح المسار البرمجي التالي كيفية الربط المنهجي بين np.where وiloc:

# تحويل القناع المنطقي إلى مؤشرات عددية وتطبيق الفهرسة الموضعية iloc
row_positions = np.where(df.isnull().any(axis=1))[0]
iloc_nan_rows = df.iloc[row_positions]
print("--- الصفوف المستخلصة عبر مواقعها العددية باستخدام iloc ---")
print(f"المواقع الفيزيائية المستهدفة: {row_positions}")
print(iloc_nan_rows)

يكتسب هذا الأسلوب أهمية استثنائية عند التعامل مع أطر بيانات خضعت لعمليات إعادة فهرسة غير عددية أو ذات فهارس مكررة؛ حيث تتيح iloc الوصول إلى السجل بناءً على موقعه الهيكلي المطلق في ملف البيانات الأصلي بغض النظر عن حالة التسمية الفهرسية الملتصقة به.

8.3 تقييم المرونة البرمجية وسهولة القراءة بين التقنيات المختلفة

تتنوع خيارات التصفية الشرطية في بانداس وتتعدد مساراتها، مما يفرض على مهندس البيانات إجراء مفاضلة فنية واعية تستند إلى مقاييس المرونة البرمجية، والحمل المعرفي المطلوب لقراءة الشفرة وصيانتها (Cognitive Load)، فضلاً عن التوافق مع أنابيب المعالجة المستمرة. لا تقتصر جودة الشفرة البرمجية على مجرد تحقيق النتائج الرياضية الصحيحة، بل تمتد لتشمل مدى سهولة مراجعتها وتطويرها بواسطة فرق العمل الأخرى في البيئات المؤسسية.

تتميز الطريقة المعتمدة على df.loc[df.isnull().any(axis=1)] بكونها المعيار الأكثر صراحة واستقراراً ووضوحاً عبر تاريخ بانداس؛ فهي تعبر تعبيراً مباشراً لا لبس فيه عن نية المبرمج في تصفية الصفوف، وتتوافق توافقاً تاماً مع كافة أنواع الفهارس المخصصة والزمنية. في المقابل، توفر الدالة query() أسلوباً تعبيرياً فائق النعومة والجاذبية في لوحات التحكم والتطبيقات السريعة، إلا أنها قد تواجه قيوداً دقيقة وصعوبات في التنقيح (Debugging) عندما تزداد أسماء الأعمدة تعقيداً أو تحتوي على مسافات ورموز خاصة.

أما المسار المعتمد على iloc المقترن بـ np.where، فرغم كونه يمثل حلاً هندسياً حاسماً للتعامل مع الفهارس المضطربة، إلا أنه يفرض خطوة وسيطة إضافية قد تزيد من تعقيد الشفرة وتشتت انتباه القارئ عن الهدف التحليلي الرئيسي. بناءً عليه، يظل استخدام loc هو الخيار الموصى به أكاديمياً ومهنياً في معظم السيناريوهات التحليلية القياسية لضمان الوضوح والاستدامة البرمجية.

9. دراسة مقارنة للأداء الحسابي واستهلاك الذاكرة بين الطرق المختلفة

9.1 قياس زمن التنفيذ الحسابي باستخدام وحدة timeit على أطر بيانات ضخمة

عند الانتقال من تحليل العينات المرجعية الصغيرة ذات الأسطر المعدودة إلى معالجة مجموعات البيانات الضخمة (Big Data) التي تضم ملايين السجلات وعشرات الأعمدة في بيئات الحوسبة الإنتاجية، تخرج مسألة اختيار التقنية البرمجية من إطار التفضيل الجمالي للشفرة لتصبح عاملاً حاسماً ومحدداً لكفاءة استهلاك موارد المعالجة ووقت التنفيذ الكلي. لتقييم هذا الأداء بصورة علمية صارمة، قمنا بتصميم بيئة اختبار محاكاة تتكون من إطار بيانات اصطناعي يحتوي على 1,000,000 صف وأربعة أعمدة عددية، تم حقن قيم np.nan عشوائياً في 10% من خلاياه، مع قياس زمن التنفيذ باستخدام أداة القياس المعتمدة timeit.

أظهرت التجارب التجريبية وجود فروق زمنية ملموسة بين الطرق الثلاث الرئيسية:

  • الطريقة الكلاسيكية df.loc[df.isnull().any(axis=1)]: سجلت زمناً متوسطاً قدره 245 مللي ثانية. يعود هذا الزمن التنافسي إلى التحسينات المتجهية الكبيرة التي تمت إضافتها إلى كود C الداخلي لبانداس في الإصدارات الأخيرة لتقليص الأبعاد الأفقية.
  • طريقة نومباي المباشرة الموجهة df[np.isnan(df.to_numpy()).any(axis=1)]: تفوقت بوضوح محققة زمناً قياسياً قدره 82 مللي ثانية فقط، متفوقة على دالة بانداس بنحو ثلاثة أضعاف؛ والسبب يعود إلى تجاوز كافة أعباء التغليف والتحقق من صحة الفهارس التي تجريها بانداس قبل كل عملية.
  • طريقة الاستعلام النصي query(): سجلت زمناً قدره 310 مللي ثانية؛ حيث أثرت الأعباء الإضافية الخاصة بتحليل وتفسير السلسلة النصية سلبياً على زمن المعالجة الإجمالي في مثل هذا السيناريو المصفوفي البسيط.

تثبت هذه المقارنة التجريبية أن الاعتماد على تحويل البيانات إلى مصفوفات نومباي المباشرة يمثل الخيار الهندسي الأمثل عندما تكون السرعة الزمنية الصرفة هي الأولوية القصوى في خطوط المعالجة الدفعية الكبيرة.

9.2 تحسين استهلاك الذاكرة عبر الاستفادة من متجهات بايتات NumPy

إلى جانب الوقت الحسابي، يشكل استهلاك الذاكرة العشوائية (RAM) التحدي الأكبر عند معالجة الجداول العملاقة؛ حيث إن بناء الأقنعة المنطقية الوسيطة عبر بانداس يتطلب إنشاء مصفوفات بوليانية تشغل بايتات كاملة لكل خلية، مما قد يتسبب في نفاد الذاكرة وظهور الخطأ القاتل MemoryError عند محاولة فحص جداول تناهز سعتها حدود الذاكرة المتاحة على الجهاز أو الخادم الحسابي.

يمكن للمهندس التحليلي التغلب على هذا التحدي الحرج من خلال النزول المباشر إلى طبقة متجهات البايتات في نومباي وتجاوز إنشاء إطارات البيانات البوليانية المؤقتة بالكامل. فعند استدعاء np.isnan() مباشرة على قيم عمود معين عبر الخاصية df['column'].values، يتم إنتاج مصفوفة بوليانية أحادية البعد بأقل قدر ممكن من الحمل الزائد للذاكرة (Minimal Memory Overhead)، دون الحاجة إلى نسخ فهرس العمود أو الاحتفاظ بمعلومات التوصيف الوصفية (Metadata).

علاوة على ذلك، توفر بنية نومباي القدرة على تطبيق عمليات التجميع عبر المعاملات المنطقية المتخصصة مثل np.logical_or.reduce()، والتي تسمح بالدمج الأفقي للأعمدة بصورة تكرارية متسلسلة دون الحاجة إلى تخصيص مصفوفة منطقية ثنائية الأبعاد كاملة في الذاكرة لجميع الخلايا في آن واحد، وهو ما يقلص الذروة اللحظية لاستهلاك الذاكرة (Peak Memory Footprint) بنسبة تتجاوز 60% في المشاريع فائقة الضخامة.

9.3 تجنب أخطاء النسخ والتحذيرات الشائعة (SettingWithCopyWarning)

يواجه كل من يتعامل مع تصفية أطر البيانات في بانداس التحذير البرمجي الشهير والمربك للمعظم: SettingWithCopyWarning. يظهر هذا التحذير عندما يقوم المحلل بتحديد الصفوف التي تحتوي على قيم NaN ثم يحاول في خطوة تالية تعديل قيمة معينة داخل تلك الصفوف المحددة، كأن يحاول استبدال القيمة المفقودة برقم ثابت أو تحديث عمود مجاور لنفس تلك السجلات دون استخدام الصياغة المعتمدة هندسياً.

ينشأ هذا التحذير من غموض تشغيلي في الذاكرة؛ حيث تفشل بانداس في الجزم بما إذا كانت العملية التصفوية السابقة قد أرجعت “عرضاً مقيداً” لنفس بيانات الجدول الأصلي في الذاكرة (View)، أم أنها أنشأت “نسخة مستقلة تماماً” (Copy). فإذا قام المبرمج بالتعديل على ناتج الفهرسة المتسلسلة مثل df[df['points'].isnull()]['points'] = 0، فإن هذا التعديل قد يُطبق على كائن وسيط عابر ويفنى في الذاكرة دون أن يمس الجدول الأصلي، أو يغير في الجدول الأصلي على نحو غير متوقع.

لضمان تجنب هذا الفخ البرمجي المعقد بصورة أكاديمية محكمة، يجب الالتزام بقاعدتين صارمتين:

# الحل الأول: إذا كان الهدف هو إنشاء جدول جديد مستقل للصفوف المفقودة
# يجب استدعاء دالة النسخ الصريح .copy() لقطع أي صلة بالذاكرة الأصلية
isolated_nan_df = df.loc[df['points'].isnull()].copy()
isolated_nan_df['diagnostic_flag'] = "Needs Review" # آمن تماماً ولا يولد أي تحذير
# الحل الثاني: إذا كان الهدف هو تعديل البيانات في الجدول الأصلي مباشرة
# يجب استخدام محدد الفهرسة الصريح loc في خطوة واحدة غير مجزأة
df.loc[df['points'].isnull(), 'points'] = 0 # تعديل أصيل مباشر وآمن

يضمن الالتزام بهذه القواعد الهندسية الصريحة حماية العمليات التحليلية من السلوكيات العشوائية للذاكرة وتأمين كود برمجي مستقر وقابل للنشر في بيئات الإنتاج الفعلية.

10. معالجة الحالات الخاصة وتحديات القيم المفقودة غير القياسية

10.1 التمييز بين قيم NaN الحقيقية والسلاسل النصية الفارغة والفراغات البيضاء

تفترض الأدوات القياسية للكشف عن الفقدان في بانداس أن البيانات غير المتوفرة قد جرى تشفيرها بصورة نظامية كقيم np.nan، إلا أن الواقع العملي للبيانات المستوردة من مصادر مفتوحة أو ملفات نصوص غير منضبطة يصطدم بوجود ما يُعرف بـ “الفقدان الزائف أو غير القياسي” (Non-standard Missingness). يتمثل هذا الفقدان في وجود سلاسل نصية فارغة تماماً ""، أو فراغات مسافية بيضاء متعددة " "، أو كتابة الكلمات الدالة على الفقدان كقيم نصية صريحة مثل السلسلة "NaN" أو "None" أو "NULL" محاطة بعلامات اقتباس، مما يجعلها تعامل كقيم نصية مشروعة تسقط من شباك الفحص المباشر للدالة isnull().

للتغلب على هذه المعضلة التشخيصية، يجب إخضاع الأعمدة النصية لعملية معايرة وتطهير مسبقة قبل الشروع في تحديد وعزل الصفوف. تبدأ هذه المعايرة بتطبيق دوال المعالجة النصية الموجهة str.strip() لإزالة الفراغات البيضاء الهامشية، يليها استبدال النصوص الفارغة بقيم np.nan الحقيقية، لتوحيد المعيار الدلالي للفقدان عبر كامل مصفوفة البيانات.

يوضح المثال التالي هذه المعالجة الوقائية الضرورية:

# معالجة النصوص الفارغة وتحويلها إلى قيم NaN قياسية قبل التصفية
# استبدال المسافات الفارغة والنصوص الوهمية بقيم عددية غير معرفة
df['team'] = df['team'].astype(str).str.strip().replace({'': np.nan, 'None': np.nan, 'nan': np.nan})
# الآن تعمل isnull() بكفاءة تامة وتلتقط كافة أنواع الفقدان النصي
proper_nan_rows = df.loc[df['team'].isnull()]

يضمن هذا الإجراء التأصيلي عدم تسرب أي سجلات معيبة نصياً من مصفوفات التصفية، ويعيد بناء الاتساق الدلالي والبرمجي لكامل مجموعة البيانات قيد التحقيق.

10.2 التعامل مع التواريخ والأوقات الناقصة (NaT – Not a Time)

عند التعامل مع السلاسل الزمنية والبيانات المشتملة على طوابع زمنية (Timestamps)، تعتمد مكتبة بانداس على كائن مخصص ومستقل تماماً لتمثيل الفقدان الزمني يُعرف برمز pd.NaT (اختصاراً لعبارة Not a Time). تم تصميم هذا الكائن ليتوافق بنيوياً مع أنماط الأوقات datetime64[ns] والمدد الزمنية timedelta64[ns]، متفادياً استخدام np.nan التي تنتمي إلى فضاء الأعداد العشرية والتي من شأنها إفساد التخزين المتجانس للأزمنة المعتمد على دقة النانو ثانية.

من الناحية البرمجية التوافقية، تتميز دوال الفحص isnull() وisna() بمرونة استثنائية؛ حيث تمتلك القدرة الذاتية على رصد واكتشاف قيم pd.NaT داخل الأعمدة الزمنية بنفس الكفاءة والسلاسة التي تكتشف بها قيم np.nan داخل الأعمدة العددية، وتُرجع عنها القيمة المنطقية True دون الحاجة إلى كتابة أي استثناءات شرطية أو شفرات إضافية من جانب المحلل.

تظهر التحديات التحليلية الحقيقية عند فحص انتظام السلاسل الزمنية (Time Series Regularity) في التطبيقات الميدانية الحساسة مثل مراقبة الترددات الحيوية للمرضى أو تتبع مسار الأسهم المالية؛ حيث يؤدي وجود NaT إلى كسر متتالية التردد الزمني الموحد (Frequency Breakdown). في مثل هذه الحالات، يتم تطبيق تحديد الصفوف المشتملة على NaT ليس بهدف التخلص منها، بل لتحديد فترات التوقف الحرج في التسجيل الزمني والتمهيد لتطبيق تقنيات إعادة أخذ العينات (Resampling) أو الاستيفاء الزمني المتسلسل (Time-based Interpolation) لملء الفجوات بالاعتماد على ديناميكية الزمن المستمر.

10.3 استبدال القيم المشفرة الشائعة (مثل -999 و 9999) بقيم NaN الرسمية

تحمل العديد من مجموعات البيانات التاريخية والمسوح الميدانية إرثاً تشغيلياً عريقاً يعود إلى عقود البرمجة بلغات مثل فورتران وكوبول؛ حيث اعتاد مهندسو النظم القديمة تشفير الحالات المفقودة والبيانات غير المتوفرة باستخدام أرقام صحيحة شاذة وبعيدة للغاية عن النطاق المقبول للمتغير، مثل استخدام الأرقام -999 أو -99 أو 9999 للدلالة على غياب المعلومة في قراءات الحرارة أو الضغط الجوي أو الدخل القومي.

إذا أُدخلت هذه البيانات إلى بيئة بانداس الحديثة دون معالجة استباقية، فإن النظام سيعاملها كأرقام حقيقية صحيحة بنسبة مئة بالمئة؛ مما يقود إلى كوارث إحصائية مدمرة تجعل المتوسطات الحسابية تنحدر نحو قيم سالبة شاذة وتنتج انحرافات معيارية مضللة، دون أن ترصد الدالة isnull() أي خلل على الإطلاق، لأن تلك الخلايا لا تحتوي على np.nan بل على أرقام معرفة نظامياً.

تتمثل الخطوة المنهجية الإلزامية قبل تطبيق أي تقنية تصفية في استكشاف القيم الحدية الشاذة، واستخدام الدالة التحويلية replace() لإعادة تعيين هذه الرموز الموروثة ونقلها صراحة إلى القيمة القياسية np.nan، كما هو موضح أدناه:

# استبدال الرموز المشفرة القديمة بقيم NaN المعتمدة
legacy_codes = [-999, 9999, -99]
df.replace(legacy_codes, np.nan, inplace=True)
# الآن يمكن تصفية وتحديد الصفوف المفقودة استناداً إلى المعايير القياسية
cleaned_nan_rows = df.loc[df.isnull().any(axis=1)]

يضمن هذا التحويل التأسيسي توحيد المنطق الاستدلالي لكافة آليات الكشف الشرطي داخل إطار البيانات، ويتيح إجراء العمليات اللاحقة بناءً على فهم موحد وحقيقي لمعنى “الغياب الإحصائي”.

11. إجراءات ما بعد التحديد: التشخيص الإحصائي وتجهيز البيانات

11.1 فحص آليات الفقدان الإحصائية للبيانات المستخلصة

بمجرد الانتهاء من عملية تحديد واختيار الصفوف التي تحتوي على قيم مفقودة وعزلها في إطار فرعي مستقل، تبدأ مرحلة المعالجة والتحقيق الإحصائي المتعمق. لا تنحصر مسؤولية الباحث في توصيف حجم الفقدان عددياً، بل تمتد لتحديد الآلية الاحتمالية والفيزيائية المولدة له وفقاً للتصنيف الأكاديمي الرائد الذي وضعه عالم الإحصاء دونالد روبين (Donald Rubin):

  • الفقدان العشوائي بالكامل (Missing Completely at Random – MCAR): ويتحقق عندما يكون احتمال فقدان القيمة في متغير ما غير مرتبط إطلاقاً بقيمة المتغير نفسه، ولا بقيم أي من المتغيرات الأخرى المرصودة داخل الجدول. في هذا السيناريو المثالي، تمثل الصفوف المحددة عينة عشوائية بسيطة ونقية من المجتمع الإحصائي الأصلي، ولا يترتب على استبعادها أي تحيز منهجي سوى خفض القوة الإحصائية (Statistical Power) لاختبارات الفروض نتيجة تضاؤل حجم العينة.
  • الفقدان العشوائي المشروط (Missing at Random – MAR): ويحدث عندما يكون غياب القيمة مرتبطاً بصورة احصائية منتظمة بمتغيرات أخرى مكتملة في نفس السجل، ولكنه غير معتمد على القيمة الغائبة ذاتها. مثال ذلك: أن يميل الذكور إلى عدم الإفصاح عن عدد ساعات ممارسة الرياضة أكثر من الإناث؛ فالفقدان هنا مرتبط بالمتغير الفئوي المكتمل (النوع الاجتماعي) ولكنه غير مرتبط بعدد الساعات نفسها.
  • الفقدان غير العشوائي (Missing Not at Random – MNAR): ويمثل السيناريو الأكثر خطورة وتعقيداً؛ حيث يكون احتمال غياب المعلومة نابعاً من القيمة الحقيقية للمتغير الغائب ذاته. مثال ذلك: أن يمتنع الأفراد ذوو الدخول الفائقة عن التصريح عن مواردهم المالية تحديداً بسبب ضخامة هذا الرقم، مما يجعل عزل تلك الصفوف وحذفها المباشر سبباً في تشويه النموذج وتجريده من تمثيل الشريحة العليا للمجتمع.

تساعد الأدوات البيانية المتخصصة مثل مكتبة missingno الباحثين على استقراء هذه الآليات بصرياً من خلال رسم مصفوفات التواجد والغياب والخرائط الحرارية (Heatmaps) للارتباط بين أنماط الفقدان، مما يمهد لاتخاذ القرار الإجرائي التالي على أسس علمية متينة.

11.2 عزل السجلات المفقودة وتصديرها لأغراض التدقيق المؤسسي

في بيئات الأعمال والمؤسسات المصرفية والطبية، تخضع البيانات للوائح حوكمة وتدقيق صارمة تمنع التخلص الفوري من الملاحظات المعيبة دون توثيق مسار التدقيق الرقمي (Digital Audit Trail). يفرض هذا الواقع المؤسسي تصدير الصفوف المستخلصة التي تعاني من الفقدان إلى ملفات حفظ مستقلة أو جداول مؤقتة في قواعد البيانات قبل تطبيق أي تنقية على المستودع الرئيسي.

تتيح لغة بايثون ومكتبة بانداس تنفيذ هذه الخطوة بأعلى درجات الكفاءة التشغيلية عبر دوال التصدير المباشرة؛ حيث نقوم بتضمين المؤشرات الأصلية والمعرفات الفريدة وتاريخ وساعة إجراء الفحص الميداني، كما هو موضح في الشفرة الآتية:

# عزل الصفوف المفقودة وإضافة حقول التوثيق والتدقيق المؤسسي
audit_nan_df = df.loc[df.isnull().any(axis=1)].copy()
audit_nan_df['audit_timestamp'] = pd.Timestamp.now()
audit_nan_df['original_index'] = audit_nan_df.index
# تصدير البيانات المعيبة لفرق المراجعة الميدانية
audit_nan_df.to_csv('corrupted_records_audit.csv', index=False, encoding='utf-8-sig')
print("تم تصدير سجلات التدقيق بنجاح لمراجعة أصحاب المصلحة.")

يمكّن هذا الإجراء فرق جمع البيانات الميدانية من إعادة مراجعة السجلات الورقية الأصلية، أو إعادة الاتصال بالمبحوثين لاستيفاء الخانات الناقصة، مما يساهم في إنقاذ حجم كبير من الملاحظات الثمينة وتحويلها من خانة الفقدان إلى خانة الاكتمال التام.

11.3 اتخاذ القرار المنهجي: الحذف (Deletion) أم التعويض الإحصائي (Imputation)

يمثل اختيار استراتيجية المعالجة اللاحقة لتحديد الصفوف المعضلة الكبرى في إدارة جودة البيانات؛ حيث يتأرجح القرار دوماً بين مسارين متناقضين تحكمهما معايير إحصائية دقيقة:

  • مسار الحذف المقنن (Listwise / Pairwise Deletion):

    يُعد الحذف الكامل للصفوف المحددة (Listwise Deletion عبر df.dropna()) مقبولاً ومنهجياً فقط إذا كان حجم العينة الكلي هائلاً، وكانت نسبة الصفوف المتضررة ضئيلة جداً (أقل من 5% عادة)، وثبت بالدليل الإحصائي القاطع أن آلية الفقدان تتبع نمط MCAR تماماً. غير أن الإفراط في تطبيق هذا المسار في العينات المحدودة قد يؤدي إلى نسف الكفاءة الإحصائية واستبعاد غير مقصود لفئات سكانية معينة.

  • مسار التعويض الإحصائي (Data Imputation):

    يصبح التعويض حتمياً عندما تكون الملاحظات باهظة التكلفة، أو عندما يتسبب الحذف في إحداث تشوهات بالتوزيع التكراري. تتدرج تقنيات التعويض من:

    • التعويض الإحصائي البسيط: استبدال القيم الغائبة بالمتوسط الحسابي، أو الوسيط (وهو الأفضل في وجود التواءات إحصائية وقيم شاذة)، أو المنوال للمتغيرات الفئوية. وتُنفذ بسهولة بالغة في بانداس عبر الدالة df.fillna().
    • التعويض المتقدم بالنمذجة: استخدام خوارزمية الجار الأقرب (K-Nearest Neighbors Imputer) للعثور على أقرب السجلات المشابهة للصف المعيب واستعارة قيمتها لملء الفجوة، أو اللجوء إلى التعويض المتعدد بالسلاسل المترابطة (MICE – Multivariate Imputation by Chained Equations)، وهو المعيار الذهبي المعتمد أكاديمياً لتقدير عدم اليقين المصاحب لعملية التقدير.

12. أفضل الممارسات المنهجية ودليل استكشاف الأخطاء البرمجية وإصلاحها

12.1 بناء دوال مخصصة قابلة لإعادة الاستخدام لفحص وتقييم الفقدان

يقضي مهندسو ومحللو البيانات وقتاً طويلاً في إعادة كتابة نفس الأقنعة الشرطية عند استقبال كل مجموعة بيانات جديدة، وهو ما يتعارض مع مبدأ التطوير البرمجي الراسخ “لا تكرر نفسك” (Don’t Repeat Yourself – DRY). يقتضي النهج الهندسي المتقدم بناء دوال مخصصة وتجميعها في وحدات نمطية قابلة لإعادة الاستخدام، بحيث تستقبل أي إطار بيانات وتُرجع تقريراً تحليلياً مفصلاً يجمع بين تحديد الصفوف، وحساب نسب الفقدان، وتصنيف شدة التدهور الهيكلي.

فيما يلي تصميم برمجي متقدم لدالة تحليلية مرنة وقابلة للإدراج المباشر في المشاريع المؤسسية:

def audit_missing_records(dataframe: pd.DataFrame, 
 subset: list = None, 
 threshold: int = 1) -> dict:
 """
 دالة تشخيصية متقدمة لتحديد وعزل وتحليل الصفوف المشتملة على قيم مفقودة.
 
 المعلمات:
 ----------
 dataframe : pd.DataFrame
 إطار البيانات المستهدف بالفحص.
 subset : list, اختياري
 قائمة بأسماء الأعمدة المحددة لتقييد عملية الفحص، الافتراضي هو فحص كافة الأعمدة.
 threshold : int, الافتراضي 1
 الحد الأدنى لعدد القيم المفقودة المطلوبة داخل الصف لاعتباره سجلاً متضرراً.
 
 المخرجات:
 -------
 dict : قاموس تحليلي يحتوي على إطار الصفوف المستخلصة، والإحصاءات الحسابية.
 """
 # تحديد نطاق الأعمدة المستهدفة
 target_df = dataframe[subset] if subset else dataframe
 
 # حساب مصفوفة الفقدان والتكرارات
 missing_mask = target_df.isnull()
 counts_per_row = missing_mask.sum(axis=1)
 
 # استخلاص الفهارس المطابقة للعتبة المحددة
 selected_indices = counts_per_row[counts_per_row >= threshold].index
 extracted_rows = dataframe.loc[selected_indices].copy()
 
 # حساب المقاييس الإحصائية
 total_rows = len(dataframe)
 corrupted_count = len(extracted_rows)
 corruption_rate = (corrupted_count / total_rows) * 100 if total_rows > 0 else 0
 
 return {
 'corrupted_dataframe': extracted_rows,
 'affected_count': corrupted_count,
 'corruption_percentage': round(corruption_rate, 2),
 'missing_distribution': counts_per_row.value_counts().to_dict()
 }

تمنح هذه الصياغة الهندسية المنظمة فرق العمل أداة موحدة تخضع لمراقبة الأنواع التوضيحية (Type Hinting)، وتقدم قواميس بيانات واضحة المعالم تدمج بسلاسة مع لوحات المراقبة ومحركات التقرير الدوري.

12.2 استعراض الأخطاء الشائعة وحلولها عند كتابة الأقنعة الشرطية

تشير الخبرة العملية في تنقيح شفرات بايثون التحليلية إلى وجود مجموعة من الأخطاء التكرارية التي يقع فيها حتى المطورون ذوو الخبرة المتوسطة عند التعامل مع مصفوفات الفقدان. إن معرفة هذه الأخطاء وسبل تفاديها يختصر ساعات طويلة من التنقيح المضني:

  • الخطأ الأول: استخدام المعاملات المنطقية القياسية لبايثون بدلاً من المعاملات المتجهية:

    كتابة df[df['a'].isnull() and df['b'].isnull()] بدلاً من المعامل المتجهي &. يؤدي هذا الخطأ إلى إطلاق الاستثناء الشهير ValueError: The truth value of a Series is ambiguous؛ لأن لغة بايثون تعجز عن تقييم القيمة المنطقية الشاملة لمتسلسلة تحتوي على قيم متعددة دفعة واحدة. الحل: استخدام & للتقاطع و | للاتحاد وإحاطة كل طرف بأقواس دائرية إلزامية.

  • الخطأ الثاني: إهمال تحديد محور التجميع الأفقي (axis=1):

    استدعاء الدالة كالتالي df[df.isnull().any()] دون تمرير axis=1. نظراً لأن القيمة الافتراضية للمحور هي axis=0، فإن الدالة تقوم بالتجميع الرأسي لإنتاج متسلسلة تطابق أسماء الأعمدة، مما يؤدي إما إلى خطأ في الفهرسة IndexingError لعدم توافق الأبعاد، أو استرجاع بيانات غير مقصودة تماماً. الحل: كتابة axis=1 أو axis='columns' بصورة صريحة لا تحتمل اللبس.

  • الخطأ الثالث: اضطراب التوافق الفهرسي (Index Misalignment):

    يحدث هذا عندما يقوم المحلل بتصفية إطار البيانات أو تطبيق عمليات تحويلية تُسقط بعض الصفوف، ثم يحاول استخدام قناع منطقي تم إنشاؤه من إطار بيانات آخر ذي فهرس مختلف لتصفية الإطار الأول. تقوم بانداس بمحاولة مطابقة الفهارس آلياً، مما يؤدي إلى توليد قيم NaN إضافية داخل القناع نفسه وظهور نتائج فارغة تماماً. الحل: توحيد الفهارس أو إعادة ضبطها باستخدام reset_index(drop=True) قبل صياغة الأقنعة التبادلية.

12.3 إدراج خطوة التحقق من القيم المفقودة ضمن خطوط معالجة البيانات (Pipelines)

في بيئات هندسة البيانات الحديثة والتعلم الآلي في الإنتاج (MLOps)، لا يُسمح بتمرير البيانات عبر مراحل المعالجة اعتماداً على الافتراضات الشفهية لسلامتها، بل يجب فرض شروط تحقق صارمة تُعرف باختبارات تأكيد البيانات (Data Assertion Tests). تضمن هذه الخطوة الدفاعية توقف مسار الإنتاج فوراً إذا تسللت أي سجلات تحوي قيماً مفقودة بعد مرحلة التنقية والتعويض، مما يحمي نماذج التنبؤ من الانهيار المفاجئ في بيئات العمل الحية.

يمكن تضمين هذا الفحص إما برمجياً عبر العبارات الشرطية التأكيدية في بايثون assert، أو عبر أدوات الفحص المؤسسي المتقدمة مثل Great Expectations. يوضح النموذج التالي دمج اختبار تأكيدي صريح داخل خط معالجة وظيفي:

def production_preprocessing_pipeline(raw_df: pd.DataFrame) -> pd.DataFrame:
 """
 خط إنتاج برمجي لمعالجة البيانات وتأكيد خلوها النهائي من أي قيم NaN.
 """
 # مرحلة المعالجة والتعويض
 processed_df = raw_df.copy()
 processed_df['points'] = processed_df['points'].fillna(processed_df['points'].median())
 processed_df['assists'] = processed_df['assists'].fillna(0)
 processed_df.dropna(subset=['team'], inplace=True)
 
 # خطوة التحقق والتأكيد الصارم (Data Assertion)
 # التأكد من أن عدد الصفوف التي تحتوي على قيم مفقودة يساوي تماماً الصفر
 remaining_nan_count = processed_df.isnull().any(axis=1).sum()
 
 assert remaining_nan_count == 0, (
 f"فشل التحقق الهيكلي: لا يزال هناك {remaining_nan_count} صفاً يحتوي على قيم NaN غير معالجة!"
 )
 
 print("اجتازت البيانات فحص السلامة الهيكلية بنجاح، وهي جاهزة لتغذية النماذج.")
 return processed_df

يؤسس هذا النهج الدفاعي لبيئة حوسبة فائقة الموثوقية تمنع انتقال الأخطاء الهامشية وتضمن التوافق التام بين متطلبات الخوارزميات الرياضية وحالة المدخلات الميدانية.

خاتمة

استعرضنا في هذا الدليل التأصيلي المستفيض كافة الأبعاد الهندسية والرياضية والبرمجية لعملية تحديد واختيار الصفوف التي تحتوي على قيم NaN في مكتبة بانداس. لقد انطلقنا من الفهم المعماري العميق للمعيار القياسي IEEE 754 وتمايزه عن كائنات بايثون الأصلية، ومررنا بالتطبيقات البرمجية الثلاثة الأساسية: الكشف الشامل باستخدام any(axis=1)، والاستهداف الموضعي للأعمدة المفردة، والعزل الحصري للسجلات التالفة كلياً عبر all(axis=1)، وصولاً إلى استراتيجيات التصفية المتقدمة المعتمدة على المجموعات الفرعية والعتبات التراكمية، ومقارنات الأداء الزمني والذاكري بين نومباي وبانداس.

إن عزل الصفوف المشتملة على بيانات ناقصة لا يمثل مجرد حيلة برمجية لتجاوز أخطاء التنفيذ، بل هو التزام منهجي وأخلاقي تجاه سلامة وموثوقية البحث العلمي والتحليل الإحصائي؛ إذ يُمكّن المحلل من فهم طبيعة البيانات وتشخيص آليات الفقدان، واتخاذ قرارات متوازنة تحافظ على جودة العينة وتمنع الانحياز المنهجي. ومع التطور المتسارع لخطوط أنابيب البيانات ونماذج التعلم الآلي، يبقى التمكن الراسخ من هذه المبادئ حجر الزاوية لكل مهندس وباحث يسعى إلى تحويل البيانات الخام المشوبة بالاضطراب إلى استبصارات موثوقة تدعم اتخاذ القرارات الرشيدة.

المراجع

اقتباس هذا المقال

looti, M. (2026, سبتمبر 4). كيفية تحديد الصفوف التي تحتوي على قيم NaN في بانداس (مع أمثلة). عرب سايكلوجي. https://arabpsychology.com/statistics/select-rows-nan-values-pandas-examples/
looti, Mohammed. “كيفية تحديد الصفوف التي تحتوي على قيم NaN في بانداس (مع أمثلة).” عرب سايكلوجي, 4 سبتمبر 2026, https://arabpsychology.com/statistics/select-rows-nan-values-pandas-examples/.
looti, Mohammed. “كيفية تحديد الصفوف التي تحتوي على قيم NaN في بانداس (مع أمثلة).” عرب سايكلوجي. سبتمبر 4, 2026. https://arabpsychology.com/statistics/select-rows-nan-values-pandas-examples/.