بانداس: كيفية استخدام Group By مع شرط Where

تعتبر معالجة البيانات الجداولية حجر الزاوية في علوم البيانات الحديثة وهندسة النظم التحليلية، حيث تمثل مكتبة بانداس (Pandas) في لغة بايثون البيئة الحوسبية الأكثر انتشاراً واعتماداً لتنفيذ التحليلات الاستكشافية والمتقدمة. وفي إطار التحليل الإحصائي للأعمال والبحوث التجريبية، تبرز الحاجة الملحة إلى تطبيق استعلامات مركبة لا تكتفي بتلخيص البيانات الخام وفق مجموعات تصنيفية بسيطة، بل تتطلب إخضاع هذه البيانات لشروط استبعاد واختيار دقيقة تماثل منطقياً جملة التصفية الشرطية في قواعد البيانات العلائقية، وهو ما يُعرف في الأدبيات البرمجية بالدمج بين التجميع والشرط أو محاكاة شرط Where مع التجميع Group By.

يتناول هذا الدليل الأكاديمي الشامل الأسس النظرية والمنهجيات التطبيقية المتقدمة لدمج شروط الفلترة المنطقية مع عمليات التجميع الإحصائي داخل أطر بيانات بانداس. سنستعرض بعمق تشريحي مختلف التقنيات البرمجية المتاحة، بدءاً من الفهرسة البوليانية المباشرة واستخدام الدوال التعبيرية الموجهة، مروراً بالاستعلامات الديناميكية وتصفية المجموعات عبر نماذج المعالجة المتقدمة، ووصولاً إلى تحليل الأداء الحسابي وإدارة موارد الذاكرة وسلوك القيم المفقودة في البيئات الإنتاجية الضخمة.

تهدف هذه الدراسة المعمقة إلى تزويد الباحثين ومهندسي البيانات بفهم بنيوي رصين لنموذج تقسيم وتطبيق ودمج البيانات، مع التركيز على تجنب المزالق البرمجية الشائعة وتحسين كفاءة التنفيذ الحسابي عبر المعالجة المتجهية، مما يضمن استخلاص مؤشرات تحليلية موثوقة وعالية الدقة تلبي متطلبات النمذجة الإحصائية المعاصرة.

1. مقدمة إلى التجميع الشرطي في مكتبة بانداس وتطبيقاته التحليلية

1.1 أهمية التجميع المشروط في تحليل البيانات الإحصائية

يمثل التجميع المشروط ركيزة جوهرية في التحليل الإحصائي الحديث، حيث يتجاوز مجرد تلخيص القياسات العامة للبيانات إلى استخلاص الرؤى العميقة المستندة إلى سياقات محددة. في دراسات العينات الإحصائية، يبرز فارق منهجي شاسع بين استخراج العينات العشوائية البسيطة وبين التقسيم الطبقي المعتمد على محددات ومعايير مسبقة؛ فالأخير يضمن تمثيل الفئات الفرعية بدقة تمنع طغيان الأنماط العامة على الخصائص النوعية لكل طبقة داخل المجتمع الإحصائي المدروس.

علاوة على ذلك، يلعب التجميع الشرطي دوراً محورياً في تعزيز دقة الاستدلال الإحصائي؛ إذ يتيح للباحثين استبعاد القيم الشاذة، والسجلات غير المكتملة، والفئات غير المستهدفة قبل الشروع في حساب مقاييس النزعة المركزية أو التشتت. هذا الاستبعاد الانتقائي يحول دون تشويه النتائج التحليلية ويقلل من خطأ التقدير المعياري، مما يرفع من جودة القرارات المعتمدة على البيانات في مجالات دقيقة مثل التمويل، والطب، وهندسة النظم.

من منظور نمذجة البيانات المعقدة، يسهم دمج الشروط مع التجميع في تسريع استعلامات المعالجة التحليلية عبر الإنترنت، حيث يتم تقليص أبعاد مصفوفات البيانات مبكراً وتفادي إهدار الموارد الحسابية في معالجة سجلات هامشية. وعند مقارنة هذا المنطق ببيئة لغة الاستعلامات البنيوية (SQL)، نجد أن التجميع الشرطي في بانداس يمنح المحلل مرونة برمجية فائقة تتفوق على جمل التجميع التقليدية، بفضل قدرة بايثون على دمج البنى الشرطية المعقدة والدوال المخصصة داخل خط أنابيب المعالجة ذاته.

1.2 التحديات الهيكلية عند الدمج بين الفلترة وعملية التجميع

ينطوي الدمج بين تصفية السجلات وإجراء العمليات التجميعية على مجموعة من التعقيدات الهيكلية المرتبطة بالترتيب المنطقي للعمليات الحوسبية. إن تقديم مرحلة الفلترة على مرحلة التجميع أو العكس يغير بشكل جذري من مخرجات التحليل؛ فالفلترة المسبقة تؤثر بصورة مباشرة على أحجام العينات ودرجات الحرية الإحصائية المتاحة لحساب التباين والانحراف المعياري، في حين أن التصفية اللاحقة للمجموعات تغير من المنظور الكلي لتمثيل البيانات دون المساس بالقيم التراكمية المحسوبة داخلياً.

تتمثل إحدى أبرز العقبات الهندسية في الحفاظ على سلامة الفهارس وسياق البيانات التابع لها أثناء عمليات التصفية المتتابعة. فعند تطبيق أقنعة الترشيح، تتولد فهارس فرعية قد تفقد اتساقها الزمني أو المكاني، مما يؤدي إلى تضارب بنيوي عند محاولة إعادة دمج المصفوفات المجمعة مع هياكل البيانات الأصلية، أو عند التعامل مع سلاسل المؤشرات متعددة المستويات الناتجة عن عمليات التجميع المعقدة.

بالإضافة إلى ذلك، تفرض إدارة الذاكرة عبئاً تقنياً كبيراً عند معالجة المجموعات البيانية الضخمة. فالاستخدام غير الواعي لعمليات التصفية قد يؤدي إلى إنشاء نسخ وسيطة متعددة في الذاكرة العشوائية بدلاً من التعامل مع مشاهد البيانات الموجهة، مما يستنزف موارد النظام ويتسبب في تباطؤ ملحوظ في الأداء، بل وقد يقود إلى أخطاء نفاد الذاكرة في الأنظمة الموزعة وبيئات التحليل المقيدة بموارد حوسبية محددة.

1.3 نظرة عامة على التقنيات المتاحة لتنفيذ شرط Where في بانداس

توفر بيئة مكتبة بانداس ترسانة متنوعة من التقنيات الحسابية لتطبيق شروط الفلترة بالتزامن مع عمليات التجميع، وتختلف هذه التقنيات باختلاف متطلبات الكفاءة، وحجم البيانات، وسهولة القراءة البرمجية. تبرز في المقدمة دالة الاستعلام التعبيري المنفذة عبر محرك السلاسل النصية، والتي تتيح صياغة الشروط الرياضية والمنطقية بأسلوب إعلاني شديد الوضوح يحاكي صياغة استعلامات قواعد البيانات، مما يسهل كتابة شروط مركبة بصرياً.

في المقابل، تمثل الفهرسة المنطقية والبوليانية المباشرة عبر الأقواس المربعة ومحددات المواقع الهيكلية الخيار الأساسي الأكثر قرباً من بنية مصفوفات بايثون القياسية. يتيح هذا الأسلوب بناء أقنعة ثنائية صريحة وتمريرها لأطر البيانات لتطبيق الشروط بكفاءة حسابية عالية تستند إلى المعالجة المتجهية على مستوى لغة السي، وهو ما يقلل من زمن التقييم المنطقي مقارنة بالحلول المعتمدة على المفسرات النصية المتقدمة.

أخيراً، توفر مكتبة بانداس دوالاً متخصصة للتصفية على مستوى المجموعات ذاتها، مثل دالة المرشح التجميعي، التي تسمح بفحص الخصائص التراكمية لكل فئة بعد التجميع واستبعاد المجموعات التي تفشل في تحقيق العتبات المحددة. يشكل الجمع الحصيف بين هذه المنهجيات الثلاث حجر الزاوية في بناء خطوط معالجة مرنة وقابلة للتطوير تلبي مختلف سيناريوهات استكشاف البيانات الإحصائية وتنقيبها.

2. الأساس النظري لآلية تقسيم وتطبيق ودمج البيانات في بانداس

2.1 مفهوم نموذج Split-Apply-Combine البرمجي

يرتكز التجميع في مكتبة بانداس على نموذج برمجي راسخ يُعرف باسم تقسيم وتطبيق ودمج البيانات، وهو الإطار المفاهيمي الذي صاغه هادلي ويكهام لوصف عمليات التحليل البياني متعددة المستويات. تبدأ هذه الآلية بمرحلة التقسيم، حيث يقوم المحرك الحسابي بتحليل أطر البيانات الكبيرة وفرزها إلى شرائح ومجموعات فرعية متجانسة بناءً على مفتاح تصنيفي واحد أو أكثر، دون الحاجة إلى تكرار البيانات أو نقلها فيزيائياً في الذاكرة ما لم تقتضِ الضرورة ذلك.

في المرحلة التالية، وهي مرحلة التطبيق، يتم تشغيل الدالة الإحصائية أو الرياضية المستهدفة على كل شريحة معزولة بشكل مستقل ومتوازي نظرياً. تشمل هذه العمليات حساب مقاييس التلخيص كالوسط الحسابي، أو تطبيق عمليات التحويل القياسي، أو تنفيذ دوال الترشيح المتخصصة. تتميز هذه المرحلة بقدرتها على عزل السياق الحسابي لكل مجموعة، مما يمنع التداخل العددي بين الفئات الفرعية ويضمن دقة الحسابات الإحصائية المعقدة.

تُختتم الدورة بمرحلة الدمج، وفيها يجمع النظام النتائج الجزئية المشتتة ويعيد صياغتها ضمن هيكل بيانات موحد ومتماسك، مثل إطار بيانات جديد أو سلسلة أحادية البعد. تحافظ عملية إعادة التركيب هذه على اتساق الفهارس وتوفر مخرجات جاهزة للمقارنة البينية والتحليل اللاحق، مما يجسد القوة المعمارية لبانداس في إدارة تدفقات البيانات المعقدة بكفاءة عالية وبأقل تدخل يدوي من المطور.

2.2 تأثير موضع شرط التصفية على دورة حياة البيانات

يعد التوقيت الهندسي لتطبيق شرط التصفية ضمن دورة حياة البيانات عاملاً حاسماً في تحديد دقة النتائج وكفاءة استهلاك الموارد الحاسوبية. عند اعتماد التصفية المسبقة، تُحذف السجلات غير المطابقة للشرط قبل مرحلة التقسيم؛ الأمر الذي يخفف العبء التشغيلي عن المعالج بشكل ملحوظ نظراً لانخفاض عدد الصفوف المحالة إلى خوارزميات الفرز والتجميع، وهو ما يمثل أفضل الممارسات المتبعة لتقليل الحجم الحسابي للاستعلامات الضخمة.

أما تطبيق الفلترة الوسيطة أثناء عملية التجميع، فإنه يسمح بإجراء تعديلات سياقية تعتمد على خصائص البيانات النسبية لكل مجموعة، كاستبعاد المشاهدات التي تتجاوز حداً معيناً مشتقاً من المجموعة ذاتها. يؤثر هذا التكتيك بعمق على المقاييس الإحصائية الحساسة لحجم العينة؛ حيث تتغير درجات الحرية والخطأ المعياري بناءً على المشاهدات المقبولة داخل كل قطاع، مما يتيح ضبطاً إحصائياً دقيقاً للبيانات غير المتجانسة.

في المقابل، تعمل التصفية اللاحقة على مستوى النتائج التجميعية النهائية كمرشح استقصائي أخير، حيث لا يتم إقصاء أي سجل من حسابات التجميع الأولية، بل تُستبعد المجموعات التي لم تحقق الشروط المعيارية بعد اكتمال التلخيص. يعد هذا التباين في التموضع جوهرياً؛ فالخلط بين الفلترة المسبقة واللاحقة قد يترتب عليه استنتاجات خاطئة تماماً، خصوصاً عند حساب المتوسطات المرجحة أو الانحرافات المعيارية التي تتطلب شمولية العينة الأصلية.

2.3 التعامل مع الفهارس وإعادة ضبطها بعد التجميع

تؤدي عمليات التجميع في بانداس تلقائياً إلى تحويل الأعمدة المستخدمة كمفاتيح للتقسيم إلى فهارس جديدة لإطار البيانات الناتج، مما يخلق في كثير من الأحيان هياكل فهرسة هرمية أو متعددة المستويات. تلعب دالة إعادة ضبط الفهرس دوراً محورياً في تسطيح هذه الهياكل المعقدة، وتحويل مؤشرات التجميع إلى أعمدة قياسية، مما يسهل معالجة البيانات لاحقاً وإخضاعها لعمليات تصفية أو دمج إضافية بسلاسة متناهية.

ينطوي التعامل مع الفهارس الهرمية الناتجة عن التجميع الشرطي المتعدد على تكاليف حسابية واعتبارات برمجية دقيقة؛ إذ تتيح الفهارس المتعددة تمثيلاً بيانياً فائق الدقة للأبعاد المتداخلة، لكنها تزيد في الوقت ذاته من صعوبة كتابة الاستعلامات البسيطة وتحد من التوافقية مع بعض مكتبات التعلم الآلي والتمثيل البصري التي تشترط مصفوفات مسطحة ثنائية الأبعاد.

من هنا تنبثق أهمية الموازنة بين الاحتفاظ بالهيكل الفهرسي الأصلي وبين تسطيحه الكامل. يوفر الاحتفاظ بالفهارس سرعة وصول استثنائية عبر المؤشرات الموضعية المتقدمة، بينما يحقق التسطيح مرونة برمجية وتوافقاً مع نماذج البيانات القياسية، مما يفرض على مهندس البيانات اتخاذ قرارات مدروسة تعتمد على طبيعة المعالجات اللاحقة والقيود الزمنية للأنظمة التحليلية قيد التشغيل.

3. التطبيق العملي للتجميع الشرطي باستخدام دالة query

3.1 الصياغة البرمجية الصحيحة لدالة query المدمجة مع Group By

توفر دالة الاستعلام query في مكتبة بانداس طريقة أنيقة ومعبرة لتطبيق الشروط المنطقية على أطر البيانات قبل تمريرها إلى دالة التجميع، حيث تستند في جوهرها إلى تفسير السلاسل النصية وتحويلها إلى عمليات ترشيح سريعة. تتميز هذه الصياغة ببنية لغوية تشبه الجمل الإعلانية المباشرة، مما يقلل من الحاجة إلى تكرار اسم إطار البيانات عبر الأقنعة البوليانية المزدحمة ويوفر مساراً برمجياً شديد الانسيابية.

لتنفيذ التجميع الشرطي بكفاءة عبر هذا الأسلوب، يتم ربط دالة الاستعلام بسلسلة استدعاءات متتابعة تبدأ بفرز الصفوف بناءً على الشروط الحسابية المطلوبة، كأن يتم حصر السجلات التي يتجاوز فيها متغير معين حداً رقمياً محدداً، تليها مباشرة دالة التجميع لحساب الأوساط أو الانحرافات. يضمن هذا التدفق المتتابع عدم دخول السجلات غير المرغوبة في نطاق التقسيم، مما يعزز دقة المؤشرات التراكمية الناتجة ويوفر صياغة نظيفة يسهل تتبعها وتدقيقها برمجياً.

علاوة على ذلك، تتعامل الدالة بمرونة فائقة مع السلاسل النصية المعقدة وأسماء الأعمدة غير القياسية التي قد تتضمن مسافات بيضاء أو رموزاً خاصة، وذلك من خلال إحاطة هذه التسميات برموز الإسناد المناسبة داخل النص الشرطي. تتيح هذه القدرة صياغة تعابير حسابية مركبة تدمج بين العمليات الرياضية المقارنة والمنطقية المتعددة في جملة برمجية موحدة تسبق التجميع دون المساس بسلامة التنفيذ أو بنية البيانات.

3.2 إدارة المتغيرات الخارجية والشرطية داخل استعلام query

تكتسب دالة query مرونة استثنائية عند التعامل مع البيئات البرمجية المتغيرة، وذلك بفضل دعمها لتمرير المتغيرات المعرفة مسبقاً في نطاق بايثون العام أو المحلي داخل السلسلة النصية للاستعلام. يتم تحقيق ذلك باستخدام بادئة الرمز المرجعي قبل اسم المتغير، مما يسمح لمحرك التقييم الداخلي بالتعرف على القيمة الديناميكية للمتغير وتطبيقها كعتبة تصفية دقيقة أثناء وقت التشغيل.

تسهل هذه الإمكانية بناء دوال استعلام ديناميكية متقدمة تتكيف تلقائياً مع معايير الفلترة التي يحددها المستخدم النهائي أو التي تنتج عن مخرجات نماذج إحصائية أخرى. فعلى سبيل المثال، يمكن للمحلل تمرير عتبات الانحراف، أو الحدود الدنيا للأرباح، أو معايير النطاقات الزمنية المتغيرة كمعاملات وسيطة للدوال البرمجية، ليتم دمجها بسلاسة داخل استعلام التجميع دون الحاجة إلى تشكيل السلاسل النصية يدوياً عبر عمليات الدمج النصي المعرضة للأخطاء.

ومع ذلك، تفرض هذه المرونة ضرورة الالتزام الصارم بالتحقق البرمجي وضمان الأمان؛ إذ يتطلب التعامل مع المتغيرات الخارجية فحصاً مسبقاً لأنواع البيانات لمنع وقوع أخطاء عدم توافق الأنواع، لا سيما عند مقارنة المتغيرات الرقمية بالنصوص، فضلاً عن حماية مسار التحليل من التعابير الخاطئة التي قد تتسبب في سلوك غير متوقع لمحرك المعالجة النصية التابع لبانداس، مما يحافظ على استقرار وموثوقية خط الأنابيب التحليلي.

3.3 التحليل المقارن لكفاءة وسهولة قراءة دالة query

تتفوق دالة query بصرياً على الطرق التقليدية في تصفية البيانات بفضل قدرتها على اختزال التعقيد الهندسي للأكواد؛ فالصيغة النصية النظيفة تحد من التشويش البصري الناجم عن تكرار الأقواس المربعة والمراجع المتشابكة، مما يرفع من قابلية قراءة الكود البرمجي وصيانته داخل الفرق البحثية المتعددة. تساعد هذه البساطة المعمارية في توثيق الخطوات التحليلية وتقليل احتمالية الأخطاء المنطقية الناتجة عن تعقيد الأقنعة الشرطية.

أما من جانب الكفاءة والأداء الحسابي، فإن دالة query تعتمد افتراضياً على محرك الحوسبة السريعة المتجهية NumExpr في حال توفره بالبيئة التشغيلية، والذي يقوم بتقييم التعابير الرياضية والمصفوفات الكبيرة على مستوى الذاكرة المخبأة للمعالج دون الحاجة لإنشاء مصفوفات بوليانية وسيطة كاملة. يمنح هذا المحرك تفوقاً ملحوظاً في السرعة واستهلاك الذاكرة عند معالجة أطر البيانات الضخمة التي تحتوي على ملايين الصفوف مقارنة بالمفسر الافتراضي لبايثون.

على الرغم من هذه المزايا، تبرز بعض الحدود البرمجية التي يفضل عندها تجنب استخدام query؛ حيث تصبح هذه الطريقة أقل كفاءة عند التعامل مع البيانات الصغيرة بسبب العبء الإضافي لتحليل وتفسير النصوص البرمجية قبل التنفيذ. كما تفتقر الدالة للدعم الكامل للعمليات المعقدة للغاية التي تستدعي دوال بايثون المخصصة غير المضمنة في مكتبات الحساب المتجهي، مما يستوجب العودة للأقنعة المنطقية التقليدية في تلك السيناريوهات المتخصصة.

4. الفلترة البوليانية المباشرة والتجميع الشرطي التقليدي

4.1 بناء الأقنعة المنطقية لتصفية السجلات قبل Group By

تعتبر الفهرسة البوليانية المباشرة الأساس التقني الأكثر شيوعاً ورسوخاً في بيئة مكتبة بانداس لتنفيذ عمليات التصفية الشرطية السابقة للتجميع. تقوم هذه الآلية على مبدأ إنشاء متجهات أو سلاسل منطقية تتألف من قيم ثنائية مطابقة تماماً في أبعادها لعدد صفوف إطار البيانات المستهدف، بحيث تعبر كل خانة منطقية عن مدى استيفاء السجل المناظر للمعايير والشروط التحليلية المحددة بدقة متناهية.

يتم تطبيق هذا القناع المنطقي مباشرة داخل فهرس إطار البيانات عبر الأقواس المربعة، مما يولد شريحة مصفاة بالكامل من البيانات تُمرر فوراً إلى دالة التجميع. تضمن هذه الطريقة استبعاد كافة الصفوف غير المتطابقة قبل البدء في حساب مصفوفات التوزيع أو الفرز الفئوي، مما يوفر بيئة حسابية محكومة تقتصر حصرياً على العينات الإحصائية التي تلبي فرضيات الدراسة أو متطلبات التقرير المالي الموجه.

من الناحية المعمارية، ينبغي الانتباه إلى سلوك استهلاك الذاكرة المؤقتة أثناء بناء هذه المتجهات؛ حيث يتطلب توليد الأقنعة البوليانية المركبة حجز مساحات مؤقتة في الذاكرة العشوائية لتخزين السلاسل المنطقية المرحلية. وعلى الرغم من أن هذا الاستهلاك يعد ضئيلاً نسبياً في أطر البيانات المتوسطة، فإنه قد يشكل قيداً في بيئات الحوسبة ذات الموارد المحدودة عند التعامل مع كميات هائلة من المشاهدات الإحصائية المتشعبة.

4.2 الدمج المنطقي لشروط متعددة باستخدام المعاملات البوليانية

يتطلب التحليل الإحصائي المتقدم في كثير من الأحيان صياغة شروط ترشيح بالغة التعقيد تتضمن معايير متعددة ومتزامنة لا يمكن التعبير عنها بشرط منفرد. تتيح مكتبة بانداس دمج هذه الشروط من خلال استخدام المعاملات الثنائية الموجهة، مثل معامل العطف المنطقي للتحقق من الاستيفاء المتزامن لكافة الشروط، أو معامل الاختيار المنطقي لتضمين الحالات البديلة، فضلاً عن معامل النفي المنطقي لعكس النتائج واستبعاد فئات محددة.

تفرض لغة بايثون في هذا السياق قاعدة صارمة تقتضي إحاطة كل تعبير شرطي مستقل بأقواس دائرية منفصلة لضبط أسبقية العمليات المنطقية. يرجع ذلك إلى أن المعاملات البوليانية الثنائية في بايثون تمتلك أولوية تنفيذ تفوق معاملات المقارنة الرياضية المعتادة، مما يعني أن إغفال هذه الأقواس سيقود حتماً إلى أخطاء في التفسير البرمجي أو إلى نتائج تصفية مشوهة لا تعكس المعنى المنطقي المقصود من الاستعلام.

يمثل التمييز بين المعاملات البوليانية الثنائية الموجهة ومعاملات بايثون القياسية النصية ركيزة أساسية لمنع الأخطاء الشائعة؛ فالمعاملات النصية القياسية تعجز عن معالجة المتجهات ككتلة واحدة وتتوقع قيمة منطقية مفردة، مما يؤدي إلى فشل فوري للشيفرة البرمجية. في المقابل، تضمن المعاملات الموجهة تقييم كل عنصر في السلسلة على حدة بكفاءة عالية مستمدة من خوارزميات الحساب الموجه، مما يمهد الطريق لتجميع إحصائي دقيق وخالٍ من الانحرافات المنطقية.

4.3 مقارنة أداء الفهرسة البوليانية مع دالة query

تكشف الاختبارات المعيارية للأداء الحسابي عن فروق جوهرية بين الفهرسة البوليانية المباشرة ودالة الاستعلام التعبيري، تتباين بحسب حجم مصفوفة البيانات المعالجة وطبيعة العمليات المنطقية المنفذة. في المصفوفات البيانية الصغيرة والمتوسطة، تتفوق الفهرسة البوليانية المباشرة بشكل واضح من حيث سرعة التنفيذ، نظراً لغياب مرحلة التحليل والتفسير النصي التي تفرضها دالة query، مما يجعلها الخيار الأمثل للعمليات التي تتطلب استجابة فائقة السرعة.

ومع ذلك، يتغير هذا المنحنى الأدائي تدريجياً عند الانتقال إلى البيانات الضخمة التي تحتوي على مئات الآلاف أو الملايين من السجلات. في هذه السيناريوهات، تتمكن دالة query المدعومة بمحرك الحوسبة السريعة من التفوق الحسابي، بفضل استغلالها الأمثل للذاكرة الوسيطة للمعالج وتجنبها للنسخ العشوائي للمتجهات المنطقية، مما يقلل بشكل ملموس من زمن الوصول إلى الذاكرة ويحد من اختناقات تدفق البيانات الحسابية.

من الناحية الأكاديمية والتطبيقية، يوصى بالاعتماد على الفهرسة البوليانية المباشرة في الأنظمة الإنتاجية الحرجة التي تتطلب استقراراً تنفيذياً مطلقاً وتتعامل مع خطوط معالجة ثابتة البنية ومحسنة مسبقاً. أما في مشاريع التحليل الاستكشافي السريع، أو عندما تكون سهولة صيانة الشيفرات ومقروئيتها للأطراف البحثية هي الأولوية القصوى، فإن دالة الاستعلام تظل خياراً فائق الجودة والفعالية يختزل زمن التطوير بصورة ملموسة دون التضحية بالكفاءة العامة للنظام.

5. استخدام دالة loc للتصفية المتقدمة والتجميع الموجه

5.1 بنية دالة loc ودورها في التحديد ثنائي الأبعاد

تحتل دالة التحديد الموضعي المعتمد على التسميات loc مكانة مركزية في منظومة بانداس، بفضل قدرتها الفريدة على معالجة البيانات عبر بعدين متزامنين: بُعد الصفوف وبُعد الأعمدة. يتيح هذا البناء الهيكلي المزدوج تحديد وتصفية السجلات المستوفية للشروط الإحصائية المطلوبة وفي الوقت ذاته اختيار الأعمدة المستهدفة بالتجميع والتحليل دون سواها، وكل ذلك ضمن تعبير برمجي موحد وشديد الدقة.

يوفر هذا التحديد ثنائي الأبعاد ميزة جوهرية في إدارة موارد النظام؛ حيث يحد من استهلاك الذاكرة عبر استبعاد الأعمدة الهامشية أو غير المطلوبة في العمليات التجميعية مبكراً، بدلاً من تحميل كامل إطار البيانات في ذاكرة التشغيل ثم تقليصه لاحقاً. يترتب على ذلك خفض مباشر للعبء الحسابي المسند لدوال التجميع اللاحقة، مما يرفع الكفاءة التشغيلية لخط المعالجة ويسرع استخراج المقاييس الإحصائية المركبة.

إضافة إلى ذلك، يلعب استخدام loc دوراً وقائياً حاسماً في منع ظهور التحذيرات البرمجية المرتبطة بنسخ البيانات والتعديل على شرائح غير مفردة. فمن خلال تحديد نطاق الصفوف والأعمدة بدقة عبر واجهة رسمية معتمدة، تضمن بانداس أن العمليات التجميعية تجري على مراجع بيانات محددة بدقة دون التسبب في سلوكيات نسخ غامضة قد تشوه سلامة البيانات الأصلية أو تفضي إلى أخطاء صامتة في النتائج الإحصائية.

5.2 تنفيذ الشروط الدالية المعقدة باستخدام تعابير لامبدا مع loc

تكتسب دالة loc مرونة استثنائية عند دمجها مع تعابير لامبدا البرمجية لتقييم الشروط الحسابية والمنطقية بشكل تفاعلي أثناء تدفق البيانات. يسمح هذا الأسلوب بتمرير دوال مجهولة الاسم تستقبل إطار البيانات في حالته اللحظية وتجري عليه عمليات تقييم مشتقة، مما يلغي الحاجة إلى إنشاء متغيرات مؤقتة لحفظ نتائج التصفية المرحلية، ويحافظ على انسيابية الشيفرة البرمجية وتسلسلها المنطقي.

تبرز الأهمية العملية لهذا النهج عند التعامل مع مجموعات البيانات التي تشهد معالجات مسبقة معقدة ضمن خط أنابيب متسلسل؛ حيث يمكن لتعبير لامبدا فحص السجلات واستبعاد القيم المفقودة أو الشاذة ديناميكياً استناداً إلى خصائص التوزيع الإحصائي للبيانات المتدفقة في تلك اللحظة بالذات. يضمن ذلك تطبيق الشروط المعيارية على أحدث نسخة من البيانات دون الانفصال عن سياق السلسلة الوظيفية الشاملة للمعالجة.

علاوة على ذلك، يتيح هذا النمط الجمع المرن بين التحقق من سلامة أنواع البيانات وتطبيق القيود الرياضية المتقدمة في خطوة تقييم واحدة؛ كأن يتم التحقق من كون القيم تتبع نطاقاً بيانياً محدداً ومفرغة من الرموز غير العددية في الوقت نفسه الذي تُطبق فيه الشروط، مما يوفر طبقة دفاعية برمجية تمنع انهيار خطوط التجميع الإحصائي الموجه وتحسن من متانة التطبيقات التحليلية في البيئات الإنتاجية المتغيرة.

5.3 التطبيق العملي: التجميع الإحصائي متعدد المستويات باستخدام loc

يتجلى الاستخدام المتقدم لدالة loc في التطبيقات الإحصائية التي تستلزم استخراج مقاييس التشتت والنزعة المركزية لفئات محددة بأبعاد مكانية أو زمانية دقيقة. في الدراسات الديموغرافية والاقتصادية، على سبيل المثال، يحتاج المحلل إلى عزل مناطق جغرافية بعينها وإخضاعها لتجميع متعدد المستويات يشمل حساب الوسيط، والانحراف الربيعي، والمدى الإحصائي لمتغيرات فرعية محددة دون غيرها.

يتم هذا الإجراء من خلال توجيه loc لتطبيق قناع جغرافي صارم، يتبعه استدعاء مباشر للتجميع عبر تصنيفات متعددة الأبعاد كالمستوى التعليمي وفئات الدخل، مع حصر الحسابات في أعمدة التدفقات النقدية ومعدلات الإنفاق. يتيح هذا الدمج الهيكلي صياغة مخرجات إحصائية متعددة المستويات تتسم بالتنظيم الفائق والاستقرار الرياضي، مما يجعلها مهيأة تماماً للاستخدام المباشر في أدوات التمثيل البياني وبناء لوحات التحكم التحليلية الاستراتيجية.

يسهم هذا الأسلوب أيضاً في حماية استقرار سلاسل التجميع عبر تفادي التغيرات العرضية في أبعاد المصفوفات الناتجة؛ حيث يضمن التحديد القاطع للأعمدة داخل محدد loc ثبات تركيبة المصفوفة التجميعية، بصرف النظر عن أي تغييرات تطرأ على هيكل إطار البيانات المصدر، وهو ما يمثل مبدأً هندسياً لا غنى عنه في بناء نظم معالجة البيانات الإحصائية المستدامة والآمنة من التراجعات البرمجية غير المتوقعة.

6. التصفية الشرطية للمجموعات بعد التجميع باستخدام دالة filter

6.1 الفرق الجوهري بين تصفية الصفوف وتصفية المجموعات الكاملة

يشكل التمييز بين تصفية المشاهدات الفردية وتصفية المجموعات الإحصائية بأكملها مفترقاً منهجياً بالغ الأهمية في فهم دورة معالجة البيانات التحليلية. إن التصفية القائمة على الصفوف، سواء تمت عبر الأقنعة البوليانية أو محددات المواقع، تنظر إلى كل سجل بمعزل عن محيطه الفئوي وتستبعده بناءً على خصائصه الذاتية، في حين تستند تصفية المجموعات إلى الخصائص التراكمية الإجمالية التي تكتسبها الشريحة البيانية بعد اكتمال تجميع عناصرها.

يطابق هذا السلوك في بيئات قواعد البيانات المتقدمة الفارق الدقيق والشهير بين جملة WHERE التي تعمل كمرشح أولي للسجلات المنفردة، وجملة HAVING التي تعمل كأداة إقصاء للمجموعات التجميعية بناءً على نتائج الدوال التلخيصية. فالمحلل الذي يستخدم دالة filter على كائن التجميع لا يبحث عن إقصاء صف يقل فيه الدخل عن حد معين، بل يستهدف استبعاد الفئة السكانية أو المقاطعة بأكملها إذا لم يتجاوز متوسط دخلها العام عتبة إحصائية مقررة مسبقاً.

ينعكس هذا الإجراء بعمق على تصميم التجارب وضمان توازنها الإحصائي؛ إذ إن استبعاد مجموعات كاملة بسبب صغر حجمها أو عدم كفاية تمثيلها في العينة يمنع تشويه التحليلات المقارنة اللاحقة، مثل تحليلات التباين واختبارات الفروق، التي تفترض توافر حد أدنى من الملاحظات داخل كل خلية تجريبية لضمان قوة الاختبار الإحصائي وموثوقية تعميم نتائجه.

6.2 صياغة الشروط المجمعة عبر دوال لامبدا داخل filter

تعتمد آلية عمل دالة filter التابعة لكائنات التجميع في بانداس على تقييم دالة شرطية، يتم تمريرها غالباً في صورة تعبير لامبدا، حيث تستقبل هذه الدالة كل شريحة بيانات فرعية كإطار بيانات مستقل تماماً وتُرجع قيمة منطقية مفردة تعبر عن قبول المجموعة برمتها أو استبعادها الكلي من الهيكل البياني النهائي.

تتيح هذه الصياغة تنفيذ طيف واسع من المعايير التجميعية الدقيقة؛ ومن أكثر التطبيقات شيوعاً اشتراط توافر حد أدنى حرج من التكرارات أو السجلات داخل الفئة لتجنب تضمين الفئات النادرة أو غير الممثلة إحصائياً. كما تمتد هذه المرونة لتشمل صياغة شروط تعتمد على مؤشرات النزعة المركزية أو التشتت، كاستبقاء الفئات التي يحقق متوسط قياساتها عتبة رقمية محددة أو تلك التي يقل انحرافها المعياري عن نسبة مئوية معينة لضمان تجانس المجموعة.

السمة الهيكلية الأبرز لدالة filter هي أنها، وبخلاف دوال التلخيص الإحصائي، تعيد إطار بيانات يحتفظ بنفس التركيبة الهيكلية الأصلية للصفوف والأعمدة المضمنة، ولكن بعد تنقيته كلياً من السجلات التابعة للفئات المستبعدة. يوفر هذا الحفاظ الهيكلي مرونة فائقة؛ إذ يتيح للمحلل متابعة تدفق التحليل على مستوى السجلات الفردية للمجموعات المؤهلة فقط، دون إجبار البيانات على التحول المبكر إلى مؤشرات مجمعة ملخصة.

6.3 الجمع بين التصفية المسبقة لشرط Where والتصفية اللاحقة للمجموعات

يتطلب بناء خطوط المعالجة البيانية المتقدمة في كثير من السيناريوهات الواقعية الجمع المتناسق بين تقنيات التصفية المسبقة والتصفية اللاحقة للمجموعات في مسار حوسبي موحد ومتكامل. يبدأ هذا المسار بتطبيق شرط Where أولي لاستبعاد السجلات المعيبة أو غير المؤهلة إحصائياً، مما يضمن خلو المجموعات الخام من الملوثات البيانية، ثم يتبع ذلك تجميع البيانات وتطبيق شرط Having لاحق لاستبعاد الكيانات التي تفشل في تحقيق المعايير الجماعية.

يفرض هذا التسلسل ضرورة المتابعة الدقيقة للتغيرات المستمرة في أحجام البيانات المتدفقة وتأثيرها المباشر على درجات الحرية الإحصائية. فالترشيح المسبق يقلص التكرارات الفردية، مما قد يؤدي بدوره إلى تراجع حجم بعض المجموعات لتصبح دون الحد الأدنى المطلوب للاختبارات الإحصائية اللاحقة، وهو ما يبرز أهمية دالة filter كمرحلة تصفية ثانية تعيد ضبط التوازن المنهجي للمصفوفة التحليلية قبل استخراج الاستنتاجات النهائية.

من الناحية الحسابية والهندسية، يحقق هذا التسلسل الهرمي كفاءة حسابية قصوى عند برمجته بوعي عميق؛ إذ إن تقليص السجلات عبر الفلترة المسبقة يقلل حجم البيانات الممررة إلى دالة التجميع، مما يسرع عملية بناء المجموعات وتطبيق تعابير لامبدا التجميعية اللاحقة. يمثل هذا التناغم بين الفلترة على مستوى الصفوف والفلترة على مستوى المجموعات ذروة الممارسات المثلى في هندسة استعلامات بانداس الموجهة للبيانات الكبيرة.

7. تطبيق الشروط المخصصة عبر دالتي apply و transform

7.1 استخدام دالة transform لبث الشروط عبر سياق المجموعة

تمثل دالة التحويل transform إحدى أقوى الأدوات في ترسانة مكتبة بانداس للتعامل مع العمليات السياقية على مستوى المجموعات، حيث تتميز بقدرتها الهيكلية الفريدة على إرجاع نتائج حسابية تمتلك نفس أبعاد وأطوال المؤشرات البيانية لإطار البيانات الأصلي. يتيح ذلك بث المقاييس الإحصائية التراكمية الخاصة بكل فئة مباشرة عبر صفوفها التابعة لها دون الحاجة إلى عمليات دمج يدوية معقدة ومكلفة حوسبياً.

تفتح هذه الخاصية آفاقاً واسعة لتوليد أقنعة شرطية نسبية تقارن أداء الأفراد بمتوسطات مجموعاتهم المباشرة؛ كأن يتم استخراج السجلات التي يتجاوز فيها أداء موظف معين متوسط أداء قسمه الإداري بنسبة محددة، أو تحديد المعاملات المالية التي تشكل انحرافاً حاداً عن متوسط النمط الإنفاقي للمستهلك الفردي. تحافظ هذه التصفية الشرطية الموضعية على السياق الفئوي للملاحظة، مما يوفر فهماً تحليلياً أعمق بكثير من المقارنات السطحية بالمتوسطات العامة للمجتمع الإحصائي ككل.

إلى جانب ذلك، تشكل transform الأداة المثالية لإجراء عمليات التقييس المعياري الشرطي داخل كل مجموعة على حدة، كتحويل القيم الخام إلى درجات معيارية تعتمد على متوسط وانحراف المجموعة ذاتها. هذا الأسلوب المتجهي يمنع التشوهات الإحصائية الناتجة عن عدم تجانس المجموعات الفرعية، ويوفر بيئة تحضيرية بالغة القوة لخوارزميات التعلم الآلي التي تتطلب مدخلات معيارية تحافظ على الفروق البينية للقطاعات المدروسة.

7.2 تطبيق المنطق الشرطي المرن والشامل عبر دالة apply

تعتبر دالة التطبيق الشامل apply الملاذ الهندسي المرن لمعالجة العمليات التحليلية المعقدة التي تعجز عن استيعابها الدوال الإحصائية الموجهة والقياسية في بانداس. تمنح هذه الدالة المحلل تحكماً برمجياً مطلقاً؛ حيث تستلم الدالة الممررة إليها كل شريحة بيانات فرعية ككيان متكامل، مما يتيح تطبيق بنى تحكم شرطية متعددة المستويات، واستدعاء دوال خارجية، وتنفيذ معالجات غير خطية تتباين كلياً من مجموعة إلى أخرى.

تتميز apply بقدرتها الفائقة على إرجاع مخرجات متباينة الأشكال والأبعاد اعتماداً على تحقق الشروط المقررة داخل الدالة المخصصة؛ فقد ترجع قيمة عددية مفردة تلخص المجموعة، أو تعيد شريحة مصفوفة مصفاة ومعدلة، أو حتى هيكل بيانات جديد تماماً يتضمن مؤشرات إحصائية مركبة. تتيح هذه المرونة الفريدة صياغة حلول حاسمة للمشكلات الإحصائية المعقدة التي تتطلب شروط توقف تكرارية أو نمذجة انحدار تفاعلية داخل كل قطاع تصنيفي بشكل مستقل.

بيد أن هذه المرونة القصوى تقابلها تكلفة حسابية باهظة ينبغي لمهندس البيانات إدراك أبعادها بدقة؛ فدالة apply تجبر بانداس في كثير من الحالات على الخروج من مسارات التنفيذ السريعة على مستوى السي والاعتماد على حلقات بايثون التكرارية البطيئة لتنفيذ الدالة على كل فئة. يترتب على ذلك انخفاض حاد في سرعة المعالجة مع البيانات الضخمة، مما يفرض استخدامها بحذر شديد وحصرها في السيناريوهات الاستثنائية التي يتعذر حلها عبر الدوال المتجهية الأكثر كفاءة.

7.3 المفاضلة الهندسية بين apply و transform و filter

تتطلب كتابة أكواد بانداس ذات الكفاءة العالية إدراكاً عميقاً للفروق الهندسية والوظيفية بين الأدوات الثلاث الموجهة للمجموعات: filter، وtransform، وapply، واختيار الأداة الأنسب لكل سيناريو تحليلي بناءً على طبيعة المخرجات المطلوبة والقيود الزمنية للنظام. يقود الاختيار الخاطئ للأداة إلى اختناقات تشغيلية حادة وتعقيد غير مبرر في صيانة البرمجيات التحليلية.

تتجلى المفاضلة الهندسية بوضوح في أبعاد البيانات الناتجة وسلوك الفهارس؛ فدالة filter مخصصة حصرياً لتقليص حجم إطار البيانات عبر إقصاء مجموعات كاملة مع الحفاظ التام على أبعاد وهيكل الصفوف المؤهلة، دون تعديل أي قيمة داخلية. في المقابل، تلتزم transform بالحفاظ الصارم على نفس عدد الصفوف الأصلية دون زيادة أو نقصان، مع تعديل القيم الحسابية وبثها سياقياً، بينما تظل apply الأداة الحرة التي تتكيف مع أي شكل من أشكال المخرجات لكن على حساب كفاءة استهلاك المعالج.

من منظور الأداء الخالص، يوصى دائماً بالاعتماد على transform وfilter اللتين تعتمدان على مسارات حسابية محسنة داخلياً تدعم المعالجة المتجهية السريعة متى ما سمحت طبيعة المشكلة بذلك، وتجنب استخدام apply ما لم تقتضِ الضرورة الرياضية تطبيق منطق تحكم متشعب لا يمكن صياغته متجهياً. يضمن هذا الانضباط المعماري تحقيق التوازن الأمثل بين وضوح البنية البرمجية والسرعة الفائقة في معالجة مصفوفات البيانات الكبيرة.

8. التجميع الإحصائي المتقدم باستخدام دالة agg والشروط التفصيلية

8.1 تطبيق مقاييس إحصائية متباينة على أعمدة مختلفة مشروطة

تمثل دالة التجميع المتقدم agg الذروة الوظيفية لعمليات التلخيص الإحصائي في مكتبة بانداس، حيث تتيح صياغة مصفوفات تلخيصية فائقة التخصيص تلبي متطلبات التحليل متعدد المتغيرات. من خلال دمج هذه الدالة مع التصفية الشرطية المسبقة، يستطيع المحلل عزل الشريحة السكانية أو التجارية المستهدفة بدقة، ثم تطبيق حزم متنوعة من الدوال الإحصائية على مختلف الأعمدة العددية والوصفية في استدعاء تنفيذي موحد وشديد الكفاءة.

يتم تحقيق هذا التخصيص المعياري عبر تمرير قواميس هيكلية تحدد لكل متغير كمي دالته التلخيصية النوعية؛ كأن يتم حساب المتوسط الحسابي والانحراف المعياري لعمود الأرباح، وفي الوقت ذاته حساب الوسيط والمدى الربيعي لعمود التكاليف، مع استخراج القيمة الأكثر تكراراً لمتغير تصنيفي آخر. يضمن هذا النهج المدمج عدم تكرار التجميع لكل مقياس على حدة، مما يوفر زمناً حسابياً ثميناً ويقلل العبء على وحدات المعالجة المركزية بشكل ملحوظ.

علاوة على ذلك، تسمح التقنيات الحديثة في بانداس بتسمية الأعمدة الناتجة عن عمليات التجميع المركبة بشكل مباشر ومخصص أثناء عملية الاستدعاء عبر التجميع المعنون، مما يمنع توليد الفهارس الهرمية المعقدة في تسميات الأعمدة. يسهم ذلك في إنتاج جداول إحصائية أنيقة، واضحة التوثيق، ومتوافقة مباشرة مع معايير التقارير الأكاديمية والمالية دون الحاجة إلى خطوات لاحقة لإعادة تسمية الحقول المشتقة.

8.2 بناء دوال تجميع إحصائية مخصصة تتضمن شروطاً داخلية

على الرغم من شمولية الدوال التلخيصية القياسية المدمجة في بانداس، فإن بعض التحليلات التجريبية المتقدمة تتطلب بناء دوال تجميع مخصصة تتضمن في بنيتها المنطقية شروطاً حسابية متقاطعة تُقيم على مستوى السجلات أثناء عملية الاختزال الإحصائي. يتيح هذا النمط للمحلل تجاوز قيود التصفية العامة وتطبيق قيود موضعية تراعي الطبيعة الاحتمالية المعقدة لكل عينة على حدة.

يتضح هذا الأسلوب عند الرغبة في حساب المتوسطات المبتورة للعينات؛ حيث تصمم الدالة المخصصة لاستبعاد القيم التي تقع خارج نطاق انحرافين معياريين عن متوسط المجموعة نفسها قبل احتساب المتوسط النهائي، مما يقي المؤشر من تأثير القيم المتطرفة والشاذة. كما يشمل ذلك حساب المقاييس الإحصائية المعقدة مثل فترات الثقة، والأخطاء المعيارية المعدلة، ونسب التباين المشروطة بحدود تصنيفية فرعية تتداخل ضمن الشريحة المعالجة.

من الناحية المنهجية، ينبغي الانتباه إلى التعامل الأكاديمي الرصين مع حالات انخفاض أحجام العينات الناتجة عن تطبيق هذه الشروط الداخلية المقتطعة؛ إذ إن الإفراط في تضييق الشروط الحسابية داخل دالة التجميع قد يترك بعض المجموعات بأعداد مشاهدات غير كافية رياضياً لحساب المقاييس المطلوبة، مما يتطلب تضمين منطق برمجي وقائي يرجع قيماً غير معرفة أو رسائل تحذيرية صريحة لتفادي انحياز النتائج أو توليد أخطاء قسمة على الصفر.

8.3 التجميع الشرطي عبر مستويات الفئات الزمنية والمتسلسلات

يكتسب التجميع الشرطي بعداً فائق الأهمية والتعقيد عند تطبيقه على المتسلسلات الزمنية، حيث يتقاطع التجميع الدوري عبر النطاقات الزمنية المختلفة مع الشروط الوصفية للفئات المستهدفة. تتيح أدوات بانداس المتخصصة كدوال إعادة أخذ العينات الزمنية دمج الترددات الزمنية مع مفاتيح التجميع القياسية، مما يسمح بتحليل السلوك الحركي للظواهر الاقتصادية والاجتماعية عبر فترات منتظمة كالشهور أو الأرباع السنوية.

يتطلب هذا النوع من التحليل إدارة دقيقة للنوافذ الزمنية المتدحرجة المترافقة مع شروط استبعاد منطقية، كأن يتم رصد اتجاه التضخم الشهري مشروطاً بحصر السجلات على المعاملات التي تمت خلال أيام العمل الرسمية فقط واستبعاد العطلات، أو تجميع استهلاك الطاقة مشروطاً بتجاوز درجات الحرارة لحواجز مناخية معينة. يتيح هذا الدمج عزل العوامل الخارجية المشوشة وتقييم التأثير الحقيقي للأنماط الزمنية على المؤشرات المدروسة.

يساعد التحليل المشروط للسلاسل الزمنية متعددة المتغيرات على كشف العلاقات السببية والارتباطية الديناميكية التي تختفي وراء التجميع الزمني الساذج؛ إذ يوفر عزل السجلات الشاذة زمنياً وربطها بالتصنيفات الفئوية فهماً عميقاً لاستقرار الأنظمة المدروسة وقدرتها على الصمود أمام الصدمات الخارجية، مما يمثل ركيزة لا غنى عنها في التنبؤ المالي وتخطيط الموارد التكيفي في بيئات العمل المعاصرة.

9. التعامل مع المتغيرات الفئوية والقيم المفقودة أثناء التجميع الشرطي

9.1 سلوك القيم المفقودة (NaN) داخل الشروط ومجموعات الفرز

تمثل معالجة القيم المفقودة والبيانات غير المعرفة تحدياً إحصائياً وبرمجياً كبيراً أثناء عمليات التصفية والتجميع في بيئة بانداس. وفقاً للمنطق الحسابي المعتمد في معايير الفاصلة العائمة، فإن أي عملية مقارنة منطقية تجري مع قيمة مفقودة ترجع تلقائياً نتيجة سالبة، مما يعني أن الصفوف التي تحتوي على قيم مفقودة في أعمدة الفلترة سيتم استبعادها حتماً وبشكل صامت عند استخدام الأقنعة البوليانية أو استعلامات query دون إشعار المحلل بذلك.

يمتد هذا التأثير الحاسم إلى مرحلة التجميع الفئوي ذاتها؛ حيث تتصرف دالة التجميع في بانداس افتراضياً باستبعاد المجموعات التي يكون مفتاح فرزها قيمة مفقودة، متجاهلة السجلات المقترنة بها تماماً من النتائج النهائية. يوفر بانداس معاملات متخصصة للتحكم في هذا السلوك، مما يتيح للمحلل إجبار النظام على احتساب القيم المفقودة كفئة تصنيفية مستقلة بذاتها، وهو أمر بالغ الأهمية عند التحقيق في أسباب فقدان البيانات ودراسة ما إذا كان الفقدان يتبع نمطاً عشوائياً أم انحيازاً بنيوياً في آلية القياس.

لتفادي الوقوع في استنتاجات مضللة، تستلزم الممارسة الأكاديمية الرصينة وضع استراتيجية استباقية لمعالجة القيم المفقودة قبل تطبيق شروط التجميع؛ سواء من خلال التضمين الواعي لشرط الحفاظ على القيم الفارغة ضمن الأقنعة المنطقية، أو عبر تقنيات التعويض الإحصائي المسبق، مما يحمي خط الأنابيب التحليلي من فقدان السجلات الهامة ويضمن اكتمال التوصيف الإحصائي للمجتمع المدروس.

9.2 تحسين التجميع الشرطي للمتغيرات ذات النوع Categorical

يوفر استخدام نوع البيانات الفئوي المتخصص في بانداس مزايا جوهرية للأداء الحسابي وإدارة الذاكرة، خاصة عند إجراء عمليات التجميع الشرطي على مصفوفات تحتوي على أعمدة نصية تتكرر فيها القيم بشكل مكثف. من خلال تحويل الأعمدة النصية إلى هذا النمط، يقوم بانداس باستبدال السلاسل النصية الطويلة بمصفوفات من الأعداد الصحيحة المرتبطة بجدول ترميز موحد، مما يؤدي إلى تقليص هائل في حجم إشغال الذاكرة العشوائية.

ينعكس هذا التحسين الهيكلي مباشرة على سرعة تقييم الشروط المنطقية وعمليات الفرز والتجميع؛ حيث تتم المقارنات المنطقية على مستوى الأرقام المشفرة بدلاً من المقارنات النصية المعقدة والمستهلكة للمعالج، مما يرفع من سرعة الاستعلامات بمعدلات تصل إلى أضعاف الطرق التقليدية. كما تسهم الفئات المعرفة مسبقاً في تسريع تكوين المفاتيح التجميعية وضمان تنفيذ عمليات الفرز المتجهي بأعلى كفاءة ممكنة.

ومع ذلك، يثير استخدام المتغيرات الفئوية تحدياً معمارياً يتمثل في سلوك المجموعات غير الممثلة بعد الفلترة؛ حيث يحتفظ المتغير الفئوي بذاكرة كافة التصنيفات الأصلية حتى لو استبعدت التصفية الشرطية جميع سجلات فئة معينة. توفر بانداس خيارات صريحة للتحكم في ظهور هذه الفئات الصفرية في المخرجات المجمعة، مما يتيح للمحلل الاختيار بين إبراز الفئات الفارغة لتأكيد انعدام تمثيلها في العينة المفلترة أو إسقاطها تماماً لتبسيط التقارير الإحصائية وتطهير الجداول النهائية.

9.3 التحقق الأكاديمي من اكتمال العينات وتمثيلها الإحصائي

يفرض التحليل الإحصائي الأكاديمي التزاماً صارماً بمراقبة جودة البيانات وتقييم مستويات تمثيل العينات بعد إخضاعها لسلاسل الفلترة الشرطية الصارمة قبل الشروع في استخلاص المقاييس التجميعية. إن التطبيق غير المدروس للشروط المنطقية المتقاطعة قد يؤدي إلى استنزاف حاد في أحجام الفئات الفرعية، مما يولد انحيازات منهجية غير مرئية تهدد الصحة الإحصائية للدراسة برمتها.

تتمثل أولى خطوات التحقق الأكاديمي في اختبار التوازن العددي بين مختلف المجموعات المقارنة بعد انتهاء مرحلة التصفية؛ إذ إن الاختلال الجسيم في نسب التوزيع قد يؤثر على تجانس التباين ويفسد الافتراضات التأسيسية التي تبنى عليها النماذج البارامترية المتقدمة. يتطلب ذلك إدراج فحوصات آلية ترصد التراجع في أحجام العينات وتطلق تحذيرات منهجية في حال نزول تكرار أي فئة عن العتبات الإحصائية الآمنة لتطبيق نظرية النهاية المركزية.

علاوة على ذلك، ينبغي معالجة الفئات النادرة أو ذات التكرار الأحادي بحذر فائق؛ حيث يؤدي وجود مشاهدة مفردة في مجموعة معينة إلى استحالة حساب مقاييس التشتت كالانحراف المعياري، مما ينتج قيماً غير معرفة تشوه المصفوفات التحليلية اللاحقة. إن الدمج الواعي بين الفحص الاستكشافي لحجم العينات وضبط معايير التصفية يضمن الحفاظ على الصدق الإحصائي للنتائج واستقرار النماذج الاستدلالية المشتقة منها في مختلف الأبحاث الميدانية والتطبيقية.

10. تحليل الأداء والكفاءة الحسابية لاستراتيجيات التجميع الشرطي

10.1 قياس الزمن الحسابي واستهلاك الذاكرة للأدوات المختلفة

تعد الكفاءة الحسابية واستهلاك الذاكرة من المحددات الحاسمة لجدارة الحلول البرمجية في بيئات معالجة البيانات الكبيرة. لإجراء تقييم دقيق للأداء بين الأدوات المختلفة المتاحة لتنفيذ التجميع الشرطي في بانداس، يتم تصميم تجارب قياس معيارية تستخدم مصفوفات بيانية اصطناعية تتدرج أحجامها من آلاف الصفوف إلى عشرات الملايين، مع قياس زمن التنفيذ الصافي وتتبع ذروة الذاكرة العشوائية المستهلكة لكل تقنية.

تكشف التجارب المعيارية أن الفهرسة البوليانية المباشرة واستخدام محدد loc هما الأسرع تنفيذاً في أطر البيانات ذات الأحجام المنخفضة والمتوسطة، حيث تتراوح مدة التنفيذ في أجزاء من الألف من الثانية بفضل خلوها من التكاليف الإضافية المرتبطة بمحركات التفسير النصي. ولكن مع نمو حجم المصفوفات وتجاوزها لملايين الصفوف، يبرز تفوق دالة query المدعومة بمحرك الحسابات المتجهية في تقليص استهلاك الذاكرة المؤقتة، مما يحمي النظام من تباطؤ المعالجة الناجم عن عمليات التبادل المتكرر للذاكرة.

على الجانب الآخر، تظهر دالة apply معدلات استهلاك زمني باهظة تتجاوز بعشرات المرات ما تحققه الحلول المتجهية المباشرة ودوال التجميع القياسية، مما يؤكد أنها الخيار الأسوأ أداءً عند التعامل مع مصفوفات ضخمة. يوضح هذا التباين الشديد أهمية الاستناد إلى الأدلة المعيارية عند اختيار تقنية التجميع الشرطي، لضمان استجابة النظم البرمجية للحدود التشغيلية المقبولة في بيئات الأعمال الميدانية الحساسة لعامل الوقت.

10.2 تحسين الأداء عبر استراتيجيات تقطيع البيانات والتحميل الجزئي

عندما تتجاوز أحجام مصفوفات البيانات السعة الاستيعابية للذاكرة العشوائية المتوفرة في بيئة العمل، تصبح الاستراتيجيات الكلاسيكية للتجميع الشرطي عاجزة عن العمل وتؤدي حتماً إلى توقف النظام بسبب أخطاء نفاد الذاكرة. يكمن المخرج الهندسي في هذه الحالات في تبني استراتيجيات المعالجة بالدفعات أو التحميل الجزئي للبيانات عبر استيرادها وتقطيعها إلى كتل متسلسلة تتم تصفيتها أولاً بأول أثناء مرحلة القراءة الأولية.

يتيح هذا التكتيك تطبيق شروط التصفية على كل كتلة بشكل منعزل فور تحميلها، وإسقاط السجلات غير المؤهلة على الفور قبل دمجها، مما يضمن بقاء استهلاك الذاكرة محصوراً ضمن حدود آمنة ومستقرة طوال فترة التشغيل. بعد تنقية الكتل المتتابعة، يتم تجميع البيانات المصفاة جزئياً وإجراء التلخيص الإحصائي التراكمي النهائي عليها، مما يمكن الباحث من معالجة ملفات بيانات جبارة تتجاوز سعة ذاكرة النظام بأضعاف مضاعفة وبأداء حوسبي متزن.

تكتمل هذه الاستراتيجية بالاعتماد على الأنماط العددية المضغوطة واختيار دقة المتغيرات بعناية، كاستخدام أعداد صحيحة وفواصل عائمة ذات دقة مخفضة متى ما كانت الدقة الإحصائية تسمح بذلك، فضلاً عن التحول إلى المتغيرات الفئوية. وفي البيئات فائقة الضخامة، يمكن نقل هذه المفاهيم الشرطية بسلاسة إلى أطر الحوسبة الموزعة مثل داسك (Dask) لتوزيع عمليات التجميع الشرطي على مصفوفات حوسبية متعددة النوى والمحطات دون تعديل جوهري في البنية البرمجية لكود بانداس الأصلي.

10.3 أفضل الممارسات البرمجية لكتابة أكواد بانداس عالية الكفاءة

يتطلب بناء بنية برمجية متطورة ومستدامة لتحليل البيانات في بانداس الالتزام بمنظومة من أفضل الممارسات البرمجية المستقاة من هندسة البرمجيات وعلوم البيانات المتقدمة. تأتي في مقدمة هذه الممارسات القاعدة الذهبية التي تقضي بالاستبعاد التام لكافة أشكال الحلقات التكرارية الصريحة في لغة بايثون، والاعتماد الكلي والمنهجي على المعالجات المتجهية المدمجة التي تستغل التحسينات البرمجية المنفذة على مستوى لغة التجميع وعتاد المعالجات الحديثة.

تقتضي الممارسات المثلى أيضاً تبني نمط استدعاء الدوال المتسلسل بأسلوب منطقي وانسيابي يضمن سهولة قراءة الشيفرة وتتبع مراحل تحول البيانات من خطوة إلى أخرى دون الحاجة إلى تكديس المتغيرات المؤقتة غير الضرورية. يسهم هذا النمط الإعلاني الأنيق في تقليص التداخلات غير المقصودة في الذاكرة ويوفر فهماً فورياً لخطوات التصفية والتحويل والتجميع لأي باحث أو مهندس بيانات يشارك في فحص وتدقيق الشيفرة.

أخيراً، يجب إخضاع كافة خطوط أنابيب التجميع الشرطي لمراجعات برمجية منتظمة واختبارات وحدة آلية تفحص سلوك التصفية تحت شروط متطرفة، كالتعامل مع البيانات الفارغة أو القيم غير المتوقعة. يضمن هذا النهج الصارم حماية النظم التحليلية من التدهور الأدائي ويحول دون تسلل الأخطاء المنطقية الخفية إلى التقارير الاستراتيجية وقرارات الأعمال الحساسة المعتمدة على تلك البيانات.

11. الأخطاء الشائعة واستراتيجيات استكشاف الأخطاء وإصلاحها

11.1 معالجة تحذير SettingWithCopyWarning أثناء التصفية والتجميع

يعد تحذير محاولة التعديل على شريحة منسوخة SettingWithCopyWarning أحد أكثر الرسائل التحذيرية إثارة للحيرة والارتباك لدى مطوري ومحللي البيانات في بيئة بانداس. ينشأ هذا التحذير عندما يقوم النظام بتنفيذ عملية فهرسة متسلسلة تجمع بين التصفية الشرطية والتعديل أو التجميع، مما يترك محرك بانداس في حالة عدم يقين حول ما إذا كانت المصفوفة الناتجة تمثل مشهداً مرتبطاً بالبيانات الأصلية أم نسخة منفصلة تماماً عنها في الذاكرة.

تكمن الخطورة الهندسية لهذا التحذير في إمكانية حدوث تعديلات غير مقصودة في مصفوفة البيانات الأصلية، أو فشل التعديلات في الانعكاس عليها، مما يولد نتائج إحصائية متباينة وخاطئة بصورة صامتة دون إيقاف البرنامج. يظهر هذا السلوك بكثرة عند محاولة تصفية إطار بيانات بناءً على شرط معين ثم إجراء تعديل موضعي أو تجميع فرعي على الكائن الناتج دون حسم وضعه الهيكلي في الذاكرة.

للقضاء على هذا التحذير وضمان السلامة البرمجية، يتعين على المطور استخدام دالة النسخ الصريح copy عند إنشاء الشرائح المصفاة للفصل التام بين الكائن الجديد والمصدر الأصلي، أو اللجوء إلى التحديد ثنائي الأبعاد المباشر باستخدام دالة loc لإجراء التصفية والتعديل في خطوة واحدة لا لبس فيها. يضمن هذا الإجراء الحاسم وضوح سياق البيانات في الذاكرة العشوائية ويمنع السلوكيات غير المتوقعة في مراحل التجميع الإحصائي اللاحقة.

11.2 تصحيح أخطاء منطق الفلترة والأقواس في العمليات المتعددة

تمثل الأخطاء المنطقية الناجمة عن إغفال ضبط أسبقية العمليات في الشروط المتعددة مصدراً رئيسياً لفساد المخرجات التحليلية في بانداس. نظراً لأن معاملات بايثون الثنائية تتمتع بأولوية تقييم تسبق معاملات المقارنة الحسابية، فإن كتابة شرط مركب دون استخدام الأقواس الدائرية للفصل بين المقارنات يقود إلى تقييمات بوليانية خاطئة لا تتطابق مع المخطط الذهني للمحلل، مما يترتب عليه دخول سجلات غير مؤهلة في نطاق التجميع أو استبعاد مشاهدات حرجة.

تزداد هذه المعضلة تعقيداً عند التعامل مع السلاسل النصية داخل استعلامات query؛ حيث يؤدي عدم التطابق الدقيق بين أنواع البيانات، مثل مقارنة قيم عددية مخزنة كنصوص بسلاسل رقمية صلبة، إلى إرجاع مصفوفات فارغة بالكامل أو إطلاق استثناءات برمجية تفيد بعدم توافق الأنواع. يتطلب تفادي ذلك فحصاً مسبقاً وتطهيراً دقيقاً لأنماط الأعمدة قبل صياغة الاستعلامات المركبة لضمان تجانس المقارنات المنطقية.

لاستكشاف هذه الأخطاء ومعالجتها بفعالية، يُنصح بشدة بتفكيك الشروط المركبة المعقدة وتقييم كل قناع بولياني بشكل مستقل داخل بيئة تطوير تفاعلية، مع فحص التكرارات ومجموع القيم المنطقية المؤكدة في كل مرحلة. تتيح هذه التصفية التدريجية التحقق البصري والعددي من صحة سلوك المرشح المنطقي قبل دمجه النهائي في سلسلة التجميع، مما يضمن دقة ونقاء البيانات المحالة إلى الحسابات التراكمية.

11.3 أخطاء فقدان البيانات الناتجة عن التصفية الصارمة غير المقصودة

يقود الإفراط في تشديد معايير التصفية الشرطية في كثير من الحالات إلى ظاهرة الإلغاء الكامل للبيانات، حيث تفشل كافة السجلات في تلبية التقاطع المنطقي لمجموعة من الشروط الحصرية الصارمة التي لا تتلاقى عملياً في الواقع التجريبي. ينتج عن هذا التقييد المفرط إطار بيانات فارغ يتسبب لاحقاً في انهيار عمليات التجميع أو إرجاع مقاييس إحصائية غير معرفة تعطل المراحل اللاحقة لخط أنابيب البيانات.

تنشأ أسباب خفية أخرى لفقدان البيانات الصامت تتعلق بحساسية حالة الأحرف والمسافات البيضاء الهامشية غير المرئية في السلاسل النصية التصنيفية المستخدمة كمفاتيح للشرط أو التجميع. فعندما يبحث المحلل عن فئة محددة بنص صلب، قد تفشل المقارنة في مطابقة السجلات التي تحتوي على مسافات زائدة أو اختلافات طفيفة في صياغة الحروف، مما يؤدي إلى استبعاد غير مقصود لشريحة واسعة من البيانات الأصلية وتشويه التمثيل الإحصائي للمجموعات.

تتطلب الحماية من هذه الانزلاقات البرمجية تضمين فحوصات تحقق أوتوماتيكية تقيس أبعاد المصفوفة قبل وبعد التصفية الشرطية، وتطلق تنبيهات واضحة في حال انخفاض حجم البيانات عن نسبة مئوية معينة من حجمها الأصلي. كما ينبغي تنظيف ومعايرة كافة الأعمدة النصية مسبقاً عبر إزالة الفراغات وتوحيد أشكال الحروف، مما يضمن مطابقة دقيقة وعادلة لكافة السجلات المتوافقة منطقياً مع أهداف التجميع الإحصائي.

12. دراسات حالة وتطبيقات عملية متقدمة للتجميع الشرطي

12.1 تحليل الأداء الرياضي: حساب متوسط النقاط المشروط بالفرق والمواقع

في مجال تحليلات الأداء الرياضي التنافسي المتقدم، يشكل التجميع الشرطي وسيلة محورية لتقييم الكفاءة الفردية والجماعية للاعبي كرة السلة المحترفين بناءً على بيانات المباريات التفصيلية. في هذه الدراسة التطبيقية، يتم تحليل سجلات الأداء الفعلي عبر عزل فترات زمنية أو فرق محددة تخوض غمار المنافسة تحت ظروف تكتيكية خاصة، ثم إخضاعها للتجميع الفئوي حسب مراكز اللعب الميدانية.

تبدأ المعالجة البرمجية بتطبيق شرط Where لاستبعاد اللاعبين الذين شاركوا لدقائق محدودة تقل عن العتبة الإحصائية المقبولة لضمان مصداقية الأداء، مع حصر السجلات في مباريات الأدوار الإقصائية الحاسمة دون المباريات الودية. يلي ذلك تجميع السجلات المتبقية وفق الفريق ومركز اللعب لحساب حزمة متكاملة من المقاييس تشمل متوسط النقاط المسجلة، ونسب تصويب الكرات الناجحة، ومعدل الاستحواذ الإيجابي تحت السلة.

تتيح الجداول التلخيصية الناتجة عن هذا التجميع المشروط للإدارات الفنية ومحللي الأداء الرياضي استخلاص مقارنات بنيوية دقيقة تكشف الفوارق التكتيكية بين الفرق المتنافسة في كل موقع لعب على حدة. إن عزل العوامل المشتتة ومطابقة المخرجات للمعايير التحليلية الصارمة يوفر أرضية صلبة لاتخاذ قرارات استراتيجية مبنية على الأدلة فيما يتعلق بخطط اللعب وتقييم صفقات انتقالات اللاعبين.

12.2 تحليل بيانات السلوك الرقمي والقياسات النفسية التجريبية

تحظى أبحاث السلوك الرقمي والقياس النفسي التجريبي بتطبيقات واسعة للتجميع الشرطي؛ حيث تسجل التجارب التفاعلية ملايين الاستجابات اللحظية للمشاركين المعرضين لمنبهات ومحفزات نفسية وبصرية متباينة عبر منصات الويب. تتطلب المعالجة هنا عزل زمن الاستجابة للمشاركين مشروطاً بالتعرض لمحفزات محددة بدقة واستبعاد المحاولات التي شهدت تشتتاً ذهنياً أو استجابات سريعة للغاية لا تعبر عن معالجة إدراكية حقيقية.

يتم تطبيق هذا المسار التحليلي عبر فلترة صارمة تستبعد كافة المحاولات التي يقل فيها زمن رد الفعل عن مائتي جزء من الثانية أو يزيد عن ثانيتين، مع عزل المجموعات التجريبية التي تعرضت للمحفزات النشطة عن المجموعات الضابطة. يتم بعد ذلك تجميع النتائج استناداً إلى نوع المحفز والفئة العمرية للمشارك لاستخراج الأوساط الهندسية والانحرافات المعيارية لمعدلات زمن الاستجابة، مما يوفر قياساً دقيقاً للفروق الإدراكية الناتجة عن التدخل التجريبي.

يسهم هذا الأسلوب الرياضي في التحقق من اتساق الدرجات المقاسة عبر جلسات القياس المتكررة والتأكد من ثبات التأثير النفسي؛ حيث إن التصفية القائمة على السياق التجريبي تحمي النماذج من تشوهات البيانات الناتجة عن الإرهاق أو الملل لدى المشاركين، مما يرفع من الصدق الداخلي للتجربة النفسية ويدعم نشر استنتاجاتها بثقة في الدوريات الأكاديمية المحكمة.

12.3 التحليل الاقتصادي والمالي: تجميع التدفقات النقدية المشروطة

في قطاع التحليلات المالية والمصرفية المتقدمة، يمثل التجميع الشرطي العمود الفقري لبناء مؤشرات الأداء الرئيسية وتقييم المخاطر الائتمانية عبر رصد التدفقات النقدية الكبيرة والمعاملات التجارية المتشعبة. تقتضي المتطلبات المحاسبية الصارمة استخراج إجمالي المعاملات المالية الناجحة حصرياً، مع استبعاد العمليات المعلقة، أو الملغاة، أو تلك التي تحمل مؤشرات احتيالية مسبقة قبل الشروع في تلخيص الإيرادات الدورية.

يتجسد التطبيق العملي في بناء استعلام تجميعي يدمج شروط تصفية مالية مركبة؛ حيث يتم أولاً استبقاء المعاملات المكتملة ذات القيمة الموجبة التي تمت عبر قنوات دفع معتمدة، ثم تُجمع هذه السجلات وفق النطاق الجغرافي ونوع قناة الدفع المصرفية المستخدمة. يُحسب إثر ذلك إجمالي حجم المعاملات، ومتوسط قيمة العملية الفردية، والحد الأقصى للتدفق النقدي اليومي لكل قطاع سوقي ومصرفي بشكل منفصل ومتزامن.

توفر هذه البيانات المجمعة والمشروطة لإدارات الخزانة والمخاطر في المؤسسات المالية رؤية استشرافية عميقة تبرز قنوات الدفع الأكثر كفاءة والأسواق ذات الكثافة النقدية المرتفعة، فضلاً عن رصد مواطن الضعف أو التراجع في التدفقات عبر قطاعات معينة. يسهم هذا الرصد المنهجي الدقيق في صياغة السياسات الائتمانية التكيفية واتخاذ القرارات الاستثمارية الرشيدة المستندة إلى أسس تحليلية بالغة الدقة والموثوقية.

خاتمة

استعرض هذا الدليل الموسع الأبعاد النظرية والتطبيقية المعمقة لاستخدام شرط Where بالتزامن مع عمليات التجميع Group By في مكتبة بانداس لتحليل البيانات. وقد تبين بجلاء أن الاختيار الرشيد بين آليات التصفية المسبقة، كالفهرسة البوليانية ودالة query الموجهة، وبين آليات التصفية اللاحقة للمجموعات عبر دالة filter، لا يمثل مجرد تفضيل لأسلوب كتابة الكود البرمجي، بل هو قرار معماري وإحصائي حاسم يحدد بدقة سلامة العينات، ودرجات الحرية الإحصائية، وكفاءة استهلاك موارد المعالج والذاكرة.

إن إتقان نموذج تقسيم وتطبيق ودمج البيانات واستيعاب سلوك الأدوات المتقدمة مثل transform وapply وagg، جنباً إلى جنب مع الإدارة الواعية للقيم المفقودة والمتغيرات الفئوية، يمنح مهندس البيانات والمحلل الإحصائي القدرة على بناء خطوط أنابيب معالجة بالغة القوة والسرعة، قادرة على استخلاص الأنماط المعقدة من البيانات الضخمة بدقة متناهية ودون الوقوع في فخاخ التحذيرات البرمجية أو الانحيازات الإحصائية الصامتة.

في نهاية المطاف، تظل الممارسة الأكاديمية والمهنية الرصينة قائمة على التحقق المستمر من صحة الفرضيات وتوازن الفئات المجمعة عبر الفحوصات الآلية المنتظمة، مما يضمن تحويل البيانات الخام المبعثرة إلى أصول معرفية ومؤشرات استراتيجية موثوقة تدعم اتخاذ القرارات الرشيدة في مختلف حقول المعرفة والأعمال.

المراجع

• McKinney, W. (2022). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and Jupyter (3rd ed.). O’Reilly Media. https://wesmckinney.com/book/
• Wickham, H. (2011). The Split-Apply-Combine Strategy for Data Analysis. Journal of Statistical Software, 40(1), 1–29. https://doi.org/10.18637/jss.v040.i01
• Pandas Development Team. (2023). pandas: powerful Python data analysis toolkit (Version 2.1.0). Zenodo. https://pandas.pydata.org/docs/
• Harris, C. R., Millman, K. J., van der Walt, S. J., Gommers, R., Virtanen, P., Cournapeau, D., … & Oliphant, T. E. (2020). Array programming with NumPy. Nature, 585(7825), 357–362. https://doi.org/10.1038/s41586-020-2649-2
• VanderPlas, J. (2016). Python Data Science Handbook: Essential Tools for Working with Data. O’Reilly Media. https://jakevdp.github.io/PythonDataScienceHandbook/