بانداس: كيفية استخدام GroupBy على الفهرس المتعدد

تمثل مكتبة Pandas الركيزة الأساسية للتحليل الإحصائي ومعالجة البيانات في بيئة لغة البرمجة بايثون، حيث تتيح للمحللين والعلماء التعامل مع هياكل البيانات المعقدة بكفاءة برمجية عالية وسرعة معالجة متقدمة. ومن بين هذه البنى الهيكلية المتقدمة، تبرز آلية الفهرسة المتعددة أو الهرمية كأداة فائقة القدرة على تمثيل البيانات متعددة الأبعاد داخل إطار ثنائي الأبعاد، مما يلغي الحاجة إلى اللجوء إلى مصفوفات ثلاثية أو رباعية الأبعاد قد تزيد من تعقيد كتابة التعليمات البرمجية وتحد من المرونة التحليلية أثناء إجراء العمليات الاستكشافية.

تكتسب عمليات التجميع الإحصائي عبر خوارزمية تقسيم وتطبيق ودمج أهمية استثنائية عند تطبيقها على الفهارس المتعددة، إذ تمكّن المستخدم من استخراج المؤشرات الكمية، وتلخيص الأنماط الهيكلية، وعزل المتغيرات عبر مستويات هرمية متباينة بدقة متناهية. إن فهم التفاعل المعقد بين دالة التجميع والمعاملات الموجهة للمستويات يتيح للمبرمج تحسين استخدام الذاكرة وتسريع وقت التنفيذ، لا سيما عند معالجة السجلات الضخمة للبيانات المالية، والسلاسل الزمنية المركبة، والبيانات المقطعية المتداخلة.

يهدف هذا المقال الأكاديمي الشامل إلى تقديم تفكيك منهجي ودقيق لكيفية تطبيق وتطويع أساليب التجميع على الفهارس المتعددة للمحورين الرأسي والأفقي. وسوف نتناول بالشرح والتحليل المعمق الأسس البنيوية للفهرسة الهرمية، والتطبيقات المتقدمة لدوال التحويل والتصفية، واستراتيجيات تحسين الأداء الحسابي، وتجنب الأخطاء البرمجية الشائعة، مدعومة بأمثلة وسيناريوهات تطبيقية واقعية ترفع من كفاءة المعالجة وجودة الكود البرمجي في المشاريع الضخمة.

1. مقدمة تأسيسية حول الفهرسة المتعددة (MultiIndex) في مكتبة Pandas

1.1 مفهوم الفهرسة الهرمية (Hierarchical Indexing) ودواعي استخدامها

تُعرّف الفهرسة الهرمية في مكتبة Pandas MultiIndex بأنها بنية متطورة تسمح بتضمين مستويين أو أكثر من الفهارس على محور واحد داخل إطار البيانات. تهدف هذه البنية في جوهرها إلى تمثيل البيانات متعددة الأبعاد داخل مساحة ثنائية الأبعاد تتكون من صفوف وأعمدة، مما يمنح المحلل القدرة على التعامل مع بيانات ذات تعقيد تركيبي مرتفع دون الحاجة إلى هياكل بيانية ذات أبعاد هندسية صعبة التتبع مثل المصفوفات الممتدة.

تتميز الفهارس المتعددة عن الفهارس الأحادية المسطحة بقدرتها على صياغة العلاقات التبعية والانتمائية بين المتغيرات بصورة طبيعية؛ فبينما يكتفي الفهرس المسطح بربط كل صف بمفتاح وحيد، يتيح الفهرس المتعدد تجميع البيانات تحت مظلات تصنيفية متدرجة، كأن يُنسب السجل إلى دولة معينة، ثم إلى مدينة داخل تلك الدولة، ثم إلى فرع تجاري محدد داخل المدينة ذاتها. تسهم هذه التراتبية في تسهيل عمليات التحليل المقطعي المتقاطع والسلاسل الزمنية المركبة، حيث يمكن تتبع الأداء الزمني عبر قطاعات جغرافية متعددة في آن واحد.

من الناحية البنائية وإدارة الذاكرة، توفر الفهرسة الهرمية وسيلة فعالة لضغط مساحة التخزين من خلال تجنب التكرار النصي للبيانات الوصفية عبر الصفوف. يتم تخزين المفاتيح الفريدة مرة واحدة فقط في مستويات الفهرس، بينما تُربط السجلات الفردية عبر مصفوفات من الأكواد العددية المرجعية، وهو ما ينعكس بصورة مباشرة على سرعة استرجاع المعلومات، وتخفيض البصمة الكربونية والحسابية لعمليات الفرز والتجميع والاستعلام الرياضي المتقدم.

1.2 طرق إنشاء وتعيين الفهارس المتعددة في إطارات البيانات

يتيح إطار العمل في Pandas طرقاً متعددة لإنشاء الفهارس المتعددة وتعيينها بما يتلاءم مع بنية مصادر البيانات الواردة. الطريقة الأكثر شيوعاً وعملية في المشاريع التحليلية هي استخدام الدالة المباشرة لإعادة التعيين، حيث يتم تحويل عمودين أو أكثر موجودين بالفعل داخل إطار البيانات إلى مستويات فهرسة متعاقبة، مما ينقل الأعمدة المحددة من حيز القيم إلى حيز الفهرسة الهيكلية لإطار العمل.

إلى جانب التعيين المباشر للأعمدة، توفر الفئة المخصصة للفهرس المتعدد دوال بناء مساعدة ومتقدمة لتوليد الفهارس من هياكل بيانات برمجية متنوعة. تشمل هذه الدوال إمكانية توليد الفهرس من مصفوفات متوازية، أو من قوائم تحتوي على صفوف مندمجة تمثل كل تركيبة محتملة، أو عبر الجداء الديكارتي لمجموعتين أو أكثر من القيم الفريدة، وهو ما يمنح المطورين مرونة فائقة عند بناء نماذج المحاكاة الرياضية وهياكل الاختبار المؤتمتة.

يتطلب الفهم المتعمق للفهرس المتعدد فحص خصائصه الداخلية الثلاث الأساسية: المستويات التي تحتوي على القيم الفريدة لكل طبقة، والأكواد التي تمثل المؤشرات العددية التي تربط كل صف بقيمته في كل مستوى، والأسماء المعينة لتلك المستويات. وعند الرغبة في التراجع عن الفهرسة المتعددة أو تبسيط الهيكل، يمكن استخدام دالة إعادة ضبط الفهرس لإعادة المستويات الهرمية كأعمدة بيانات عادية، مع إمكانية الاحتفاظ بها أو إسقاطها بحسب متطلبات المعالجة اللاحقة.

1.3 الخصائص الرياضية والمنطقية لمستويات الفهرس

تخضع مستويات الفهرس المتعدد لترتيب منطقي ورياضي دقيق يبدأ من المستوى الخارجي ويأخذ الترقيم القياسي الصفري، ويتدرج نزولاً إلى المستويات الأكثر عمقاً وتحديداً في الترتيب الهرمي. يمثل المستوى الصفري الفئة الشاملة أو المتغير الأب، بينما تمثل المستويات اللاحقة تفريعات تصنيفية تعتمد منطقياً على المستوى الذي يسبقها، مما يشكل شجرة بيانات مترابطة تحكم سلوكيات المحاذاة الحسابية والتجميعية لاحقاً.

تؤدي تسمية المستويات الهرمية بأسماء نصية واضحة دوراً محورياً في هندسة البرمجيات البيانية، حيث تسهم التسميات في تعزيز قابلية قراءة الأكواد وصيانتها وتفادي الأخطاء التي تنجم عن التعديل الديناميكي لترتيب المستويات. فبدلاً من الاعتماد على الفهرسة العددية التي قد تتغير مع إضافة أبعاد جديدة للبيانات، يضمن استخدام الأسماء الصريحة توجيه العمليات الرياضية إلى المستويات الصحيحة بشكل لا يقبل اللبس.

للوصول إلى السجلات والبيانات الواقعة ضمن الفهارس المتعددة، يُعتمد على المعامل المكاني المتخصص مقترناً بأدوات الشرائح الهرمية. تتيح هذه الأدوات للمحلل استخراج شرائح مخصصة من البيانات عبر تمرير مجاميع جزئية تستهدف قيماً بعينها في المستوى الخارجي مع ترك المستويات الداخلية مفتوحة لاستقبال جميع القيم، أو تحديد شروط متقاطعة بدقة متناهية تشمل مستويات متعددة في استعلام برمجي موحد وعالي الكفاءة.

2. المفاهيم البنيوية لآلية GroupBy داخل بيئات البيانات الهرمية

2.1 نموذج ‘التقسيم والتطبيق والدمج’ (Split-Apply-Combine)

يستند نموذج المعالجة الإحصائية في Pandas إلى النموذج المفاهيمي الشهير الذي صاغه Hadley Wickham والمعروف باسم التقسيم والتطبيق والدمج. يقوم هذا النموذج على ثلاثة أطوار متسلسلة تبدأ بتفكيك مجموعة البيانات المعقدة إلى مجموعات فرعية متجانسة بناءً على معايير محددة، ثم تنفيذ دالة حسابية أو تحويلية مستقلة على كل مجموعة على حدة، وأخيراً إعادة تجميع النتائج المتناثرة في هيكل بياني متناسق يعكس الإحصاءات المطلوبة.

عند تطبيق هذا النموذج على الفهارس المتعددة، تأخذ مرحلة التقسيم طابعاً فريداً، حيث لا تضطر الخوارزمية إلى مسح كافة قيم الأعمدة للبحث عن الفئات المتشابهة، بل تعتمد مباشرة على تقاطع المستويات الهرمية المفهرسة مسبقاً. تتيح هذه الخاصية للبيئة الحسابية عزل كتل البيانات المتطابقة بسرعة فائقة، مستفيدة من الترتيب المسبق للمؤشرات دون إحداث فوضى في تخصيص الذاكرة العشوائية لكل شريحة فرعية.

في مرحلة التطبيق، تُنفذ العمليات المطلوبة سواء كانت اختزالاً إحصائياً كحساب المتوسطات أو تحويلاً معيارياً على كل شريحة مستقلة. وتأتي مرحلة الدمج النهائية لتعيد تركيب النتائج في إطار بيانات جديد يحافظ على التناسق الهرمي للفهرس، مع إسقاط المستويات التي دُمجت أو الإبقاء عليها وفقاً للمحددات البرمجية الممررة للدالة، مما ينتج مخرجات تحليلية نظيفة ومترابطة رياضياً.

2.2 الفروق الجوهرية بين التجميع عبر الأعمدة والتجميع عبر الفهارس

يختلف التجميع القائم على مستويات الفهرس جذرياً عن التجميع التقليدي المستند إلى قيم الأعمدة من حيث الكفاءة الحسابية وهيكل استهلاك الذاكرة. فعند تجميع البيانات عبر الأعمدة العادية، تضطر مكتبة Pandas إلى فحص مصفوفات البيانات، وإنشاء جداول تجزئة جديدة للمطابقة، وتخصيص مساحات ذاكرة مؤقتة لاحتواء المفاتيح المجمعة، مما يتسبب في بطء نسبي عند التعامل مع ملايين السجلات.

في المقابل، تستفيد عمليات التجميع عبر مستويات الفهرس من كون المفاتيح مهيكلة بالفعل ومخزنة كأكواد رقمية أحادية وثنائية الأبعاد ضمن كائن الفهرس المتعدد. تلغي هذه الخاصية الحاجة إلى إعادة بناء جداول التجزئة من الصفر، وتسمح للخوارزميات بالانتقال المباشر بين شرائح البيانات المتصلة فيزيائياً في الذاكرة، مما يقلل بشكل ملحوظ من فترات انتظار المعالجة ويوفر استهلاك الذاكرة عبر تفادي إنشاء كائنات وسيطة غير ضرورية.

يلعب الترتيب المعجمي للفهرس دوراً حاسماً في تعظيم هذه الفروق في الأداء؛ فعندما يكون الفهرس المتعدد مرتباً بصورة معجمية متسلسلة، تستطيع خوارزميات التجميع استخدام تقنيات البحث الثنائي والقفز السريع عبر كتل البيانات المترابطة، بدلاً من اللجوء إلى المسح الخطي الشامل. يؤدي هذا التناسق الهيكلي إلى تسريع وتيرة تنفيذ الدوال الإحصائية بأضعاف مضاعفة مقارنة بنظيراتها المنفذة على أعمدة غير مفهرسة.

3. آلية عمل المعامل level في دالة GroupBy

3.1 التجميع باستخدام الأرقام القياسية للمستويات (Integer Level Indexing)

يمثل المعامل المخصص للمستويات داخل دالة التجميع الأداة الرئيسية لتوجيه العمليات الحسابية نحو طبقات محددة من الفهرس الهرمي. يتيح تمرير الأرقام القياسية الصحيحة للمستويات التحكم المطلق في عمق التجميع؛ حيث يشير الرقم صفر إلى المستوى الهرمي الخارجي والأوسع نطاقاً، مما يسمح بحساب المجاميع الكلية لكل فئة رئيسية بغض النظر عن تفريعاتها الداخلية المتعددة.

لا يقتصر التجميع على مستوى فردي واحد، بل يمكن تمرير قائمة من الأرقام القياسية مثل الصفر والواحد معاً لتنفيذ تجميعات مركبة تحافظ على العلاقة التفرعية بين المستويين الأول والثاني مع دمج المستويات التي تليهما. يوفر هذا الأسلوب مرونة عالية في إعداد تقارير متعددة المستويات، كأن يتم تلخيص البيانات على مستوى الإقليم والولاية مع إسقاط مستوى المقاطعات والمدن الصغيرة من الحساب النهائي لتقليص حجم المخرجات.

تدعم بيئة Pandas أيضاً استخدام المؤشرات السالبة للإشارة إلى المستويات انطلاقاً من العمق الداخلي، حيث يشير المؤشر سالب واحد إلى أعمق مستوى فرعي في الفهرس المتعدد. يفيد هذا النمط عند الحاجة إلى تجميع البيانات بناءً على المتغير الفرعي الأخير المشترك عبر كافة التصنيفات الرئيسية، مثل تجميع مبيعات فئة منتج معينة موزعة عبر قطاعات جغرافية شتى دون الحاجة لمعرفة العدد الإجمالي للمستويات السابقة في الهيكل.

3.2 التجميع باستخدام الأسماء الصريحة للمستويات (Named Levels)

يعد الاعتماد على الأسماء النصية الصريحة لمستويات الفهرس الممارسة البرمجية الفضلى والمعتمدة في بيئات التطوير الاحترافية. يمنح تمرير أسماء الحقول مباشرة إلى المعامل المخصص للمستويات الكود البرمجي حصانة ضد الأخطاء الناتجة عن التغييرات الهيكلية غير المتوقعة في ترتيب المستويات، والتي قد تحدث عند تعديل استعلامات قواعد البيانات أو إعادة ترتيب أبعاد المصفوفات أثناء خطوط المعالجة المتقدمة.

تتيح التسميات النصية دمج مستويات متعددة في استدعاء واحد عبر تمرير قائمة نصية تضم أسماء المستويات المستهدفة، مثل تحديد مستويي الفريق والموقع الجغرافي بالاسم الصريح. يقرأ المحرك التحليلي هذه الأسماء ويطابقها فورياً مع خصائص الفهرس المتعدد دون إحداث ارتباك حول الترتيب الفيزيائي للمستويات داخل الذاكرة، مما يعزز الوضوح الدلالي للتعليمات البرمجية ويجعل مراجعتها وتدقيقها عملاً يسيراً.

يتطلب استخدام التسميات النصية التأكد المسبق من عدم وجود مستويات غير مسماة أو تحمل قيماً فارغة داخل كائن الفهرس. يؤدي تمرير اسم غير معرف أو محاولة استهداف مستوى مجهول الهوية إلى إطلاق استثناءات خطأ فادحة توقف تنفيذ البرنامج النصي، مما يستوجب فحص وتسمية كافة مستويات الفهرس المتعدد بعناية أثناء مرحلة إعداد وتنظيف البيانات الأولية قبل الشروع في عمليات التجميع والتحليل الإحصائي.

4. تطبيق الدوال التجميعية الأساسية على الفهارس المتعددة

4.1 حساب المجاميع والتكرارات (Sum and Count Metrics)

يعد حساب المجاميع التراكمية والتكرارات الإحصائية عبر المستويات الهرمية من أكثر العمليات استخداماً في تحليل البيانات الكمية. عند استدعاء دالة الجمع على مستوى محدد من الفهرس المتعدد، تتولى خوارزمية التجميع دمج كافة الصفوف المتطابقة في ذلك المستوى وجمع قيم الأعمدة الرقمية التابعة لها، مما ينتج إطار بيانات مصغراً يحتوي فقط على القيم الفريدة للمستوى المستهدف مع مجاميعها المقابلة.

تختلف دالة حساب المدخلات عن دالة قياس الحجم الإجمالي في تفاصيل جوهرية تتعلق بمعالجة القيم المفقودة وغير المعرفة؛ فبينما تقوم دالة التكرار الأولى بحساب عدد الخلايا غير الفارغة فقط داخل كل شريحة هرمية لكل عمود على حدة، تقوم دالة الحجم بقياس التعداد الفيزيائي الكلي للصفوف المنتمية للمجموعة بغض النظر عن احتوائها على قيم صالحة أو مفقودة، وهو فارق إحصائي بالغ الأهمية عند تدقيق البيانات واكتشاف الانحيازات المترتبة على نقص المدخلات.

يؤثر تجميع المستويات بشكل مباشر على بنية الأعمدة والفهارس المتبقية في إطار البيانات الناتج؛ حيث يؤدي تجميع مستوى وسيط أو خارجي إلى إعادة تشكيل الفهرس بحيث تُلغى المستويات الفرعية المندمجة وتتحول إلى قيم مجمعة وحيدة. يضمن ذلك الحفاظ على تكامل البيانات الرياضية مع تقليص التعقيد البصري والهيكلي للجداول الناتجة، وتجهيزها للعرض في لوحات المؤشرات البيانية أو للتصدير إلى أنظمة التقارير التنفيذية.

4.2 استخراج المقاييس القصوى والمتوسطات (Max, Min, Mean)

تمثل المقاييس الإحصائية الموضعية أدوات حيوية لفهم توزيع البيانات واستكشاف التباين داخل الفئات الهرمية المختلفة. يتيح تطبيق دوال استخراج القيم القصوى والدنيا عبر مستويات الفهرس المتعدد للمحلل المالي أو الرياضي عزل النقاط الطرفية لكل مجموعة تصنيفية، مثل تحديد أعلى مبيعات سجلها فرع معين عبر سلسلة زمنية ممتدة أو تحديد أقل معدل أداء داخل قسم وظيفي محدد.

يتيح استدعاء دوال المتوسط الحسابي، والوسيط، والانحراف المعياري توصيف النزعة المركزية ومقدار التشتت الإحصائي للقيم الواقعة تحت كل مستوى هرمي. فعند حساب المتوسط عبر مستوى الفهرس الأعلى، تقوم المكتبة بتسوية التباينات الفردية للشرائح التحتية وتقديم قيمة معيارية تمثل السلوك العام للمجموعة، في حين يكشف الانحراف المعياري عن مدى اتساق البيانات أو تشتتها حول ذلك المتوسط داخل كل فرع هرمي على حدة.

تتطلب معالجة إطارات البيانات التي تحتوي على مزيج من الأعمدة الرقمية والنصية تفعيل المعاملات المخصصة للبيانات الرقمية فقط في الدوال الإحصائية الحديثة لـ Pandas. يضمن هذا التحديد الحسابي التغاضي التلقائي عن الأعمدة النصية وتجنب أخطاء التحويل النوعي، مع تركيز العمليات الرياضية حصراً على القيم القابلة للقياس والجمع، مما يوفر بيئة تنفيذ مستقرة ومحمية ضد انهيار العمليات التحليلية غير المتجانسة.

5. التجميع المتقدم والدوال المخصصة باستخدام agg و apply

5.1 تطبيق دوال تجميعية متعددة عبر دالة agg()

توفر دالة التجميع المتقدم المرونة القصوى لبناء تقارير إحصائية مركبة في خطوة برمجية واحدة عبر مستويات الفهرس المتعدد. تتيح هذه الدالة تمرير قائمة من الدوال التجميعية المختلفة، مما يولد إطار بيانات يحتوي على فهرس أعمدة هرمي جديد يعرض المجموع والمتوسط والانحراف المعياري جنباً إلى جنب لكل متغير رقمي خضع لعملية التجميع عبر المستوى المختار.

تمتد قدرات هذه الدالة لتشمل تمرير قواميس برمجية متخصصة تتيح تخصيص عمليات إحصائية متباينة لكل عمود على حدة؛ حيث يمكن توجيه الخوارزمية لحساب المجموع الإجمالي لعمود المبيعات، مع حساب المتوسط الحسابي لعمود الأسعار، واستخراج القيمة العظمى لعمود الكميات، كل ذلك داخل نفس استدعاء التجميع الهرمي دون الحاجة لتقسيم العمليات ودمجها يدوياً.

تدعم الإصدارات المتقدمة من Pandas صياغة بنيوية مخصصة تُعرف بالتجميع المسمى، والتي تسمح للمحلل بتحديد أسماء الأعمدة الناتجة بدقة وتعيين الدوال المرتبطة بها في آن واحد. يمنع هذا الأسلوب توليد أعمدة ذات فهارس متعددة غير مرغوبة في المخرجات، ويمنح الجداول النهائية شكلاً مصقولاً وجاهزاً للاستخدام المباشر في التطبيقات وقواعد البيانات النهائية دون الحاجة إلى معالجة لاحقة لأسماء الحقول.

5.2 استخدام apply() لتنفيذ منطق معالجة هرمي مخصص

تمثل دالة التطبيق الشامل الأداة الأكثر قوة ومرونة عند التعامل مع المتطلبات التحليلية المعقدة التي تتجاوز قدرات الدوال التجميعية القياسية. تستقبل الدالة الممررة عبر هذا المسار كل مجموعة فرعية كإطار بيانات كامل ومستقل يضم كافة صفوفه وأعمدته الأصلية المقابلة لمستوى الفهرس المستهدف، مما يتيح تطبيق خوارزميات مخصصة تتضمن شروطاً منطقية متعددة أو نماذج تنبؤية متداخلة.

تستخدم هذه التقنية بصورة شائعة في استخراج أعلى العناصر ترتيباً داخل كل فئة هرمية؛ حيث يمكن كتابة دالة تقوم بفرز الصفوف داخل كل مجموعة بناءً على قيمة عمود محدد واقتطاع أفضل العناصر وفق المعيار الرياضي المطلوب. تتولى البيئة بعد ذلك إعادة تجميع هذه الشرائح المتباينة في إطار بيانات واحد يدمج الفهرس الأصلي مع نتائج الترتيب الداخلي بدقة متكاملة.

ومع ذلك، يجب الانتباه إلى أن المرونة الفائقة لدالة التطبيق الشامل تأتي على حساب الكفاءة الحسابية واستهلاك الذاكرة. فبينما تعتمد الدوال التجميعية المدمجة على دوال منخفضة المستوى مكتوبة بلغة C ومحسنة لمعالجة المصفوفات المتصلة، تتطلب الدالة المخصصة تكراراً برمجياً على مستوى مفسر بايثون لكل شريحة، مما يرفع زمن المعالجة بشكل ملحوظ عند التعامل مع مجموعات بيانات تحتوي على مئات الآلاف من الفئات الهرمية.

6. التحويل الرياضي والبث الإحصائي عبر transform()

6.1 مفهوم البث المتماثل (Broadcasting) على مستوى المجموعات

تختلف دالة التحويل الإحصائي عن دوال التجميع القياسية في قدرتها الفريدة على الحفاظ على الأبعاد الهيكلية والعددية الأصلية لإطار البيانات دون اختزال. فبينما تختزل دوال التجميع كل مجموعة إلى صف تلخيصي واحد، تقوم دالة التحويل بتنفيذ العملية الإحصائية على كل مجموعة وفق مستوى الفهرس المختار، ثم تبث النتيجة وتطابقها عبر كافة الصفوف الأصلية التابعة لتلك المجموعة بالتساوي.

تعد هذه الآلية مثالية لحساب المساهمة النسبية والنسب المئوية لكل صف مقارنة بإجمالي مجموعته الهرمية؛ حيث يتم حساب المجموع التراكمي للمستوى المحدد وبثه مباشرة إلى جانب القيم الفردية لكل عنصر، مما يتيح إجراء عمليات القسمة الحسابية المباشرة لإنتاج حقول تمثل حصة السجل من المجموع الكلي لفئته دون الحاجة إلى عمليات دمج يدوية معقدة بين جداول مختلفة.

تمثل معايرة البيانات القياسية تطبيقاً بارزاً للبث المتماثل، حيث يمكن خصم متوسط المجموعة من كل قيمة فردية وقسمة الناتج على الانحراف المعياري الخاص بتلك المجموعة الهرمية بالذات. تسهم هذه المعالجة في إزالة الفروق الحجمية بين المجموعات الكبرى والصغرى في الفهرس المتعدد، وتجهيز المتغيرات للنماذج الإحصائية وخوارزميات تعلم الآلة التي تتطلب بيانات متجانسة التوزيع عبر كافة المستويات الفرعية.

6.2 مقارنة الأداء والسلوك بين transform و apply

يتميز استخدام دالة التحويل المتخصصة بكفاءة حسابية وسرعة معالجة تفوق دالة التطبيق الشامل عند إجراء العمليات التي تتطلب الاحتفاظ بحجم البيانات الأصلي. يرجع هذا التفوق إلى أن دالة التحويل تفرض قيوداً رياضية صارمة تضمن أن المخرجات الناتجة لكل مجموعة تمتلك نفس الطول أو قابلة للبث التلقائي، مما يسمح للمحرك الداخلي بتحسين تخصيص المصفوفات واستخدام عمليات المتجهات السريعة.

في المقابل، تتمتع دالة التطبيق الشامل بحرية هيكلية مطلقة تمكنها من إعادة مصفوفات بأبعاد متغيرة، أو حتى سلاسل بيانات غير متجانسة لكل مجموعة، إلا أن هذه المرونة تجبر المحرك على إدارة أبعاد غير متوقعة وإجراء عمليات محاذاة فهرسية معقدة عند الدمج النهائي. يؤدي ذلك إلى زيادة العبء الحسابي ومخاطر حدوث أخطاء المحاذاة غير المقصودة إذا لم تكن الدالة المخصصة مصممة بدقة متناهية.

تعتبر دالة التحويل الأداة المعيارية المعتمدة في مهام هندسة الميزات المتقدمة وتنظيف البيانات الضخمة؛ مثل تعويض القيم المفقودة داخل كل فئة بالمتوسط الخاص بمستواها الهرمي بدلاً من الاعتماد على المتوسط العام لكامل إطار البيانات. يضمن هذا النهج الحفاظ على الخصائص الإحصائية الدقيقة للمجموعات الفرعية وعدم تشويه التوزيعات الرياضية للبيانات المقطعية المتداخلة.

7. الترشيح والتصفية الهرمية باستخدام دالة filter()

7.1 تصفية المجموعات بناءً على معايير إحصائية شاملة

تتيح دالة التصفية المتقدمة للمحللين إمكانية إخضاع المجموعات الهرمية لمعايير انتقائية شاملة تؤدي إلى الاحتفاظ بالمجموعة كاملة أو استبعادها برمتها من إطار البيانات. تختلف هذه العملية عن التصفية التقليدية للصفوف، حيث لا يتم فحص الشروط على مستوى السجلات الفردية، بل يتم تقييم خاصية إحصائية مجمعة للمجموعة المعرفة عبر مستويات الفهرس المتعدد كشرط مسبق للبقاء.

تعتمد دالة التصفية على تمرير دوال منطقية تفحص المؤشرات الحسابية لكل مجموعة، كأن يُشترط أن يتجاوز مجموع المبيعات الإجمالي للمستوى الهرمي حداً مالياً معيناً، أو أن يزيد التعداد العددي للسجلات داخل المجموعة عن حد أدنى محدد لضمان المعنوية الإحصائية. إذا حققت المجموعة الشرط المطلوب، تظل كافة صفوفها الأصلية دون أي تعديل أو اختزال، بينما يتم حذف صفوف المجموعات التي لم تستوفِ المعيار بالكامل.

تسهم هذه الآلية في تنقية مجموعات البيانات الكبيرة من الفئات الهامشية أو غير المكتملة التي قد تؤدي إلى تشويه نتائج النمذجة الإحصائية اللاحقة. يضمن تطبيق هذه التصفية على مستويات الفهرس تركيز الموارد الحسابية على الكيانات والقطاعات المؤثرة، مع الحفاظ على البنية التفصيلية الداخلية للصفوف المتبقية لمواصلة التحليلات المعمقة عليها.

7.2 التكامل بين التصفية وإعادة بناء الفهارس

يترتب على عمليات التصفية وإسقاط كتل كاملة من البيانات تأثيرات هيكلية على كائن الفهرس المتعدد تستوجب المعالجة التقنية الواعية. فعلى الرغم من أن الصفوف المستبعدة تختفي فعلياً من إطار البيانات الظاهر، إلا أن مستويات الفهرس المتعدد الداخلية قد تظل محتفظة بالقيم الفريدة القديمة ضمن مصفوفة المستويات الخاصة بها كبقايا غير مستخدمة ولكنها مسجلة في الذاكرة.

قد تتسبب هذه المستويات غير المستخدمة في حدوث نتائج غير دقيقة عند إجراء تحليلات لاحقة تعتمد على استخراج القيم الفريدة أو عند تحويل البيانات إلى مصفوفات فئوية. لمعالجة هذا السلوك، توفر مكتبة Pandas دوال متخصصة لتنظيف الفهرس وإسقاط المستويات الخاملة، مما يعيد بناء مصفوفات الأكواد والمستويات لتطابق بدقة البيانات الفعلية المتبقية داخل الجدول بعد التصفية.

يؤدي تنظيف الفهارس المتعددة وإعادة بنائها بعد عمليات التصفية إلى تحسين ملحوظ في كفاءة وسرعة الاستعلامات اللاحقة. إن تقليص مساحة البحث داخل كائن الفهرس يخفض البصمة التخزينية لإطار البيانات في الذاكرة العشوائية، ويضمن عدم ظهور فئات فارغة أو غير منطقية عند توليد المخططات البيانية أو بناء الجداول التلخيصية المعقدة في مراحل العرض النهائي.

8. التجميع عبر الفهارس المتعددة للأعمدة (MultiIndex Columns)

8.1 التعامل مع المحور الأفقي (axis=1 أو axis=’columns’)

لا تقتصر قدرات الفهرسة المتعددة في Pandas على تنظيم الصفوف الرأسية فقط، بل تمتد لتشمل المحور الأفقي من خلال بناء فهارس متعددة للأعمدة. يتيح هذا النمط الهيكلي تصنيف المتغيرات والسمات ضمن مستويات هرمية تعبر عن أبعاد قياسية متراكبة، كأن تقسم الأعمدة وفقاً للسنة المالية في المستوى الخارجي، وتتفرع داخل كل سنة إلى مقاييس المبيعات والأرباح والتكاليف في المستوى الداخلي.

لتنفيذ عمليات التجميع على هذا الهيكل الأفقي، يتم توجيه دالة التجميع للعمل على محور الأعمدة عبر تحديد معامل المحور المناسب مقترناً بمعامل المستويات. تقوم الخوارزمية في هذه الحالة بدمج الأعمدة التي تشترك في نفس المستوى الهرمي وحساب المجاميع أو المتوسطات الأفقية لكل صف على حدة، مما ينتج إطار بيانات يلخص السمات المشتركة عبر الزمن أو عبر الفئات دون المساس بالهيكل الرأسي للصفوف.

تفتح هذه الإمكانية آفاقاً واسعة لإجراء عمليات التدوير وإعادة التشكيل الهيكلي للبيانات باستخدام تقنيات النقل والتبديل المتخصصة. يمكن تحويل مستويات الأعمدة المجمعة إلى مستويات صفوف رأسية أو العكس بسلاسة تامة، مما يمكن المحلل من معاينة البيانات من زوايا متباينة، واختيار التنسيق الأكثر ملاءمة لطبيعة الخوارزميات الإحصائية أو متطلبات العرض البصري.

8.2 التجميع المتقاطع ثنائي الأبعاد (Simultaneous 2D Grouping)

تمثل معالجة إطارات البيانات التي تمتلك فهارس متعددة على كلا المحورين الرأسي والأفقي معاً قمة التعقيد والقوة في التحليل الهرمي للبيانات. يتيح هذا التكوين ثنائي الأبعاد تمثيل مصفوفات شديدة التعقيد، مثل تتبع مؤشرات أداء متعددة عبر تسلسل هرمي للمنتجات في الصفوف بالتزامن مع تسلسل هرمي للمناطق والفترات الزمنية في الأعمدة.

يتطلب تنفيذ التجميع المتقاطع استراتيجيات معالجة تسلسلية أو متكاملة تجمع بين ضغط أبعاد الصفوف والأعمدة للوصول إلى خلايا إحصائية تلخيصية مركزة. يمكن للمحلل أولاً تجميع الصفوف عند مستوى هرمي محدد للحصول على مجاميع الفئات الرئيسية، ثم تطبيق تجميع لاحق على محور الأعمدة لدمج الفترات الزمنية، مما يؤدي إلى اختزال المصفوفة الكبرى إلى جدول إحصائي فائق الدقة والكثافة المعلوماتية.

يشكل هذا النمط من التجميع الأساس الرياضي والمنطقي لبناء الجداول المحورية المعقدة في بيئات الأعمال المتقدمة. يتيح الانتقال المرن بين التجميع المباشر عبر المستويات واستخدام دوال الجداول المحورية تحكماً كاملاً في كيفية تقاطع الأبعاد الإحصائية، ويوفر بيئة مثالية لمحاكاة سيناريوهات الأعمال وتحليل الحساسية المالية عبر قطاعات هيكلية متراكبة.

9. التحكم في أبعاد الإخراج وإعادة تشكيل البيانات المجمعة

9.1 دور المعامل as_index واستراتيجيات إعادة الفهرسة

يتحكم المعامل المسؤول عن تعيين مخرجات التجميع كفهرس في الشكل الهيكلي النهائي لإطار البيانات الناتج عن عمليات التجميع. عند تطبيق التجميع على الأعمدة العادية مع تعطيل هذا المعامل، تُعاد المتغيرات المجمعة كأعمدة بيانات تقليدية مع إنشاء فهرس رقمي بسيط، إلا أن سلوك هذا المعامل يتسم بالخصوصية عند التعامل المباشر مع مستويات الفهرس المتعدد، حيث تظل المستويات المستهدفة جزءاً أصيلاً من الهيكل الفهرسي للنتيجة.

لتحويل المخرجات المجمعة من هياكل هرمية متداخلة إلى جداول مسطحة ذات أبعاد ثنائية بسيطة تناسب التخزين في قواعد البيانات العلائقية، يُعتمد على دالة إعادة ضبط الفهرس. تقوم هذه الدالة بتفكيك مستويات الفهرس المتبقية في جدول النتائج وتحويلها إلى أعمدة صريحة بجانب المقاييس الإحصائية المحسوبة، مع توليد فهرس قياسي موحد يبدأ من الصفر لكافة الصفوف الناتجة.

تعد استراتيجية تسطيح البيانات خطوة لا غنى عنها عند تصدير نتائج التحليلات المتقدمة إلى ملفات مسطحة مثل ملفات القيم المفصولة بفواصل أو عند تغذية أنظمة التقارير وقواعد بيانات الويب. يضمن تفكيك الفهارس الهرمية توافق البيانات مع معايير الجداول العلائقية التقليدية وسهولة قراءتها ومعالجتها بواسطة البرمجيات الأخرى التي قد لا تدعم مفهوم الفهرسة الهرمية المعقد.

9.2 عمليات Unstack و Stack وتفاعلها مع نتائج GroupBy

تمثل عمليتا التفكيك والتكديس الأدوات الهيكلية الأساسية لإعادة تشكيل العلاقات بين الصفوف والأعمدة بعد تنفيذ عمليات التجميع الهرمي. تقوم دالة التفكيك بنقل مستوى محدد من مستويات الفهرس الرأسي المجمع وتحويله إلى مستوى أعمدة أفقي، مما يحول جدول النتائج الطويل إلى جدول عريض يسهل مقارنة قيمه وتتبع التغيرات الإحصائية عبر فئاته بصرياً.

في المقابل، تؤدي دالة التكديس العملية العكسية تماماً من خلال أخذ مستوى من مستويات الأعمدة الأفقية وإسقاطه ليصبح جزءاً من الفهرس المتعدد للصفوف الرأسية، مما يعيد البيانات إلى الهيكل الطويل المكثف. يتيح التناوب السلس بين هاتين العمليتين بعد استدعاء دوال التجميع تشكيل مصفوفات تلخيصية مخصصة تلائم العرض في التقارير المالية والتحليلية دون الحاجة لإعادة كتابة استعلامات التجميع من البداية.

يجب مراعاة أن عملية التفكيك قد تؤدي في بعض الحالات إلى ظهور قيم فارغة ناتجة عن عدم وجود تقاطعات فعلية لبعض المستويات في البيانات الأصلية بعد التدوير. يتطلب ذلك تطبيق معالجات تكميلية لتعويض تلك القيم المفقودة بالأصفار أو بالقوائم الافتراضية المناسبة لضمان اتساق العمليات الحسابية التالية والحفاظ على جودة ونظافة الجداول الإحصائية المصممة للنشر.

10. تحسين الأداء الحسابي وإدارة الذاكرة في البيانات الضخمة

10.1 أهمية الترتيب الفهرسي المسبق (Index Sorting)

يعد الترتيب الفهرسي المسبق الخطوة التقنية الأهم لرفع كفاءة عمليات التجميع وتسريع زمن الاستجابة في مجموعات البيانات الكبيرة. فعندما يكون الفهرس المتعدد غير مرتب معجمياً، يضطر محرك Pandas إلى إجراء مسح خطي معقد وبناء جداول فهرسة مؤقتة لكل استدعاء تجميعي، مما يرفع استهلاك المعالج وقد يتسبب في إطلاق تحذيرات برمجية صريحة تنبه المستخدم إلى تدني كفاءة الأداء الحسابي.

يسهم تطبيق دالة فرز الفهرس على إطار البيانات قبل الشروع في عمليات التجميع في ترتيب السجلات فيزيائياً في الذاكرة لتكون متجاورة ومتسلسلة وفقاً لمستويات الفهرس. يتيح هذا الترتيب المسبق لخوارزميات التجميع تقسيم البيانات وتطبيق العمليات الحسابية عبر تقنيات القفز السريع والاستفادة القصوى من ذاكرة التخزين المؤقت للمعالج، مما يقلص زمن التنفيذ بنسب تصل إلى عدة أضعاف في المشاريع الكبرى.

إلى جانب الترتيب المسبق، توفر دالة التجميع المعامل المخصص لتعطيل الفرز التلقائي للمخرجات، والذي يوجه المحرك إلى عدم ترتيب المفاتيح الناتجة معجمياً بعد انتهاء الحسابات. يفيد هذا التعطيل في توفير دورات المعالجة الإضافية التي تُنفق في ترتيب النتائج عندما لا يكون الترتيب النهائي مطلباً أساسياً للتحليل، مما يرفع من سرعة المعالجة الكلية لخطوط أنابيب البيانات التكرارية.

10.2 استخدام أنواع البيانات الفئوية (Categorical Data)

يمثل تحويل أنواع البيانات النصية داخل مستويات الفهرس المتعدد إلى بيانات فئوية استراتيجية هندسية بالغة الفعالية لتقليص استهلاك الذاكرة العشوائية. فبدلاً من تخزين السلاسل النصية الطويلة والمتكررة لكل مستوى، يقوم النوع الفئوي بتخزين النصوص الأصلية مرة واحدة كقاموس مرجعي وربط السجلات بمصفوفات من الأعداد الصحيحة الصغيرة، مما يقلل البصمة الذاكرية للفهرس بنسب هائلة قد تتجاوز ثمانين بالمئة في الجداول الضخمة.

يتطلب استخدام المستويات الفئوية في عمليات التجميع الانتباه إلى المعامل المخصص للبيانات المرصودة فعلياً داخل الدالة. عند ضبط هذا المعامل ليقتصر على القيم المشاهدة، تمنع الخوارزمية توليد تقاطعات إحصائية فارغة للفئات غير الموجودة في البيانات الفعلية، مما يجنب النظام إهدار الموارد الحسابية في حساب وتخزين مصفوفات ضخمة من النتائج الفارغة والقيم غير المعرفة.

تنعكس هذه التحسينات الفئوية بصورة مباشرة على أداء التحليلات المؤسسية الكبرى التي تتعامل مع مليارات السجلات التاريخية؛ حيث يؤدي انخفاض استهلاك الذاكرة إلى تفادي أخطاء نفاد المساحة التخزينية، ويتيح معالجة مجموعات بيانات هائلة على خوادم ذات مواصفات قياسية بكفاءة وسلاسة تحاكي الأنظمة الموزعة فائقة القدرة.

11. الأخطاء الشائعة واستراتيجيات استكشاف الأخطاء وإصلاحها (Debugging)

11.1 أخطاء تعارض المستويات والأنواع (KeyError & IndexError)

تعد أخطاء الفهرسة وتعارض المستويات من أكثر المشكلات البرمجية شيوعاً التي يواجهها المحللون عند تطبيق التجميع على الفهارس المتعددة. يظهر خطأ تجاوز المستويات عادة عند محاولة تمرير رقم قياسي يشير إلى مستوى هرمي غير موجود في إطار البيانات، كأن يطلب المطور التجميع عبر المستوى الثالث في فهرس يتكون فقط من مستويين هرميين (المستوى صفر والمستوى واحد).

في المقابل، ينشأ خطأ المفتاح عند محاولة الإشارة إلى مستوى باستخدام اسم نصي غير متطابق تماماً مع الاسم المعرف داخل كائن الفهرس، سواء بسبب أخطاء إملائية بسيطة أو عدم حساسية الأحرف أو محاولة استهداف مستويات لم تُمنح أسماء صريحة من الأساس. لتجنب هذه الأخطاء، يُنصح برمجياً بالتحقق المسبق من عمق الفهرس وعدد مستوياته عبر فحص الخاصية المخصصة لتعداد المستويات، واستعراض قائمة الأسماء المعرفة للتأكد من مطابقتها التامة قبل تمريرها لمعاملات التجميع.

تسهم كتابة نصوص برمجية تتضمن فحوصات وتأكيدات استباقية في رفع متانة الأكواد واستقرارها ضد الانهيار المفاجئ في بيئات الإنتاج الحية. يمكن تصميم دوال التحليل بحيث تفحص بنية الفهرس ديناميكياً وتتعامل مع الحالات الخاصة أو تعيد تسمية المستويات تلقائياً قبل تنفيذ التجميع، مما يضمن تدفقاً سلساً وخالياً من الأخطاء لعمليات معالجة البيانات المؤتمتة.

11.2 مشكلات دمج البيانات واختفاء أسماء المستويات

قد يواجه المطورون في بعض الحالات ظاهرة اختفاء أسماء المستويات وتحولها إلى قيم غير معرفة بعد تطبيق دوال تجميعية معينة أو عند استخدام دوال مخصصة عبر مسار التطبيق الشامل. يحدث هذا السلوك عندما تعيد الدوال المطبقة كائنات وسيطة لا تحتفظ بالبيانات الوصفية للفهرس الأصلي، مما يؤدي إلى فقدان السياق الدلالي للأعمدة الناتجة وصعوبة الإشارة إليها في الخطوات التحليلية اللاحقة.

تتضمن استراتيجيات استعادة وتثبيت أسماء المستويات إعادة تعيين خاصية الأسماء يدوياً على كائن الفهرس بعد انتهاء التجميع، أو التأكد من صياغة الدوال المخصصة بحيث تعيد كائنات من نمط إطارات وسلاسل بيانات Pandas المحتفظة ببياناتها الهيكلية. يضمن هذا النهج بقاء شجرة البيانات متكاملة ومعرفة بوضوح عبر كافة مراحل خط أنابيب المعالجة والتحليل.

من المشكلات الشائعة أيضاً السقوط الصامت للأعمدة النصية غير الرقمية عند إجراء التجميعات الرياضية في الإصدارات الحديثة التي تفرض حصر العمليات على البيانات الرقمية فقط. يتطلب الحفاظ على هذه البيانات عزل الأعمدة النصية ومعالجتها بدوال تجميعية ملائمة كحساب التكرار أو تجميع النصوص قبل دمجها مجدداً مع النتائج الرياضية، لضمان عدم فقدان أي معلومات وصفية جوهرية أثناء التحليل.

12. تطبيق عملي شامل وسيناريوهات برمجية خطوة بخطوة

12.1 بناء النموذج الأكاديمي للبيانات الرياضية (Team & Position Dataset)

لتجسيد المفاهيم السابقة في سياق عملي متكامل، نستعرض نموذجاً تطبيقياً كلاسيكياً يمثل بيانات أداء لاعبي كرة السلة. يتكون إطار البيانات الأولي من سجلات مفصلة تضم أسماء الفرق الرياضية، ومواقع اللعب التكتيكية للاعبين، والنقاط المسجلة، وعدد التمريرات الحاسمة، ونسبة الاستحواذ الميداني لكل لاعب عبر مواسم متعددة.

تبدأ المعالجة بتعيين حقلي الفريق وموقع اللعب كفهرس متعدد متعاقب لإطار البيانات، حيث يمثل اسم الفريق المستوى الخارجي ويمثل موقع اللعب المستوى الداخلي. يتم فرز الفهرس معجمياً لضمان الكفاءة الحسابية القصوى. بعد ذلك، يُنفذ التجميع عبر المستوى الخارجي لحساب إجمالي النقاط والتمريرات لكل فريق ككتلة واحدة، ثم يُعاد التجميع بتمرير قائمة المستويين معاً لاستخراج متوسط النقاط لكل موقع لعب تكتيكي داخل كل فريق على حدة.

يوضح تتبع تدفق البيانات في هذا السيناريو كيف تنضغط مئات الصفوف الفردية للاعبين لتتحول إلى ملخصات إحصائية دقيقة تكشف الفروق الهيكلية في توزيع النقاط بين الفرق. تتيح مقارنة النتائج بين التجميع الفردي والتجميع المتعدد فهم ديناميكيات الأداء الرياضي، وتوضح للمحلل كيفية بناء استعلامات هرمية تجيب عن تساؤلات معقدة بأقل عدد ممكن من التعليمات البرمجية الصريحة والسريعة.

12.2 سيناريو تطبيقي واقعي: تحليل بيانات المبيعات متعددة المناطق والفترات

يتناول السيناريو التطبيقي المتقدم الثاني تحليل سجلات المبيعات لشركة تجارة إلكترونية عالمية تزاول نشاطها عبر قارات متعددة. يتم بناء فهرس متعدد يتألف من أربعة مستويات هرمية متداخلة تشمل: المنطقة الجغرافية، والسنة المالية، والربع السنوي، وفئة المنتج الأساسية، لربط ملايين المعاملات التجارية بمصفوفة تحليلية متماسكة الأبعاد.

تُطبق تقنيات التجميع الهرمي لاستخراج مجاميع الإيرادات الفصلية لكل منطقة جغرافية عبر استهداف مستويات المنطقة والسنة والربع السنوي معاً، يتبع ذلك تطبيق دالة التحويل الإحصائي لحساب نسبة مساهمة كل فئة منتج في الإيراد الكلي لربعها السنوي الخاص بها. تُستكمل المعالجة بتطبيق دالة التصفية لاستبعاد الفئات الجغرافية التي لم تحقق الحد الأدنى من النمو المستهدف، وإعادة تشكيل الجدول النهائي عبر تقنية التفكيك لعرض السنوات في الأعمدة والمناطق في الصفوف.

يبرز هذا النموذج المؤسسي المتكامل قدرة الفهرسة الهرمية وآليات التجميع في Pandas على إدارة وتلخيص هياكل البيانات بالغة التعقيد بكفاءة رياضية وبرمجية استثنائية. إن الدمج المنظم بين التجميع الهرمي والتحويل والبث والتفكيك يوفر للمؤسسات رؤى استراتيجية فورية وموثوقة تدعم اتخاذ القرارات التنفيذية المبنية على البيانات بدقة واحترافية متناهية.

خاتمة

استعرضنا في هذا المقال دليلاً شاملاً وتأسيسياً متقدماً حول استخدام وتطويع خوارزميات التجميع على الفهارس المتعددة في مكتبة Pandas. لقد أثبتت الفهرسة الهرمية أنها ليست مجرد وسيلة لعرض البيانات متعددة الأبعاد، بل هي بنية تحتية هندسية تسهم في رفع كفاءة استخدام الذاكرة، وتسريع المعالجة الحسابية، وتوفير مرونة استثنائية في تقطيع واستخلاص المؤشرات الإحصائية المعقدة.

إن تبني أفضل الممارسات البرمجية المتمثلة في التسمية الصريحة لمستويات الفهرس، والفرز المعجمي المسبق، واستخدام الأنواع الفئوية، وحسن اختيار الدوال المناسبة لكل غرض تحليلي، يضمن بناء خطوط معالجة بيانات قوية وموثوقة قادرة على التعامل مع أضخم التحديات التحليلية في مختلف المجالات العلمية والتجارية بكفاءة واقتدار.

References

• McKinney, W. (2022). Python for Data Analysis: Data Wrangling with pandas, NumPy, and Jupyter (3rd ed.). O’Reilly Media. https://wesmckinney.com/book/
• Pandas Development Team. (2023). MultiIndex / advanced indexing. Pandas Documentation. https://pandas.pydata.org/pandas-docs/stable/user_guide/advanced.html
• Pandas Development Team. (2023). Group by: split-apply-combine. Pandas Documentation. https://pandas.pydata.org/pandas-docs/stable/user_guide/groupby.html
• VanderPlas, J. (2023). Python Data Science Handbook: Essential Tools for Working with Data (2nd ed.). O’Reilly Media. https://jakevdp.github.io/PythonDataScienceHandbook/
• Wickham, H. (2011). The Split-Apply-Combine Strategy for Data Analysis. Journal of Statistical Software, 40(1), 1–29. https://doi.org/10.18637/jss.v040.i01