كيفية إضافة صف إجمالي إلى إطار بيانات Pandas

تُعد معالجة البيانات وتحليلها الركيزة الأساسية التي تقوم عليها النظم البرمجية الحديثة في مجالات علوم البيانات والذكاء الاصطناعي وبحوث العمليات. وفي بيئة لغة البرمجة Python، تبرز مكتبة Pandas كأداة لا غنى عنها لإدارة وتنظيم البيانات الجدولية، موفرةً بنية تحتية برمجية متقدمة تُعرف بإطار البيانات أو DataFrame. ويتجاوز الاستخدام الاحترافي لهذه الأداة مجرد تحميل السجلات وتخزينها إلى تطبيق خوارزميات التلخيص والتحويل التي تحول البيانات الأولية الصامتة إلى مؤشرات تحليلية واضحة ومقروءة للمحللين وأصحاب القرار.

يمثل إدراج صف الإجمالي (Total Row) في نهاية الجداول والتقارير التحليلية خطوة منهجية بالغة الأهمية؛ إذ يتيح للمحلل تقديم رؤية تجميعية فورية وشاملة تُمكن القارئ من فهم الأبعاد الكلية للبيانات دون الحاجة إلى تجميع القيم ذهنياً أو إجراء عمليات حسابية منفصلة. ومع ذلك، فإن هذه العملية البرمجية التي تبدو بسيطة في ظاهرها تنطوي على تعقيدات تقنية متعددة، تشمل التعامل مع تجانس أنواع البيانات داخل الأعمدة، ومعالجة القيم النصية والمفقودة، وضمان الكفاءة الحسابية عند معالجة أحجام ضخمة من البيانات دون الإخلال بسلامة البنية الهيكلية للإطار.

يتناول هذا الدليل الشامل والمفصل دراسة متعمقة لكافة التقنيات والمنهجيات البرمجية المتاحة لإضافة صف الإجمالي والصفوف الإحصائية التلخيصية إلى إطار بيانات Pandas. وسنستعرض في هذا البحث التحليلي الأسس النظرية للمحاور والفهارس، والآليات التقليدية والحديثة لإضافة الإجماليات، وكيفية التغلب على التحديات التقنية الشائعة مثل تحذيرات الذاكرة وتعارض أنواع المتغيرات، بالإضافة إلى تقديم دراسات حالة تطبيقية واقعية وأفضل الممارسات المتبعة في البيئات الإنتاجية وفقاً لأحدث إصدارات مكتبة Pandas.

1. مقدمة عامة حول هياكل البيانات في مكتبة Pandas وأهمية تلخيص البيانات

1.1 أهمية تلخيص البيانات في التحليل الإحصائي

يمثل تلخيص البيانات حجر الزاوية في عمليات الاستكشاف الإحصائي واستخراج المعرفة؛ حيث يواجه محلل البيانات في كثير من الأحيان مصفوفات ضخمة تتألف من آلاف أو ملايين السجلات التفصيلية التي يصعب على العقل البشري استيعاب أنماطها بصورة مباشرة. ويؤدي استخراج المؤشرات التلخيصية، وفي مقدمتها المجموع التراكمي (Aggregation Sum)، دوراً حاسماً في اختزال هذا التعقيد الرياضي، وتحويل مجموعات القياسات الدقيقة إلى مقاييس تركيبية موحدة تعكس الصورة الكلية للنظام قيد الدراسة، مما يمهد الطريق لإجراء مقارنات معيارية دقيقة وتحديد الاتجاهات العامة في أبحاث الاقتصاد، والعلوم الاجتماعية، والهندسة التحليلية.

من الناحية المنهجية، يرتكز التلخيص الإحصائي على تحويل المقاييس الفردية المتفرقة عبر السجلات إلى قيم مرجعية معيارية تسهل المقارنة السريعة بين الفئات أو الفترات الزمنية المختلفة. فعندما يتم تلخيص مؤشرات المبيعات الشهرية أو معدلات الإنتاجية، لا تقتصر الفائدة على معرفة الرقم الإجمالي فحسب، بل يمتد الأثر إلى توفير خط أساس موحد يمكن من خلاله تقييم مساهمة كل سجل فردي كنسبة مئوية من الكتلة الإجمالية، وهو ما يُعرف في الأدبيات الإحصائية بالتحليل النسبي والتوزيعي للمتغيرات الكمية.

يتطلب التطبيق الرياضي لجمع المقاييس العددية عبر السجلات فهماً عميقاً لطبيعة المتغيرات وتوزيعاتها الاحتمالية؛ إذ يجب التأكد من أن العمليات الحسابية المطبقة تحافظ على المعنى الدلالي للبيانات. إن جمع المتغيرات من نوع المقياس النسبي (Ratio Scale) مثل الإيرادات والكميات يُعد إجراءً صحيحاً رياضياً، في حين يتطلب التعامل مع المتغيرات الفئوية أو الترتيبية منهجيات تلخيص مغايرة. ومن هنا تبرز الحاجة إلى دمج أدوات الحوسبة الإحصائية التي توفرها مكتبات مثل NumPy وPandas لضمان تنفيذ عمليات التجميع التراكمي بدقة حسابية متناهية ودون الوقوع في أخطاء التقريب الرياضي أو التفسير الخاطئ للمخرجات.

1.2 بنية إطار البيانات (DataFrame) والتعامل مع المحاور

يقوم النموذج المعماري لإطار البيانات (DataFrame) في مكتبة Pandas على هيكل ثنائي الأبعاد يتألف من شبكة من الخلايا المرتبة وفق محورين متعامدين: المحور الرأسي المعروف باسم Axis 0 أو محور الصفوف (Index Axis)، والمحور الأفقي المعروف باسم Axis 1 أو محور الأعمدة (Columns Axis). وتُعد هذه التفرقة بين المحاور جوهرية لفهم كيفية تدفق العمليات الحسابية؛ فعند تنفيذ عملية الجمع التلخيصي الافتراضية عبر الدالة sum()، تتحرك الخوارزمية رأسياً على امتداد المحور 0 لجمع قيم كل عمود على حدة عبر جميع الصفوف، منتجةً في النهاية سلسلة أحادية البعد تمثل المجموع لكل متغير.

تلعب الفهارس (Indexes) دور نظام الإحداثيات الداخلي الذي يتيح الوصول المباشر والفعال إلى السجلات؛ حيث يتميز كل صف بمعرف فريد إما أن يكون رقماً تسلسلياً تلقائياً أو تسمية نصية مخصصة. وعند الشروع في إضافة سجلات إضافية مثل صف الإجمالي، تطرأ تعديلات هيكلية مباشرة على هذا الفهرس؛ إذ يتحول الفهرس المتسلسل الرقمي البسيط إلى فهرس مركب أو هجين يحتوي على نصوص وأرقام، مما يؤثر على أداء عمليات البحث والاسترجاع المعتمدة على الفهرسة الموضعية (Positional Indexing) ويتطلب إدارة حذرة من قبل المطور للحفاظ على استقرار النظام البرمجي.

يتجلى الفارق الجوهري بين تلخيص الأعمدة الفردية وتلخيص إطار البيانات بالكامل في طبيعة الكائنات الناتجة وسياقها الرياضي؛ فتجميع عمود واحد يُنتج قيمة قياسية مفردة (Scalar Value) يمكن تخزينها في متغير مستقل، بينما تلخيص إطار البيانات بالكامل يولد كائناً من نوع Series يطابق مخططه الهيكلي أسماء الأعمدة في الجدول الأصلي. هذا التوافق الهيكلي هو الذي يسمح بإعادة دمج هذه السلسلة كصف إضافي في أسفل الجدول، شريطة الحفاظ على اتساق الأبعاد ومحاذاة التسميات بين السلسلة المجمعة وأعمدة إطار البيانات الأصلي.

1.3 الحاجة العملية لإضافة صف الإجمالي (Total Row)

في بيئات الأعمال وإعداد التقارير المالية والتحليلية، تحتل سهولة قراءة البيانات المرتبة الأولى بين أولويات التصميم البرمجي للتقارير الموجهة للإدارة العليا وصناع القرار. إن تزويد التقرير بصف إجمالي نهائي يلخص المقاييس الرئيسية يوفر على المسؤول التنفيذي عناء استخدام أدوات خارجية أو إجراء عمليات حسابية ذهنية، مما يمنحه رؤية فورية للأداء المالي، ومعدلات التدفق النقدي، وإجمالي الموارد المستهلكة، وهو ما يسهم في تسريع وتيرة اتخاذ القرارات الاستراتيجية المبنية على البيانات الموثوقة.

يسهم توحيد مخرجات التحليل الرياضي ضمن جدول موحد وسهل القراءة في تقليل التشتت البصري والذهني؛ حيث تفضل المؤسسات تلقي مخرجات برمجية متكاملة يمكن تصديرها مباشرة إلى تنسيقات جاهزة للعرض مثل جداول Excel أو تقارير PDF المنسقة. إن احتواء إطار البيانات على صف الإجمالي يجعل من عملية تحويل البيانات الخام إلى جداول تقديمية نهائية مهمة سلسة لا تتطلب تدخلاً يدوياً لاحقاً، مما يعزز من أتمتة خطوط أنابيب إنتاج البيانات (Data Pipelines) ويرفع من كفاءة العمليات التشغيلية.

علاوة على ذلك، يؤدي صف الإجمالي دوراً تدقيقياً حيوياً في التحقق من صحة واكتمال العمليات المحاسبية والتحليلية؛ فعند مراجعة الجداول المعقدة، يُستخدم المجموع الكلي للتأكد من توازن القيود المحاسبية، وتطابق الحصص الموزعة مع الأصل الكلي، وعدم سقوط أي سجلات أثناء مراحل التصفية والتحويل السابقة. يوفر هذا الصف فحصاً منطقياً سريعاً يضمن لمطوري النظم ومحللي البيانات خلو المخرجات من الأخطاء الحسابية أو التشوهات الناتجة عن تعامل غير سليم مع البيانات المفقودة أو القيم الشاذة.

2. المفهوم الأساسي لإضافة صف الإجمالي باستخدام دالة loc و sum

2.1 شرح بناء الجملة الأساسي df.loc[‘total’] = df.sum()

تُعد الخاصية الموضعية .loc في مكتبة Pandas الأداة المعيارية والأكثر مباشرة لتعيين وتعديل البيانات بناءً على التسميات والفهارس الصريحة. وعند استخدام التعبير البرمجي df.loc['total'] = df.sum()، يتم تشغيل سلسلة من العمليات الداخلية في بيئة العمل؛ حيث تستعلم الخاصية أولاً عن وجود تسمية الفهرس المعطاة (‘total’)، وفي حال عدم العثور عليها ضمن الفهرس الحالي، تقوم بإنشاء صف جديد في نهاية إطار البيانات وتخصص له هذه التسمية، ثم تسند القيم المجمعة الناتجة من الطرف الأيمن إلى هذا الصف الجديد بشكل متكامل.

يعتمد السلوك الداخلي للدالة df.sum() عند استدعائها بصورتها الافتراضية دون تمرير معاملات صريحة على العمل عبر المحور الرأسي (axis=0)، مما يعني قيامها بحساب المجموع الرياضي التراكمي لكل عمود من أعمدة إطار البيانات على حدة. تنتج هذه العملية كائناً من فئة Pandas Series يحمل نفس أسماء الأعمدة كفهرس داخلي له، وتكون القيم المقابلة هي نواتج الجمع المحسوبة لكل متغير كمي، مما يضمن التوافق التام عند محاذاة البيانات في الخطوة التالية.

تتم عملية توزيع النواتج المجمعة على الأعمدة المتوافقة تلقائياً بفضل آلية المحاذاة التلقائية (Data Alignment) التي تشتهر بها مكتبة Pandas؛ فعند إسناد كائن Series إلى صف معين عبر .loc، يقوم المحرك الداخلي بمطابقة أسماء الأعمدة في إطار البيانات مع مؤشرات كائن Series بدقة رياضية متناهية. يتم إدراج كل ناتج جمع في العمود المقابل لاسمه الأصلي، مما يضمن عدم تداخل البيانات بين الأعمدة حتى وإن كانت السلسلة الناتجة غير مرتبة بنفس ترتيب الأعمدة الأصلي، وهو ما يوفر حماية برمجية ضد أخطاء الإزاحة المكانية للقيم.

2.2 تطبيق عملي خطوة بخطوة على مجموعة بيانات قياسية

لتطبيق هذا المفهوم عملياً، نبدأ بإنشاء إطار بيانات اختباري يمثل سجلاً مبسطاً للمبيعات الفصلية لعدد من الفروع الإنتاجية. يتألف هذا الجدول من عدة أعمدة رقمية تمثل مبيعات الربع الأول والربع الثاني والربع الثالث، وتتوزع السجلات على فهارس تمثل أسماء الفروع المعنية:

بعد تهيئة إطار البيانات هذا، يتم استدعاء التعبير البرمجي المباشر لحساب الإجمالي وإسناده إلى الفهرس المسمى ‘Total’. في هذه المرحلة، تقوم دالة الجمع بحساب مجموع كل عمود فصلي عبر الفروع الأربعة، ثم تُدرج هذه المجاميع في صف جديد يحمل التسمية المحددة في ذيل الجدول، كما هو موضح في البناء التالي:

import pandas as pd
# إنشاء إطار البيانات الاختباري
data = {
 'Q1_Sales': [15000, 22000, 18000, 31000],
 'Q2_Sales': [17500, 24000, 19500, 29000],
 'Q3_Sales': [21000, 28500, 22000, 35000]
}
df = pd.DataFrame(data, index=['Branch_A', 'Branch_B', 'Branch_C', 'Branch_D'])
# حساب وإضافة صف الإجمالي باستخدام loc
df.loc['Total'] = df.sum()

عند استعراض إطار البيانات المحدث، نلاحظ ظهور الصف الإضافي باسم ‘Total’ في أسفل الجدول، متضمناً الأرقام المجمعة الدقيقة لكل ربع سنوي: 86000 للربع الأول، و90000 للربع الثاني، و106500 للربع الثالث. يؤكد هذا التطبيق العملي سلاسة وبساطة استخدام دالة .loc بالتزامن مع df.sum() في الحالات التي تكون فيها جميع الأعمدة رقمية ومتجانسة بالكامل، مما يوفر حلاً برمجياً سريعاً وفعالاً للمهام التحليلية الروتينية.

2.3 التأثير على الفهرس وأنواع البيانات الأصلية

تحدث إضافة صف يحمل تسمية نصية مثل ‘Total’ إلى إطار بيانات يعتمد في الأصل على فهرس رقمي متسلسل من نوع RangeIndex أو Int64Index تغييراً بنيوياً عميقاً في نوع بيانات الفهرس (Index dtype)؛ إذ يضطر محرك Pandas إلى تحويل الفهرس بالكامل إلى النوع العام Index أو نوع الكائنات object لاستيعاب التسمية النصية الجديدة بجانب الأرقام الأصلية. هذا التحول النوعي، على الرغم من شفافيته في العرض البصري، يترتب عليه استهلاك أكبر للذاكرة وتراجع طفيف في سرعة الاستعلامات القائمة على الفهارس الرقمية المباشرة.

يتجلى الأثر الأكثر حساسية في كيفية إدارة وتوافق أنواع البيانات داخل الأعمدة نفسها (dtypes)؛ فإذا احتوى إطار البيانات على أعمدة بأرقام صحيحة نقية (Integers)، وظلت العمليات مقتصرة على الجمع الحسابي، فإن تلك الأعمدة ستحافظ على نوعها كأعداد صحيحة. ولكن إذا تضمنت العملية حسابات إحصائية أخرى ينتج عنها كسور عشرية، أو إذا تم حشو بعض الخلايا بقيم غير متوافقة، فإن نوع العمود بالكامل سيتحول تلقائياً إلى أرقام عائمة (float64) أو كائنات عامة (object)، مما قد يسبب مشاكل في مراحل المعالجة اللاحقة التي تشترط أنماطاً بيانات دقيقة ومحددة.

للحفاظ على سلامة أنواع البيانات داخل الأعمدة الرقمية وتجنب التحويلات القسرية غير المرغوبة، يجب على المطور مراقبة مصفوفة df.dtypes قبل وبعد إضافة صف الإجمالي. إن الفهم المسبق لسلوك الإسناد الموضعي يتيح للمحلل اتخاذ تدابير استباقية، مثل إعادة ضبط أنواع البيانات يدوياً باستخدام التابع astype() عند الحاجة، لضمان استمرار عمل خطوط الأنابيب البرمجية والنماذج التنبؤية المعتمدة على تلك البيانات دون أي تعارضات تشغيلية.

3. التعامل مع الأعمدة غير الرقمية والسلاسل النصية عند الجمع

3.1 سلوك دالة الجمع التلقائي مع الأعمدة النصية

عند تطبيق دالة df.sum() على إطار بيانات يحتوي على أعمدة نصية وسلاسل محرفية (Strings)، تسلك لغة بايثون ومكتبة Pandas سلوك الجمع التسلسلي القياسي المعروف باسم دمج النصوص (String Concatenation) في حال عدم تقييد الدالة بمعاملات مخصصة. ويترتب على ذلك دمج جميع النصوص الموجودة في العمود في سلسلة نصية واحدة عملاقة في صف الإجمالي، فإذا كان العمود يحتوي على أسماء موظفين مثل ‘أحمد’، ‘محمد’، ‘سارة’، فإن القيمة الناتجة في صف الإجمالي ستكون ‘أحمدمحمدسارة’، وهو ناتج يفتقر إلى أي معنى تحليلي أو قيمة عملية.

تؤدي ظاهرة دمج النصوص هذه إلى مشاكل تصميمية وتطبيقية معقدة؛ حيث يؤدي تكرار دمج النصوص الطويلة إلى تضخم حجم الذاكرة المستخدمة لتخزين السلسلة المدمجة وتشويه العرض التنسيقي للمخرجات النهائية للجدول. إضافة إلى ذلك، فإن السلاسل النصية الطويلة جداً قد تتسبب في تجاوز حدود العرض المسموح بها في واجهات المستخدم أو تعطل عمليات التصدير إلى تنسيقات الجداول مثل CSV وExcel نتيجة تجاوز الحجم المسموح به للخلية المفردة.

ينعكس هذا السلوك غير المرغوب سلباً على الكفاءة الحسابية واستهلاك الذاكرة المخصصة للتطبيق؛ إذ إن عمليات دمج السلاسل النصية عبر آلاف الصفوف تتطلب تخصيصاً متكرراً للذاكرة وعمليات نسخ متعددة للمحارف، مما يؤدي إلى بطء ملحوظ في تنفيذ عملية الجمع مقارنة بالعمليات الحسابية المتجهة (Vectorized Math) التي تُجرى على المصفوفات الرقمية النقية داخل طبقات لغة C التحتية لمكتبة NumPy.

3.2 استخدام المعامل numeric_only لتجاوز الأعمدة غير العددية

لمعالجة السلوك الإشكالي لدمج النصوص، وفرت التحديثات الحديثة لمكتبة Pandas حلاً جذرياً يتمثل في المعامل الصريح numeric_only=True. عند تمرير هذا المعامل إلى دالة الجمع df.sum(numeric_only=True)، تصدر تعليمات مباشرة للمحرك الحسابي بتجاهل كافة الأعمدة غير الرقمية، مثل السلاسل النصية، والمتغيرات المنطقية، والكائنات التواريخية، وحصر العمليات الرياضية فقط في الأعمدة التي تقع ضمن الفئات العددية مثل الأعداد الصحيحة (Integers) والأرقام العائمة (Floats).

يترتب على استخدام هذا المعامل ترك خلايا الأعمدة غير الرقمية في صف الإجمالي بقيم فارغة (NaN أو None) عند إسناد الناتج مباشرة، نظراً لعدم وجود قيم مجمعة لها في كائن Series الناتج. على الرغم من أن هذا التصرف يُعد صحيحاً من الناحية الرياضية والحسابية، إلا أنه قد يترك التقرير بمظهر غير مكتمل من الناحية الجمالية والوظيفية، حيث يظهر العمود التعريفي الأول حاملاً قيمة مفقودة بدلاً من نص توضيحي يبين طبيعة الصف التلخيصي.

للتغلب على مظهر القيم الفارغة غير المرغوب، يلجأ المطورون إلى تخصيص تسمية توضيحية صريحة لصف الإجمالي في العمود النصي المستهدف مباشرة بعد تنفيذ عملية الإسناد. يمكن إنجاز ذلك بسطر برمجي إضافي يقوم بتعيين القيمة ‘الإجمالي’ أو ‘Total’ في الخلية المحددة، مما يضمن اتساق البيانات واكتمال الجدول من الناحيتين الحسابية والجمالية كما يظهر في النمط البرمجي التالي:

# حساب الإجمالي للأعمدة الرقمية فقط
df.loc['Total'] = df.sum(numeric_only=True)
# تخصيص تسمية صريحة في العمود التعريفي الأول
df.loc['Total', 'Department_Name'] = 'Total Summary'

3.3 إعادة هيكلة الصف الملخص يدوياً للأعمدة المختلطة

في السيناريوهات المتقدمة التي تتضمن هياكل بيانات مختلطة تتألف من معرفات نصية، وتواريخ، ومقاييس كمية متعددة، يُعد الإنشاء اليدوي لصف التلخيص باستخدام القواميس (Dictionaries) الأسلوب الأكثر أماناً ودقة هندسية. تمنح هذه الطريقة المطور تحكماً مطلقاً في القيمة المسندة لكل عمود على حدة، متفاديةً أي استنتاجات تلقائية قد يجريها المحرك الداخلي لمكتبة Pandas وتضمن الالتزام الصارم بقواعد العمل المحددة.

تبدأ هذه المنهجية ببناء قاموس بايثون يحتوي على مفاتيح تطابق تماماً أسماء أعمدة إطار البيانات؛ حيث يتم إسناد النصوص الثابتة كمعرفات للأعمدة الوصفية، مثل تعيين القيمة ‘Total’ لعمود المعرف أو الاسم، بينما تُحسب قيم الأعمدة الرقمية عبر استدعاء دالة sum() على كل عمود مستهدف بشكل منفصل أو مجمع. يتيح هذا النهج أيضاً تطبيق دوال حسابية متباينة للأعمدة المختلفة ضمن نفس الصف التلخيصي، مثل جمع عمود المبيعات وحساب متوسط عمود نسبة الخصم.

بعد اكتمال بناء القاموس، يتم إسناده إلى الفهرس الجديد عبر دالة .loc. يضمن هذا الإجراء الحفاظ الكامل على سلامة البيانات الوصفية والكمية، وتفادي ظهور القيم الفارغة غير المبررة، وحماية أنواع البيانات من التغييرات القسرية. يُعد هذا النمط من أفضل الممارسات البرمجية المعتمدة في بناء منصات إعداد التقارير المالية الصارمة التي لا تقبل أي هامش للخطأ في تمثيل البيانات ومسمياتها التلخيصية.

4. إضافة صف الإجمالي باستخدام دالة concat والدمج الهيكلي

4.1 التحول الهيكلي بعد إلغاء دالة append في إصدارات Pandas الحديثة

شهدت مكتبة Pandas تحولاً معمارياً بارزاً في إصداراتها الحديثة تمثل في الإلغاء النهائي للدالة التقليدية DataFrame.append()؛ وقد استند هذا القرار الهندسي الجريء إلى أسباب جوهرية تتعلق بكفاءة استخدام الذاكرة والتعقيد الزمني للعمليات الحسابية. كانت دالة append تقوم بإنشاء نسخة جديدة بالكامل من إطار البيانات وتخصيص مساحات ذاكرة مستحدثة مع كل عملية استدعاء، مما جعل إدراج الصفوف المتكررة عملية غير فعالة تؤدي إلى تدهور حاد في الأداء (Quadratic Time Complexity) عند التعامل مع مجموعات البيانات الكبيرة.

تم اعتماد الدالة المركزية pd.concat() كبديل قياسي ومعياري لتنفيذ كافة عمليات الدمج والربط الهيكلي؛ حيث صُممت هذه الدالة لدمج مجموعات متعددة من إطارات البيانات دفعة واحدة عبر عملية تخصيص ذاكرة واحدة ومحسنة، مما يقلل بشكل كبير من العبء الملقى على مجمع النفايات (Garbage Collector) في لغة بايثون. يمثل الدمج الرأسي باستخدام pd.concat([df1, df2], axis=0) النمط الهيكلي الصحيح والمستدام لإضافة السجلات التلخيصية إلى الجداول الأصلية دون المخاطرة بظهور تحذيرات الإلغاء البرمجي (Deprecation Warnings).

عند مقارنة الأداء بين التعيين المباشر عبر .loc والدمج الهيكلي عبر pd.concat، نجد أن .loc تظل سريعة ومريحة في الحالات البسيطة التي تتطلب إضافة صف مفرد، ولكنها قد تؤدي إلى إعادة تجزئة الذاكرة (DataFrame fragmentation) عند تكرار استخدامها في حلقات برمجية. في المقابل، توفر pd.concat أماناً هيكلياً أعلى ومرونة فائقة عند الرغبة في دمج مصفوفات تلخيصية مركبة تحتوي على عدة صفوف مجمعة، مما يجعلها الخيار المفضل في البيئات المؤسسية المتقدمة.

4.2 بناء إطار بيانات الإجمالي المستقل قبل الدمج

تتطلب عملية الدمج الهيكلي باستخدام pd.concat تحضيراً مسبقاً للسجل التلخيصي؛ حيث يجب تحويل ناتج الجمع من مجرد سلسلة أحادية البعد (Series) إلى إطار بيانات مكتمل الأبعاد وثنائي الهيكل (DataFrame). يتم ذلك عادة بحساب المجموع عبر الدالة df.sum(numeric_only=True)، ثم تحويل السلسلة الناتجة عبر دالة to_frame() مع تدوير المصفوفة (Transposition) باستخدام الخاصية .T لضمان تحول المؤشرات إلى أعمدة أفقية تتطابق تماماً مع هيكل الجدول الأصلي.

عقب عملية التدوير، يتم ضبط الفهرس الخاص بهذا الإطار المصغر ليحمل صراحة التسمية المطلوبة للإجمالي، مثل ‘Total’ أو ‘المجموع العام’. تسهم هذه الخطوة في منح السجل هويته المستقلة قبل الشروع في عملية الدمج، كما تتيح للمحلل في هذه المرحلة إضافة أي قيم وصفية مخصصة للأعمدة غير الرقمية داخل هذا الإطار المستقل بكل سهولة ويسر، وقبل دمجه في المصفوفة الكلية، مما يضمن اتساق المخطط الهيكلي (Schema Alignment).

# حساب المجموع وتحويله إلى DataFrame أفقي
total_series = df.sum(numeric_only=True)
total_df = total_series.to_frame().T
# تخصيص اسم الفهرس وقيم الأعمدة الوصفية
total_df.index = ['Total']
total_df['Region'] = 'All Regions'

إن عملية محاذاة الأعمدة والتأكد من تطابق أنواعها وأسمائها بين الجدول الأصلي وإطار بيانات الإجمالي المستقل تحمي النظام من الأخطاء الصامتة المتمثلة في إنشاء أعمدة إضافية مملوءة بقيم فارغة (NaN) نتيجة وجود فروق طفيفة في أحرف الأسماء أو المسافات البيضاء. إن البناء الهيكلي الدقيق للسجل المستقل يضمن اندماجاً انسيابياً ومتوافقاً تماماً مع الجدول الأصلي بمجرد استدعاء دالة الدمج.

4.3 تنفيذ عملية الدمج وضبط الفهارس المخرجة

يتم تنفيذ الدمج الهيكلي النهائي عبر استدعاء دالة pd.concat() وتمرير قائمة تحتوي على إطار البيانات الأصلي وإطار بيانات الإجمالي المعد، مع التحديد الصريح لمعامل المحور الرأسي axis=0. يقوم المحرك في هذه المرحلة بربط الهيكلين رأسياً، ومحاذاة الأعمدة ذات الأسماء المتطابقة تلقائياً، وتطبيق القواعد المحددة لإدارة الفهارس استناداً إلى المعاملات الممررة في أمر الاستدعاء.

تعتمد كيفية التعامل مع الفهارس المخرجة على الغرض النهائي من الجدول؛ فإذا كان المحلل يرغب في الاحتفاظ بالفهارس النصية المخصصة بما فيها فهرس ‘Total’، يتم ترك المعامل ignore_index=False بصورته الافتراضية. أما في الحالات التي يُفضل فيها استخدام فهرس رقمي متسلسل ومستمر لكامل الجدول متضمناً صف الإجمالي، يمكن تفعيل ignore_index=True، مع مراعاة وضع تسمية الإجمالي داخل أحد الأعمدة النصية لتمييز الصف التلخيصي عن بقية السجلات.

# تنفيذ عملية الدمج الرأسي
final_df = pd.concat([df, total_df], axis=0)

عقب إتمام الدمج، من الضروري التحقق من عدم حدوث تكرار غير مقصود في الفهارس (Duplicate Indices) والتأكد من ثبات واستقرار البنية العامة للجدول. يمكن استخدام الخاصية final_df.index.is_unique لاختبار تفرد الفهارس، والتأكد من أن الصف النهائي قد استقر في موقعه الصحيح في أسفل الجدول دون التسبب في أي تشوهات لهيكل الأعمدة الأصلية أو قيمها المخزنة.

5. تحديد أعمدة معينة لحساب الإجمالي وتجاهل أعمدة أخرى

5.1 تطبيق الجمع الانتقائي على قوائم الأعمدة المحددة

في العديد من التطبيقات التحليلية الواقعية، لا يكون من المنطقي أو المرغوب فيه حساب المجموع التراكمي لكافة الأعمدة الرقمية الموجودة في الجدول؛ فعلى سبيل المثال، لا يجوز جمع أعمدة مثل ‘معرف العميل’ (Customer ID)، أو ‘الرقم القومي’، أو ‘أسعار الوحدات الفردية’، أو ‘النسب المئوية’، لأن مجموع هذه المتغيرات يفتقر إلى الدلالة الإحصائية السليمة. في مثل هذه الحالات، تبرز الحاجة إلى تطبيق الجمع الانتقائي على قائمة محددة بعناية من الأعمدة الكمية التي تقبل التجميع التراكمي رياضياً.

يتم تنفيذ هذا الإجراء بحصر العمليات الحسابية في مجموعة فرعية من الأعمدة عبر تمرير قائمة صريحة بأسمائها إلى إطار البيانات قبل استدعاء دالة الجمع، مثل df[target_columns].sum(). يضمن هذا النهج قصر العمليات الرياضية على النطاقات المعنية بالتحليل الفعلي، مما يوفر موارد المعالجة ويمنع تشويه الأعمدة التي لا ينبغي المساس بها بمجاميع مضللة.

# تحديد الأعمدة المستهدفة بالجمع
numeric_metrics = ['Revenue', 'Units_Sold', 'Operational_Cost']
# حساب الإجمالي للأعمدة المحددة فقط وإسنادها
df.loc['Total', numeric_metrics] = df[numeric_metrics].sum()

عند استخدام هذه الطريقة، تظل الأعمدة غير المشمولة في قائمة الجمع إما فارغة (NaN) في صف الإجمالي الجديد، أو يمكن للمحلل التدخل برمجياً لملئها بقيم افتراضية مناسبة مثل وضع علامات مخصصة مثل ‘N/A’ أو قيم نصية توضيحية. يسهم هذا التدخل في رفع القيمة الوظيفية للتقرير ويمنع المتلقي من تفسير الفراغات على أنها بيانات مفقودة سقطت سهواً أثناء المعالجة.

5.2 استخدام دوال التصفية لتحديد الأعمدة بناءً على شروط

تتطلب خطوط أنابيب معالجة البيانات المؤتمتة مرونة برمجية فائقة تمكنها من التكيف مع الجداول الديناميكية المتغيرة التي قد تشهد إضافة أو حذف أعمدة باستمرار دون تدخل بشري مباشر. توفر مكتبة Pandas أدوات متقدمة لتصفية واختيار الأعمدة استناداً إلى الشروط والأنواع البرمجية، ويأتي في مقدمتها التابع select_dtypes() الذي يتيح انتقاء الأعمدة الرقمية العائمة أو الصحيحة بدقة متناهية ودون الحاجة إلى كتابة أسمائها صراحة في الكود البرمجي.

إلى جانب التصفية القائمة على نوع البيانات، يمكن استخدام التابع filter() لتحديد الأعمدة المستهدفة بالاعتماد على الأنماط النصية أو البادئات واللاحقات (Prefixes and Suffixes) في أسمائها عبر التعابير النمطية (Regex)؛ فإذا كان الجدول يحتوي على أعمدة متكررة مثل ‘Sales_2021’، ‘Sales_2022’، ‘Sales_2023’ إلى جانب أعمدة وصفية متعددة، يمكن للتابع df.filter(like='Sales_') استخلاص هذه الأعمدة المحددة تلقائياً وتطبيق عملية الجمع عليها مباشرة.

# تصفية الأعمدة التي تبدأ بنمط نصي محدد وحساب مجموعها
sales_cols = df.filter(regex='^Sales_').columns
df.loc['Total', sales_cols] = df[sales_cols].sum()

توفر هذه المنهجيات الديناميكية حصانة برمجية عالية للأنظمة وقواعد المعالجة، حيث تضمن استمرار تشغيل الخوارزميات بنجاح حتى لو تغيرت بنية الجداول المدخلة أو أضيفت إليها أعمدة جديدة تلبي نفس الشروط. يمثل هذا التجريد البرمجي أحد المعايير الأساسية في كتابة كود نظيف، وقابل للتطوير (Scalable)، ومتوافق مع مبادئ هندسة البرمجيات الحديثة.

6. إضافة صفوف تلخيصية متعددة: المتوسط، الانحراف، والوسيط

6.1 بناء صفوف الإحصاء الوصفي المتكاملة

لا يقتصر التلخيص الإحصائي الشامل للبيانات على حساب صف الإجمالي التراكمي فحسب، بل يتطلب في كثير من الأحيان تضمين حزمة متكاملة من مؤشرات النزعة المركزية ومقاييس التشتت؛ إذ يوفر إدراج صفوف لحساب المتوسط الحسابي (Mean)، والوسيط (Median)، والانحراف المعياري (Standard Deviation) رؤية أعمق لتوزيع البيانات تكشف عن وجود أي قيم شاذة (Outliers) أو التواءات في التوزيع الإحصائي قد يخفيها المجموع المجرد.

يمكن بناء هذه الصفوف الإحصائية التلخيصية منهجياً من خلال استدعاء الدوال الإحصائية المستقلة مثل df.mean() وdf.std() وdf.median() وإسناد نتائج كل منها إلى صف مستقل في أسفل الجدول باستخدام المعرفات التوضيحية المناسبة عبر .loc. كما تتيح دالة الإحصاء الوصفي الشاملة df.describe() استخلاص هذه المؤشرات دفعة واحدة، وإعادة تشكيل مصفوفة النتائج ودمجها برمجياً مع إطار البيانات الأصلي في عملية موحدة وعالية الكفاءة.

# حساب المقاييس الإحصائية المتعددة
summary_metrics = {
 'Total': df.sum(numeric_only=True),
 'Mean': df.mean(numeric_only=True),
 'Std_Dev': df.std(numeric_only=True),
 'Median': df.median(numeric_only=True)
}
# إدراج الصفوف التلخيصية في إطار البيانات
for label, metric_series in summary_metrics.items():
 df.loc[label] = metric_series

إن إدراج هذه المقاييس الإحصائية جنباً إلى جنب مع المجموع الكلي يعزز من القيمة التفسيرية للجدول؛ حيث يستطيع المحلل مقارنة الأداء الفردي لكل سجل ليس فقط بالنسبة للمجموع الإجمالي، بل وأيضاً بالقياس إلى متوسط المجموعة ونطاق التشتت المعياري، مما يقدم تحليلاً وصفياً متكاملاً يلبي متطلبات النشر العلمي والتقارير التنفيذية الدقيقة.

6.2 تنظيم وترتيب الصفوف الإحصائية المتعددة في ذيل الجدول

عند إضافة صفوف إحصائية متعددة إلى نهاية إطار البيانات، يصبح التنظيم البصري والترتيب المنطقي لهذه السجلات عاملاً حاسماً في قابلية قراءة التقرير؛ إذ ينبغي فصل البيانات الأولية الخام عن المقاييس الإحصائية التلخيصية بطريقة تمنع أي التباس بين السجلات التشغيلية ومؤشرات الأداء التجميعية، وتضمن بقاء الصفوف التلخيصية دائماً في ذيل الجدول حتى بعد تنفيذ عمليات الفرز على الأعمدة.

تتمثل إحدى التقنيات المتقدمة لتنظيم هذه الهياكل في استخدام الفهارس الهرمية (Hierarchical Indexing / MultiIndex)؛ حيث يمكن تقسيم الجدول إلى مستويين للفهرسة: المستوى الأول يصنف السجلات إلى ‘Data’ و’Summary’، بينما يحتوي المستوى الثاني على المعرفات الفردية لكل سجل وللمقاييس الإحصائية. يتيح هذا الهيكل إجراء عمليات التصفية والفرز والتحويل على قسم البيانات الخام بشكل مستقل تماماً، مع الحفاظ على قسم الإحصاءات ثابتاً في موضعه السفلي دون تأثر.

# مثال على بناء مصفوفة هرمية منظمة
data_part = df.copy()
summary_part = pd.DataFrame({
 'Sales': [df['Sales'].sum(), df['Sales'].mean()],
 'Profit': [df['Profit'].sum(), df['Profit'].mean()]
}, index=['Total', 'Average'])
# دمج الجزأين باستخدام فهرس متعدد المستويات
structured_df = pd.concat(
 {'Records': data_part, 'Statistics': summary_part},
 names=['Category', 'Identifier']
)

يمنع هذا الفصل الهيكلي الصارم تداخل المقاييس الإحصائية مع البيانات الحسابية الخام؛ فمن الأخطاء الكارثية الشائعة في البرمجة التحليلية إعادة تطبيق دوال التجميع على جدول يحتوي بالفعل على صفوف تلخيصية مدمجة، مما يؤدي إلى مضاعفة القيم وحساب متوسط المتوسطات بشكل خاطئ. إن التنظيم الواعي للفهارس يضمن عزل الحسابات التلخيصية وحماية البيانات من التشوهات الحسابية المستقبلية.

7. التعامل مع المجاميع الفرعية (Subtotals) والمجموع الكلي (Grand Total)

7.1 حساب المجاميع الفرعية باستخدام GroupBy

تتطلب المشاريع التحليلية المعقدة في كثير من الأحيان تصنيف البيانات وتجميعها وفق متغيرات فئوية متعددة مثل الفروع الجغرافية، أو قطاعات الأعمال، أو خطوط الإنتاج، مع حساب المجاميع الفرعية (Subtotals) لكل فئة على حدة قبل استخراج المجموع العام النهائي. تمثل دالة groupby() في مكتبة Pandas المحرك الأساسي لتنفيذ هذا النوع من التجميع المقسم، حيث تقوم بتقسيم البيانات إلى مجموعات مستقلة، وتطبيق دوال التجميع عليها، ثم إعادة تجميع النتائج في جدول متماسك.

لإدراج المجاميع الفرعية داخل الجدول التفصيلي بجانب السجلات الفردية، يلجأ المحللون إلى خوارزميات التكرار والدمج المنطقي؛ حيث يتم استخراج السجلات الخاصة بكل فئة متبوعة بصف يمثل مجموع تلك الفئة تحديداً، ثم دمج هذه الكتل رأسياً بالترتيب. يسهم هذا الهيكل في تقديم تقرير تفصيلي متسلسل يتيح للمراجع قراءة الأداء الجزئي لكل قسم والانتقال بسلاسة إلى القسم التالي دون فقدان السياق الإجمالي للبيانات.

# حساب المجاميع الفرعية لكل فئة ودمجها تفصيلياً
subtotal_list = []
for category, group in df.groupby('Department'):
 subtotal_list.append(group)
 
 # بناء صف المجموع الفرعي للقسم
 subtotal_row = group.sum(numeric_only=True).to_frame().T
 subtotal_row.index = [f"{category} Subtotal"]
 subtotal_row['Department'] = f"{category} Total"
 subtotal_list.append(subtotal_row)
# تجميع الجدول متضمناً المجاميع الفرعية
df_with_subtotals = pd.concat(subtotal_list, axis=0)

تتطلب هذه العملية دقة هندسية عالية لضمان المحاذاة الصحيحة لكافة المتغيرات والحفاظ على الترتيب المنطقي للعمليات الحسابية، وتوفر الأساس البرمجي اللازم لبناء التقارير المحاسبية متعددة المستويات، مثل تقارير ميزان المراجعة وقوائم الدخل المقارنة التي تعتمد في جوهرها على التسلسل الهرمي للمجاميع الفرعية وصولاً إلى النتائج الإجمالية المجمعة.

7.2 إدراج صف المجموع الكلي النهائي بعد التجميع

بعد اكتمال بناء وتنسيق المجاميع الفرعية لمختلف الفئات، تأتي المرحلة الختامية المتمثلة في حساب وإدراج صف المجموع الكلي النهائي أو ما يُعرف بـ Grand Total في نهاية التقرير المجمع. وتكمن النقطة الأكثر أهمية وحساسية في هذه الخطوة في تجنب الخطأ المحاسبي الجسيم المتمثل في مضاعفة الحسابات (Double Counting)، والذي يحدث إذا تم جمع كامل عناصر الجدول الجديد بما يحتويه من مجاميع فرعية وسجلات أولية معاً.

لتفادي هذا الخطأ الرياضي الفادح، يجب أن يُحسب المجموع الكلي دائماً بالرجوع الصريح إلى مجموعة البيانات الأصلية الخام غير المجمعة، أو عن طريق حصر الجمع حصرياً في صفوف المجاميع الفرعية دون غيرها؛ فإذا كان الجدول يحتوي على أربعة أقسام، فإن المجموع الكلي يجب أن يكون مساوياً لحاصل جمع المجاميع الفرعية الأربعة فقط، أو مجموع السجلات الخام الأصلية قبل التقسيم.

# حساب المجموع الكلي من إطار البيانات الأصلي الخام
grand_total = df.sum(numeric_only=True).to_frame().T
grand_total.index = ['Grand Total']
grand_total['Department'] = 'All Company'
# دمج صف المجموع الكلي النهائي في ذيل الجدول
final_report = pd.concat([df_with_subtotals, grand_total], axis=0)

يضمن هذا الالتزام المنهجي بالرجوع إلى المصدر الأصلي للبيانات الحصول على مخرجات موثوقة ومطابقة للمعايير المحاسبية الدقيقة. إن إدراج صف المجموع الكلي بهذه الطريقة المنضبطة يمنح التقرير التوازن المالي النهائي، ويوفر للجهات الرقابية والتدقيقية أداة فحص سريعة لمطابقة إجمالي المجاميع الفرعية مع المجموع العام للمؤسسة.

7.3 استخدام جداول المحاور Pivot Tables لإدراج الإجماليات تلقائياً

توفر دالة جداول المحاور pd.pivot_table() في مكتبة Pandas حلاً برمجياً متقدماً وأنيقاً لأتمتة حساب المجاميع الفرعية والإجماليات الكلية دون الحاجة إلى كتابة خوارزميات يدوية معقدة؛ حيث تشتمل هذه الدالة متعددة الاستخدامات على معامل مدمج فائق الفعالية هو margins=True. عند تفعيل هذا المعامل، يقوم المحرك تلقائياً بإنشاء صفوف وأعمدة تلخيصية شاملة لكافة المحاور المتقاطعة في الجدول المحوري.

يتيح المعامل الملحق margins_name للمطور تخصيص التسمية المرئية التي ستظهر على صف وعمود الإجمالي المجمع، حيث يمكن تغيير التسمية الافتراضية ‘All’ إلى أي مصطلح تحليلي ملائم مثل ‘Grand Total’ أو ‘المجموع الإجمالي’. تتولى الدالة داخلياً إدارة كافة العمليات الحسابية بدقة متناهية، وتضمن عدم مضاعفة الحسابات، وتتعامل مع القيم المفقودة والبيانات الفئوية بكفاءة رياضية مطلقة.

# بناء جدول محوري متقدم مزود بصف وعمود الإجمالي تلقائياً
pivot_report = pd.pivot_table(
 df,
 values='Revenue',
 index=['Region', 'Sales_Rep'],
 columns='Product_Category',
 aggfunc='sum',
 margins=True,
 margins_name='Grand Total'
)

تتفوق جداول المحاور في سرعتها ومرونتها الرياضية على الطرق اليدوية لإضافة الإجماليات، لا سيما عند الرغبة في تلخيص تقاطعات المتغيرات المتعددة في تقرير ثنائي الأبعاد. إنها توفر للمحلل كوداً مختصراً، ومقروءاً، وعالي الأداء، ومحصناً ضد الأخطاء البشرية الشائعة في إدارة المحاور وتجميع السجلات.

8. معالجة القيم المفقودة (NaN) وتأثيرها على حساب صف الإجمالي

8.1 سلوك دالة sum الافتراضي مع القيم المفقودة (skipna)

تمثل القيم المفقودة أو الفارغة (المعبر عنها برمز NaN اختصاراً لـ Not a Number) أحد التحديات الإحصائية والحسابية البارزة في علوم البيانات. وتعتمد دالة الجمع sum() في مكتبة Pandas بصورة افتراضية على المعامل skipna=True؛ مما يعني قيام الخوارزمية باستبعاد القيم المفقودة تلقائياً من العملية الحسابية ومعاملتها وكأنها أصفار حيادية لا تؤثر على مجموع القيم الرقمية الصالحة المتبقية في العمود.

على الرغم من أن هذا السلوك التلقائي يمنع تعطل العمليات البرمجية ويتيح استخراج مجاميع للأعمدة التي تحتوي على فجوات في البيانات، إلا أنه ينطوي على مخاطر إحصائية يجب الانتباه إليها؛ فتجاهل القيم المفقودة دون تدقيق قد يعطي انطباعاً زائفاً باكتمال البيانات، ويؤدي إلى احتساب إجمالي يقل عن القيمة الفعلية الحقيقية التي كانت ستتحقق لو توفرت تلك السجلات الناقصة، وهو ما قد يضلل التحليلات الاستشرافية والنماذج التنبؤية.

# حساب المجموع مع فرض التحقق الصارم من اكتمال البيانات
# إذا وُجدت قيمة مفقودة واحدة، سيكون الناتج NaN
strict_sum = df.sum(numeric_only=True, skipna=False)

في المقابل، يُعد تعيين المعامل skipna=False خياراً حاسماً في بيئات العمل التي تشترط النزاهة المطلقة للبيانات واكتمالها الصارم؛ فعند تعطيل تجاوز القيم المفقودة، ستقوم الدالة بإرجاع NaN في صف الإجمالي لأي عمود يحتوي على قيمة مفقودة واحدة على الأقل. يعمل هذا السلوك كنظام إنذار مبكر ينبه المحلل فوراً إلى وجود خلل في جمع البيانات يتطلب المعالجة والتنظيف قبل اعتماد النتائج المجمعة.

8.2 استراتيجيات تنظيف ومعالجة البيانات قبل حساب الإجمالي

تقتضي أفضل الممارسات الهندسية في تنقيب البيانات وتجهيزها إجراء عمليات تنظيف ومعالجة استباقية للقيم المفقودة قبل الوصول إلى مرحلة التلخيص وحساب صف الإجمالي. وتبرز دالة fillna() كواحدة من أكثر الأدوات مرونة لتطبيق استراتيجيات المعالجة المختلفة، سواء كان ذلك بتعويض الفراغات بالقيمة الصفرية، أو باستخدام المتوسطات الحسابية، أو عبر تقنيات الاستيفاء الخطي المتقدم (Linear Interpolation).

من الضروري للمحلل التمييز رياضياً ومنطقياً بين “الصفر الحقيقي” و”القيمة المفقودة”؛ فالصفر يعبر عن قياس فعلي مقداره انعدام القيمة (مثل عدم تحقيق أي مبيعات في يوم محدد)، في حين تشير القيمة المفقودة إلى غياب المعلومة تماماً لسبب تقني أو تشغيلي. إن الاستبدال العشوائي لكافة القيم المفقودة بالأصفار قد يشوه المقاييس الإحصائية الأخرى التي قد تُضاف إلى صفوف التلخيص لاحقاً مثل المتوسط الحسابي والانحراف المعياري.

# معالجة استباقية للقيم المفقودة قبل حساب الإجمالي
# ملء القيم المفقودة بالصفر للأعمدة الكمية فقط
clean_df = df.copy()
numeric_cols = clean_df.select_dtypes(include=['number']).columns
clean_df[numeric_cols] = clean_df[numeric_cols].fillna(0)
# حساب وإضافة صف الإجمالي على بيانات منقحة وموثوقة
clean_df.loc['Total'] = clean_df.sum(numeric_only=True)
clean_df.loc['Total', 'Status'] = 'Cleaned Summary'

تسهم هذه المعالجة المنضبطة في تقييم جودة البيانات والتحكم الكامل في سلوك خوارزميات التجميع. إن تدقيق البيانات والتأكد من ملاءمة استراتيجية التعامل مع الفراغات يضمن أن يكون صف الإجمالي الناتج ممثلاً حقيقياً وموثوقاً لواقع العمليات التشغيلية، وخالياً من أي انحرافات حسابية غير مقصودة.

9. تنسيق وتمييز صف الإجمالي بصرياً (Dataframe Styling)

9.1 استخدام Pandas Styler لتمييز صف الإجمالي

يعد العرض البصري الجذاب والتنسيق الواضح للبيانات عنصراً أساسياً في إيصال الرؤى التحليلية بفعالية إلى متخذي القرار؛ فالجداول التي تفتقر إلى التمييز البصري بين البيانات التشغيلية والصفوف التلخيصية ترهق القارئ وتزيد من احتمالية الخطأ في قراءة الأرقام. توفر مكتبة Pandas نظام تنسيق متقدم عبر الخاصية Styler، يتيح تطبيق قواعد التنسيق الشرطي والأنماط الجمالية المعتمدة على تقنيات أوراق الأنماط المتتالية (CSS) مباشرة على خلايا إطار البيانات.

لتمييز صف الإجمالي بوضوح، يمكن تصميم دوال تنسيق برمجية مخصصة تطبق خطوطاً عريضة (Bold)، وخلفيات لونية مميزة، وحدوداً علوية وسفلية مزدوجة تحاكي المعايير المحاسبية العالمية للجداول المالية. يتم تطبيق هذه الدوال باستخدام التابع Styler.apply() مع استهداف التسمية الخاصة بصف الإجمالي (‘Total’) لعزل تنسيقه بالكامل عن باقي صفوف الجدول.

# دالة لتطبيق التنسيق البصري على صف الإجمالي
def highlight_total_row(row):
 if row.name == 'Total':
 return ['background-color: #f2f2f2; font-weight: bold; border-top: 2px solid black; border-bottom: 2px double black'] * len(row)
 return [''] * len(row)
# تطبيق التنسيق وإنتاج كائن Styler المنسق
styled_table = df.style.apply(highlight_total_row, axis=1)

يمتاز هذا النهج بأنه يحافظ على القيم الرقمية الأصلية نقية وخالية من النصوص داخل مصفوفة الذاكرة، ويقصر التعديلات على واجهة العرض المرئي فقط. كما يدعم كائن Styler التصدير المباشر للجداول المنسقة إلى صيغ HTML مدمجة تحافظ على كافة السمات الجمالية، مما يسهل دمجها في لوحات التحكم التنفيذية وتقارير البريد الإلكتروني المؤتمتة بدقة واحترافية متناهية.

9.2 تنسيق الأرقام والعملات داخل صف الإجمالي

يتطلب العرض الاحترافي للتقارير المالية والكمية ضبط تنسيق الأرقام؛ حيث يجب إظهار الفواصل العشرية بانتظام، واستخدام فواصل الآلاف لتسهيل قراءة الأعداد المليونية الكبيرة، وإدراج رموز العملات أو النسب المئوية في المواضع المناسبة. يوفر كائن Styler.format() إمكانيات قوية لتطبيق سلاسل التنسيق النصي (Format Strings) بدقة بالغة على أعمدة معينة أو على كامل إطار البيانات بما فيه صف الإجمالي.

من الأهمية بمكان الفصل الدقيق بين “تنسيق العرض البصري” و”القيم الرقمية الحسابية الفعلية”؛ فاستخدام دوال التحويل النصي المباشرة لتحويل الأرقام إلى نصوص تحتوي على رموز العملات (مثل تحويل 1000 إلى "$1,000") داخل بنية إطار البيانات نفسه يؤدي إلى تدمير نوع البيانات الرقمي وتحويل العمود إلى كائنات عامة (object)، مما يمنع إجراء أي عمليات حسابية أو تحليلات لاحقة على تلك البيانات.

# تنسيق الأرقام، فواصل الآلاف، والعملات دون تعديل البيانات الأصلية
formatted_df = df.style.format({
 'Revenue': '${:,.2f}',
 'Cost': '${:,.2f}',
 'Profit_Margin': '{:.1%}'
}).apply(highlight_total_row, axis=1)

يتيح تطبيق التنسيق عبر طبقة Styler الحفاظ على البنية الرقمية الرياضية للأعمدة سليمة بنسبة 100% داخل الذاكرة من أجل أي معالجات برمجية أخرى، مع تقديم عرض مرئي أنيق يلبي أدق المعايير المحاسبية المتبعة في إعداد التقارير السنوية والبيانات المالية للمؤسسات الكبرى.

10. اعتبارات الأداء والكفاءة عند التعامل مع مجموعات البيانات الضخمة

10.1 الاستهلاك الحسابي لعمليات الجمع وإعادة الفهرسة

عند الانتقال من معالجة مجموعات البيانات الصغيرة إلى التعامل مع مجموعات البيانات الضخمة (Big Data) التي تضم عشرات الملايين من الصفوف ومئات الأعمدة، يصبح استهلاك الموارد الحاسوبية وزمن التنفيذ عاملاً حاسماً في كفاءة النظام. تتسم عملية الجمع التراكمي للأعمدة df.sum() بتعقيد زمني خطي $O(N \times M)$، حيث يمثل $N$ عدد الصفوف و$M$ عدد الأعمدة؛ وعلى الرغم من كفاءة خوارزميات Pandas المكتوبة بلغة C، إلا أن استدعاء الجمع على مصفوفات ضخمة يستهلك طاقة معالجة مكثفة من وحدة المعالجة المركزية (CPU).

تتمثل المعضلة الكبرى في إدارة الذاكرة عند تعديل إطار البيانات لإضافة صف الإجمالي؛ فعند استخدام أساليب تؤدي إلى إنشاء نسخ جديدة بالكامل من إطار البيانات في الذاكرة (Out-of-place Operations)، تتضاعف المساحة المستخدمة فورياً، مما قد يؤدي إلى تجاوز السعة المتاحة لذاكرة الوصول العشوائي (RAM) وانهيار بيئة التشغيل بخطأ فيض الذاكرة (MemoryError). تتطلب الهندسة البرمجية السليمة تفادي التعديلات المتكررة واختيار المنهجيات التي تقلل من استنساخ المصفوفات في الذاكرة إلى الحد الأدنى الممكن.

علاوة على ذلك، فإن عملية إعادة الفهرسة وتغيير نوع الفهرس من فهرس رقمي متجانس إلى فهرس كائنات عام يحتوي على نصوص يؤدي إلى تفكيك استمرارية الذاكرة (Memory Locality)؛ حيث تُخزن الفهارس الرقمية في كتل متصلة تتيح الاستفادة من الذاكرة المخبأة للمعالج (CPU Cache)، بينما تعتمد فهارس الكائنات على مؤشرات مبعثرة للذاكرة، مما يبطئ من سرعة العمليات اللاحقة على إطار البيانات بشكل ملحوظ.

10.2 استخدام مكتبات التوازي والبدائل السريعة

لتحقيق أقصى درجات الكفاءة الحسابية عند التعامل مع مجموعات البيانات الضخمة، يُنصح بتطبيق تقنيات تقليل استهلاك الذاكرة عبر تحسين أنواع البيانات (Downcasting)؛ فبدلاً من استخدام الأنماط التلقائية الافتراضية عالية الاستهلاك مثل int64 وfloat64، يمكن تحويل الأعمدة إلى أنماط أكثر ترشيداً مثل int32 أو float32 أو الأنواع الفئوية (Categoricals)، مما يقلص حجم إطار البيانات في الذاكرة بنسبة قد تتجاوز 50% ويسرع من تنفيذ العمليات الرياضية التراكمية.

تستند مكتبة Pandas في جوهرها الحسابي إلى العمليات المتجهة (Vectorized Operations) المتاحة عبر مكتبة NumPy، وتتيح الإصدارات الحديثة الاستفادة من محرك Apache Arrow كبنية تحتية لتخزين البيانات، مما يوفر سرعات معالجة فائقة وقدرات متقدمة لمعالجة البيانات الخالية من النسخ (Zero-copy Operations). كما يمكن الاستعانة بالمكتبات المتوازية مثل Dask أو Polars في الحالات التي تتجاوز فيها البيانات سعة الذاكرة المحلية للجهاز.

# تقليل استهلاك الذاكرة عبر تحسين أنواع البيانات قبل الجمع
for col in df.select_dtypes(include='float64').columns:
 df[col] = pd.to_numeric(df[col], downcast='float')
# الاستفادة من سرعة مصفوفات NumPy لحساب الإجمالي اللحظي
raw_totals = df.to_numpy().sum(axis=0)

تتمثل أفضل الممارسات المعمارية في هندسة البيانات في “تأجيل” حساب الإجماليات والصفوف التلخيصية إلى مرحلة العرض النهائي أو تصدير التقارير، وعدم إدراج صفوف الإجمالي داخل هياكل البيانات أثناء مراحل المعالجة والتحويل الوسيطة؛ إذ إن إبقاء البيانات نقية ومتجانسة في مراحل خط الأنابيب يضمن أقصى كفاءة حسابية وتوافقاً تاماً مع خوارزميات التعلم الآلي والتحليل الإحصائي المتقدم.

11. الأخطاء الشائعة واستكشاف المشكلات وإصلاحها

11.1 خطأ عدم تطابق أنواع البيانات (TypeError & SettingWithCopyWarning)

يواجه العديد من المطورين أثناء محاولة إضافة صف الإجمالي تحذيراً شهيراً ومربكاً في بيئة Pandas يُعرف بـ SettingWithCopyWarning؛ ويحدث هذا التحذير عندما يحاول المطور تعيين قيمة أو إضافة صف إلى شريحة مقتطعة من إطار البيانات (Slice) بدلاً من إطار البيانات الأصلي. في هذه الحالة، لا يستطيع المحرك التأكد مما إذا كان التعديل سيؤثر على الكائن الأصلي أم على نسخة مؤقتة منه في الذاكرة، مما قد يقود إلى سلوكيات برمجية غير متوقعة وأخطاء صامتة في حفظ النتائج.

لحل هذه المشكلة وتفادي هذا التحذير، يجب استخدام التابع .copy() صراحة عند اقتطاع أي شريحة من البيانات قبل البدء في تعديلها أو حساب إجمالياتها. يضمن هذا الإجراء إنشاء كائن مستقل تماماً في الذاكرة مفصول عن الإطار الأصلي، مما يجعل عمليات الإسناد اللاحقة عبر .loc آمنة برمجياً وخالية من أي تحذيرات تشغيلية.

# الممارسة الصحيحة: إنشاء نسخة صريحة لتفادي SettingWithCopyWarning
subset_df = df[df['Region'] == 'North'].copy()
subset_df.loc['Total'] = subset_df.sum(numeric_only=True)

يتمثل الخطأ الشائع الآخر في ظهور استثناءات عدم تطابق الأنواع TypeError، والتي تنجم عن محاولة إجراء عمليات جمع حسابي على أعمدة تحتوي على قيم مختلطة (مثل نصوص وأرقام معاً داخل نفس العمود) دون تفعيل المعامل numeric_only=True. يتطلب استكشاف هذا الخطأ فحص أنواع الأعمدة والتأكد من تحويل السلاسل النصية الرقمية إلى أرقام فعلية باستخدام pd.to_numeric() قبل استدعاء عمليات التجميع.

11.2 مشكلة تكرار صف الإجمالي عند تشغيل الكود عدة مرات

تُعد مشكلة تضخم القيم التراكمية نتيجة تكرار تشغيل خلايا العمل في بيئات التطوير التفاعلية مثل Jupyter Notebooks من أكثر الأخطاء الشائعة والمزعجة لمحللي البيانات؛ فعند كتابة كود يحسب الإجمالي ويسنده مباشرة إلى نفس إطار البيانات، وإعادة تشغيل الخلية البرمجية عدة مرات لأغراض التجربة، تقوم دالة الجمع بجمع البيانات الأصلية مضافاً إليها صف الإجمالي المحسوب في المرة السابقة، مما يؤدي إلى مضاعفة الأرقام وتشويه النتائج بالكامل.

للوقاية من هذا الخطأ البرمجي، يجب كتابة دوال وقائية تتحقق من وجود صف الإجمالي مسبقاً وحذفه قبل الشروع في إعادة حسابه، أو فصل مرحلة الحساب في كائن جديد دون تعديل الجدول الأصلي في مكانه. يمكن استخدام التابع drop() مع تمرير الفهرس المستهدف وتجاوز الأخطاء باستخدام المعامل errors='ignore' لضمان نظافة العملية البرمجية وقابليتها للتكرار دون أي آثار جانبية ضارة.

# كود وقائي لمنع تكرار وتضخم صف الإجمالي عند إعادة التشغيل
if 'Total' in df.index:
 df = df.drop(index='Total')
# إعادة حساب الإجمالي بأمان
df.loc['Total'] = df.sum(numeric_only=True)

تسهم هذه الممارسة الاحترازية في بناء نصوص برمجية قوية وقابلة لإعادة التشغيل الآمن (Idempotent Code)، وتضمن الحصول على نفس النتائج الحسابية الدقيقة دائماً بغض النظر عن عدد مرات تنفيذ الكلية البرمجية، وهو مبدأ أساسي في هندسة النظم البرمجية الاحترافية.

11.3 خلل محاذاة البيانات وتغيير ترتيب الأعمدة

تحدث مشاكل إزاحة البيانات وتغير ترتيب الأعمدة غير المقصود في الغالب عند محاولة إضافة صف الإجمالي باستخدام مصفوفات مجردة من أسماء الأعمدة، مثل استخدام قوائم بايثون البسيطة (Lists) أو مصفوفات NumPy دون توفير الفهارس المناسبة؛ ففي هذه الحالة، يعتمد التسكين على الموضع الفيزيائي المجرد (Positional Indexing)، مما قد يؤدي إلى إدراج مجموع عمود المبيعات داخل عمود التكاليف في حال حدوث أي اختلاف في ترتيب الأعمدة الأصلي.

لتفادي هذا الخلل الكارثي، يجب الاعتماد الدائم على هياكل البيانات الموصوفة ذات الفهارس الصريحة (Named Series or DataFrames)؛ حيث تضمن آليات المحاذاة التلقائية في Pandas مطابقة القيم بناءً على الأسماء والتسميات وليس المواضع المجردة، مما يوفر حماية كاملة ضد أخطاء الإزاحة حتى لو تم تغيير ترتيب الأعمدة لاحقاً.

علاوة على ذلك، يُنصح بتضمين اختبارات التحقق التلقائي (Assertions) داخل خطوط الأنابيب البرمجية للتأكد من اتساق الأبعاد وصحة المطابقة قبل تصدير المخرجات؛ حيث يمكن استخدام تعليمات مثل assert len(df.columns) == len(total_row) للتأكد البرمجي من أن السجل المضاف يطابق تماماً هيكل الجدول الأصلي في عدد الأعمدة ومسمياتها، مما يحصن التطبيق ضد الأخطاء الهيكلية الصامتة.

12. دراسات حالة وتطبيقات عملية متكاملة في تحليل البيانات

12.1 دراسة حالة: إعداد تقرير المبيعات والأرباح الشهرية

في هذا التطبيق العملي المتكامل، سنقوم بمحاكاة سيناريو واقعي لإعداد تقرير مالي شهري يتضمن مبيعات وتكاليف مجموعة من الفروع التجارية التابعة لشركة توزيع كبرى. يتطلب السيناريو حساب إجمالي المبيعات، وإجمالي التكاليف، وصافي الأرباح لكل فرع، ثم إضافة صف إجمالي نهائي يلخص الأداء المالي للمؤسسة بالكامل، مع تصدير المخرجات إلى جدول بيانات منسق بصرياً.

import pandas as pd
# 1. بناء إطار البيانات الأولي
monthly_data = {
 'Branch': ['Riyadh_Main', 'Jeddah_West', 'Dammam_East', 'Mecca_Branch'],
 'Units_Sold': [1200, 950, 800, 650],
 'Gross_Revenue': [360000.0, 285000.0, 240000.0, 195000.0],
 'Operating_Cost': [210000.0, 180000.0, 150000.0, 130000.0]
}
sales_df = pd.DataFrame(monthly_data)
# 2. حساب صافي الأرباح كعمود مشتق
sales_df['Net_Profit'] = sales_df['Gross_Revenue'] - sales_df['Operating_Cost']
# 3. إعداد صف الإجمالي الشامل
numeric_targets = ['Units_Sold', 'Gross_Revenue', 'Operating_Cost', 'Net_Profit']
total_summary = sales_df[numeric_targets].sum()
# 4. إدراج صف الإجمالي باستخدام loc وضبط التسمية الوصفية
sales_df.loc['Total'] = total_summary
sales_df.loc['Total', 'Branch'] = 'Total Network Summary'
# 5. تطبيق التنسيق البصري على التقرير
def style_financial_report(df_to_style):
 return df_to_style.style.format({
 'Units_Sold': '{:,.0f}',
 'Gross_Revenue': '${:,.2f}',
 'Operating_Cost': '${:,.2f}',
 'Net_Profit': '${:,.2f}'
 }).apply(
 lambda r: ['background-color: #e6f2ff; font-weight: bold' if r.name == 'Total' else '' for _ in r],
 axis=1
 )
formatted_report = style_financial_report(sales_df)

يقدم هذا التطبيق نموذجاً متكاملاً لإدارة البيانات المالية؛ حيث تم اشتقاق مؤشرات الأداء وحساب الإجماليات بدقة رياضية، مع ضمان تمييز السجل التلخيصي باسم وصفي واضح (‘Total Network Summary’) وتنسيق المخرجات بالعملات وفواصل الآلاف القياسية، مما يجعل الجدول جاهزاً للنشر الفوري والعرض على الإدارة المالية العليا.

12.2 دراسة حالة: تحليل الأداء الأكاديمي والدرجات الإحصائية

تتناول دراسة الحالة الثانية قطاع التعليم العالي وإدارة الاختبارات؛ حيث يهدف التحليل إلى تقييم درجات الطلاب في مقررات علمية متعددة (الرياضيات، الفيزياء، الكيمياء، وعلوم الحاسب)، وإضافة صفوف تلخيصية في نهاية الجدول تشمل مجموع الدرجات التراكمي للفصل، والمتوسط الحسابي للدرجات في كل مادة، ونسبة الانحراف المعياري لتقييم مدى تفاوت مستويات التحصيل الأكاديمي بين الطلاب.

import pandas as pd
import numpy as np
# 1. إعداد بيانات درجات الطلاب
academic_data = {
 'Student_ID': ['STD_101', 'STD_102', 'STD_103', 'STD_104', 'STD_105'],
 'Mathematics': [85, 92, 78, 65, 88],
 'Physics': [79, 88, 82, 70, 94],
 'Chemistry': [90, 85, 80, 60, 85],
 'Computer_Science': [95, 98, 85, 75, 92]
}
grades_df = pd.DataFrame(academic_data)
# 2. تحديد المقاييس الإحصائية المستهدفة
courses = ['Mathematics', 'Physics', 'Chemistry', 'Computer_Science']
# 3. حساب المقاييس وتعيينها في صفوف مستقلة
grades_df.loc['Class_Total', courses] = grades_df[courses].sum()
grades_df.loc['Class_Total', 'Student_ID'] = 'Summary: Total Marks'
grades_df.loc['Class_Average', courses] = grades_df.loc[grades_df.index[:5], courses].mean()
grades_df.loc['Class_Average', 'Student_ID'] = 'Summary: Class Average'
grades_df.loc['Class_StdDev', courses] = grades_df.loc[grades_df.index[:5], courses].std()
grades_df.loc['Class_StdDev', 'Student_ID'] = 'Summary: Std Deviation'

توضح هذه الدراسة كيفية عزل العمليات الإحصائية لحساب المتوسط والانحراف المعياري وقصرها حصرياً على درجات الطلاب الخمسة الأوائل وتفادي تضمين صف المجموع التراكمي في حساب المتوسط، وهو ما يضمن استخراج مؤشرات إحصائية دقيقة تكشف بوضوح أن مادة علوم الحاسب سجلت أعلى متوسط تحصيل (89 درجة)، بينما أظهرت مادة الرياضيات تفاوتاً ملحوظاً في مستويات الطلاب.

12.3 بناء دالة برمجية مخصصة وقابلة لإعادة الاستخدام

تتويجاً لكافة المفاهيم المتقدمة التي تم استعراضها، سنقوم بتصميم دالة بايثون معيارية شاملة وقابلة لإعادة الاستخدام (Reusable Utility Function) يمكن دمجها مباشرة في أي مشروع برمجي. تتميز هذه الدالة بقدرتها على استقبال أي إطار بيانات، والتعامل الذكي مع الأعمدة الرقمية والنصية، وتوفير خيارات لتخصيص التسمية، وتحديد أعمدة الجمع، وإمكانية إضافة المتوسطات الحسابية بصورة مؤتمتة بالكامل.

import pandas as pd
def append_summary_row(
 df: pd.DataFrame,
 label: str = 'Total',
 label_col: str = None,
 target_cols: list = None,
 include_mean: bool = False
) -> pd.DataFrame:
 """
 إضافة صف إجمالي (ومتوسط اختياري) إلى إطار بيانات Pandas بكفاءة وأمان.
 
 المعاملات:
 df: إطار البيانات الأصلي.
 label: التسمية النصية لصف الإجمالي.
 label_col: اسم العمود الذي ستوضع فيه التسمية النصية (افتراضياً أول عمود).
 target_cols: قائمة الأعمدة المراد جمعها (افتراضياً كافة الأعمدة الرقمية).
 include_mean: خيار لإضافة صف المتوسط الحسابي بجانب الإجمالي.
 """
 # إنشاء نسخة مستقلة لتجنب الآثار الجانبية
 result_df = df.copy()
 
 # تحديد الأعمدة المستهدفة بالعمليات الحسابية
 if target_cols is None:
 target_cols = result_df.select_dtypes(include=['number']).columns.tolist()
 
 # تحديد العمود المخصص لوضع التسمية النصية
 if label_col is None:
 label_col = result_df.columns[0]
 
 # منع التكرار: حذف الصفوف التلخيصية السابقة إن وجدت
 existing_labels = [label, f"{label}_Mean"]
 result_df = result_df.drop(index=[l for l in existing_labels if l in result_df.index], errors='ignore')
 
 # حساب وإسناد صف الإجمالي
 result_df.loc[label, target_cols] = result_df[target_cols].sum()
 result_df.loc[label, label_col] = label
 
 # إضافة صف المتوسط الحسابي في حال تفعيل الخيار
 if include_mean:
 mean_label = f"{label}_Average"
 # حساب المتوسط من البيانات الأصلية فقط قبل إضافة الإجمالي
 result_df.loc[mean_label, target_cols] = df[target_cols].mean()
 result_df.loc[mean_label, label_col] = mean_label
 
 return result_df

تمثل هذه الدالة الهندسية نموذجاً متقدماً لكتابة الكود الاحترافي؛ حيث تتضمن توثيقاً كاملاً (Docstrings)، وتوفر حماية ضد تحذيرات التعديل غير المباشر، وتتحقق تلقائياً من نوع الأعمدة، وتمنع تضخم الحسابات عند إعادة التشغيل. يمكن لمحللي البيانات ومهندسي البرمجيات الاعتماد على هذه الدالة الجاهزة كأداة قياسية داخل مكتباتهم الداخلية لتسريع وتيرة إعداد التقارير وضمان اتساقها البرمجي وجودتها الحسابية.

خاتمة شاملة وتوصيات منهجية

استعرضنا في هذا الدليل المرجعي الموسع مختلف المنهجيات والتقنيات البرمجية المتاحة لإضافة صف الإجمالي والصفوف التلخيصية إلى إطار بيانات Pandas في لغة بايثون. ولقد تبين لنا من خلال التحليل المقارن أن اختيار الطريقة المناسبة يعتمد بشكل وثيق على طبيعة وحجم مجموعة البيانات وسياق الاستخدام النهائي؛ فالطرق البسيطة المعتمدة على .loc توفر سرعة فائقة في النماذج الأولية والجداول النقية، بينما توفر المنهجيات الهيكلية مثل pd.concat أماناً معمارياً أعلى للتقارير المعقدة.

نوصي في البيئات الإنتاجية والتحليلية المتقدمة باتباع مجموعة من القواعد الذهبية لضمان سلامة وكفاءة المعالجة: أولاً، قصر العمليات التلخيصية الصريحة على المراحل الختامية لخطوط أنابيب البيانات وتجنب تلويث البيانات التشغيلية بصفوف إحصائية وسيطة. ثانياً، الاعتماد الدائم على المعاملات الصريحة مثل numeric_only=True وskipna لفرض سلوك حسابي محدد ومفهوم. ثالثاً، الفصل الصارم بين معالجة الأرقام في الذاكرة وتنسيقها البصري للعرض عبر استخدام أدوات Pandas Styler. إن تطبيق هذه المبادئ المنهجية يضمن بناء حلول برمجية وتحليلية تتسم بالدقة الرياضية، والأداء العالي، والمظهر الاحترافي الذي يلبي أعلى المعايير التقنية المعاصرة.

المراجع (References)

• McKinney, W. (2022). Python for Data Analysis: Data Wrangling with pandas, NumPy, and Jupyter (3rd ed.). O’Reilly Media. https://wesmckinney.com/book/
• Pandas Development Team. (2023). pandas documentation: Essential basic functionality & Indexing. PyData. https://pandas.pydata.org/docs/
• NumPy Developers. (2023). NumPy User Guide: Array creation and mathematical operations. NumPy.org. https://numpy.org/doc/stable/
• VanderPlas, J. (2016). Python Data Science Handbook: Essential Tools for Working with Data. O’Reilly Media. https://jakevdp.github.io/PythonDataScienceHandbook/
• Harris, C. R., Millman, K. J., van der Walt, S. J., Gommers, R., Virtanen, P., Cournapeau, D., … & Oliphant, T. E. (2020). Array programming with NumPy. Nature, 585(7825), 357-362. https://doi.org/10.1038/s41586-020-2649-2
• Apache Arrow Community. (2023). Apache Arrow: A cross-language development platform for in-memory data. Apache Software Foundation. https://arrow.apache.org/