كيفية حساب التباطؤ حسب المجموعة في بانداس

تُعد معالجة السلاسل الزمنية والبيانات المجدولة الموزعة عبر كيانات متعددة ركيزة أساسية في التحليل الإحصائي الحديث، وعلوم البيانات، وهندسة خصائص تعلم الآلة. يواجه المحللون والمهندسون تحدياً جوهرياً يتمثل في كيفية استخراج الأنماط التاريخية والتغيرات التتابعية لكل كيان على حدة—سواء كان ذلك الكيان متجراً، أو سهماً مالياً، أو مستخدماً في منصة رقمية، أو مريضاً في تجربة سريرية—دون السماح بحدوث أي تداخل حسابي بين تلك المجموعات المستقلة. تبرز مكتبة Pandas في لغة بايثون كأداة معيارية لمعالجة هذه التحديات بفضل بنائها البرمجي المرن وقدراتها الفائقة في تنفيذ العمليات الموجهة والمتجهة عبر كائنات هياكل البيانات.

إن مفهوم “التباطؤ الزمني” أو ما يُعرف بمصطلح الإزاحة الزمنية (Lag) يشكل المدماك الأساسي في دراسة السلوك الديناميكي للمتغيرات عبر الزمن. فعندما نقوم بإزاحة سلسلة زمنية بمقدار خطوة واحدة أو خطوات متعددة إلى الوراء، فإننا نمنح النماذج الإحصائية والرياضية القدرة على قياس التغيرات الآنية مقارنة بالحالات السابقة، واكتشاف الارتباطات الذاتية، وحساب مؤشرات الزخم والتقلبات. غير أن تطبيق هذه العملية على إطار بيانات يحتوي على فئات متعددة يتطلب منهجية هندسية دقيقة تحول دون تسرب قيم نهاية مجموعة معينة لتصبح قيماً استهلالية لمجموعة تالية، وهو ما يُعرف بخطأ الانزياح الفئوي.

يقدم هذا الدليل المرجعي الشامل تفصيلاً معمقاً لآليات حساب التباطؤ الزمني المشروط بالمجموعات (Lag by Group) في مكتبة Pandas. سنتناول البنية الرياضية والنظرية الكامنة خلف الإزاحة، والتشريح الداخلي لدوال التجميع والتحويل في بيئة بايثون، والاستراتيجيات المتقدمة للتعامل مع السلاسل متعددة المستويات، والترتيب الزمني، وإدارة القيم المفقودة، وصولاً إلى تحسين الأداء الحسابي والذاكري لمعالجة مجموعات البيانات الضخمة وبناء خطوط إنتاجية قابلة للاختبار والتوسيع وفق أفضل المعايير الهندسية المعاصرة.

1. مفهوم التباطؤ الزمني (Lag) وأهميته في تحليل البيانات المجمعة

1.1 التعريف النظري والرياضي لخاصية الإزاحة الزمنية (Lag)

يُعرَّف التباطؤ الزمني (Time Lag) في التحليل الإحصائي ونظرية السلاسل الزمنية بأنه عامل رياضي يقوم بتعيين قيمة متغير معين عند نقطة زمنية سابقة $t-k$ إلى النقطة الزمنية الحالية $t$. إذا افترضنا وجود متتالية زمنية أحادية البُعد يُرمز لها بالرمز $Y = {y_1, y_2, dots, y_T}$، فإن مؤثر التباطؤ الرياضي $L$ (المعروف أيضاً بمؤثر الإرجاع Backshift Operator $B$) يُعرّف بالعلاقة الصريحة $L^k y_t = y_{t-k}$، حيث يمثل $k$ عدد الفترات أو الخطوات الزمنية المُراد إرجاعها إلى الوراء. يتيح هذا التحويل الرياضي للباحثين تفكيك الارتباط التتابعي الداخلي داخل المتغير نفسه، وهو ما يُشكل الأساس لحساب دوال الارتباط الذاتي (Autocorrelation Function – ACF) ونماذج الانحدار الذاتي والمتوسطات المتحركة (ARIMA).

تتجلى الأهمية الإحصائية لإرجاع القيم السابقة في توفير سياق تاريخي لكل مشاهدة تجريبية داخل إطار البيانات. ففي النمذجة الاقتصادية والقياسية، لا تتأثر مخرجات الظاهرة بالمدخلات اللحظية فحسب، بل بالمسار التراكمي والتجارب السابقة للنظام. يتيح التباطؤ تحويل المتتالية الزمنية من بنية استاتيكية جامدة إلى نموذج ديناميكي قادر على رصد التباطؤ في الاستجابة (Delayed Response) وقياس فترات التخميد (Decay Periods). يسمح ذلك بصياغة فرضيات علمية دقيقة حول مدى استمرارية الصدمات الخارجية، وتحليل ما إذا كانت التغيرات الملاحظة ناتجة عن تقلبات عشوائية قصيرة الأجل أم أنها تعكس اتجاهاً هيكلياً ممتداً يتطلب نمذجة رياضية متعددة الفترات.

أما من منظور هندسة الخصائص (Feature Engineering) في تعلم الآلة، فإن مصفوفة التباطؤ الزمني تُعد جوهر بناء المتغيرات التفسيرية للسلاسل الزمنية. لا تمتلك الخوارزميات الشجرية مثل خوارزميات التعزيز المتدرج (Gradient Boosting) والشبكات العصبية الكلاسيكية وعياً فطرياً بالبعد الزمني، حيث تتعامل مع الصفوف كوحدات مستقلة ومتطابقة التوزيع (i.i.d). من خلال توليد أعمدة التباطؤ الزمني $y_{t-1}, y_{t-2}, dots, y_{t-n}$، يتم تضمين البعد الزمني صراحة داخل فضاء السمات، مما يمنح النماذج القدرة على استنتاج العلاقات غير الخطية بين السلوك السابق والتنبؤ المستقبلي بأعلى درجات الدقة الإحصائية.

1.2 أهمية عزل العمليات الحسابية تبعا للمجموعات التصنيفية

عند الانتقال من دراسة سلسلة زمنية مفردة إلى تحليل البيانات المجمعة أو اللوحية (Panel Data / Longitudinal Data)، تظهر ضرورة حتمية لعزل العمليات الحسابية تبعا للمجموعات التصنيفية المستقلة. تتكون البيانات الواقعية غالباً من متتاليات متوازية تنتمي إلى كيانات مختلفة بنيوياً، مثل سجلات مبيعات آلاف المتاجر التابعة لسلسلة تجارية، أو القياسات الحيوية لمرضى متعددين، أو مؤشرات التداول لمئات الأسهم في الأسواق المالية. يمتلك كل كيان من هذه الكيانات مساراً زمنياً مستقلاً وديناميكية خاصة، مما يجعل أي خلط بين سلاسل هذه الكيانات انتهاكاً صارخاً لشرط الاستقلالية الإحصائية.

يؤدي غياب العزل الصارم بين المجموعات إلى وقوع أخطاء جسيمة في حسابات الانحدار والتحليل التنبئي؛ إذ إن دمج متتالية زمنية لكيان ذي حجم كبير مع كيان ذي حجم صغير يؤدي إلى تشويه خطوط الأساس الإحصائية وحساب تباينات غير متجانسة (Heteroscedasticity). الحفاظ على استقلالية كل وحدة تصنيفية يضمن أن المؤشرات المشتقة، مثل معدلات التغير ونسب النمو السابقة، تعكس بدقة الأداء الداخلي الحقيقي لتلك الوحدة دون أن تتأثر بسلوك الوحدات المجاورة في مجموعة البيانات، وهو ما يعزز موثوقية التحليلات الفرعية واستنتاجات المقارنة المعيارية بين الأقسام والقطاعات.

علاوة على ذلك، يضمن العزل المنهجي سلامة النماذج التنبؤية من الوقوع في فخ التحيزات القياسية المعقدة الناتجة عن تجميع البيانات غير المتجانسة (Aggregation Bias). فعندما يتم حساب التباطؤ الزمني بشكل منعزل، تصبح مصفوفة التدريب الناتجة متوافقة تماماً مع الواقع التجريبي للظاهرة المدروسة، مما يسمح للنماذج برصد التباينات الفردية بين المجموعات وفهم كيفية استجابة كل فئة تصنيفية للصدمات والمتغيرات المؤثرة وفق نمطها التاريخي المستقل.

1.3 الفروق الجوهرية بين الإزاحة العامة والإزاحة المشروطة بالمجموعات

يكمن الفرق الجوهري بين تطبيق دالة الإزاحة البسيطة على كامل إطار البيانات وبين تطبيق الإزاحة المشروطة بالمجموعات في كيفية تعامل البرنامج مع الحدود الفاصلة بين الفئات المختلفة. عند استدعاء دالة الإزاحة العامة على عمود بيانات يحتوي على فئات متعددة مرتبة تلو بعضها، تتعامل الدالة مع العمود كشريط بياني متصل أحادي البعد. يؤدي هذا السلوك إلى إزاحة الصف الأخير من المجموعة الأولى ليصبح القيمة المتبادلة أو التباطؤ الزمني للصف الأول في المجموعة الثانية، وهو ما يمثل خطأً منهجياً كارثياً في هندسة البيانات.

يوضح التحليل الإحصائي أن انتقال القيمة الأخيرة من كيان ما ليُنسب إلى بداية كيان آخر يؤدي إلى ظاهرة “التلوث البياني المتبادل” (Cross-Entity Contamination). على سبيل المثال، إذا كانت السلسلة تسجل إيرادات متجرين مختلفين، فإن الإزاحة العامة ستجعل الإيراد التاريخي لليوم الأول في المتجر الثاني مساوياً لإيراد اليوم الأخير من المتجر الأول، مما يدمر الدلالة التحليلية ويخلق علاقات ارتباطية وهمية لا وجود لها في الواقع. تتفاقم هذه المشكلة بصورة حادة عند تدريب نماذج الذكاء الاصطناعي، حيث يؤدي هذا التلوث إلى استنتاج أنماط مضللة تنهار فور تطبيق النموذج على بيانات الإنتاج الحية.

تفرض القيود الرياضية والمعيارية استخدام آليات التجميع المشروطة التي تعيد تعيين مؤشر التباطؤ إلى قيمة غير معرفة (NaN) أو قيمة استهلالية محددة عند بداية كل مجموعة فرعية. تتطلب هذه العملية بنية برمجية تضمن تجزئة البيانات إلى مساحات عنونة مستقلة داخل الذاكرة، وتطبيق عامل الإزاحة على كل فضاء فرعي بانفصال تام، ثم إعادة دمج النتائج ضمن الهيكل الأصلي لإطار البيانات. يضمن هذا النهج الدقة المطلقة للمؤشرات المستخرجة ويحافظ على السلامة البنيوية للبيانات عبر كامل مسار المعالجة والتحليل.

2. الأسس البرمجية لدوال التجميع والإزاحة في مكتبة Pandas

2.1 آلية عمل دالة groupby ودورة حياة الكائن GroupBy

تعتمد مكتبة Pandas في تنفيذ عمليات التجميع على النمط البرمجي الشهير المعروف باسم “الانقسام، التطبيق، والدمج” (Split-Apply-Combine)، وهو المبدأ الذي صاغه هادلي ويكهام لوصف تدفق معالجة البيانات المعقدة. عند استدعاء دالة groupby() على إطار البيانات، لا تقوم المكتبة بحساب أي نتائج لحظية أو نسخ البيانات بشكل عشوائي، بل تُنشئ كائناً وسيطاً من النوع DataFrameGroupBy. يمثل هذا الكائن بنية وصفية ذكية تحتفظ بالتعليمات اللازمة لفرز وتقسيم المؤشرات الفهرسية للبيانات بناءً على القيم الفريدة للمتغيرات التصنيفية المحددة.

داخلياً، يقوم محرك Pandas بمسح أعمدة التجميع وإنشاء فهرس تجزئة (Hash Index) يربط كل مفتاح تصنيفي فريد بمصفوفة من المواقع الصحيحة (Integer Positions) المقابلة له في إطار البيانات الأصلي. يتيح هذا التمثيل للذاكرة تجنب تكرار نسخ الأعمدة الأخرى غير المشتركة في عملية الفرز، مما يوفر استهلاك الذاكرة العشوائية (RAM) ويهيئ البيانات لعمليات التطبيق اللاحقة بكفاءة تعتمد على سرعة المعالجة الموجهة بلغة C التابعة لمكتبة NumPy.

يمر كائن التجميع بعد ذلك بمرحلة التطبيق حيث تُنفذ العمليات الحسابية المطلوبة—مثل الإزاحة، أو المتوسط، أو التجميع التراكمي—على كل شريحة بيانات بشكل منعزل تماماً. وفي المرحلة الأخيرة، وهي مرحلة الدمج، يعيد محرك Pandas تجميع المصفوفات الجزئية الناتجة في مصفوفة أحادية موحدة تتوافق تماماً مع الفهرس الأصلي لإطار البيانات ما لم يُطلب خلاف ذلك، مع إدارة الفهارس المتعددة (MultiIndex) في حال تم التجميع عبر أكثر من متغير تصنيفي واحد.

2.2 تشريح دالة shift ومعاملاتها البرمجية الأساسية

تُعد دالة shift() الأداة البرمجية المباشرة في مكتبة Pandas المخصصة لإجراء عمليات الإزاحة على المتجهات والسلاسل الزمنية. تمتلك هذه الدالة تركيبة برمجية محكمة تعتمد على عدة معاملات أساسية تحدد سلوك التحويل الرياضي للبيانات. المعامل الأول والأكثر أهمية هو معامل الفترات periods، وهو عدد صحيح يحدد مقدار الخطوات واتجاه الحركة؛ فالقيم الموجبة (مثل 1 أو 2) تؤدي إلى إزاحة البيانات نحو الأسفل مما يولد قيماً تباطؤية (Lags)، بينما تؤدي القيم السالبة (مثل -1 أو -2) إلى إزاحة البيانات نحو الأعلى لتوليد قيم تقدمية أو مستقبلية (Leads).

المعامل الثاني هو معامل التردد freq، والذي يُستخدم حصرياً عندما يكون فهرس إطار البيانات مفهرساً زمنياً بشكل صريح من نوع DatetimeIndex. عند تمرير تردد محدد (مثل ‘D’ للأيام أو ‘M’ للشهور)، لا تقوم الدالة بتغيير مواقع القيم داخل الصفوف، بل تُجري عملية تعديل رياضي مباشر على الطوابع الزمنية للفهرس نفسه بمقدار التردد المحدد، مما يحافظ على محاذاة القيم الرقمية الأصلية ويزيح نقاط التقييم الزمني.

يتيح المعامل الثالث fill_value للمطورين التحكم في القيمة البديلة التي يجب إدراجها في المساحات الشاغرة الناتجة عن حركة الإزاحة. القيمة الافتراضية لهذا المعامل هي np.nan، وهو السلوك المعياري لتمثيل الفقد الرياضي للقيم غير المتوفرة. غير أن بعض التطبيقات التحليلية تتطلب تعيين قيم بديلة محددة مسبقاً—مثل الصفر في السلاسل التراكمية، أو سلاسل نصية معينة في المتغيرات الفئوية—دون الحاجة إلى استدعاء دوال تعويض إضافية لاحقة، مما يسهم في تبسيط كود المعالجة ورفع كفاءته.

2.3 تكامل دالة groupby مع دالة shift برمجيا

يتحقق التكامل البرمجي بين دالتي groupby() و shift() من خلال صياغة تعبيرية موجزة وعالية الكفاءة تأخذ الشكل النمطي: df.groupby('group_column')['target_column'].shift(1). عند تنفيذ هذه الصياغة، لا يتم تطبيق الإزاحة على مستوى الإطار ككل، بل يستدعي كائن التجميع دالة الإزاحة الخاصة بكل شريحة بشكل مستقل ومنعزل، مما يضمن احترام الحدود التصنيفية وتوليد قيمة مفقودة (NaN) في بداية السلسلة الزمنية لكل مجموعة فرعية تلقائياً.

تكمن القوة الهيكلية لهذا التكامل في قدرة مكتبة Pandas على مواءمة المخرجات المشتقة وإعادة محاذاتها تلقائياً مع الفهرس الأصلي لإطار البيانات الأصلي. وبفضل هذا السلوك، يمكن إسناد المتجه الناتج مباشرة إلى عمود جديد داخل الإطار دون الحاجة إلى إجراء عمليات دمج يدوية (Merges/Joins) معقدة أو مكلفة حاسوبياً، مما يحافظ على الترتيب الأصلي للصفوف والبنية الهيكلية للبيانات دون أي تشويه أو تداخل.

من الناحية الأدائية، يتفوق هذا الأسلوب الموجه بمراحل زمنية هائلة مقارنة باستخدام الحلقات التكرارية اليدوية المعتمدة على لغة بايثون البحتة (مثل حلقات for أو دوال apply المخصصة). يتم تنفيذ عمليات التقسيم والإزاحة الداخلية عبر طبقات مكتبة C/Cython المحسنة، مما يقلل من العبء الحسابي على المفسر ويوفر استهلاك الذاكرة، خاصة عند معالجة أطر بيانات مليونية تحتوي على عشرات الآلاف من المجموعات التصنيفية المستقلة.

3. حساب التباطؤ بناء على مجموعة تصنيفية مفردة (One Group)

3.1 إعداد وتجهيز إطار البيانات التجريبي

لبناء فهم تطبيقي متين لحساب التباطؤ الزمني المشروط بمجموعة مفردة، يتعين أولاً تصميم وتجهيز إطار بيانات تجريبي يماثل بيئات العمل الحقيقية. يتطلب هذا النموذج استيراد مكتبة Pandas جنباً إلى جنب مع مكتبة NumPy، ثم إنشاء مصفوفة بيانات تحتوي على متغير تصنيفي يمثل الكيانات (مثل أسماء الشركات أو معرفات الفروع)، ومتغير زمني يحدد تسلسل الأحداث، ومتغير كمي يمثل القياس العددي المستهدف للتحليل مثل أسعار الإغلاق أو حجم المبيعات اليومية.

يبدأ الإعداد بضبط إعدادات العرض البياني في بيئة العمل لضمان رؤية شاملة لكافة الأعمدة والصفوف الناتجة دون اقتطاع. يتم التحقق من الهيكل الأولي للبيانات باستخدام الدالة info() للتأكد من تخزين المتغيرات بأنواع البيانات المناسبة؛ حيث يجب تحويل المتغير الزمني إلى نمط datetime64[ns] بدلاً من السلاسل النصية، وتأكيد تمثيل المتغير الكمي كأعداد عشرية أو صحيحة لضمان سلامة العمليات الرياضية اللاحقة.

يتطلب فحص الجودة المبدئي التأكد من توازن وتناسق القياسات عبر المجموعات الفردية. على الرغم من أن دالة التباطؤ في Pandas قادرة على معالجة السلاسل ذات الأطوال المتباينة، إلا أن التأكد من خلو البيانات الأولية من القيم المفقودة العشوائية يضمن أن أي قيمة غير معرفة ستظهر لاحقاً في عمود التباطؤ ستكون ناتجة حصرياً عن عملية الإزاحة الهيكلية، مما يسهل عمليات التحقق والمطابقة الإحصائية في المراحل المتقدمة.

3.2 تطبيق صياغة الإزاحة للمجموعة الواحدة وتتبع المخرجات

يتم تطبيق صياغة الإزاحة للمجموعة الواحدة عن طريق كتابة الكود البرمجي المباشر: df['lagged_sales'] = df.groupby('store_id')['sales'].shift(1). عند تمرير هذا السطر البرمجي إلى المفسر، تبدأ عملية تقسيم البيانات داخلياً إلى شرائح مستقلة بناءً على المعرف الفئوي للمتجر. يتم بعد ذلك تطبيق إزاحة مقدارها صف واحد إلى الأسفل لكل شريحة متجر على حدة، وتوليد متجه الإخراج النهائي الذي يُعاد دمجه في العمود الجديد lagged_sales تماشياً مع مواقع الفهرس الأصلي.

عند فحص مخرجات هذا العمود ومقارنتها بالعمود الأصلي، نلاحظ بدقة كيف تتطابق القيم المزاحة مع قيم الفترات السابقة لكل متجر؛ فالقيمة المسجلة في اليوم الثاني تصبح هي القيمة المقابلة لليوم الأول، والقيمة في اليوم الثالث تصبح هي المسجلة في اليوم الثاني، وهكذا دواليك على طول السلسلة الزمنية لكل كيان مستقل دون أي انزياح أو تداخل خارجي.

يُعد ظهور القيمة المفقودة NaN في الصف الاستهلالي الأول لكل متجر دليلاً قاطعاً على نجاح العزل التصنيفي؛ فالصف الأول للمتجر يمثل نقطة البداية المطلقة لسلسلته الزمنية المتاحة، وبالتالي لا توجد أي مشاهدة تاريخية سابقة له ضمن مجاله الخاص. تُعد هذه القيمة المفقودة ضرورة رياضية تعكس الحقيقة الإحصائية لغياب البيانات السابقة، وتمنع استخدام بيانات نهاية المتجر السابق كما كان سيحدث في حالة الإزاحة العامة غير المشروطة.

3.3 التحقق المتقاطع من صحة البيانات الناتجة

تقتضي المعايير الهندسية الصارمة عدم الاكتفاء بالمعاينة البصرية لمخرجات البيانات، بل تطبيق بروتوكولات التحقق المتقاطع (Cross-Validation) للتأكد البرمجي من دقة النتائج وخلوها من أي تسرب بياني. يتم ذلك عن طريق عزل فئات عشوائية من إطار البيانات الرئيسي باستخدام دوال التصفية الشرطية، ومقارنة أعمدة التباطؤ المحسوبة مجمعاً مع مخرجات حساب التباطؤ المنفصل لتلك الفئة المعزولة للتأكد من تطابقهما التام بنسبة مئة بالمئة.

تُستخدم التأكيدات البرمجية الصريحة باستخدام عبارات assert للتحقق الآلي من صحة التحويل. على سبيل المثال، يمكن التحقق من أن عدد القيم المفقودة المتولدة في عمود التباطؤ يساوي تماماً عدد الفئات الفريدة الموجودة في عمود التجميع (في حالة الإزاحة بخطوة واحدة)، وذلك عبر كتابة فحص منطقي يتأكد من الشرط: assert df['lagged_sales'].isna().sum() == df['store_id'].nunique()، مما يوفر صمام أمان برمجي ضد أي خلل في توزيع البيانات.

تتضمن الخطوة النهائية لمراجعة الحدود الانتقالية فحص الصفوف الواقعة مباشرة عند نقاط التحول بين مجموعة وأخرى. يتم التأكد من أن الصف الأخير من المجموعة الأولى لم يُرحل مطلقاً إلى الصف الأول من المجموعة الثانية، وأن الفهرس الداخلي لكل سجل حافظ على ارتباطه الصحيح دون حدوث أي اضطراب في ترتيب المصفوفات، مما يمنح الثقة الكاملة للاعتماد على إطار البيانات في العمليات التحليلية اللاحقة.

4. حساب التباطؤ بناء على مجموعات تصنيفية متعددة (Multiple Groups)

4.1 بناء سيناريوهات البيانات الهرمية والمتعددة الأبعاد

في العديد من البيئات التحليلية المعقدة، لا تكون البيانات مصنفة وفق بُعد فردي بسيط، بل تتبع هياكل هرمية متداخلة تتطلب التجميع عبر مستويات متعددة. تشمل الأمثلة الواقعية على هذه السيناريوهات بيانات سلاسل التوريد حيث تتوزع المبيعات حسب “الدولة”، ثم “المدينة”، ثم “المتجر”، أو في قطاع التجارة الإلكترونية حيث تتداخل تصنيفات “القسم الرئيسي”، و”الفئة الفرعية”، و”معرف المنتج”. في هذه الحالات، لا يمكن حساب التباطؤ الزمني بدقة بناءً على مستوى تصنيفي واحد، لأن السلسلة الزمنية الحقيقية تتشكل فقط عند أدنى مستوى من مستويات التقاطع الهرمي.

يتطلب تصميم أطر البيانات لهذه السيناريوهات الهرمية تعريف كافة المفاتيح التصنيفية المتداخلة بوضوح داخل الإطار. إن تجاهل أحد المستويات التصنيفية—كالقيام بالتجميع بناءً على معرف المنتج فقط دون عزل المتجر الذي يُباع فيه—سيؤدي إلى خلط سلاسل المبيعات لنفس المنتج عبر متاجر مختلفة، مما يولد قيماً مضللة تخفي الفروق المكانية واللوجستية بين نقاط البيع.

تتم تهيئة المتغيرات المستهدفة للإزاحة ضمن هذا السياق الهرمي من خلال التأكد من اكتمال التوليفات الفئوية وتناسقها. يتطلب التعامل مع التجمعات متعددة الأبعاد حرصاً خاصاً على ضبط أنواع المتغيرات لضمان معالجة المفاتيح المركبة بكفاءة ودون إهدار للموارد الحوسبية، مع تهيئة الفهارس المتعددة لتسهيل عمليات التتبع والتقسيم المنطقي للشرائح المكانية والزمانية للبيانات.

4.2 تنفيذ الاستعلام البرمجي للمجموعات المتعددة

يتم تنفيذ حساب التباطؤ للبيانات متعددة المستويات عبر تمرير قائمة من الأعمدة التصنيفية إلى دالة التجميع وفق الصياغة البرمجية القياسية: df['lagged_val'] = df.groupby(['region', 'store_id', 'product_id'])['sales'].shift(1). عند استدعاء هذا الاستعلام، يقوم محرك Pandas بإنشاء مفاتيح تجميع مركبة (Tuple Keys) تمثل كل تقاطع فريد بين المستويات المحددة، مما يضمن عزل السلسلة الزمنية الخاصة بكل منتج داخل كل متجر محدد ضمن كل منطقة جغرافية على حدة.

تتعامل مكتبة Pandas مع التكرارات غير المتوازنة بين الفئات بكفاءة تامة؛ فإذا كان لمنتج معين خمس مشاهدات في متجر ما، بينما يمتلك منتج آخر مئة مشاهدة في متجر ثانٍ، فإن دالة التجميع تدير مساحات العنونة لكل شريحة هرمية بما يتوافق مع حجمها الفعلي، وتطبق الإزاحة بدقة مطلقة دون فرض أي شروط تساوي في أطوال السلاسل الزمنية الفرعية.

تُظهر قراءة الأعمدة الناتجة ضمن كل تقاطع تصنيفي كيف تتولد القيم المفقودة عند استهلال كل تركيبة هرمية جديدة. إذا احتوى إطار البيانات على 10 مناطق، يضم كل منها 5 متاجر، يبيع كل منها 20 منتجاً، فإن عملية الإزاحة بخطوة واحدة ستولد بالضبط $10 \times 5 \times 20 = 1000$ قيمة مفقودة موزعة بدقة على بدايات السلاسل الفرعية المستقلة، مما يعكس البنية المعيارية الصارمة للتحليل متعدد الأبعاد.

4.3 معالجة الحالات الحدية في المجموعات الفرعية الصغيرة

تفرض البيانات الواقعية مواجهة العديد من الحالات الحدية (Edge Cases) التي تتطلب معالجة خاصة، وأبرزها وجود مجموعات فرعية صغيرة الحجم أو مجموعات تتكون من صف بيانات واحد فقط (Single-row groups). عند تطبيق دالة الإزاحة على مجموعة تتألف من صف واحد، تتحول القيمة المقابلة في عمود التباطؤ إلى NaN بالكامل، لأن السلسلة لا تحتوي على أي مشاهدة تاريخية سابقة يمكن الإرجاع إليها.

تنشأ حالة حدية أخرى عند التعامل مع البيانات الفئوية (Categorical Data) التي تحتوي على تقاطعات غير موجودة في السجلات الفعلية (Empty Categories). إذا تم ضبط معامل observed=False في دالة التجميع، فقد تحاول المكتبة توليد فضاءات تجميعية لكافة الاحتمالات النظرية حتى وإن لم تسجل أي مشاهدة، مما يرفع من التعقيد الحسابي ويستهلك الذاكرة دون مبرر؛ لذا يُوصى دائماً بضبط المعامل observed=True لضمان حصر العمليات على التقاطعات التي تحتوي على بيانات فعلية فقط.

لضمان تقليل التعقيد الحسابي واستقرار المعالجة عند زيادة أبعاد التجميع، يتعين تنظيف البيانات مسبقاً واستبعاد المجموعات الفرعية الشاذة أو المعزولة التي لا تخدم الغرض الإحصائي للدراسة. يتيح هذا النهج ضمان اتساق الأنماط التحليلية عبر المستويات الدنيا للتصنيف وحماية خوارزميات التعلم اللاحقة من التشوهات الناتجة عن الكيانات ذات السجلات غير المكتملة.

5. التحكم في فترات الإزاحة وحساب القيم التباطؤية والمستقبلية المتعددة

5.1 توليد فترات تباطؤ متعددة الخطوات (Multi-step Lags)

لا يقتصر التحليل الزمني على معرفة الحالة السابقة المباشرة عند الخطوة $t-1$، بل يتطلب في معظم التطبيقات المعقدة استرجاع قيم متعددة الفترات مثل $t-2, t-3, dots, t-n$ لرصد الاتجاهات التاريخية الممتدة. يتم تحقيق ذلك برمجياً في Pandas عبر تمرير قيم عددية صحيحة متزايدة لمعامل الفترات في دالة الإزاحة، مثل استدعاء shift(2) للرجوع خطوتين إلى الوراء، أو shift(7) للرجوع أسبوعاً كاملاً في البيانات اليومية.

يترتب على زيادة عدد خطوات التباطؤ تأثير تراكمي حتمي على حجم القيم المفقودة (NaNs) داخل كل مجموعة تصنيفية. فعند تطبيق إزاحة بمقدار $k$ فترات، ستفقد كل مجموعة أول $k$ صفوف من سلسلتها الزمنية، مما يعني أن المجموعات ذات السلاسل القصيرة قد تفقد جزءاً كبيراً من بياناتها الصالحة للتحليل. يجب على المحلل دراسة هذا المقايضة (Trade-off) بعناية، لضمان عدم التضحية بحجم العينة الفعالة مقابل استخراج خصائص تاريخية بعيدة المدى.

يُعد التباطؤ متعدد الخطوات أداة محورية لرصد الأنماط الموسمية والدورية داخل المجموعات المجمعة. على سبيل المثال، في البيانات الساعية، يمثل التباطؤ بمقدار 24 خطوة (shift(24)) القيمة المسجلة في نفس الساعة من اليوم السابق لكل متجر، بينما يمثل التباطؤ بمقدار 168 خطوة القيمة المسجلة في نفس التوقيت من الأسبوع السابق، وهو ما يوفر للموديلات التحليلية قدرة فائقة على التقاط الأنماط المتكررة دون الحاجة إلى معالجات معقدة.

5.2 حساب القيم المستقبلية أو التقدمية (Lead Values)

في مقابل التباطؤ الزمني الذي يرجع إلى الماضي، تتيح دالة shift() حساب القيم المستقبلية أو التقدمية والمعروفة بمصطلح (Lead Values) من خلال تمرير أعداد صحيحة سالبة لمعامل الفترات، مثل shift(-1) أو shift(-2). يؤدي هذا التحويل الرياضي إلى سحب قيم الصفوف اللاحقة ($t+1, t+2$) لتصبح محاذية للصف الحالي $t$ ضمن نفس النطاق التصنيفي للمجموعة، مما يولد قيماً مفقودة في نهاية السلسلة الزمنية لكل فئة بدلاً من بدايتها.

تُستخدم القيم المستقبلية على نطاق واسع في تحليلات ما بعد الحدث (Post-event Analysis) ودراسات الاستجابة المتأخرة للأحداث الاقتصادية والتجريبية. على سبيل المثال، يمكن استخدام القيم التقدمية لقياس مدى استجابة مبيعات المنتجات للحملات التسويقية في الأيام الثلاثة التي تلت إطلاق الحملة، أو لتحديد الأثر اللاحق لتغيير أسعار الفائدة على أداء الأسهم المالية عبر مقارنة القيمة الحالية بالقيم المستقبلية المحققة.

ومع ذلك، ينطوي استخدام القيم المستقبلية على محذور منهجي بالغ الخطورة في مجال تعلم الآلة يُعرف باسم “تسرب البيانات المستقبلية” (Data Leakage). إذا تم استخدام أعمدة القيم التقدمية كخصائص تفسيرية (Features) للتنبؤ بالهدف في نماذج التدريب، فإن النموذج سيتعلم الاعتماد على معلومات مستقبلية لن تكون متاحة له مطلقاً أثناء مرحلة التشغيل الفعلي في بيئة الإنتاج، مما يؤدي إلى فشل ذريع للنموذج وانخفاض دقته بصورة حادة عند اختباره على بيانات حية.

5.3 أتمتة توليد مصفوفات الإزاحة باستخدام الحلقات وقواميس البيانات

عند بناء أنظمة إنتاجية أو نماذج تعلم آلة تتطلب توليد العشرات من خصائص التباطؤ لمجموعات بيانات ضخمة، يصبح كتابة كل سطر إزاحة بشكل يدوي أمراً غير عملي ومصدراً رئيساً للأخطاء البرمجية. تبرز هنا أهمية أتمتة هذه العملية عبر كتابة تكرارات برمجية مهيكلة تعتمد على قواميس البيانات وتوليد التسميات الديناميكية، مما يضمن كفاءة المعالجة ونظافة الكود المصدري.

تتم الأتمتة المثلى عبر حصر خطوات التباطؤ المطلوبة في قائمة، مثل lag_steps = [1, 2, 3, 7, 14, 30]، ثم بناء قاموس يحتوي على المتجهات الناتجة عبر حلقة تكرارية تطبق الإزاحة على كائن التجميع مرة واحدة لكل خطوة، ثم دمج كافة الأعمدة دفعة واحدة داخل إطار البيانات باستخدام دالة pd.concat() أو إسناد القاموس مباشرة، بدلاً من تعديل إطار البيانات بشكل متكرر داخل الحلقة مما يتسبب في تجزئة الذاكرة (DataFrame Fragmentation).

يضمن هذا الأسلوب المؤتمت تسمية الأعمدة الجديدة بشكل منهجي وديناميكي يوضح كلاً من المتغير المستهدف، وحجم خطوة التباطؤ، والمعرف الفئوي، مثل sales_lag_1 و sales_lag_7. يعزز هذا النهج من قابلية صيانة الشيفرة البرمجية وإعادة استخدامها ضمن مسارات معالجة البيانات المؤتمتة (Pipelines)، مع ضمان أقل استهلاك ممكن للذاكرة وزمن المعالجة الحسابية.

6. ضرورة الترتيب الزمني والفرز قبل تطبيق عمليات التباطؤ

6.1 مخاطر الحساب على بيانات غير مرتبة زمنيا

تُعد خطوة الترتيب الزمني والفرز الشرط المسبق الأكثر أهمية وحساسية عند إجراء عمليات التباطؤ؛ إذ إن دالة shift() في مكتبة Pandas لا تمتلك وعياً ضمنياً بترتيب السجلات ما لم يتم توجيهها لذلك صراحة، حيث تعتمد الدالة كلياً على الترتيب الموضعي الفيزيائي للصفوف داخل الذاكرة. إذا كانت بيانات السلسلة الزمنية مخزنة بترتيب عشوائي أو غير متسلسل، فإن عملية الإزاحة ستؤدي إلى سحب قيم من صفوف غير صحيحة تاريخياً، مما يؤدي إلى انهيار تحليلي شامل للنتائج.

تكمن الخطورة الكبرى لهذه المشكلة في صعوبة اكتشافها عبر الفحص السطحي للبيانات، خاصة في المجموعات الضخمة التي تحتوي على ملايين السجلات؛ فالكود البرمجي سينفذ بنجاح تام دون إصدار أي أخطاء أو تحذيرات من مترجم بايثون، وستظهر الأعمدة الجديدة مملوءة بقيم رقمية تبدو منطقية ظاهرياً، إلا أنها تمثل تشويشاً إحصائياً مضللاً يدمر التفسيرات السببية ويفسد دقة التحليلات الارتباطية.

أظهرت العديد من الحالات الدراسية الواقعية في المؤسسات المالية والتجارية أن إهمال فرز البيانات قبل التباطؤ أدى إلى بناء نماذج تنبؤية كارثية اعتمدت على إشارات تاريخية وهمية. تسبب ذلك في اتخاذ قرارات استثمارية واستراتيجية خاطئة تماماً نتيجة لحساب معدلات التغير ونسب النمو بناءً على مقارنة أيام متباعدة زمنياً وظن النموذج أنها فترات متتالية، مما يبرز الأهمية القصوى لجعل خطوة الفرز جزءاً ثابتاً لا يتجزأ من أي خط معالجة زمني.

6.2 استخدام دالة sort_values لضمان دقة التسلسل

لضمان الحساب الدقيق والموثوق للتباطؤ الزمني، يتعين استخدام دالة sort_values() لإجراء ترتيب مزدوج وصارم لإطار البيانات قبل الشروع في أي عملية تجميع أو إزاحة. تتمثل الصياغة النموذجية لهذه العملية في فرز إطار البيانات بناءً على أعمدة المجموعة أولاً، ثم العمود الزمني ثانياً بترتيب تصاعدي، كما في الكود القياسي: df = df.sort_values(by=['group_id', 'date']).reset_index(drop=True).

يضمن هذا الترتيب المزدوج تجميع كافة الصفوف التابعة لكل كيان تصنيفي في كتلة متصلة داخل إطار البيانات، مع ترتيب المشاهدات الزمنية داخل كل كتلة من الأقدم إلى الأحدث تسلسلياً. يؤدي استدعاء دالة reset_index(drop=True) بعد الفرز إلى إعادة ضبط الفهرس العددي ليصبح متطابقاً تماماً مع الترتيب الفيزيائي الجديد للصفوف، مما يمنع حدوث أي آثار جانبية ناتجة عن الفهارس القديمة المبعثرة أثناء عمليات الإسناد اللاحقة.

يتطلب هذا الإجراء التأكد المسبق من أن عمود التاريخ قد تم تحويله بالكامل إلى النمط الزمني القياسي pd.to_datetime()؛ إذ إن فرز التواريخ المخزنة كسلاسل نصية (Strings) يؤدي إلى ترتيب أبجدي معيب (مثل ترتيب يوم 10 قبل يوم 2 في بعض التنسيقات غير القياسية)، مما يفسد التسلسل الزمني الفعلي للسلسلة ويعيد إنتاج أخطاء التباطؤ حتى مع تطبيق دالة الفرز.

6.3 معالجة التباعد الزمني غير المنتظم داخل المجموعات

تتعامل دالة shift() الكلاسيكية مع الفهرس العددي للصفوف (Row Position) وليس مع الفواصل الزمنية الحقيقية (Calendar Time Intervals). يعني ذلك أنه في حال وجود انقطاعات أو فترات زمنية مفقودة في السجل التاريخي لمجموعة معينة—كأن يسجل المتجر مبيعات لأيام الإثنين والأربعاء والجمعة فقط دون تسجيل يومي الثلاثاء والخميس—فإن إزاحة الصف بمقدار 1 ستجعل مبيعات يوم الإثنين هي التباطؤ المقابل لمبيعات يوم الأربعاء، متجاهلة حقيقة أن الفارق الزمني الفعلي هو يومان وليس يوماً واحداً.

في التطبيقات الإحصائية الحساسة التي تشترط انتظام التباعد الزمني (Regular Time Intervals)، يجب معالجة هذه الفجوات قبل حساب التباطؤ عبر تقنيات إعادة أخذ العينات (Resampling) ومواءمة الفواصل الزمنية. يتم ذلك عن طريق تعيين العمود الزمني كفهرس وتطبيق الدالة resample('D').asfreq() داخل كل مجموعة لتوليد الصفوف المفقودة وإدراجها بقيم غير معرفة (NaN) قبل تنفيذ الإزاحة، مما يضمن أن كل خطوة تباطؤ تمثل فاصلاً زمنياً حقيقياً ومنتظماً تماماً.

كبديل برمجي متقدم، يمكن الاستفادة من عمليات الدمج الزمني الموجهة أو استخدام الفهارس الزمنية المتخصصة في Pandas لحساب التباطؤ بناءً على الفواصل الفعلية عبر ضبط المعامل freq داخل دالة shift(). يضمن هذا الأسلوب مواءمة السجلات رياضياً مع الأيام والشهور التقويمية الحقيقية، مما يحافظ على الدلالة التفسيرية للنماذج التنبؤية المعتمدة على الفروق الزمنية المنتظمة.

7. التعامل المنهجي مع القيم المفقودة (NaN) والحدودية

7.1 تفسير حتمية ظهور القيم المفقودة عند الإزاحة

يُعد ظهور القيم المفقودة (Missing Values – NaN) عند تطبيق عمليات التباطؤ الزمني حتمية رياضية وهيكلية أصيلة وليست خللاً برمجياً أو عيباً في جودة البيانات. يستند هذا المبدأ الرياضي إلى حقيقة أنه بالنسبة لأي سلسلة زمنية ذات طول محدود $N$، فإن إزاحة السلسلة بمقدار $k$ فترات نحو الأسفل تتطلب بالضرورة وجود $k$ قيماً سابقة للمشاهدة الأولى $y_1$، وبما أن هذه القيم السابقة تقع خارج النطاق الزمني المرصود للسلسلة، فإن قيمتها الرياضية تكون غير معرّفة حكماً.

تنشأ العلاقة الرياضية بين عدد خطوات الإزاحة وحجم المفقودات وفق معادلة خطية مباشرة؛ ففي إطار بيانات يحتوي على $M$ مجموعة تصنيفية مستقلة، يؤدي حساب التباطؤ بمقدار $k$ خطوات إلى توليد عدد إجمالي من القيم المفقودة الهيكلية يساوي تماماً $M \times k$ قيمة مفقودة. يجب على محلل البيانات التمييز الدقيق بين هذه “القيم المفقودة الهيكلية” الناتجة حتماً عن آلية الإزاحة، وبين “القيم المفقودة العشوائية” التي قد تكون موجودة في أصل البيانات نتيجة أخطاء التسجيل أو انقطاع أجهزة الاستشعار.

يؤثر هذا الفقد الهيكلي بشكل مباشر على حجم العينة الفعالة (Effective Sample Size) المتاحة للتحليل والتدريب. فعند التعامل مع سلاسل زمنية قصيرة تحتوي على مشاهدات محدودة لكل كيان، فإن التوسع في توليد أعمدة تباطؤ متعددة الخطوات قد يؤدي إلى فقدان نسبة معتبرة من إجمالي صفوف البيانات عند استبعاد الصفوف غير المكتملة، مما يفرض ضرورة تقييم نسبة الفقد بعناية واختيار الاستراتيجية المثلى للتعامل مع هذه الفراغات.

7.2 استراتيجيات معالجة وتعويض القيم المفقودة

تتعدد الاستراتيجيات المنهجية للتعامل مع القيم المفقودة الناتجة عن التباطؤ الزمني، وتعتمد الاستراتيجية المثلى على طبيعة المشكلة التحليلية وسياق البيانات المعالجة. تتمثل إحدى الاستراتيجيات الشائعة في استخدام التعويض بالقيمة الصفرية أو القيم الثابتة القياسية عبر تمرير المعامل fill_value=0 مباشرة داخل دالة shift(). يُعد هذا الخيار مناسباً جداً في السيناريوهات التراكمية، مثل سجلات المعاملات المالية أو مبيعات المنتجات الجديدة حيث يمكن افتراض أن النشاط السابق للحدث الأول كان منعدماً تماماً.

تتضمن الاستراتيجية الثانية استخدام دوال التعويض التتابعي المشروط بالمجموعات، مثل التمرير الأمامي (Forward Fill – ffill()) أو التمرير الخلفي (Backward Fill – bfill()). يجب تطبيق هذه الدوال بحذر شديد وضمن نطاق كائن التجميع حصرياً (مثل df.groupby('group')['val'].bfill()) لضمان عدم تعويض القيم المفقودة في بداية مجموعة باستخدام بيانات نهاية مجموعة أخرى. يُستخدم التمرير الخلفي لتعويض التباطؤ الأول بقيمة المشاهدة الأولى ذاتها عندما يكون الهدف الحفاظ على مستوى إحصائي تقريبي يمنع فقدان الصفوف.

أما في التطبيقات الإحصائية المتقدمة، فيمكن اللجوء إلى التعويض بالقيم المركزية المشروطة، مثل استبدال القيم المفقودة بالمتوسط الحسابي أو الوسيط الإحصائي الخاص بكل مجموعة فرعية مستقلة. يوضح الجدول المفاهيمي التالي مقارنة شاملة بين أبرز استراتيجيات التعويض وتأثيرها على البنية الإحصائية:

• التعويض بالصفر (Zero Imputation): ممتاز للسلاسل المالية والأنشطة الرقمية، لكنه قد يُدخل تشويشاً وانحداراً زائفاً إذا لم تكن نقطة الصفر دقيقة فيزيائياً.
• التعويض بالمتوسط المشروط (Group Mean): يحافظ على المتوسط العام للمجموعة، إلا أنه يقلل من التباين الطبيعي ويشوه الارتباط الذاتي للسلسلة.
• الاستبقاء كقيم مفقودة (Keep as NaN): الخيار الأكثر أماناً وصرامة من الناحية الرياضية، وهو المفضل في النماذج الخوارزمية التي تدعم المفقودات طبيعياً مثل XGBoost وLightGBM.

7.3 تصفية واستبعاد القيم المفقودة بأمان

عندما تفرض متطلبات النمذجة الإحصائية الكلاسيكية استبعاد الصفوف التي تحتوي على قيم مفقودة لضمان تكامل مصفوفة المتغيرات، يجب تنفيذ عملية التصفية باستخدام دالة dropna() بدقة متناهية تحمي البيانات من الاستبعاد الجائر وغير المقصود. يتم ذلك عن طريق تحديد الأعمدة المستهدفة صراحة عبر المعامل subset، مثل استدعاء df.dropna(subset=['lag_1', 'lag_2'])، بدلاً من حذف الصفوف كلياً بناءً على أي عمود في الإطار.

تتطلب التصفية الآمنة التحقق الإحصائي من التوزيع المتوازن للبيانات المتبقية بعد الحذف؛ إذ إن استبعاد الصفوف الاستهلالية لكل مجموعة قد يؤدي إلى حذف كامل للسجلات الخاصة بالمجموعات شديدة الصغر التي لا يتجاوز طول سلسلتها عدد خطوات التباطؤ. يجب فحص عدد الكيانات الفريدة قبل وبعد التصفية للتأكد من عدم اختفاء فئات تصنيفية كاملة من مجموعة التدريب أو التحليل.

تُختتم عملية التصفية بإعادة ضبط الفهرس العام لإطار البيانات باستخدام df.reset_index(drop=True) لتأمين مصفوفة بيانات متصلة ومتراصة في الذاكرة. يضمن هذا الإجراء سلامة العمليات اللاحقة المتعلقة بتقسيم البيانات إلى مجموعات تدريب واختبار (Train/Test Split) ويمنع أي تعارض في العنونة الموضعية أثناء تدريب النماذج الرياضية.

8. الأداء وكفاءة الذاكرة عند معالجة المجموعات الضخمة (Big Data)

8.1 المقارنة بين shift المباشر ودالة transform

عند معالجة أطر البيانات المليونية التي تحتوي على مئات الآلاف من المجموعات التصنيفية، تصبح الفروق الدقيقة في أسلوب كتابة الكود البرمجي عاملاً حاسماً في استهلاك الذاكرة وسرعة المعالجة. يُعد استدعاء دالة الإزاحة المباشرة عبر كائن التجميع في صورة df.groupby('group')['val'].shift(1) الأسلوب الأكثر كفاءة وسرعة؛ حيث تعتمد مكتبة Pandas على مسار تنفيذي محسن بلغة C يُجري عمليات التقطيع والإزاحة في مساحات الذاكرة التراكمية دون الحاجة إلى تغليف الدوال في وسائط إضافية.

في المقابل، يتيح استخدام دالة transform() صياغة بديلة تأخذ الشكل: df.groupby('group')['val'].transform(lambda x: x.shift(1)) أو التمرير المباشر للاسم transform('shift', 1). على الرغم من أن دالة transform تتميز بمرونتها الهيكلية الفائقة وقدرتها على إعادة مصفوفة تماثل تماماً طول إطار البيانات الأصلي تلقائياً، إلا أن تمرير الدوال المخصصة أو دوال لامبدا (Lambda functions) عبرها يفرض عبئاً حسابياً إضافياً ناتجاً عن استدعاء مفسر بايثون لكل مجموعة فرعية، مما يرفع زمن التنفيذ بأضعاف مضاعفة مقارنة بدالة الإزاحة المباشرة.

تُظهر اختبارات قياس الأداء الحسابي (Profiling) أن استخدام shift المباشر يستهلك طاقة معالجة أقل بنسبة تصل إلى 70% مقارنة بالدوال المخصصة الممررة عبر transform، مما يجعله الخيار المعياري الموصى به لمعالجة مجموعات البيانات الضخمة التي تتطلب أعلى درجات الكفاءة التشغيلية.

8.2 تحسين استهلاك الذاكرة باستخدام نمط البيانات الفئوي (Category)

تُخزن أعمدة التجميع النصية في مكتبة Pandas افتراضياً بنمط الكائنات العامة object، وهو نمط غير فعال يستهلك حجماً كبيراً من الذاكرة نتيجة تخزين مؤشرات منفصلة لكل سلسلة نصية داخل بايثون. يؤدي تحويل هذه الأعمدة التصنيفية إلى النمط الفئوي المحسن category باستخدام df['group'] = df['group'].astype('category') إلى إحداث طفرة نوعية في كفاءة إدارة الذاكرة وسرعة عمليات التجميع.

يعتمد النمط الفئوي داخلياً على ترميز القيم النصية الفريدة إلى أرقام صحيحة مدمجة (Integer Codes) مع الاحتفاظ بجدول مرجعي للقيم الفريدة. يتيح هذا التمثيل لمحرك groupby() تنفيذ عمليات الفرز والتقسيم والتجزئة باستخدام مقارنات الأعداد الصحيحة فائقة السرعة على مستوى المعالج المركزي (CPU)، بدلاً من المقارنات النصية المعقدة والمكلفة حاسوبياً.

بالإضافة إلى النمط الفئوي، يمكن تحقيق وفورات إضافية في الذاكرة عبر تحسين أنواع البيانات الرقمية؛ حيث يُفضل تحويل الأعداد العشرية غير الحرجة من نمط float64 إلى نمط float32، وتحويل الأعداد الصحيحة إلى أحجام أصغر مثل int32 أو int16. يؤدي هذا الضغط الهيكلي إلى خفض استهلاك الذاكرة الإجمالي بأكثر من 60%، مما يسمح بتحميل ومعالجة مجموعات بيانات عملاقة على الأجهزة والخوادم ذات الموارد المحدودة دون استنزاف الذاكرة العشوائية.

8.3 التقنيات المتوازية والبديلة لتسريع الحسابات

عندما تتجاوز أحجام البيانات سعة الذاكرة العشوائية للجهاز المضيف، أو عندما تتطلب العمليات زمناً طويلاً يتجاوز حدود المعالجة المتسلسلة على نواة واحدة، يصبح من الضروري اللجوء إلى تقنيات الحوسبة الموزعة والمتوازية. تبرز مكتبة Dask كبديل طبيعي متوافق تماماً مع صياغة Pandas؛ حيث تتيح تقسيم إطار البيانات إلى كتل متعددة ومعالجة عمليات groupby().shift() بالتوازي عبر كافة أنوية المعالج المركزي أو عبر عنقود حوسبي كامل (Cluster).

تتيح مكتبة Numba أيضاً تسريع العمليات المعقدة المرتبطة بالإزاحة من خلال الترجمة في الوقت الفعلي (JIT Compilation) للأكواد إلى لغة الآلة المباشرة، مما يقضي على البطء الموروث من مفسر بايثون عند كتابة دوال إزاحة مخصصة تتضمن شروطاً منطقية معقدة تتجاوز قدرات الدوال المدمجة.

تفرض الممارسات الهندسية القياسية تجنب استخدام الدوال غير الموجهة مثل apply() مع الحلقات المخصصة، والاعتماد المطلق على خطوط المعالجة المتجهة. يضمن هذا النهج أقصى استغلال ممكن للبنية التحتية للحوسبة المتوازية، ويؤمن تنفيذ خطوط المعالجة للبيانات الضخمة بأعلى موثوقية وأقل استهلاك للطاقة الحاسوبية في بيئات التشغيل الفعلية.

9. تطبيقات متقدمة: دمج التباطؤ مع العمليات الإحصائية والنوافذ المتدحرجة

9.1 حساب الفروق والتغير النسبي المجمع (Lagged Differences & Pct Change)

يمثل حساب الفروق المطلقة والتغيرات النسبية المجمعة أحد أهم التطبيقات التحليلية المباشرة للتباطؤ الزمني؛ إذ يتيح قياس مقدار الزخم والنمو اللحظي لكل كيان تصنيفي عبر الزمن. يُحسب التغير المطلق بطرح القيمة التباطؤية من القيمة الحالية وفق المعادلة البرمجية المباشرة: df['sales_diff'] = df['sales'] - df.groupby('store')['sales'].shift(1)، أو عبر استخدام الدالة المدمجة المتخصصة df.groupby('store')['sales'].diff(1).

أما لحساب معدلات النمو والتغير النسبي المئوي، فيتم استدعاء الدالة الموجهة pct_change() المشروطة بالمجموعات: df['growth_rate'] = df.groupby('store')['sales'].pct_change(1). تقوم هذه الدالة بحساب النسبة الرياضية $(y_t – y_{t-1}) / y_{t-1}$ لكل شريحة بشكل منعزل، مما يوفر مقياساً معيارياً موحداً يتيح مقارنة أداء الفروع والمجموعات متباينة الأحجام بصورة عادلة وإحصائية دقيقة.

يتطلب حساب التغير النسبي تدقيقاً رياضياً لتجنب مشكلات القسمة على صفر (Division by Zero) عند وجود قيم صفرية في الفترات السابقة $y_{t-1}$، والتي قد تولد قيماً لانهائية (inf) داخل البيانات. يجب معالجة هذه الحالات عبر استبدال القيم اللانهائية بقيم غير معرفة (NaN) باستخدام np.nan لضمان استقرار العمليات الإحصائية اللاحقة ونماذج التعلم الآلي.

9.2 تطبيق النوافذ المتدحرجة (Rolling Windows) على القيم المزاحة

يُعد دمج التباطؤ الزمني مع النوافذ المتدحرجة (Rolling Windows) تقنية هندسية متقدمة وفائقة الأهمية في بناء الخصائص التنبؤية للسلاسل الزمنية. إذا تم تطبيق نافذة متدحرجة مباشرة على العمود الحالي لحساب المتوسط الحسابي للأيام السبعة الماضية مثلاً، فإن الحساب سيتضمن القيمة الحالية $y_t$ ضمن المتوسط، وهو ما يمثل تسرباً للمعلومة الحالية المراد التنبؤ بها في نماذج التعلم الآلي.

لحل هذه المعضلة الهندسية، يتم تطبيق النافذة المتدحرجة على عمود التباطؤ الزمني المحسوب مسبقاً، أو دمج العمليتين في سطر برمجي واحد: df['rolling_mean_7d'] = df.groupby('store')['sales'].shift(1).rolling(window=7, min_periods=1).mean(). يضمن هذا النهج أن المتوسط المتحرك المحسوب عند النقطة $t$ يعتمد كلياً وبشكل صارم على المشاهدات السابقة من $t-1$ إلى $t-7$، دون أن يتضمن أي معلومة من المشاهدة الحالية $y_t$.

تتيح هذه المنهجية أيضاً حساب مؤشرات التذبذب والتقلب التاريخي عبر تطبيق الانحراف المعياري المتدحرج التباطؤي (Lagged Rolling Standard Deviation)، مما يوفر للنماذج التنبؤية قدرة فريدة على قياس مدى استقرار أو اضطراب السلوك التاريخي لكل مجموعة تصنيفية، واستخدام هذه المؤشرات كسمات تفسيرية ديناميكية ترفع من جودة التنبؤات المستقبلية.

9.3 بناء المؤشرات التراكمية المرجعية لكل مجموعة

تمثل المؤشرات التراكمية التاريخية أداة قياسية فعالة لدراسة الأداء التراكمي للكيانات مقارنة بمساراتها السابقة. يمكن بناء هذه المؤشرات من خلال دمج دالة المجموع التراكمي cumsum() مع دالة التباطؤ الزمني shift() لكل مجموعة تصنيفية، وفق الصياغة: df['lagged_cumsum'] = df.groupby('store')['sales'].cumsum().shift(1).

تتيح هذه الخصائص التراكمية المزاحة قياس الحجم الكلي للأعمال أو النشاط الذي أنجزه الكيان حتى بداية الفترة الزمنية الحالية، مما يتيح للباحثين حساب نسب الأداء اللحظي مقارنة بالإنجاز التراكمي، وبناء مؤشرات الزخم والاتجاه الداخلي للوحدات قيد الدراسة دون التورط في أي تسرب للمعلومات اللحظية.

علاوة على ذلك، يمكن استخدام هذه المؤشرات لصياغة مقاييس معيارية قابلة للمقارنة بين مجموعات متباينة الأحجام؛ حيث يمكن قسمة المبيعات الحالية على المتوسط التراكمي السابق للمجموعة لاستنتاج ما إذا كانت المبيعات الحالية تمثل طفرة غير اعتيادية أو تراجعاً عن الأداء التاريخي المعتاد، مما يسهم في بناء لوحات تحكم تحليلية وأنظمة إنذار مبكر عالية الدقة والفعالية.

10. الأخطاء الشائعة واستكشاف المشكلات البرمجية وإصلاحها (Troubleshooting)

10.1 خطأ تسرب البيانات وتفكك الفهارس

يُعد خطأ تفكك الفهارس وعدم محاذاتها (Index Misalignment) من أكثر الأخطاء الخفية والمدمرة شيوعاً عند حساب التباطؤ الزمني وإعادة إسناده إلى إطار البيانات الأصلي. يحدث هذا الخطأ عندما يتم استدعاء دالة التباطؤ على سلسلة بيانات تم تعديل فهرسها أو فرزها بشكل منفصل دون الحفاظ على تطابق الفهرس مع الإطار الرئيسي، مما يجعل Pandas تقوم بإسناد القيم بناءً على قيم الفهرس القديمة مسببة انزياحاً في البيانات.

تتفاقم هذه المشكلة بشكل خاص عند وجود فهارس غير فريدة أو مكررة (Duplicate Indices) في إطار البيانات؛ إذ يؤدي تكرار قيم الفهرس إلى فشل المحاذاة التلقائية الموضعية وتوليد أخطاء تضخم في حجم البيانات أو ملء الأعمدة بقيم NaN غير متوقعة. لتفادي هذا الفخ، يجب التأكد دائماً من تنظيف الفهارس وإعادة ضبطها باستخدام df.reset_index(drop=True) قبل البدء في عمليات التجميع والفرز.

لتشخيص الانزياح غير المقصود في مواقع الصفوف، يُنصح دائماً بطباعة عينات مقارنة ومطابقة الفهارس قبل وبعد عملية الإسناد باستخدام الخاصية df.index.equals(). يضمن هذا الإجراء التأكد من أن كل صف في العمود الجديد المزاح قد تم وضعه بدقة في موقعه المادي الصحيح المقابل لسجله الأصلي في قاعدة البيانات.

10.2 التعامل مع أنواع البيانات غير المتوافقة والمجموعات الفارغة

تواجه عمليات التباطؤ في Pandas تحدياً تقنياً تاريخياً يتعلق بتحويل أنواع البيانات عند إدراج القيم المفقودة (NaN). في الإصدارات الكلاسيكية، كان إدراج قيمة NaN الناتجة عن التباطؤ داخل عمود من الأعداد الصحيحة (مثل int64) يجبر Pandas على تحويل نوع بيانات العمود بالكامل إلى أعداد عشرية (float64)، لأن نمط الأعداد الصحيحة الأصلي لم يكن يدعم تمثيل القيم المفقودة، مما يتسبب في استهلاك غير مبرر للذاكرة وتعطل المقارنات المنطقية الصارمة.

لحل هذه المشكلة في بيئات بايثون الحديثة، يجب استخدام أنواع البيانات القابلة لاحتواء المفقودات الخاصة بمكتبة Pandas، مثل النمط Int64 (بحرف I كبير) أو النمط boolean. تتيح هذه الأنماط المتقدمة الاحتفاظ بالبنية الصحيحة للأعداد مع تمثيل القيم المفقودة بأمان تام باستخدام القيمة الخاصة pd.NA دون أي تحويل قسري إلى الأعداد العشرية.

تتطلب معالجة السلاسل النصية والبيانات المنطقية أيضاً حرصاً مماثلاً؛ حيث يجب التأكد من عدم محاولة تطبيق دوال رياضية مباشرة على أعمدة التباطؤ غير الرقمية. كما يجب التعامل مع استثناءات المجموعات التي لا تحتوي على قياسات كافية عبر التحقق المسبق من أطوال المجموعات واستبعاد الفئات الفارغة لتجنب تعطل خطوط المعالجة البرمجية أثناء التشغيل.

10.3 حل مشكلات بطء التنفيذ واستهلاك الذاكرة المفرط

ينشأ بطء التنفيذ واستهلاك الذاكرة المفرط في الغالب عن استخدام أنماط برمجية غير موجهة، مثل اللجوء إلى الدوال المخصصة الممررة عبر apply() لمعالجة التباطؤ، أو تكرار تعديل إطار البيانات داخل حلقات متداخلة مما يتسبب في حدوث تجزئة في الذاكرة وظهور تحذيرات الأداء (PerformanceWarning: DataFrame is highly fragmented).

لتصحيح هذه المشكلات، يجب التخلص فوراً من أي عمليات نسخ غير ضرورية لإطارات البيانات (Defensive Copying) في الذاكرة، واستبدالها بالعمليات المتجهة المباشرة. كما يجب تجنب الاعتماد على المعامل inplace=True في الإصدارات الحديثة من Pandas؛ حيث أثبتت الدراسات الهندسية أنه لا يوفر أي تحسين حقيقي في الذاكرة بل يعيق تحسينات المترجم الداخلي ويخلق سلوكيات غير متوقعة في تعديل الكائنات.

يوصى بإعادة هيكلة الشيفرات البرمجية المعقدة لتتبع أسلوب تدفق الأنابيب المتسلسل (Method Chaining) مع استدعاء دوال التقييم الموضعي والتحسين الذاكري، مما يقلل من الفترات الزمنية اللازمة للمعالجة ويضمن استقرار خطوط البيانات في بيئات الإنتاج الفعلية.

11. تطبيقات وحالات دراسية واقعية في تحليل السلوك والبيانات المجمعة

11.1 تحليل السلاسل الزمنية لمبيعات المتاجر وسلوك الفروع

في قطاع تجارة التجزئة وإدارة سلاسل التوريد الكبرى، يمثل حساب التباطؤ الزمني المجمع حجر الزاوية في بناء نظم التنبؤ بالمبيعات وإدارة المخزون الذكي. تمتلك الشركات الكبرى آلاف المتاجر التي تبيع مئات الآلاف من المنتجات المختلفة؛ حيث يتأثر سلوك مبيعات كل منتج في كل فرع بنمطه التاريخي الخاص وعوامل الجذب المكانية وتفضيلات العملاء في تلك المنطقة الجغرافية المحددة.

يتيح حساب التباطؤ الزمني المشروط بمستوى المتجر والمنتج (['store_id', 'product_id']) توليد متغيرات تفسيرية تعكس مبيعات اليوم السابق، ونفس اليوم من الأسبوع السابق، ونفس الفترة من الشهر الماضي. تُمكن هذه الخصائص النماذج التنبؤية من التقاط الأنماط الموسمية الدقيقة وعزل المؤثرات الخارجية، مثل تأثير العطلات الرسمية والعروض الترويجية، مما يسهم في خفض معدلات التلف ونفاد المخزون بنسب ملحوظة وتحسين الكفاءة اللوجستية للمؤسسة.

تساعد هذه التحليلات التباطؤية أيضاً في تقييم أثر التدخلات التسويقية؛ حيث يمكن مقارنة مبيعات ما بعد الحملة بالمبيعات التباطؤية التاريخية لنفس الفروع المعاملة والفروع المرجعية (Control Groups)، مما يوفر تقديرات قياسية دقيقة حول العائد الفعلي على الاستثمار الإعلاني وحجم النمو الحقيقي المحقق.

11.2 تحليل البيانات السلوكية والنفسية عبر الجلسات المتكررة

في أبحاث علم النفس التجريبي والتحليل السلوكي للمستخدمين في المنصات الرقمية، يخضع المشاركون لجلسات تفاعلية متكررة تُسجل خلالها قياسات دقيقة لزمن الاستجابة (Reaction Time)، ومعدلات الخطأ، ودرجات التركيز. يمثل كل مستخدم في هذه التجارب وحدة إحصائية مستقلة، تتأثر استجاباته اللاحقة بمدى تعلمه من المحاولات السابقة، وتراكم الإرهاق المعرفي (Cognitive Fatigue) عبر مراحل التجربة.

يسمح تطبيق التباطؤ الزمني المشروط بكل مشارك (groupby('participant_id')) بدراسة ديناميكيات التعلم والتعب عبر المحاولات المتتالية. من خلال حساب التباطؤ لزمن الاستجابة في المحاولة $t-1$ و $t-2$، يمكن قياس مدى سرعة تكيف المشارك مع المهام المعقدة، والتحقق مما إذا كان التحسن في الأداء يتبع منحنى أسي مستقر أم أنه يتعرض لانتكاسات ناتجة عن التشتت الذهني.

يضمن عزل القياسات الفردية لكل مشارك الحفاظ على موثوقية التحليلات الإحصائية للبيانات الطولية (Longitudinal Analysis)، ومنع الخلط بين الفروق الفردية الكامنة بين الأشخاص (Between-subject variability) والتغيرات التتابعية التي تحدث للشخص نفسه عبر الزمن (Within-subject dynamics)، وهو ما يعزز الصدق الإحصائي للنتائج العلمية المنشورة.

11.3 بناء خصائص نماذج تعلم الآلة (Machine Learning Feature Engineering)

يمثل التباطؤ الزمني المشروط بالمجموعات الركيزة الأساسية في هندسة الخصائص عند بناء أنظمة التعلم الآلي للتنبؤ بالسلاسل الزمنية، مثل التنبؤ بالطلب على رحلات النقل التشاركي حسب المناطق، أو التنبؤ باستهلاك الطاقة الكهربائية حسب العدادات الذكية، أو تقدير مخاطر التخلف عن السداد في التمويل الاستهلاكي.

تتضمن العملية الهندسية بناء مصفوفات تدريب متكاملة تحتوي على حزم واسعة من الخصائص التباطؤية المتدرجة، إلى جانب الفروق التباطؤية والمتوسطات المتحركة المشتقة منها. يتيح هذا الإثراء الهيكلي لخوارزميات التعلم الآلي استيعاب الديناميكيات الزمنية المعقدة دون انتهاك قيود السببية الزمانية، مما يحمي النماذج من الانحياز المعرفي والتنبؤ الزائف الناتج عن تدريب النماذج على بيانات متداخلة.

تُظهر تقييمات الأهمية النسبية للمتغيرات (Feature Importance) في النماذج الخوارزمية الحديثة أن الخصائص التباطؤية تحتل عادة المراتب الأولى من حيث التأثير على دقة التنبؤ، مما يؤكد أن الاستثمار في البناء الهندسي الدقيق لخصائص التباطؤ المجمعة يمثل العامل الأكثر حسماً في رفع كفاءة النماذج التنبؤية وجاهزيتها للعمل في بيئات الإنتاج الحقيقية.

12. أفضل الممارسات والمعايير القياسية لكتابة شيفرة برمجية إنتاجية

12.1 كتابة دوال معيارية وقابلة لإعادة الاستخدام (Modular Code)

تقتضي المعايير الهندسية في بيئات تطوير البرمجيات وعلوم البيانات تجنب كتابة الأكواد المرتجلة أو تكرار استدعاءات التجميع والإزاحة في أجزاء متفرقة من المشروع. بدلاً من ذلك، يجب تغليف منطق العمليات الحسابية داخل دوال معيارية موثقة برمجياً ومصممة لدعم قابلية إعادة الاستخدام والصيانة السلسة عبر مختلف مراحل خطوط الأنابيب (Data Pipelines).

يتضمن التصميم المعياري للدوال استخدام التلميحات النوعية (Type Hinting) لتوضيح أنواع المدخلات والمخرجات المتوقعة، مثل تمرير إطار البيانات، وقائمة أعمدة التجميع، والمتغيرات المستهدفة، وقائمة فترات التباطؤ. تتيح هذه التلميحات لأدوات الفحص الثابت (Static Type Checkers) اكتشاف الأخطاء الهيكلية مبكراً قبل تشغيل الكود، مما يرفع من موثوقية الشيفرة البرمجية واستقرارها.

يوصى أيضاً بتصميم الدوال لتتوافق مع نمط المعالجة المتسلسلة الخاص بـ Pandas من خلال دعم دالة pipe(). يتيح هذا النمط تمرير إطار البيانات عبر سلسلة من الدوال المتتالية بسلاسة ووضوح، مما يجعل تدفق المعالجة مقروءاً، وقابلاً للاختبار الفردي، وسهل التوسيع عند إضافة متطلبات تحليلية جديدة في المستقبل.

12.2 تضمين اختبارات الوحدة والتحقق الآلي (Unit Testing)

تمثل اختبارات الوحدة (Unit Testing) صمام الأمان الأساسي لضمان سلامة خطوط معالجة البيانات ومنع تسرب الأخطاء البرمجية إلى بيئات الإنتاج. يتعين على مهندسي البيانات كتابة حزم اختبارات آلية شاملة باستخدام أطر الاختبار القياسية مثل pytest للتحقق المستمر من دقة مخرجات دوال التباطؤ المشروطة بالمجموعات في ظل مختلف السيناريوهات والحالات الحدية.

يجب أن تغطي اختبارات الوحدة عدة محاور اختبارية أساسية تشمل:

• التحقق من أن عدد القيم المفقودة (NaN) المتولدة يطابق تماماً حاصل ضرب عدد المجموعات في خطوة التباطؤ.
• التأكد الصارم من عدم حدوث أي تسرب للبيانات بين المجموعات عبر فحص الحدود الفاصلة.
• اختبار قدرة الدالة على التعامل مع المجموعات ذات السجلات الفردية أو المجموعات الفارغة دون انهيار البرنامج.
• التحقق من بقاء الترتيب الفهرسي والأنواع الهيكلية للأعمدة متطابقة تماماً مع المعايير المحددة.

يُعد دمج هذه الاختبارات ضمن مسارات التكامل المستمر والتسليم المستمر (CI/CD) ممارسة قياسية لا غنى عنها؛ إذ تضمن إجراء فحص آلي شامل لكافة دوال المعالجة عند كل تعديل في الكود المصدري، مما يمنع حدوث أي تراجع في جودة البيانات ويؤمن استقرار المنتجات التحليلية المعتمدة عليها.

12.3 التوثيق الصارم وتنسيق خطوط معالجة البيانات

يمثل التوثيق البرمجي الصارم الركيزة الأخيرة لضمان استدامة المشاريع البرمجية وقابليتها لإعادة الإنتاج (Reproducibility). يتطلب ذلك كتابة تعليقات شارحة ومستندات توثيقية (Docstrings) تتبع المعايير المعتمدة عالمياً (مثل تنسيق Google أو NumPy Docstrings) لكل دالة مستخدمة، مع توضيح المبررات الإحصائية لاختيار فترات تباطؤ معينة وأثرها المتوقع على النمذجة.

يجب الالتزام بالمعايير القياسية لتنسيق الأكواد في لغة بايثون والمحددة في دليل PEP 8، مع استخدام أدوات التنسيق والتدقيق الآلي مثل black و flake8 للحفاظ على تناسق الأسلوب البرمجي عبر كامل الفريق التقني. يسهم هذا الالتزام في تسهيل المراجعة المتبادلة للأكواد وتسريع وتيرة اكتشاف الثغرات وتطوير التحسينات.

وأخيراً، يجب تأمين بيئة العمل البرمجية وتثبيت إصدارات المكتبات المستخدمة—مثل Pandas وNumPy—عبر ملفات المتطلبات المرجعية (Requirements Files) أو الحاويات البرمجية (Docker Containers). يضمن هذا الإجراء إمكانية إعادة إنتاج نفس النتائج والتحليلات الإحصائية بدقة مطلقة على أي جهاز أو بيئة سحابية أخرى دون أدنى تغيير في المخرجات.

خاتمة

يُمثل حساب التباطؤ الزمني حسب المجموعة في مكتبة Pandas أداة منهجية تجمع بين العمق الرياضي والكفاءة الهندسية في معالجة السلاسل الزمنية والبيانات المجمعة. تتيح هذه العملية للباحثين وممارسي علوم البيانات استخراج الأنماط الديناميكية والتاريخية الكامنة في كل كيان تصنيفي على حدة، دون الوقوع في أخطاء التلوث البياني أو تسرب المعلومات التي تهدد موثوقية التحليلات والنماذج التنبؤية. إن الإلمام الدقيق بدورات حياة كائنات التجميع، ومعايير الفرز الزمني المسبق، واستراتيجيات إدارة القيم المفقودة، وتحسينات الذاكرة، يشكل الأساس المتين لبناء خطوط معالجة بيانات قوية، قابلة للتطوير، ومستوفية لأعلى معايير الإنتاجية البرمجية.

References

• McKinney, W. (2022). Python for Data Analysis: Data Wrangling with Pandas, NumPy, and Jupyter (3rd ed.). O’Reilly Media. https://wesmckinney.com/book/
• Wickham, H. (2011). The Split-Apply-Combine Strategy for Data Analysis. Journal of Statistical Software, 40(1), 1–29. https://doi.org/10.18637/jss.v040.i01
• Box, G. E., Jenkins, G. M., Reinsel, G. C., & Ljung, G. M. (2015). Time Series Analysis: Forecasting and Control (5th ed.). John Wiley & Sons. https://www.wiley.com/
• Hyndman, R. J., & Athanasopoulos, G. (2021). Forecasting: Principles and Practice (3rd ed.). OTexts. https://otexts.com/fpp3/
• The Pandas Development Team. (2024). pandas.core.groupby.DataFrameGroupBy.shift — pandas documentation. PyData. https://pandas.pydata.org/
• Harris, C. R., Millman, K. J., van der Walt, S. J., Gommers, R., Virtanen, P., Cournapeau, D., … & Oliphant, T. E. (2020). Array programming with NumPy. Nature, 585(7825), 357–362. https://doi.org/10.1038/s41586-020-2649-2
• Zheng, A., & Casari, A. (2018). Feature Engineering for Machine Learning: Principles and Techniques for Data Scientists. O’Reilly Media. https://www.oreilly.com/
• van Rossum, G., Warsaw, B., & Coghlan, N. (2001). PEP 8 – Style Guide for Python Code. Python Software Foundation. https://peps.python.org/pep-0008/