باي سبارك: كيفية حساب الفرق بين تاريخين

يمثل البعد الزمني أحد أهم الركائز البنيوية في نظم تحليل البيانات الضخمة الحديثة؛ إذ لا تقتصر البيانات المسجلة في المؤسسات المعاصرة على مجرد قياس كمي مجرد للظواهر، بل ترتبط بنيوياً بلحظات حدوثها وامتداداتها عبر الزمن. وفي عصر الحوسبة الموزعة، تبرز منصة أباتشي سبارك (Apache Spark) كإطار عمل رائد لمعالجة مجموعات البيانات الهائلة عبر مجموعات الحواسيب المتوازية. وضمن هذا الإطار، تؤدي واجهة باي سبارك (PySpark)—التي تدمج مرونة لغة بايثون وقوة محرك سبارك—دوراً محورياً في تمكين مهندسي وعلماء البيانات من إجراء أعقد العمليات الحسابية على السلاسل الزمنية وسجلات المعاملات الرقمية بدقة وكفاءة فائقتين.

تكتسب مسألة حساب الفارق بين تاريخين أهمية استثنائية تتجاوز العمليات الحسابية البسيطة لتصل إلى صميم الحسابات الاكتوارية، وتقييم مؤشرات الأداء الوظيفي، وتحديد فترات بقاء العملاء، وتحليل سجلات التشغيل للمنظومات التقنية الحساسة. غير أن الطبيعة الموزعة لمنصة سبارك، واختلاف الأنساق والتقويمات الزمنية، وتعدد المناطق الزمنية حول العالم، تطرح تحديات تقنية معقدة تتطلب فهماً معمقاً لكيفية معالجة المحرك للأنواع البيانية الزمنية واستغلال دوال التحويل القياسية بأقصى درجات الفعالية الهندسية والحسابية دون استنزاف موارد الذاكرة أو التسبب في عمليات نقل غير ضرورية للبيانات بين عقد المعالجة.

يقدم هذا المقال المرجعي دراسة شاملة ومتعمقة لمنهجيات احتساب الفروق الزمنية بين التواريخ في بيئة باي سبارك، متناولاً الجوانب المعمارية للمحرك، ودوال معالجة التواريخ القياسية في مكتبة دوال لغة الاستعلام الهيكلية، واستراتيجيات التعامل مع المقاييس الزمنية المتنوعة مثل الأيام، والأشهر، والسنوات، والأجزاء الدقيقة من الثانية، وصولاً إلى ممارسات تحسين الأداء وإدارة الحالات الشاذة في البيئات الإنتاجية الضخمة.

1. مقدمة منهجية للتعامل مع البيانات الزمنية في بيئة باي سبارك

1.1 أهمية الحسابات الزمنية في هندسة البيانات الضخمة

تحتل الحسابات الزمنية موقع الصدارة في مشروعات هندسة البيانات والتحليلات المتقدمة؛ حيث تشكل الفترات الفاصلة بين الأحداث مدخلات جوهرية في بناء النماذج الإحصائية والتنبؤية. إن قياس فترات الخدمة الوظيفية، وتقييم استمرارية الاشتراكات الرقمية، ورصد التغيرات في الأنماط السلوكية للمستهلكين، يتطلب استخراجاً دقيقاً للفوارق بين الطوابع الزمنية وتواريخ المعاملات. وتتجلى أهمية هذه الدقة عندما نتناول جداول بيانات مليونية، حيث يؤدي خطأ بسيط في احتساب يوم واحد أو كسر شهري إلى انحرافات إحصائية جسيمة في التقارير الختامية، مما ينعكس سلباً على القرارات الإدارية والمالية للمؤسسات الكبرى.

علاوة على ذلك، تتزايد التحديات في بيئات المعالجة المتوازية نتيجة تعقيدات التوافق الرياضي والزمني. فالعمليات الحسابية المنفذة على خادم أحادي تختلف جوهرياً عن العمليات التي يتم توزيعها عبر مئات العقد الحسابية في بيئة سحابية، حيث يجب الحفاظ على التماثل المطلق للنتائج بصرف النظر عن موقع المعالجة أو التوزيع الجغرافي للعقد. وتظهر التطبيقات الحقلية لهذه المعالجات في قطاعات استراتيجية، مثل مراقبة استهلاك الأجهزة والمعدات الصناعية لتقدير مواعيد الصيانة الوقائية، وإدارة سلاسل الإمداد عبر تتبع فترات الشحن والتخليص، وحساب استحقاقات التأمين ونهاية الخدمة في المؤسسات الضخمة، حيث تصبح سلامة الخوارزمية الزمنية مسألة حتمية لضمان الامتثال القانوني والمالي.

1.2 البنية المعمارية لمعالجة التواريخ في أطر الحوسبة الموزعة

تعتمد معالجة التواريخ في أباتشي سبارك على بنية معمارية فريدة ابتكرها زاهاريا وزملاؤه لتمكين الحوسبة الموزعة عالية الأداء. يتم تخزين الأنواع الزمنية داخل محرك سبارك الداخلي بصيغ ثنائية شديدة التكثيف؛ حيث يُخزن نوع التاريخ المجرد كعدد صحيح يمثل عدد الأيام المنقضية منذ الحقبة الزمنية المعيارية ليونكس (الأول من يناير 1970)، بينما تُخزن الطوابع الزمنية كأرقام صحيحة طويلة تعبر عن الميكروثانية أو الميلي ثانية. هذا التجريد الرقمي الداخلي يلغي الاعتماد على التمثيلات النصية المعقدة أثناء المعالجة الحسابية في الذاكرة، مما يقلل بشكل ملموس من استهلاك موارد الذاكرة العشوائية.

يتفاعل هذا التمثيل المنخفض المستوى بتناغم تام مع نظام التحسين الشجري المعروف باسم محسن كاتيليست (Catalyst Optimizer)، وهو العقل المدبر وراء لغة استعلامات سبارك. يقوم كاتيليست بتحليل العمليات التعبيرية المطبقة على التواريخ، وإعادة كتابتها وتبسيطها رياضياً قبل توليد شفرة البايتكود التشغيلية على منصة جافا الافتراضية عبر مشروع تنغستن (Project Tungsten). هذا التنسيق المتقن يضمن عدم فك تشفير التواريخ إلى كائنات وقت برمجية إلا في الحدود الدنيا، مما يوزع الأحمال الحسابية بكفاءة متجانسة بين وحدات المعالجة العاملة ويمنع حدوث اختناقات في الأداء ناجمة عن إدارة المجموعات المهملة في الذاكرة.

1.3 التحديات التقنية في إدارة وتنسيق التواريخ

تواجه معالجة البيانات الزمنية على نطاق واسع حزمة من التحديات التقنية المعقدة، يأتي في مقدمتها إشكالية التباين الحاد في صيغ التواريخ الواردة من مصادر غير متجانسة؛ فقد تتضمن السجلات تواريخ مكتوبة بالنسق الأمريكي (الشهر أولاً) أو النسق الأوروبي (اليوم أولاً)، أو تتداخل فيها الرموز الفاصلة من شرطات ونقاط وفواصل مائلة. هذا التباين يستدعي تدخلاً منهجياً لتوحيد الصيغ قبل البدء بأي عمليات مقارنة أو طرح رياضي لتفادي تفسير الأيام كأشهر أو العكس، وهو خطأ شائع يتسبب في تخريب سلامة البيانات.

وتتعاظم هذه التعقيدات عند التعامل مع المناطق الزمنية المختلفة والتغيرات الدورية الناتجة عن التوقيت الصيفي. فالمعالجة الساذجة للطوابع الزمنية دون تثبيت مرجعي للمنطقة الزمنية تؤدي إلى فوارق افتراضية تتراوح بين ساعة إلى عدة ساعات، مما يشوه الحسابات اللحظية وحسابات الفترات الدقيقة. يضاف إلى ذلك التعامل مع البيانات التاريخية القديمة التي تسبق اعتماد التقويم الغريغوري الحديث أو الانتقال بين التقويمين اليولياني والغريغوري؛ إذ تبنت إصدارات أباتشي سبارك الحديثة (بدءاً من الإصدار 3.0) تقويم برووليبتيك الغريغوري (Proleptic Gregorian Calendar) كمعيار أساسي لمعالجة التواريخ، مما قد يحدث فوارق طفيفة عند قراءة وتحليل سجلات تاريخية مأخوذة من أنظمة تقليدية قديمة كانت تعتمد على التقويم الهجين.

2. إعداد بيئة العمل وهيكلة أطر البيانات الأولية

2.1 تهيئة جلسة العمل باستخدام SparkSession

تمثل جلسة سبارك المدخل الأساسي والمحوري لكافة الوظائف البرمجية في أطر بيانات باي سبارك. تتيح هذه الجلسة للمطور إدارة موارد التطبيق، وضبط معايير الأداء، والتحكم في إعدادات المحرك التحليلي. لتهيئة الجلسة بطريقة معيارية واحترافية تضمن استقرار العمليات الزمنية، يجب ضبط المنطقة الزمنية التشغيلية لجلسة العمل لتفادي أي تحويلات ضمنية غير مرغوب فيها، مع استيراد مكتبات دوال الاستعلام الهيكلية بصورة منظمة تتوافق مع أفضل الممارسات المتبعة في هندسة البرمجيات الكبيرة.

تتم عملية التهيئة البرمجية من خلال استدعاء صانع الجلسة، مع تخصيص معلمات التكوين مثل اسم التطبيق وتحديد نمط النشر المحلي أو الموزع، وتفعيل إعدادات التعامل مع التواريخ وفق معايير الحسابات المتسقة، فضلاً عن استيراد وحدة الدوال الرياضية والزمنية بأسلوب الإسناد المرجعي القياسي. يساعد هذا الأسلوب المعماري في بناء خطوط معالجة معزولة ومحمية من التضارب البرمجي، ويسهل نقل الأكواد من بيئات التطوير التجريبية إلى البيئات السحابية والإنتاجية دون حدوث سلوكيات غير متوقعة في حسابات الفروق الزمنية.

2.2 بناء إطار البيانات النموذجي لسجلات الموظفين

لإرساء التطبيق العملي على أسس ملموسة، يُعد سيناريو إدارة الموارد البشرية وتتبع فترات خدمة الموظفين من أفضل النماذج التعليمية التي تظهر دقة وكفاءة دوال حساب الفروق الزمنية. في هذا السياق، نقوم ببناء مصفوفة بيانات نموذجية تحتوي على سجلات تمثل مجموعة من الموظفين داخل منظمة، بحيث يشمل كل سجل المعرف الفردي للموظف، واسمه، وتاريخ التحاقه بالعمل، وتاريخ نهاية خدمته أو مغادرته للمؤسسة، مع تضمين حالات زمنية واقعية تتضمن تواريخ متزامنة، وفترات قصيرة، وفترات طويلة تمتد لعدة سنوات.

يتم تحويل هذه المصفوفة إلى إطار بيانات رسمي بالاعتماد على الجلسة المهيأة مسبقاً، مع تحديد أسماء الأعمدة بصورة واضحة تعكس البنية الهيكلية لملفات المؤسسة. يتيح عرض إطار البيانات الأولي التحقق البصري من سلامة توزيع السجلات ومحاذاتها، وتأكيد جاهزية المنظومة لاستقبال أوامر التحويل النوعي وإجراء العمليات الحسابية المتقدمة التي ستبنى لاحقاً على هذه الأعمدة الزمنية المحورية.

2.3 فحص أنواع البيانات وتحديد مخطط البيانات (Schema)

تعد خطوة فحص البنية التحتية والمخطط الهيكلي لإطار البيانات عبر دالة فحص المخطط خطوة تأسيسية لا غنى عنها في أي خط معالجة للبيانات الضخمة. تكمن الخطورة الكبرى في معالجة التواريخ في أن الغالبية العظمى من ملفات الإدخال، مثل ملفات النصوص المفصولة بفواصل أو السجلات النصية المستخرجة من واجهات برمجة التطبيقات، تقرأ التواريخ كأعمدة نصية مجردة، مما يحجب عن محرك الحوسبة طبيعتها الزمنية الحقيقية.

إذا تمت محاولة إجراء العمليات الرياضية مثل الطرح المباشر على أعمدة نصية، سيفشل المحرك في إتمام العملية أو ستنتج نتائج كارثية تعتمد على الترتيب الأبجدي للنصوص بدلاً من التسلسل الزمني الفعلي. من هنا، يتيح فحص المخطط لمهندس البيانات رصد الأعمدة التي تحتاج إلى تحويل صريح من النوع النصي إلى نوع التاريخ أو الطابع الزمني، مما يمهد الطريق لتطبيق خطة تحويل نوعية صارمة تضمن عدم تمرير أي نوع بيانات غير متوافق إلى الدوال الحسابية المتخصصة في المحرك الموزع.

3. التحويل النوعي للبيانات النصية إلى صيغ التاريخ القياسية

3.1 دور الدالة to_date في توحيد البنية الزمنية

تعتبر الدالة المدمجة المخصصة لتحويل النصوص إلى تواريخ الأداة الأساسية والقياسية في باي سبارك لتحويل السلاسل النصية إلى كائنات زمنية حقيقية تتوافق مع نظام الأنواع الداخلي لسبارك. تعمل هذه الدالة على استلام العمود النصي كمدخل، وتطبيق خوارزمية تحليل تترجم الحروف والأرقام إلى نسق التاريخ القياسي المتوافق مع معايير المنظمة الدولية للتوحيد القياسي (ISO-8601)، والذي يأخذ الشكل الهيكلي الموحد (السنة-الشهر-اليوم).

تتميز هذه الدالة بالقدرة على التعامل مع النسق القياسي تلقائياً دون الحاجة إلى تمرير معاملات تنسيق إضافية إذا كانت النصوص المدخلة مصوغة بهذا النمط الموحد. وتكمن الميزة الجوهرية لاستخدام هذا التحويل الصريح في تمكين المحرك من تجريد الأيام والشهور والسنوات إلى تمثيله الثنائي المنخفض المستوى، مما يهيئ البيانات لاحقاً لإجراء المقارنات المنطقية والحسابات الرياضية التفاضلية بأعلى كفاءة ممكنة ودون الحاجة لتكرار عمليات التحليل النصي المكلفة في كل مرحلة من مراحل التحليل.

3.2 معالجة الأنساق والأنماط الزمنية غير القياسية

في بيئات العمل الواقعية، نادراً ما تصل البيانات بتنسيق موحد ومثالي؛ إذ تتباين مصادر الاستخراج وتتنوع التنسيقات بين استخدام الشرطات المائلة أو النقاط أو حتى كتابة الشهور بحروف هجائية مختصرة. ولمعالجة هذه الحالات، تتيح الدالة وسيطاً إضافياً لتمرير نمط التنسيق المخصص الذي يرشد خوارزمية التحليل إلى دلالة كل جزء من أجزاء السلسلة النصية، مستندة إلى معايير التنسيق الدولية المعتمدة في جافا وسبارك.

على سبيل المثال، عند ورود التاريخ بنمط يضع اليوم أولاً متبوعاً بالشهر ثم السنة ومفصولاً بشرطات مائلة، يحدد المهندس التعبير المطابق للنمط بدقة لضمان قراءة الأرقام في مواضعها الصحيحة. كما تتيح الرموز المتخصصة تحويل أسماء الشهور النصية، سواء كانت مختصرة أو كاملة، إلى قيمها الرقمية المقابلة تلقائياً. هذا التخصيص يمنع وقوع الأخطاء القاتلة المتمثلة في قلب قيم الأيام والأشهر، ويضمن تحويل كافة المدخلات المتنافرة إلى نسق داخلي موحد متجانس ومتوافق تماماً مع متطلبات دوال الفروق الزمنية.

3.3 التعامل مع القيم المفقودة وغير الصالحة أثناء التحويل

تتعرض خطوط معالجة البيانات الضخمة باستمرار لمدخلات تالفة أو غير منطقية، مثل وجود أيام تتجاوز الحد الأقصى لأيام الشهر المعني، أو تواريخ مفقودة تماماً. في الإصدارات الحديثة من سبارك، تتبع الدوال سياسة أمان صارمة؛ ففي النمط الافتراضي المتساهل، تتحول أي قيمة غير صالحة تفشل في مطابقة النمط المحدد إلى قيمة فارغة بدلاً من إيقاف تنفيذ المهمة الحسابية برمتها عبر إطلاق استثناء برمجي.

تعد هذه الآلية بالغة الأهمية للحفاظ على استمرارية معالجة مليارات السجلات في البيئات الموزعة، غير أنها تتطلب في الوقت ذاته يقظة هندسية عالية. يجب على المهندس تضمين إجراءات تصفية وتنقية مسبقة لرصد عدد وحجم القيم الفارغة الناتجة عن عمليات التحويل غير الناجحة وتوثيقها؛ إذ إن إهمال معالجة هذه القيم سيؤدي لاحقاً إلى ظهور قيم فارغة في نتائج الفروق الزمنية، مما يشوه التحليلات الإحصائية العامة لحساب متوسطات الفترات الزمنية أو مجاميع مدد الخدمة التشغيلية داخل المنظمة.

4. حساب الفارق الزمني بالأيام باستخدام دالة datediff

4.1 التوصيف الرياضي والبرمجي لدالة datediff

تعد دالة احتساب فارق الأيام الدالة القياسية الأولى والمباشرة لحساب الفترات الزمنية في باي سبارك. التوصيف الرياضي لهذه الدالة بسيط ومحكم؛ إذ تستخرج العدد المطلق للأيام التقويمية الفاصلة بين نقطتين زمنيتين وفقاً للمعادلة الجبرية التي تطرح النقطة الزمنية الأولى من النقطة الزمنية الثانية. وترجع الدالة نتيجتها في صورة عدد صحيح يمثل إجمالي الأيام، دون النظر إلى الساعات أو الكسور الزمنية، حيث تعامل التواريخ كأيام تقويمية كاملة.

من الأهمية بمكان التأكيد على الترتيب الصارم للمعاملات في هذه الدالة؛ إذ تتطلب دائماً تمرير تاريخ النهاية كمعامل أول، يليه تاريخ البداية كمعامل ثانٍ. هذا الترتيب يضمن الحصول على فارق موجب عندما يكون تاريخ النهاية لاحقاً زمنياً لتاريخ البداية. وتتفوق هذه الدالة المدمجة على عمليات الطرح الرياضية التقليدية أو الدوال المخصصة التي يكتبها المطور بنفسه، بفضل تكاملها العميق مع محرك سبارك وسرعة تنفيذها الفائقة على مستوى العتاد دون إحداث أي حمل إضافي على الذاكرة.

4.2 التطبيق العملي لإنشاء عمود الفارق بالأيام

يتم تطبيق الدالة الحسابية عبر إدماجها ضمن دالة إنشاء وتعديل الأعمدة في أطر بيانات باي سبارك. تتيح هذه المنهجية إنشاء عمود جديد في إطار البيانات يضم نتائج حساب الأيام لكل سجل على حدة بصورة متوازية عبر العقد الحسابية المختلفة للمنظومة الموزعة.

يمكن للمهندس دمج خطوات التحويل النوعي وحساب الفارق في تعبير برمجي واحد مكثف وعالي الكفاءة، حيث يتم تغليف استدعاءات تحويل السلاسل النصية بداخل استدعاء دالة فارق الأيام مباشرة. عند تطبيق هذه العملية على إطار بيانات الموظفين، ينتج عمود جديد يحمل الفارق الصافي بالأيام بين تاريخي البداية والنهاية. يتيح عرض النتائج وتحليل مخرجاتها التحقق من دقة المعالجة، ويوفر قاعدة بيانات دقيقة يمكن استخدامها فوراً في حساب استحقاقات الإجازات أو مكافآت الإنجاز المرتبطة بعدد الأيام المنجزة.

4.3 تحليل القيم السالبة وحالات الترتيب الزمني المعكوس

في كثير من مجموعات البيانات غير المنقحة، تبرز مشكلة الترتيب الزمني المعكوس، حيث يسبق تاريخ النهاية تاريخ البداية نتيجة خطأ بشري أثناء إدخال البيانات أو خلل في تزامن السجلات. ونظراً لأن دالة الفارق تنفذ عملية طرح جبرية دقيقة، فإن وجود تاريخ بداية لاحق لتاريخ النهاية يسفر حتماً عن نتائج سالبة تمثل خللاً منطقياً في سياق فترات الخدمة أو الأعمار التشغيلية للأصول.

للتعامل مع هذه الحالات بأسلوب هندسي رصين، يمكن استخدام الدالة الرياضية للقيمة المطلقة لتجريد الفاصل الزمني من إشارته السالبة إذا كان الهدف هو قياس المسافة الزمنية البحتة دون الاهتمام بالاتجاه. ولكن في سياقات الأعمال الصارمة، يعتبر ظهور القيمة السالبة مؤشراً خطيراً على فساد البيانات؛ مما يستوجب استخدام تراكيب شرطية متقدمة لاكتشاف هذه السجلات وتصنيفها كبيانات غير صالحة أو استبعادها من الحسابات الإحصائية لتفادي تضليل متخذي القرار.

5. حساب الفارق الزمني بالأشهر باستخدام دالة months_between

5.1 الآلية الحسابية لدالة months_between وخصائصها

تمثل دالة احتساب الأشهر أداة متطورة وفريدة ضمن بيئة سبارك، حيث تهدف إلى حساب الفارق بالأشهر التقويمية بين تاريخين. وخلافاً لدوال الأيام التي ترجع أعداداً صحيحة، فإن هذه الدالة ترجع قيماً كسرية دقيقة من النوع العشري المزدوج، مما يمنحها قدرة فائقة على التعبير عن الفترات الزمنية الجزئية بدقة بالغة تتناسب مع الدراسات التحليلية المالية والإحصائية.

تعتمد الآلية الحسابية للدالة على قاعدة تقويمية محكمة: فإذا كان التاريخان يتشاركان في نفس اليوم من الشهر، أو كان كلاهما يمثل اليوم الأخير من شهريهما المعنيين (مثل 28 فبراير و31 مارس)، فإن الدالة ترجع عدداً صحيحاً تماماً دون أي كسور. أما في الحالات الأخرى التي تختلف فيها الأيام، فإن الدالة تحتسب الجزء الكسري استناداً إلى معيار زمني ثابت يفترض أن الشهر يتألف من 31 يوماً لحساب الكسور اليومية. كما تحتوي الدالة على معامل اختياري للتقريب يتيح تقييد النتيجة تلقائياً إلى 8 منازل عشرية، مما يضمن اتساق الحسابات الرياضية المتقدمة.

5.2 تطبيق الدالة وضبط التقريب العشري بواسطة round

على الرغم من أن الدقة العالية التي توفرها الدالة بمنازلها العشرية الثمانية تعد ميزة تقنية ممتازة، إلا أن معظم التقارير المؤسسية ولوحات القياس التنفيذية تفضل عرض الأرقام بصيغ مقروءة ومبسطة تقتصر على منزلتين عشريتين فقط. ولتحقيق ذلك، يتم دمج استدعاء دالة احتساب الأشهر مع دالة التقريب الرياضي القياسية في إطار تعبير موحد ومباشر.

يتم تطبيق هذا التوليف البرمجي من خلال إنشاء عمود جديد في إطار البيانات يحمل الفارق الشهري المقرب. هذا الأسلوب لا يقتصر أثره على تحسين الشكل الجمالي لمخرجات التقارير فحسب، بل يمنع تراكم الفروق الدقيقة المجهرية عند إجراء عمليات التجميع الإحصائي اللاحقة مثل حساب متوسط فترات بقاء العملاء أو تقدير التكاليف الشهرية التراكمية، مما يحقق توازناً مثالياً بين الدقة الرياضية الصارمة ومتطلبات العرض المالي العملي.

5.3 التطبيقات التحليلية لحسابات الأشهر في أطر البيانات

تفتح حسابات الفروق الزمنية بالأشهر آفاقاً واسعة للتحليلات المتقدمة في قطاعات الأعمال المتنوعة. ففي نماذج الأعمال القائمة على الاشتراكات الدورية والخدمات السحابية، يمثل الفارق الشهري الأساس الصلب لحساب دورة حياة العميل وتقدير العائد الدوري المتكرر لكل مستخدم. كما تعتمد الإدارات المالية على هذه الحسابات لإسقاط جداول إهلاك الأصول الرأسمالية والبرمجيات المؤسسية على فترات دورية منتظمة تتماشى مع المعايير المحاسبية المعتمدة عالمياً.

وفي مجالات إدارة الموارد البشرية والتدريب، تتيح هذه الدقة الشهرية قياس فترات الاختبار والتأهيل بدقة متناهية، ومتابعة تطور الأداء المهني على فترات ربع سنوية ونصف سنوية مشتقة مباشرة من الفوارق الشهرية. إن تحويل التواريخ الخام إلى مقاييس شهرية دقيقة يمكن مهندسي البيانات من بناء ميزات إحصائية قوية تغذي خوارزميات التعلم الآلي المعنية بالتنبؤ بمعدلات تسرب الموظفين أو توقع توقف العملاء عن تجديد تعاقداتهم.

6. احتساب الفروق الزمنية بالسنوات وتطبيقاتها الميدانية

6.1 الاشتقاق الرياضي للسنوات استناداً إلى الأشهر

من الملاحظات الهامة في تصميم واجهة باي سبارك عدم وجود دالة مباشرة ومستقلة باسم مخصص لاحتساب الفارق بالسنوات بصورة أصلية. ولتلبية هذه الحاجة الهندسية، يعتمد خبراء هندسة البيانات منهجية اشتقاقية دقيقة ترتكز على تقسيم ناتج دالة الفارق بالأشهر على القيمة العددية الثابتة 12، والتي تمثل عدد أشهر السنة التقويمية الكاملة.

تحظى هذه المنهجية بأفضلية ساحقة وموثوقية رياضية تتفوق بمراحل على الممارسة الشائعة والمغلوطة المتمثلة في حساب الأيام عبر الدالة ثم قسمتها على 365 يوماً. فالاعتماد على قسمة الأيام يتجاهل التباين الدوري للسنوات الكبيسة، مما يولد أخطاء تراكمية تزداد فداحتها كلما طالت الفترة الزمنية محل الدراسة. في المقابل، يضمن الاشتقاق المستند إلى الأشهر الحفاظ على التوازن التقويمي والانتظام الرياضي، ويقدم صياغة برمجية نظيفة وقابلة للتنفيذ السريع داخل خطوط المعالجة الموزعة.

6.2 ضبط الدقة العشرية واحتساب السنوات الكسرية والكاملة

تتنوع الاحتياجات التحليلية للسنوات بين متطلبات تستدعي رصد السنوات الدقيقة بكسورها العشرية، وأخرى تقتضي احتساب السنوات الكاملة المغلقة فقط. ففي سيناريوهات تقييم الاستهلاك الرأسمالي والتسعير الاكتواري للمخاطر، يفضل دائماً استخدام دالة التقريب لتقييد الناتج العشري للسنوات برقمين عشريين، مما يوفر قراءة دقيقة تعبر عن الكسور السنوية للمدة المقضاة في الخدمة أو الاستخدام.

وعلى النقيض من ذلك، تتطلب المعاملات القانونية والتنظيمية—مثل استحقاق المعاشات التقاعدية، أو الترقيات السنوية، أو مكافآت الخدمة الطويلة—اعتماد السنوات المكتملة حصراً وتجاهل أي كسور غير منتهية. في هذه الحالة، يتم إدماج دالة الأرضية الرياضية لتجريد الناتج من كافة كسوره العشرية والحصول على العدد الصحيح الأدنى، أو استخدام دالة السقف عند الرغبة في جبر الفترات لصالح المستفيد وفقاً للوائح التنظيمية الخاصة بكل مؤسسة، مما يبرز المرونة الكبيرة التي يتيحها الجمع بين الدوال الزمنية والرياضية في باي سبارك.

6.3 معالجة أثر السنوات الكبيسة والفروق التراكمية

يشكل اليوم التاسع والعشرون من شهر فبراير في السنوات الكبيسة تحدياً تقليدياً في حسابات الفترات الزمنية الممتدة عبر عقود طويلة. فعند دراسة سجلات تاريخية تمتد لثلاثين أو أربعين عاماً من بيانات الموظفين أو المعدات القديمة، يؤدي الاعتماد على معادلات التقسيم الساذجة (مثل القسمة على 365.25) إلى ترحيل زمني غير مرغوب فيه قد يصل إلى عدة أيام كاملة عند التراكم، مما يغير تاريخ استحقاق التقاعد أو الصيانة الدورية بصورة غير صحيحة.

لذلك، يؤكد التحليل المنهجي المقارن أن الاعتماد على دالة الأشهر كأساس وسيط لاشتقاق السنوات يقلص هذا الانحراف إلى الصفر تقريباً؛ نظراً لأن محرك سبارك يتولى داخلياً معالجة الانتقال بين نهايات الأشهر بدقة تقويمية فائقة. يجب على مهندسي البيانات توثيق هذه الفروق في وثائق الجودة البرمجية واختيار المنهجية التي تتطابق حرفياً مع الأطر التشريعية واللوائح المالية المعتمدة في البيئة التشغيلية المستهدفة لمنع أي نزاعات مستقبلية ناجمة عن تفاوت طرق الحساب.

7. الحسابات الزمنية الدقيقة (الساعات، الدقائق، والثواني)

7.1 التحويل إلى الطوابع الزمنية عبر دالة to_timestamp

تتجاوز متطلبات معالجة البيانات الضخمة في كثير من الأحيان مجرد التواريخ التقويمية المجردة لتصل إلى ضرورة التعامل مع أجزاء اليوم بدقة متناهية. تبرز هذه الحاجة بوضوح عند تحليل سجلات خوادم الإنترنت، ورصد المعاملات المالية اللحظية في أسواق التداول، وتتبع أحداث منظومات إنترنت الأشياء والسيارات الذكية. في هذه التطبيقات الحساسة، تصبح دالة تحويل النصوص إلى طوابع زمنية هي الأداة التي لا يمكن الاستغناء عنها لتحويل البيانات إلى كائنات طوابع زمنية كاملة تشمل الساعات والدقائق والثواني وأجزائها الدقيقة.

تعمل هذه الدالة بطريقة مشابهة لدالة التواريخ ولكنها تتطلب صياغة نمطية تغطي الأبعاد اللحظية الكاملة للحدث. يتيح هذا التحويل للطابع الزمني الداخلي إمكانية استيعاب التسلسل الدقيق للعمليات الحسابية المتتابعة بدقة ميكروثانية، مما يشكل المنطلق الأساسي لقياس سرعة الاستجابة، وحساب فترات توقف الأنظمة التقنية، وتحليل مسارات الأحداث اللحظية في الأنظمة الضخمة وعالية الحساسية.

7.2 حساب الفروق بالثواني عبر التوقيت الزمني الموحد (Unix Timestamp)

عندما تكون هناك حاجة ملحة لحساب الفارق اللحظي الصافي بدقة متناهية، تعجز الدوال التقويمية المعتادة عن توفير الحل المباشر. هنا يلجأ مهندس البيانات إلى التحويل إلى التوقيت الزمني المعياري الموحد ليونكس عبر الدالة المتخصصة؛ حيث تقوم هذه الخوارزمية بتحويل الطابع الزمني بالكامل إلى رقم صحيح طويل يعبر عن إجمالي الثواني المنقضية منذ بداية حقبة يونكس العالمية الموحدة في مطلع عام 1970.

بمجرد تحويل كلا الطابعين الزمنيين إلى قيم ثوانٍ مطلقة، تصبح عملية حساب الفارق مجرد عملية طرح جبرية مباشرة وبسيطة بين رقمين صحيحين. تتميز هذه الطريقة بسرعة تنفيذ استثنائية على مستوى وحدات المعالجة المركزية، ولا تتأثر باختلافات أطوال الأشهر أو تعقيدات السنوات الكبيسة، مما يجعلها المنهجية الذهبية الأولى المعتمدة في حساب زمن الاستجابة في التطبيقات البرمجية ومراقبة جودة الشبكات الرقمية.

7.3 الاشتقاق الحسابي للساعات والدقائق من فارق الثواني

عقب استخراج الفارق الزمني الصافي بالثواني، يسهل اشتقاق الوحدات الزمنية الأكبر من خلال العمليات الحسابية التحويلية القياسية. للحصول على الفارق بالدقائق، يتم تقسيم إجمالي الثواني على المعامل الثابت 60 مع تطبيق التقريب المناسب، بينما يتم استخراج إجمالي الساعات التشغيلية الفاصلة بقسمة الثواني على المعامل 3600، وهو ما يمثل الأسلوب المتبع في حساب ساعات العمل اليومية للأفراد أو فترات تشغيل الآلات والمعدات الثقيلة.

علاوة على ذلك، يمكن بناء دوال تعبيرية مجمعة تستخدم عمليات القسمة وبواقي القسمة الصحيحة لصياغة نص مركب يعبر عن الفارق التراكمي بالشكل التقليدي المتعارف عليه (ساعات:دقائق:ثوانٍ). يتيح هذا التحويل التعبيري للمحللين والمديرين قراءة وتفسير الفترات الزمنية المعقدة في لوحات المراقبة والتحكم اللحظية بسهولة تامة، مع الاحتفاظ بالأرقام الأصلية المجردة في خلفية النظام للاستخدامات الإحصائية والتحليلية اللاحقة.

8. تحسين أداء العمليات الحسابية على مجموعات البيانات الضخمة

8.1 تحسين خطط التنفيذ البرمجية بواسطة كاتيليست (Catalyst Optimizer)

في بيئات الحوسبة الموزعة التي تتعامل مع مليارات الأسطر، يتحدد الفارق بين نجاح خط المعالجة وانهياره بمدى كفاءة استغلال محسن خطط التنفيذ كاتيليست. يقوم كاتيليست بتحليل شجرة التعبيرات البرمجية وتحويلها من خطة منطقية مجردة إلى خطة تنفيذ مادية محسنة تنفذ على عقد المعالجة. ومن القواعد الذهبية التي يشدد عليها مجتمع مهندسي البيانات تجنب كتابة الدوال المخصصة بواسطة بايثون لحساب الفروق الزمنية، واستخدام الدوال المدمجة في باي سبارك بدلاً منها بصورة حصرية ومطلقة.

يرجع السبب في ذلك إلى أن الدوال المخصصة تعامل كصندوق أسود عاجز عن التحسين؛ حيث تضطر المنظومة إلى نقل البيانات بصورة مستمرة بين بيئة جافا الافتراضية ومفسر بايثون في عملية تسلسل وإلغاء تسلسل تلتهم موارد المعالجة وتضاعف أوقات التنفيذ. في المقابل، تترجم الدوال المدمجة مباشرة إلى بايتكود أصيل على مستوى جافا، ويمكن فحص هذه الخطة المادية بدقة عبر استدعاء دالة الشرح البرمجية لتحليل مسار التنفيذ والتأكد من عدم وجود عمليات تحويل نوعية مهدرة تستهلك طاقة العتاد الحسابي دون طائل.

8.2 استراتيجيات تقسيم البيانات المعتمدة على التواريخ

يعد التقسيم المعماري السليم للبيانات الضخمة أحد أهم مفاتيح تسريع الاستعلامات الزمنية وتخفيض فترات المعالجة. عند حفظ وتخزين أطر البيانات الكبيرة في صيغ تخزين عمودية مثل باركيه أو أو آر سي، ينصح بشدة بتجزئة البيانات في مسارات تخزينية تستند إلى أعمدة التواريخ، مثل التقسيم وفقاً لعمود سنة البداية أو شهر المعاملة.

تكمن الفائدة الجوهرية لهذا التقسيم في تمكين تقنية تقليم الأقسام؛ فعندما يطلب المحرك حساب الفروق الزمنية لسجلات محددة تقع في نطاق زمني معين، فإنه يتجاوز قراءة الملفات الواقعة خارج هذا النطاق كلياً بدلاً من مسح كامل القرص التخزيني. ولكن يجب الحذر الشديد من الوقوع في فخ انحراف توزيع البيانات، والذي يحدث عندما تتركز الغالبية العظمى من المعاملات في أقسام زمنية محددة دون غيرها، مما يحمل عقدة معالجة واحدة عبئاً مضاعفاً بينما تظل بقية العقد في وضع الخمول؛ ولذا يجب الموازنة بين حجم الأقسام ومستوى تكرار البيانات الزمنية في كل قسم لتحقيق توازن تشغيلي كامل.

8.3 الحد من عمليات إعادة التوزيع المكلفة (Shuffle Operations)

تمثل عمليات إعادة التوزيع للبيانات عبر شبكة الحواسيب الموزعة العملية الأكثر كلفة واستهلاكاً للوقت والموارد في أباتشي سبارك. لحسن الحظ، فإن حساب الفروق الزمنية بين عمودين يقعان داخل السطر الواحد في نفس إطار البيانات هو عملية محلية بطبيعتها لا تتطلب أي إعادة توزيع عبر الشبكة، حيث تنفذ كل عقدة حسابية العمليات على الأسطر المخزنة في ذاكرتها المحلية بصورة مستقلة تماماً ومتوازية.

ومع ذلك، يجب على المهندس توخي الحذر الشديد عند دمج حسابات الفروق الزمنية مع عمليات التجميع والفرز أو الانضمام بين جداول متعددة استناداً إلى التواريخ المحسوبة؛ إذ يجب تنظيم خط التدفق لتطبيق تصفية البيانات وحساب الفروق الزمنية في المراحل المبكرة من خط المعالجة قبل تنفيذ أي عمليات إعادة ترتيب، مع استخدام آليات التخزين المؤقت في الذاكرة للنتائج الوسيطة التي يكثر تكرار استخدامها، لتفادي إعادة حساب الفروق الزمنية المعقدة في كل مرة يطلب فيها تقرير تحليلي جديد.

9. إدارة الحالات الاستثنائية وتطهير البيانات التاريخية

9.1 معالجة القيم المفقودة وغير المحددة (Handling Nulls)

تشكل القيم الفارغة والمفقودة معضلة متكررة في مجموعات البيانات التاريخية؛ فالموظف الذي ما يزال على رأس عمله لن يحتوي سجله على تاريخ لنهاية الخدمة، مما يترك العمود المقابل فارغاً. وإذا مررت هذه القيمة الفارغة مباشرة إلى دوال حساب الفروق الزمنية، فإن النتيجة الحتمية ستكون ظهور قيمة فارغة في عمود الفارق الزمني، وهو ما قد يفسد الحسابات التراكمية اللاحقة إذا لم تتم إدارته بحكمة وتصميم واعٍ.

للتعامل المنهجي مع هذه المعضلة، تستخدم الدالة البديلة لتمرير تاريخ بديل افتراضي في حال غياب القيمة الأصلية، كأن يتم استبدال تاريخ نهاية الخدمة الغائب بتاريخ اليوم الحالي عبر دالة التاريخ الراهن لحساب مدة الخدمة المستمرة حتى هذه اللحظة. كما يتيح استخدام التراكيب الشرطية المتقدمة بناء شروط تفصيلية متسلسلة تعزل السجلات غير المكتملة وتمنحها معالجة مخصصة أو تصنيفاً إدارياً واضحاً، مما يحافظ على شمولية واستقرار التحليلات الإحصائية العامة دون استبعاد السجلات النشطة من المؤشرات الوظيفية والتشغيلية.

9.2 التوحيد المعياري للمناطق الزمنية المتعددة

في المشروعات التقنية العالمية التي تمتد عبر قارات متعددة، يتم تسجيل المعاملات في فروع المؤسسة المنتشرة عبر مناطق زمنية متباينة. إن حساب الفارق بين تاريخ مسجل بتوقيت طوكيو وتاريخ مسجل بتوقيت نيويورك دون توحيد مرجعي سيؤدي حتماً إلى فوارق زمنية وهمية ومضللة قد تبلغ يوماً كاملاً أو عدة ساعات تؤثر بصورة جوهرية على موثوقية التحليلات وسرعة الاستجابة المقاسة.

لحل هذه المعضلة البنيوية، يوفر باي سبارك دوال التوحيد المعياري التي تمكن من تحويل الطوابع الزمنية المحلية المسجلة في مختلف دول العالم إلى التوقيت العالمي الموحد، أو العكس، قبل الشروع في إجراء أي مقارنات تفاضلية أو حسابات زمنية. هذا التوحيد يضمن وضع كافة الأحداث على مسطرة زمنية قياسية موحدة تلغي أثر التباين الجغرافي تماماً وتضمن نزاهة المؤشرات التحليلية الناتجة في كافة التقارير العالمية المجمعة.

9.3 التحقق والتحوط البرمجي قبل العمليات الحسابية

تتطلب هندسة البيانات الاحترافية في البيئات الإنتاجية بناء جدران حماية برمجية للتحقق من سلامة البيانات الزمنية قبل تمريرها إلى دوال التحليل والحساب. تشمل هذه الفحوصات المنطقية التأكد من أن التواريخ تقع ضمن نطاق زمني معقول تاريخياً وتقنياً، واكتشاف أي تواريخ مستقبلية غير منطقية قد تكون دخلت المنظومة نتيجة أخطاء كتابية، مثل تسجيل تاريخ ميلاد أو تاريخ تعاقد في عام مستقبلي غير مبرر.

يتم بناء هذه القواعد الدفاعية عبر تعبيرات التصفية المنطقية التي تعزل السجلات الشاذة وتقوم بتوجيهها إلى جداول تدقيق خاصة لمراجعتها وضبطها بواسطة مسؤولي جودة البيانات. إن إرساء مقاييس جودة البيانات الزمنية ورصد معدلات الخطأ الزمني في لوحات مراقبة متخصصة يرفع من موثوقية خطوط المعالجة الموزعة ويحول دون وصول أي بيانات مشوهة أو منحرفة إلى المستودعات المركزية التي تعتمد عليها قرارات القيادة المؤسسية.

10. دراسة تطبيقية شاملة وأفضل الممارسات البرمجية

10.1 تجميع الأساليب الحسابية في سيناريو عمل موحد

لتحقيق الاستيعاب الكامل والتطبيق العملي المتكامل لكافة المنهجيات المعروضة، نستعرض سيناريو عمل تطبيقي شامل يقوم ببناء خط معالجة برمجي متكامل داخل باي سبارك. يبدأ هذا السيناريو باستيراد كافة الدوال المطلوبة بصورة معيارية، ثم يقرأ سجلات الموظفين الأولية ويجري عليها التحويلات النوعية اللازمة للتعامل مع التواريخ، متغلباً على حالات السجلات المستمرة عبر إسناد تاريخ اليوم الحالي كبديل تشغيلي للتواريخ الغائبة عبر التراكيب الشرطية المحكمة.

عقب ذلك، يدمج خط المعالجة حسابات الفروق الزمنية المتعددة في إطار تعبيرات متتالية تنشئ أعمدة جديدة متسلسلة تشمل: الفارق الصافي بالأيام التقويمية، والفارق المقرب بالأشهر، والفارق الدقيق بالسنوات بكسورها المحسوبة، والفارق بالسنوات المكتملة دون كسور، فضلاً عن تحويل السجلات إلى طوابع زمنية لاستخراج الفارق بالثواني والساعات التشغيلية. يختتم هذا السيناريو بعرض إطار البيانات النهائي في صورة جدولية منظمة وواضحة تجمع كافة المؤشرات الزمنية، مع توليد ملخص إحصائي شامل يستخرج متوسطات فترات الخدمة وأطولها وأقصرها، مما يقدم مثالاً حياً لكيفية تطويع قوة باي سبارك لتحويل البيانات الزمنية الصماء إلى معلومات إدارية وتطبيقية عالية القيمة والأهمية.

10.2 اختبار الكود وتأكيد دقة النتائج الحسابية

لا يكتمل بناء أي خط معالجة للبيانات في البيئات الاحترافية دون إخضاعه لاختبارات تحقق صارمة ومؤتمتة للتأكد من سلامة الخوارزميات الحسابية تحت مختلف الظروف التشغيلية. تتضمن هذه الاختبارات كتابة اختبارات وحدة متخصصة تتحقق من سلوك الدوال المدمجة عند التعامل مع الحالات الحدية الحرجة، مثل التحقق من صحة الفوارق المحسوبة في أيام نهاية السنة التقويمية، والتعامل مع سنوات كبيسة متعددة متتالية، والتأكد من كيفية استجابة النظام للسجلات التي يتطابق فيها تاريخا البداية والنهاية تماماً.

كذلك تشتمل استراتيجيات التحقق على إجراء مقارنات معيارية متقاطعة بين نتائج الحسابات المستخرجة من أطر بيانات باي سبارك ونتائج أدوات التحليل الأخرى الشائعة مثل مكتبة بانداز على عينات إحصائية محددة. يضمن هذا التدقيق المتقاطع تطابق التقديرات وتأكيد أن الفروق الطفيفة الناتجة عن التقريب أو افتراضات الكسور الشهرية تقع ضمن الحدود المقبولة إحصائياً ولا تحدث أي تشويه في المعاملات المالية أو الإدارية الحساسة للمنظومة.

10.3 معايير اختيار المنهجية الأنسب وفقاً لطبيعة المشروع

يتطلب اتخاذ القرار الهندسي الصائب للمفاضلة بين مختلف دوال حساب الفروق الزمنية في باي سبارك موازنة دقيقة بين متطلبات الدقة والتعقيد الحسابي وطبيعة المجال التطبيقي للمشروع. يوضح الجدول التالي مقارنة شاملة ومعيارية بين الدوال والأساليب المختلفة لمساعدة مهندسي البيانات في اختيار الأداة الرياضية الأمثل لكل سيناريو عمل:

• دالة فارق الأيام (datediff): ترجع عدداً صحيحاً يمثل الأيام التقويمية المطلقة. تتميز بسرعة معالجة فائقة واستهلاك منخفض للغاية للذاكرة، وتعد المنهجية المثلى لحساب فترات الإجازات ومهل التسليم في سلاسل الإمداد ومراقبة فترات الإنجاز السريعة.
• دالة فارق الأشهر (months_between): ترجع قيماً كسرية مزدوجة الدقة بالأشهر مع افتراض معيار 31 يوماً للكسور. تتطلب موارداً حسابية إضافية طفيفة لمعالجة الكسور العشرية، وتمثل الخيار القياسي الأول للتقارير المالية الدورية، وحساب إهلاك الأصول، وتقييم دورات حياة الاشتراكات الرقمية.
• اشتقاق السنوات (months_between مقسومة على 12): ترجع قيماً كسرية أو صحيحة للسنوات مع مراعاة التوزيع التقويمي دون تأثر باختلالات السنوات الكبيسة. تتفوق على قسمة الأيام وتعد المنهجية الرسمية المعتمدة لحساب سنوات الخدمة المؤسسية واستحقاقات التقاعد والتحليلات الديموغرافية طويلة المدى.
• فارق الطوابع الزمنية عبر توقيت يونكس (Unix Timestamp Difference): ترجع قيماً عددية بالثواني المطلقة الفاصلة بين الأحداث اللحظية. تعد المنهجية الأكثر دقة على الإطلاق للأجزاء الزمنية الدقيقة، وتستخدم في قياس سرعة استجابة الخوادم، وتحليل سجلات المعاملات المصرفية، ومتابعة اتصالات إنترنت الأشياء والشبكات الذكية.

تتمثل التوصية الهندسية الختامية في ضرورة تجنب العمليات الحسابية المرتجلة أو التقسيم الساذج على ثوابت غير دقيقة، والالتزام الصارم بالدوال المدمجة في باي سبارك، وتوثيق كافة الافتراضات التقويمية بوضوح في مواصفات خطوط معالجة البيانات، لضمان أعلى درجات الأداء والموثوقية التشغيلية في خطوط المعالجة الإنتاجية الضخمة.

خاتمة

تناول هذا المقال الموسع تحليلاً شاملاً وتأصيلاً هندسياً دقيقاً لكيفية حساب الفروق الزمنية بين التواريخ في منصة باي سبارك. وقد اتضح من خلال العرض المنهجي أن التعامل مع البيانات الزمنية في البيئات الموزعة ليس مجرد تطبيق سطحي لعمليات طرح رياضية، بل هو منظومة متكاملة تجمع بين فهم المعمارية الداخلية لتخزين التواريخ في محرك أباتشي سبارك، واستيعاب دور المخططات البيانية ونظام التحسين كاتيليست، والقدرة على التحكم في الأنساق والمناطق الزمنية والحالات الاستثنائية للبيانات المفقودة والمعكوسة.

إن إتقان استخدام الدوال القياسية المتخصصة يمنح مهندسي وعلماء البيانات الأدوات الحاسمة لبناء خطوط معالجة سريعة ومرنة وقابلة للتوسع الهائل على مجموعات البيانات المليونية، مما يحمي التطبيقات المؤسسية من الانحرافات الإحصائية والأخطاء التراكمية ويوفر رؤى تحليلية رصينة تخدم مختلف قطاعات الأعمال في عصر البيانات الضخمة.

المراجع

• Armbrust, M., Xin, R. S., Lian, C., Huai, Y., Liu, D., Bradley, J. K., Meng, X., Kaftan, T., Franklin, M. J., Ghodsi, A., & Zaharia, M. (2015). Spark SQL: Relational data processing in Spark. In Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data (pp. 1383–1394). Association for Computing Machinery. https://doi.org/10.1145/2723372.2742797
• Chambers, B., & Zaharia, M. (2018). Spark: The definitive guide: Big data processing made simple (1st ed.). O’Reilly Media.
• Karau, H., & Warren, R. (2017). High performance Spark: Best practices for scaling and optimizing Apache Spark. O’Reilly Media.
• The Apache Software Foundation. (n.d.). PySpark SQL module: Date and timestamp functions documentation. Apache Spark Official Documentation. https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/functions.html
• Zaharia, M., Chowdhury, M., Franklin, M. J., Shenker, S., & Stoica, I. (2010). Spark: Cluster computing with working sets. In Proceedings of the 2nd USENIX Workshop on Hot Topics in Cloud Computing (HotCloud ’10) (pp. 1–7). USENIX Association.