تُعد النمذجة الإحصائية المتقدمة حجر الزاوية في فهم وتفسير الظواهر المعقدة عبر طيف واسع من الحقول العلمية، بدءاً من الاقتصاد القياسي وصولاً إلى العلوم السلوكية والنفسية والطبية. وفي سياق هذا التطور المعرفي، واجهت النماذج البارامترية التقليدية، وعلى رأسها نموذج الانحدار الخطي الكلاسيكي، قيوداً منهجية جوهرية ناجمة عن افتراض خطية العلاقات وثبات التباين عبر فضاء المتغيرات. هذه الافتراضات الصارمة نادراً ما تتطابق مع تعقيدات الواقع العملي؛ حيث تتميز البيانات الواقعية بوجود أنماط لاخطية كامنة، وتفاعلات ديناميكية معقدة، ونقاط تحول حرجة يصعب التنبؤ بها مسبقاً دون الوقوع في شرك التحيز الناجم عن التحديد الخاطئ للنموذج الرياضي.
ولسد هذه الفجوة المنهجية بين بساطة النماذج الخطية القابلة للتفسير والقدرة العالية للنماذج غير المعلمية على التكيف مع اللاخطية، ابتكر عالم الإحصاء المرموق جيروم فريدمان (Jerome H. Friedman) في مطلع تسعينيات القرن العشرين خوارزمية شرائح الانحدار التكيفية متعددة المتغيرات (Multivariate Adaptive Regression Splines)، والمعروفة اختصاراً بـ MARS. تمثل هذه الخوارزمية طفرة نوعية في مجال تعلم الآلة الإحصائي؛ إذ تجمع بين مرونة الشرائح المقطعية (Splines)، وقوة خوارزميات التقسيم الثنائي المتبعة في أشجار القرار، مع الحفاظ على صياغة جبرية خطية تتيح للباحثين تفسير المعاملات وتقدير الأهمية النسبية للمتغيرات بدقة استثنائية.
تهدف هذه الدراسة المرجعية الشاملة إلى تقديم تفكيك نظري وتطبيقي معمق لخوارزمية MARS وبيئتها البرمجية في لغة R الإحصائية، مع التركيز على حزمة earth الرائدة. سنستعرض الأسس الرياضية الدقيقة لدوال المفصلات ونقاط العقد، وآليات التحسين القائمة على التمرير الأمامي والتشذيب الخلفي، ومعيار التحقق المتقاطع المعمم (GCV)، وصولاً إلى التطبيق العملي المقارن على بيانات حقيقية، وتحليل الأهمية التنبؤية، ونمذجة التفاعلات متعددة الرتب، مع إبراز الأهمية التطبيقية لهذه التقنية في بحوث العلوم النفسية والاجتماعية والقياس السلوكي.
- 1. مقدمة عامة ونظرة شاملة حول خوارزمية MARS
- 2. الأسس الرياضية والنظرية لنماذج شرائح الانحدار التكيفية
- 3. مراحل بناء النموذج: آليتا التمرير الأمامي والتمرير الخلفي
- 4. إعداد بيئة العمل وتثبيت الحزم البرمجية في لغة R
- 5. استكشاف البيانات وتجهيزها للتطبيق العملي (مجموعة بيانات Wage)
- 6. بناء نموذج MARS الأساسي باستخدام حزمة earth
- 7. ضبط المعلمات الفائقة والتحقق المتقاطع باستخدام caret
- 8. تفسير النموذج وتحليل أهمية المتغيرات التنبؤية
- 9. نمذجة التفاعلات المتقدمة وتصور النتائج بيانيًا
- 10. تقييم الأداء التنبؤي والمقارنة مع النماذج البديلة
- 11. تطبيقات MARS في العلوم النفسية والاجتماعية والسلوكية
- 12. أفضل الممارسات، التحديات، والاتجاهات المستقبلية
- خاتمة واستنتاجات ختامية
- References
1. مقدمة عامة ونظرة شاملة حول خوارزمية MARS
1.1 مفهوم شرائح الانحدار التكيفية متعددة المتغيرات ونشأتها التاريخية
نشأت خوارزمية شرائح الانحدار التكيفية متعددة المتغيرات (MARS) استجابة للحاجة الملحة إلى أداة نمذجة تجمع بين دقة التنبؤ وقابلية التفسير. قام جيروم فريدمان بتقديم هذه المنهجية في ورقته البحثية التأسيسية المنشورة في دورية The Annals of Statistics عام 1991. جاء هذا الابتكار كجسر منهجي يصل بين الانحدار الخطي متعدد المتغيرات ونماذج أشجار الانحدار والانحدار غير المعلمي، متجاوزاً بذلك المفاضلة التقليدية بين سهولة القراءة الرياضية للنموذج وقوته التكيفية مع البيانات عالية التعقيد.
تتميز خوارزمية MARS بكونها نموذجاً لا معلَمياً (Non-parametric) أو شبه معلَمي، لا يفرض أي شكل وظيفي مسبق على الدالة التي تربط المتغيرات المستقلة بالمتغير التابع. بدلاً من افتراض وجود علاقة خطية شاملة على امتداد فضاء المتغيرات بالكامل، تقوم الخوارزمية بتجزئة هذا الفضاء ديناميكياً وتلقائياً إلى مناطق فرعية متعددة، وتلائم دالة خطية مجزأة (Piecewise Linear) لكل منطقة على حدة. تتيح هذه الآلية للنموذج رصد السلوكيات اللاخطية غير المنتظمة والانعطافات المفاجئة في مسار المتغيرات التنبؤية بكفاءة حسابية متميزة.
كما تعالج MARS أوجه القصور الحادة التي تعاني منها نماذج الانحدار الخطي التقليدية عند تعاملها مع الفضاءات متعددة الأبعاد وعالية التشابك. ففي النمذجة الكلاسيكية، يضطر الباحث إلى تحديد حدود التفاعل الرياضي والتحويلات اللاخطية (مثل اللوغاريتمات والحدود التربيعية والتكعيبية) يدوياً واستناداً إلى حدس مسبق. في المقابل، توفر خوارزمية MARS مرونة حسابية فائقة عبر أتمتة عملية البحث عن نقاط التغير الهيكلي واكتشاف التفاعلات بين المتغيرات دون أي تدخل تحيزي من جانب المحلل الإحصائي.
1.2 مقارنة منهجية بين MARS ونماذج الانحدار الكلاسيكية
عند إجراء مقارنة منهجية بين MARS ونموذج المربعات الصغرى العادية (OLS)، يتضح أن الأخير يستند إلى افتراضات صارمة تتطلب الخطية في المعاملات، وتجانس تباين البواقي، واستقلاليتها وتوزيعها الطبيعي. وعندما تنتهك البيانات هذه الفرضيات، تصبح تقديرات OLS متحيزة أو غير كفؤة إحصائياً. على النقيض من ذلك، تتحرر MARS من قيد الخطية الشاملة بفضل مرونتها التكيفية، مما يسمح لها بنمذجة أنماط معقدة مثل التشبع والتسارع والتباطؤ داخل البيانات دون الحاجة إلى تحويلات قبلية معقدة للمتغيرات.
وعند مقارنتها بنماذج أشجار التصنيف والانحدار (CART)، نجد أن كلاً من MARS و CART يستخدمان استراتيجيات التقسيم المتكرر للفضاء التنبؤي. ومع ذلك، تعاني أشجار CART من انقطاع دالة الاستجابة؛ حيث تنتج تنبؤات مدرجة غير متصلة (Step-wise constant functions) تؤدي إلى تباين تنبؤي مرتفع عند حدود التقسيم، فضلاً عن ضعف قدرتها على نمذجة البنى الخطية البسيطة. تتفوق MARS على CART من خلال استخدام دوال مستمرة ومترابطة عند نقاط الالتقاء (Splines)، مما ينتج أسطح استجابة ملساء ومستمرة وذات دقة تنبؤية أعلى بكثير، مع الحفاظ على كفاءة حسابية تفوق الغابات العشوائية (Random Forests) من حيث سرعة الاستدلال وقابلية التفسير.
تتمتع MARS بقدرة فريدة على إدارة معضلة “لعنة الأبعاد” (Curse of Dimensionality) التي تشل فاعلية العديد من خوارزميات النمذجة اللامعلمية مثل تقدير الكثافة اللبية (Kernel Smoothing) وأقرب الجيران (k-NN). فبينما تتطلب هذه الخوارزميات تضخماً أسياً في حجم العينة لتغطية الفضاء متعدد الأبعاد، تعتمد MARS نهجاً تجميعياً انتقائياً يركز فقط على المتغيرات والتفاعلات ذات المغزى الإحصائي، متجاهلة الأبعاد غير المجدية، مما يضمن كفاءة إحصائية واستقراراً برمجياً ممتازاً.
1.3 أهمية تطبيق MARS في النمذجة الإحصائية والعلوم السلوكية
تكتسب خوارزمية MARS أهمية استثنائية في مجالات النمذجة الإحصائية التطبيقية، ولا سيما في العلوم السلوكية والنفسية والاجتماعية. فالظواهر الإنسانية بطبيعتها نادراً ما تتبع مسارات خطية رتيبة؛ إذ تتسم السلوكيات البشرية بوجود “نقاط تحول” (Tipping Points) وتأثيرات عتبية حرجة (Cut-offs). على سبيل المثال، قد لا يؤدي التوتر النفسي في بيئة العمل إلى تراجع فوري في الأداء الوظيفي حتى يتجاوز عتبة حرجة معينة يبدأ عندها الانهيار الحاد، وهو ما يعجز الانحدار الخطي عن رصده بدقة دون تحديد مسبق لنقطة الانكسار.
تتيح خوارزمية MARS للباحثين في القياس النفسي والاجتماعي رصد هذه العتبات تلقائياً من خلال تحديد مواقع نقاط العقد (Knots) بدقة رياضية. يسهم هذا الكشف التلقائي في فهم الآليات الديناميكية الكامنة وراء الاستجابات السلوكية وتحديد الجرعات التدخلية المثلى في برامج الرعاية النفسية والتربوية، حيث تتغير طبيعة الاستجابة السلوكية جذرياً قبل نقطة العقد وبعدها.
علاوة على ذلك، تسهم خوارزمية MARS في الحد من أخطاء التحديد النظري (Model Misspecification Errors). ففي كثير من الأبحاث السلوكية، يؤدي فرض النماذج الخطية الجاهزة إلى إساءة تقدير قوة العلاقات السببية وتجاهل التفاعلات المركبة بين المتغيرات الفردية والبيئية. ومن خلال توظيف MARS، يستطيع المحلل استكشاف البنية الحقيقية للبيانات بحيادية تامة، مما يوفر منصة رصينة لبناء نظريات علمية جديدة تستند إلى أسس تجريبية محكمة.
2. الأسس الرياضية والنظرية لنماذج شرائح الانحدار التكيفية
2.1 معادلة النموذج العام وصياغة الدوال الأساسية
تستند النمذجة الرياضية لخوارزمية MARS إلى فكرة تمثيل المتغير التابع كتركيبة خطية موزونة من مجموعة من دوال الأساس (Basis Functions). رياضياً، يُعبر عن نموذج MARS العام بالصيغة التجميعية الآتية:
$$\hat{f}(X) = \beta_0 + \sum_{m=1}^{M} \beta_m B_m(X)$$
حيث تمثل $\beta_0$ الحد الثابت (Intercept)، و$B_m(X)$ هي دالة الأساس رقم $m$، و$\beta_m$ هو المعامل الخطي المرتبط بتلك الدالة، بينما يمثل $M$ إجمالي عدد دوال الأساس المحتفظ بها في النموذج النهائي بعد عملية التحسين والتشذيب. يتم تقدير المعاملات $\beta$ باستخدام خوارزمية المربعات الصغرى العادية بمجرد تحديد واختيار مجموعة دوال الأساس $B_m(X)$.
تتخذ دوال الأساس $B_m(X)$ في MARS أحد ثلاثة أشكال رئيسية: إما أن تكون قيمة ثابتة (الحد الثابت)، أو دالة خطية مجزأة لمفصلة متغيرة واحدة، أو حاصل ضرب اثنتين أو أكثر من دوال المفصلات لتمثيل التفاعلات المتبادلة بين متغيرين مستقلين أو أكثر. يتيح هذا التمثيل الجبري للنموذج تفكيك الأنماط السطحية المعقدة متعددة الأبعاد إلى تجميعة بسيطة من القطع الخطية المتصلة التي يسهل تحليلها وتفسيرها بيانياً وجبرياً.
2.2 دوال المفصلات ونقاط العقد (Hinge Functions and Knots)
تشكل دوال المفصلات (Hinge Functions) اللبنة الأساسية والجوهر الرياضي لخوارزمية MARS، وتُعرف أحياناً بدوال “عصا الهوكي” (Hockey-stick Functions). تُعرّف دالة المفصلة كزوج ثنائي من الدوال الخطية المقطعية ذات الاتجاهات المتعاكسة حول نقطة محورية تُسمى نقطة العقدة (Knot) ويرمز لها بالرمز $c$. تُصاغ هذه الدوال رياضياً على النحو التالي:
$$[-(x – c)]_+ = \max(0, c – x)$$
$$[+(x – c)]_+ = \max(0, x – c)$$
تتميز هذه الدوال بخصائص تحليلية بالغة الأهمية؛ حيث تأخذ الدالة الأولى قيمة موجبة تنحدر خطياً كلما كانت قيمة المتغير المستقل $x$ أقل من العقدة $c$ وتساوي صفراً تماماً عندما تتجاوز $x$ قيمة العقدة. في المقابل، تأخذ الدالة الثانية قيمة موجبة تتصاعد خطياً بمجرد تجاوز $x$ لقيمة العقدة $c$ وتتلاشى تماماً عند القيم الأقل من $c$. هذا التفرع الثنائي يمنح النموذج قدرة استثنائية على عزل التأثيرات الإحصائية ضمن نطاقات محددة من فضاء المتغيرات.
يتم اختيار نقاط العقد $c$ بطريقة تكيفية قائمة على البيانات من بين جميع القيم المشاهدة الفريدة للمتغيرات المستقلة. عند كل نقطة عقدة مرشحة، يتم تقييم الانخفاض المحرز في مجموع مربعات الخطأ للنموذج، مما يسمح بتحديد مواضع التغير البنيوي بدقة رياضية متناهية دون الحاجة إلى افتراضات تحكمية من الباحث.
2.3 معيار التحقق المتقاطع المعمم (GCV)
يُعد اختيار النموذج الأمثل وتحديد العدد المثالي لدوال الأساس التحدي الأبرز في النمذجة اللامعلمية لتفادي مشكلة فرط التخصيص (Overfitting). اعتمد فريدمان على مقياس إحصائي دقيق يُعرف باسم معيار التحقق المتقاطع المعمم (Generalized Cross-Validation – GCV)، والذي ابتكره في الأصل كرافن ووابا (Craven & Wahba, 1979). يُحسب معيار GCV وفق المعادلة التالية:
$$GCV(M) = \frac{\frac{1}{N} \sum_{i=1}^{N} (y_i – \hat{f}_M(x_i))^2}{\left(1 – \frac{\tilde{C}(M)}{N}\right)^2}$$
حيث يمثل البسط متوسط مجموع مربعات البواقي (Mean Squared Residuals) للنموذج ذي الحجم $M$ على عينة تدريب حجمها $N$. أما المقام، فيمثل عقوبة رياضية تصاعدية (Penalty Term) تتزايد مع تعقيد النموذج وعدد المعاملات الفعالة، حيث تُعرّف الدالة $\tilde{C}(M)$ كالتالي:
$$\tilde{C}(M) = C(M) + d \cdot M$$
في هذه المعادلة، يمثل $C(M)$ عدد دوال الأساس الخطية المستقلة في النموذج، بينما يمثل $d$ معامل عقوبة التخصيص المخصصة لكل نقطة عقدة يتم تضمينها (وعادة ما يتم ضبط قيمة $d$ بين 2 و 4، وتعتمد القيمة الافتراضية الشائعة $d=3$). تضمن هذه العقوبة عدم الإفراط في إضافة العقد، حيث تقيس المفاضلة الرياضية الدقيقة بين خفض خطأ التدريب والحفاظ على البساطة الهيكلية للنموذج.
3. مراحل بناء النموذج: آليتا التمرير الأمامي والتمرير الخلفي
3.1 مرحلة التمرير الأمامي (Forward Pass) وتوليد الدوال
تتبع خوارزمية MARS استراتيجية تدريجية دقيقة تتألف من مرحلتين رئيسيتين: التمرير الأمامي (Forward Pass) والتشذيب الخلفي (Backward Pruning). تبدأ مرحلة التمرير الأمامي بنموذج أولي بسيط يحتوي فقط على الحد الثابت ($\beta_0$)، والذي يمثل المتوسط العام للمتغير التابع. بعد ذلك، تدخل الخوارزمية في حلقة تكرارية تبحث بشكل “جشع” (Greedy Algorithm) عبر جميع المتغيرات المستقلة وجميع نقاط العقد الممكنة لتحديد زوج دوال المفصلات الذي يحقق أقصى انخفاض في مجموع مربعات البواقي (Residual Sum of Squares – RSS).
في كل خطوة تكرارية من التمرير الأمامي، لا تكتفي الخوارزمية بالبحث في المتغيرات المفردة فحسب، بل تقوم أيضاً بضرب أزواج المفصلات الجديدة في دوال الأساس التي تم إنشاؤها مسبقاً في النموذج. هذه الآلية تتيح للخوارزمية بناء تفاعلات معقدة من الدرجة الثانية وما فوقها تلقائياً. تستمر هذه العملية التراكمية في إضافة الدوال حتى بلوغ الحد الأقصى المحدد مسبقاً لعدد الحدود (المحدد عبر الوسيط $nk$)، أو عندما يصبح التحسن في قيمة RSS ضئيلاً جداً ولا يبرر الاستمرار حسابياً.
تتسم مرحلة التمرير الأمامي بكونها مرحلة “إفراط في التعقيد” (Overbuilding Phase)؛ حيث ينتهي المطاف بالنموذج وهو يحتوي على عدد هائل من دوال الأساس المتشابكة ونقاط العقد المتقاربة. هذا النموذج الموسع يعاني حتماً من التخصيص المفرط للضجيج العشوائي الموجود في عينة التدريب، مما يجعله غير صالح للتعميم المباشر على بيانات جديدة، مما يستدعي تدخلاً حاسماً في المرحلة التالية لتنقيته وتجريده من الحشو الإحصائي.
3.2 مرحلة التمرير الخلفي والتشذيب (Backward Pruning Pass)
تمثل مرحلة التشذيب الخلفي (Backward Pruning Pass) صمام الأمان المنهجي الذي يحمي نموذج MARS من فرط التخصيص ويعيد إليه القدرة التعميمية العالية. في هذه المرحلة، يتم عكس مسار العمل بالكامل؛ حيث تبدأ الخوارزمية بالنموذج الموسع المكتمل في نهاية التمرير الأمامي، وتشرع في حذف دوال الأساس واحدة تلو الأخرى بشكل تنازلي تدريجي.
في كل خطوة من خطوات الحذف، تختبر الخوارزمية إزالة كل دالة أساسية وتقوم بإعادة تقدير معاملات النموذج المتبقي وحساب قيمة معيار التحقق المتقاطع المعمم ($GCV$). يتم حذف الدالة التي يؤدي استبعادها إلى تحقيق أقل قيمة لمقياس $GCV$ (أي أفضل توازن بين الدقة والبساطة). تستمر هذه العملية حتى يتم تقليص النموذج إلى الحد الثابت فقط، مما ينتج تسلسلاً من النماذج الفرعية المتداخلة ذات الأحجام المختلفة ($M = 1, 2, dots, M_{\max}$).
في الخطوة النهائية من التشذيب، تختار الخوارزمية النموذج الفرعي الذي حقق أقل قيمة مطلقة لمعيار $GCV$ عبر المسار بالكامل. يتميز هذا النموذج النهائي بكونه الأكثر إيجازاً وكفاءة إحصائية؛ حيث يتم التخلص من العقد الزائدة والدوال غير المؤثرة، مع الإبقاء فقط على المكونات التي تعكس أنماطاً بنيوية حقيقية وقابلة للتكرار في المجتمع الإحصائي المدروس.
3.3 إدارة المفاضلة بين الانحياز والتباين (Bias-Variance Tradeoff)
تُعد معضلة المفاضلة بين الانحياز والتباين (Bias-Variance Tradeoff) الإطار النظري الأهم في التعلم الإحصائي لتقييم كفاءة النماذج التنبؤية. في سياق خوارزمية MARS، يتحكم التوازن الدقيق بين مرحلتي التمرير الأمامي والتشذيب الخلفي في إدارة هذه المفاضلة بصورة تكيفية متفوقة على النماذج الخطية الكلاسيكية.
يؤدي الإفراط في تشذيب النموذج والاحتفاظ بعدد ضئيل جداً من دوال الأساس إلى زيادة الانحياز (Bias)؛ حيث يصبح النموذج عاجزاً عن استيعاب الانحناءات الحقيقية والتفاعلات الدقيقة في فضاء البيانات (Underfitting). في المقابل، يؤدي الاحتفاظ بعدد مفرط من العقد والدرجات التفاعلية العالية إلى تضخيم التباين (Variance)؛ مما يجعل تنبؤات النموذج شديدة الحساسية للتقلبات العشوائية والضجيج الإحصائي في عينة التدريب المحددة.
تنجح خوارزمية MARS في تحسين هذه المفاضلة عبر معيار $GCV$ الذي يعمل كرقيب إحصائي صارم؛ حيث يفرض تكلفة حسابية على التباين الإضافي الناتج عن كل معامل جديد، مما يضمن تقليص الخطأ الكلي خارج العينة (Generalization Error) إلى أدنى مستوياته الممكنة وتحقيق الاستقرار التنبؤي المطلوب.
4. إعداد بيئة العمل وتثبيت الحزم البرمجية في لغة R
4.1 حزمة earth الأساسية لنمذجة MARS
تُعد حزمة earth المطورة بواسطة ستيفن ميلبورو (Stephen Milborrow) البيئة البرمجية القياسية والأكثر رصانة لتطبيق خوارزمية MARS في لغة R الإحصائية. تم تصميم هذه الحزمة لتكون متوافقة بالكامل مع خوارزمية فريدمان الأصلية المنشورة في مكتبات فورتران التأسيسية، مع إضافة تحسينات برمجية وهيكلية جوهرية تتيح التعامل السلس مع النماذج الخطية المعممة، ودعم التوزيعات الاحتمالية المختلفة، وتوفير أدوات تشخيص متقدمة.
لتثبيت الحزمة وضبطها داخل بيئة R أو RStudio، يتم تنفيذ الأوامر القياسية من خلال مستودع CRAN الرسمي. توفر الحزمة الدالة المركزية earth() التي تمثل الواجهة التنفيذية لبناء النماذج، إلى جانب منظومة متكاملة من الدوال المساعدة مثل format.earth() لاستخراج الصيغ الرياضية الصريحة، و evimp() لتقييم الأهمية النسبية للمتغيرات، و plot.earth() لتوليد الرسوم البيانية التشخيصية الشاملة للأخطاء والبواقي.
تتميز حزمة earth بكفاءتها الحسابية العالية المكتوبة بلغة C المدمجة، مما يمنحها سرعة معالجة استثنائية عند التعامل مع مصفوفات البيانات الضخمة، فضلاً عن مرونتها الفائقة في تخصيص معلمات الخوارزمية الدقيقة مثل معيار العقوبة ($penalty$)، والحد الأقصى للشروط ($nk$)، والحد الأدنى لعدد المشاهدات بين العقد المتتالية ($minspan$).

4.2 حزم الدعم والتحليل: ISLR و caret و ggplot2 و dplyr
لبناء بيئة عمل تحليلية متكاملة واحترافية حول نماذج MARS، يعتمد المحلل الإحصائي على منظومة متناسقة من الحزم التكميلية في لغة R. توفر حزمة ISLR (المصاحبة للمرجع الأكاديمي الشهير An Introduction to Statistical Learning) مجموعات بيانات مرجعية قياسية وواقعية، وفي مقدمتها مجموعة بيانات Wage التي سنعتمد عليها في التحليل التطبيقي اللاحق.
تؤدي حزمة dplyr دوراً محورياً في مرحلة هندسة الخصائص (Feature Engineering)، وتنظيف البيانات، وتحويل المتغيرات الفئوية والعددية، والتعامل مع الترشيحات الشرطية بكفاءة عالية. في حين تقدم حزمة caret (Classification and Regression Training) البنية التحتية الأساسية لإجراء عمليات المعايرة الشبكية (Grid Search) والتحقق المتقاطع المتقدم وإدارة تدريب النماذج ومقارنتها عبر مقاييس موحدة.
ومن الناحية البصرية، تُعد حزمة ggplot2 الأداة الأساسية لبناء التصورات البيانية عالية الجودة؛ حيث تتيح رسم العلاقات غير الخطية، وتوزيعات البواقي، ومنحنيات التنعيم، ومقارنة التوزيعات التنبؤية بمرونة بصرية فائقة تدعم الفهم العميق للظواهر المدروسة.
4.3 التحقق من توافق الحزم وضبط المعلمات البيئية
يقتضي البروتوكول الأكاديمي الصارم في النمذجة الإحصائية ضمان قابلية تكرار النتائج العلمية (Reproducibility). ولتحقيق ذلك في بيئة R، يتعين ضبط البذرة العشوائية للمولد الرقمي باستخدام دالة set.seed() قبل البدء في عمليات تقسيم العينات والتحقق المتقاطع العشوائي، مما يضمن تطابق المخرجات الإحصائية عند إعادة تشغيل الشيفرة البرمجية عبر أجهزة مختلفة.
من الضروري أيضاً الانتباه إلى مشكلة التضارب في أسماء الدوال البرمجية (Namespace Masking)، ولا سيما الدالة select() المتواجدة في كل من MASS و dplyr، أو دوال الاستجابة والتنبؤ. يتم التغلب على هذا التضارب باستدعاء الدوال الصريحة عبر المشغل dplyr::select() أو ترتيب استدعاء المكتبات بدقة.
كما يُستحسن توثيق بيئة العمل وحزمها وإصداراتها عبر دالة sessionInfo()، مما يوفر مرجعاً فنياً يوضح التوافقية البرمجية ويمنع أي أخطاء ناشئة عن التحديثات المستقبلية للحزم الإحصائية.
5. استكشاف البيانات وتجهيزها للتطبيق العملي (مجموعة بيانات Wage)
5.1 فحص بنية البيانات الإحصائية والمتغيرات
لتوضيح الكفاءة الميدانية لخوارزمية MARS، نعتمد على مجموعة بيانات Wage الشهيرة المتاحة في حزمة ISLR. تشتمل هذه المجموعة على بيانات اقتصادية وديموغرافية تخص 3000 عامل من الذكور في منطقة وسط المحيط الأطلسي بالولايات المتحدة الأمريكية، وتهدف إلى دراسة العوامل المؤثرة على الأجر الإجمالي بالساعة (متغير wage مقاساً بآلاف الدولارات سنوياً).
تضم البيانات 11 متغيراً متنوعاً يجمع بين المتغيرات المتصلة والفئوية. تشمل المتغيرات المستقلة المتصلة متغير العمر (age) ومتغير سنة التسجيل (year)، بينما تشمل المتغيرات الفئوية كلاً من المستوى التعليمي (education)، و الحالة الاجتماعية (maritl)، و العرق (race)، و القطاع الوظيفي (jobclass)، و الحالة الصحية (health)، و التأمين الصحي (health_ins).
تكشف المعاينة الأولية للإحصاءات الوصفية عن تباين واسع في مستويات الأجور؛ حيث يتراوح الأجر بين حد أدنى يبلغ نحو 20.08 وحد أقصى يتجاوز 318.68، بمتوسط حسابي يقارب 111.70 وانحراف معياري يقارب 41.76، مما يشير إلى وجود التواء إيجابي وبعض القيم المرتفعة التي تتطلب نمذجة مرنة غير مقيدة بافتراض التوزيع الطبيعي المتجانس.
5.2 التحليل الاستكشافي البصري ورصد اللاخطية
يكشف التحليل الاستكشافي البصري للعلاقة بين متغير العمر (age) والأجر (wage) عن وجود نمط لاخطي واضح ومميز. عند رسم مخطط التشتت وتطبيق منحنى التنعيم المحلي (LOESS)، نلاحظ أن الأجور ترتفع بشكل حاد وتسارعي مع بداية المسار المهني للفرد من سن العشرين وحتى أواخر الثلاثينيات، نتيجة اكتساب الخبرات والمهارات السريعة.
ومع ذلك، لا يستمر هذا الصعود الخطي إلى ما لا نهاية؛ إذ يصل منحنى الأجر إلى هضبة استقرار (Plateau) بين سن الأربعين والخمسين، حيث يبلغ متوسط الأجر ذروته. ثم يتبع ذلك انحدار تدريجي ملحوظ مع تقدم الأفراد نحو سن التقاعد بعد سن الخامسة والستين. هذا المنحنى المحدب يبرهن بوضوح عجز نموذج الانحدار الخطي البسيط عن تمثيل هذه الظاهرة دون إدخال حدود تربيعية وتكعيبية مصطنعة، وهو ما تجيده خوارزمية MARS تلقائياً.
علاوة على ذلك، يظهر التوزيع الشرطي للأجور تباينات هيكلية ملحوظة بناءً على المستوى التعليمي؛ حيث يرتفع الأجر الأساسي ويزداد تباين الدخل لدى حاملي الشهادات العليا مقارنة بالفئات الأقل تعليماً، مما يشير إلى وجود تفاعلات تفاضلية جوهرية بين العمر والتعليم تتطلب قدرات MARS المتقدمة في التقسيم متعدد الأبعاد.
5.3 تقسيم البيانات إلى مجموعات التدريب والاختبار
لتقييم النموذج تقييماً موضوعياً خالياً من التفاؤل المفرط، يجب فصل البيانات إلى مصفوفتين مستقلتين: عينة التدريب (Training Set) لضبط النموذج وبناء دوال الأساس، وعينة الاختبار (Testing Set) لتقييم الأداء التنبؤي النهائي على بيانات غير مرئية مسبقاً.
نعتمد استراتيجية التقسيم العشوائي بنسبة 80% لبيانات التدريب (2400 مشاهدة) و 20% لبيانات الاختبار (600 مشاهدة). يتم تنفيذ هذا الإجراء عبر دالة createDataPartition() من حزمة caret لضمان الحفاظ على نفس التوزيع الاحتمالي لمتغير الاستجابة عبر العينات (Stratified Sampling).
بعد إتمام عملية الفصل، يتم التحقق من تماثل المتوسطات والانحرافات المعيارية للأجور في كلتا المجموعتين للتأكد من عدم حدوث أي تحيز اختياري في العينة، مما يوفر بيئة تجريبية معيارية لاختبار قوة النماذج ومقارنتها بدقة أكاديمية.
6. بناء نموذج MARS الأساسي باستخدام حزمة earth
6.1 صياغة واستدعاء دالة earth() الأساسية
يتم بناء نموذج MARS المرجعي في لغة R من خلال استدعاء دالة earth() وتمرير صيغة الانحدار المستهدفة. في هذا النموذج الأساسي، نحدد المتغير التابع wage مقابل المتغيرات المستقلة المتاحة (العمر، التعليم، الحالة الاجتماعية، العرق، والوظيفة)، مع التركيز في البداية على العلاقات التجميعية الأحادية عبر تعيين وسيط درجة التفاعل degree = 1.
تأخذ دالة earth() مجموعة من الوسائط المحورية التي تتحكم في سلوك الخوارزمية الحسابي: الوسيط data لتحديد مصفوفة التدريب، والوسيط degree لضبط أقصى رتبة للتفاعل بين الدوال، والوسيط nk لتحديد الحد الأقصى لدوال الأساس المولدة في مرحلة التمرير الأمامي، والوسيط penalty لتحديد عقوبة العقدة في معيار GCV (وقيمته الافتراضية 2 للنماذج الأحادية و3 لنماذج التفاعل)، بالإضافة إلى الوسيط pmethod = "backward" لتفعيل خوارزمية التشذيب الخلفي التلقائية.
عند تنفيذ الدالة، تُجري خوارزمية earth عمليات المسح السريع للفضاء التنبؤي في أجزاء من الثانية، وتقوم بحفظ كائن هيكلي متكامل من الفئة earth يحتوي على تفاصيل دوال الأساس والمعاملات ومصفوفات البواقي وإحصاءات التحقق، جاهزاً للتشريح والتحليل الإحصائي المقارن.
6.2 قراءة وتفسير مخرجات النموذج الإحصائي
يتيح تطبيق دالة summary() على كائن النموذج المستخرج استعراض البنية الرياضية التفصيلية التي تم التوصل إليها بعد مرحلتي التمرير والتشذيب. يعرض التقرير الصادر قائمة صريحة بدوال الأساس المحتفظ بها ومعاملاتها التقديرية المقابلة ($\beta_m$)، إلى جانب تقييم كمي لكفاءة النموذج الإجمالية.
يكتشف النموذج تلقائياً نقاط العقد المحورية للمتغيرات المتصلة؛ فعلى سبيل المثال، يحدد النموذج نقطة عقدة لمتغير العمر عند القيمة age = 40 عبر دالتي المفصلة h(40 - age) و h(age - 40). يوضح المعامل السالب للدالة الأولى أنه قبل سن الأربعين، كلما نقص العمر عن 40 سنة، انخفض الأجر بمعدل خطي محدد، بينما يوضح معامل الدالة الثانية مسار الأجر بعد تجاوز سن الأربعين، مما يقدم تمثيلاً بيانياً دقيقاً للقمة المهنية للعاملين.
كما يعرض التقرير قيمة معامل التحديد للتدريب ($R^2$) وقيمة معيار $GCV$، إلى جانب مقارنة صريحة توضح أن الخوارزمية قامت، على سبيل المثال، بتوليد 21 دالة أساسية أثناء التمرير الأمامي، ثم قامت بتشذيبها واختزالها إلى 9 دوال فقط في النموذج النهائي المحسن، مما يثبت فاعلية التجريد الإحصائي في حماية النموذج من التعقيد الزائد.
6.3 التشخيص الأولي للبواقي وافتراضات النموذج
لا يكتمل تقييم النموذج الإحصائي الرصين دون الفحص التشخيصي الدقيق لسلوك البواقي (Residual Diagnostics). توفر حزمة earth أداة بصرية مدمجة وفعالة من خلال تطبيق دالة plot() مباشرة على كائن النموذج، والتي تولد لوحة تشخيصية رباعية الأبعاد تضم مخططات حيوية لتقييم جودة الملاءمة.
يتيح المخطط الأول (Model Selection Plot) تتبع مسار قيمة $GCV$ ومجموع مربعات البواقي في مقابل عدد دوال الأساس عبر خطوات التشذيب الخلفي، مما يوضح بصرياً النقطة المثلى التي توقفت عندها الخوارزمية. بينما يوضح المخطط الثاني (Residuals vs Fitted) علاقة البواقي بالقيم المتنبأ بها، ويُستخدم للتحقق من افتراض تجانس التباين (Homoscedasticity) واستكشاف أي أنماط غير منتظمة قد تشير إلى وجود لاخطية متبقية غير مستوعبة.
أما المخطط الثالث (Cumulative Distribution of Residuals) ومخطط الرسم الاحتمالي الطبيعي (QQ-Plot)، فيسمحان باختبار مدى اقتراب توزيع الأخطاء من التوزيع الطبيعي، وتحديد المشاهدات المتطرفة ذات التأثير المرتفع (High Leverage Points) التي قد تؤثر بصورة غير متناسبة على مواقع نقاط العقد المقدرة.
7. ضبط المعلمات الفائقة والتحقق المتقاطع باستخدام caret
7.1 تحديد المعلمات الفائقة المستهدفة للضبط (Hyperparameters)
على الرغم من قدرة خوارزمية MARS على الضبط الذاتي لنقاط العقد عبر معيار GCV، إلا أن هناك معلمتين فائقتين جوهريتين (Hyperparameters) تتحكمان في المرونة الإجمالية للنموذج وتتطلبان ضبطاً خارجياً دقيقاً عبر تقنيات التحقق المتقاطع لضمان أعلى أداء تنبؤي ممكن.
تتمثل المعلمة الأولى في درجة التفاعل (degree)، والتي تحدد أقصى رتبة مسموح بها لحاصل ضرب دوال المفصلات معاً. عندما تكون degree = 1، يقتصر النموذج على النمذجة الأحادية التجميعية (Additive Model). وعند رفعها إلى degree = 2 أو degree = 3، يصبح النموذج قادراً على اكتشاف التفاعلات الثنائية والثلاثية المعقدة بين المتغيرات. أما المعلمة الثانية، فهي عدد الحدود النهائية المحتفظ بها (nprune)، والتي تضع سقفاً أقصى لعدد دوال الأساس بعد عملية التشذيب الخلفي، مما يتيح التحكم المباشر في تعقيد النموذج وسعته التفسيرية.
7.2 تصميم استراتيجية التحقق المتقاطع (k-fold Cross-Validation)
لتفادي التحيز وتحقيق تقدير غير متحيز للخطأ التنبؤي خارج العينة، يتم تصميم استراتيجية تحقق متقاطع محكمة باستخدام دالة trainControl() من حزمة caret. نعتمد استراتيجية التحقق المتقاطع المكرر ذي الطيات العشر (Repeated 10-fold Cross-Validation) مع 3 تكرارات كاملة، مما يعني تقسيم بيانات التدريب إلى 10 أجزاء متساوية، وتدريب النموذج على 9 أجزاء واختباره على الجزء المتبقي، وتكرار هذه العملية 30 مرة عبر توليفات عشوائية مختلفة.
يتم اعتماد مقياس جذر متوسط مربع الخطأ (RMSE) كدالة هدف رئيسية لاختيار التوليفة المثلى، إلى جانب تتبع مقياسي $R^2$ ومتوسط الخطأ المطلق (MAE). ولتسريع وتيرة الحسابات وتجاوز العبء الناتج عن إعادة بناء مئات النماذج عبر الطيات المختلفة، يمكن تفعيل المعالجة المتوازية (Parallel Processing) في R باستخدام حزمتي doParallel و foreach لتوزيع أعباء الحوسبة على كافة أنوية المعالج المتاحة.
7.3 بناء شبكة الضبط (Tuning Grid) واستخراج النموذج الأمثل
يتم بناء شبكة الضبط المصفوفية الشاملة باستخدام دالة expand.grid() لتجربة مصفوفة متكاملة من التوليفات المحتملة بين المعلمتين الفائقتين. نقوم بتعريف نطاق تجريبي يشمل قيماً لـ degree تتراوح بين 1 و 3، وقيماً لـ nprune تتراوح بين 2 و 30 حداً، مما ينتج عشرات النماذج المتنافسة.
يتم تمرير هذه الشبكة إلى دالة train() بتحديد المعامل method = "earth". تقوم الحزمة بتدريب وتقييم كل نقطة في الشبكة عبر جميع طيات التحقق المتقاطع، وتسجيل مصفوفة الأداء الإحصائي الكاملة. يتيح فحص الكائن الناتج استخراج التوليفة المثلى (Optimal Tune) التي حققت أدنى قيمة لـ RMSE، وتثبيت هذا النموذج المحسن ليكون النموذج التنبؤي النهائي المعتمد للدراسة والتحليل الإحصائي المعمق.
8. تفسير النموذج وتحليل أهمية المتغيرات التنبؤية
8.1 مقاييس أهمية المتغيرات في نماذج MARS
من أهم المزايا المنهجية التي تمنح خوارزمية MARS تفوقاً على نماذج الصندوق الأسود (مثل الشبكات العصبية العميقة وآلات المتجهات الداعمة) هي قدرتها على تقديم مقاييس إحصائية دقيقة وشفافة لتقييم الأهمية النسبية للمتغيرات (Variable Importance). توفر حزمة earth عبر دالة evimp() ثلاثة معايير متمايزة لقياس مدى مساهمة كل متغير تنبؤي في قوة النموذج:
المعيار الأول هو انخفاض معيار GCV (nsubsets / GCV)، والذي يقيس مقدار التدهور والارتفاع في قيمة $GCV$ للنموذج عند استبعاد جميع دوال الأساس التي تحتوي على هذا المتغير التنبؤي تحديداً. المتغير الذي يتسبب حذفه في قفزة كبيرة في معيار GCV يُعد متغيراً جوهرياً لا غنى عنه في النموذج.
المعيار الثاني هو انخفاض مجموع مربعات البواقي (RSS) على عينة التدريب، وهو مقياس مقارب لمعيار GCV لكنه يركز حصرياً على تحسين الملاءمة المباشرة دون احتساب عقوبة التعقيد. أما المعيار الثالث، فهو عدد المجموعات الفرعية (nsubsets)، والذي يمثل عدد المرات التي ظهر فيها المتغير داخل النماذج الفرعية المتتالية الناتجة أثناء خطوات التشذيب الخلفي، حيث تظل المتغيرات الأكثر حيوية حاضرة في جميع النماذج الفرعية حتى أصغرها حجماً.
8.2 التمثيل البياني لأهمية المتغيرات
يوفر التمثيل البياني لأهمية المتغيرات عبر دالة plot(evimp()) أو باستخدام دالة varImp() التابعة لحزمة caret أداة بصرية بالغة الوضوح لتوصيل النتائج الإحصائية. يتم تطبيع درجات الأهمية عادة لتتراوح على مقياس معياري من 0 إلى 100% لتسهيل المقارنة المباشرة بين المتغيرات ذات المقاييس المختلفة.
في تحليل بيانات الأجور Wage، يظهر الرسم البياني بوضوح تصدر متغير المستوى التعليمي (education) ومتغير العمر (age) قمة الترتيب التنبؤي بفارق شاسع عن باقي المتغيرات، يليهما متغير الحالة الصحية والتأمين الصحي، بينما تتراجع متغيرات مثل سنة المسح (year) إلى أدنى سلم الأهمية. يتيح هذا التمثيل البصري للباحثين وصناع القرار عزل المتغيرات غير المجدية وتبرير استبعادها في النماذج التطبيقية اللاحقة لتبسيط النظم التنبؤية دون التضحية بالدقة.
8.3 استخراج العلاقات الجزئية وفهم التأثيرات المعزولة
لتجاوز حدود الأهمية الإجمالية وفهم الطبيعة الدقيقة لتأثير كل متغير على حدة، يتم استخراج دوال الاستجابة الجزئية المعزولة لكل متغير مستمر. تتيح الطبيعة الجبرية لدوال الأساس في MARS حساب الميل الرياضي الدقيق (Slope) للخط التنبؤي عبر كل قطاع يقع بين نقطتي عقدة متتاليتين.
عند فحص دالة الاستجابة المعزولة لمتغير العمر، يمكننا ملاحظة القيمة الدقيقة لميل الزيادة في الأجر لكل سنة عمرية إضافية في الفئة من 18 إلى 40 سنة (وهو ميل موجب وحاد)، ثم ملاحظة تحول الميل إلى الصفر الإحصائي تقريباً بين سن 40 و 60، قبل أن يتحول إلى ميل سالب واضح بعد سن الستين. هذا الفهم التفصيلي يمنح التحليل عمقاً نوعياً مستحيلاً في نماذج الانحدار الكلاسيكية، ويوفر للباحثين تفسيراً نظرياً متكاملاً يتوافق مع نظريات رأس المال البشري ودورات الحياة الاقتصادية المهنية.
9. نمذجة التفاعلات المتقدمة وتصور النتائج بيانيًا
9.1 السماح بتفاعلات الدرجة الثانية وما فوقها (degree >= 2)
تظهر القوة الحقيقية لخوارزمية MARS عند تمكينها من نمذجة التفاعلات اللاخطية متعددة الأبعاد عبر ضبط وسيط درجة التفاعل degree = 2 أو أكثر. في هذه الحالة، تتشكل دوال الأساس كحاصل ضرب مشترك لزوج من دوال المفصلات لمتغيرين مختلفين، وتتخذ الصيغة العامة الآتية:
$$B_m(X) = h_1(x_1 – c_1) \times h_2(x_2 – c_2)$$
تسمح هذه الصياغة الجبرية للنموذج باكتشاف التأثيرات الشرطية التبادلية بدقة متناهية؛ حيث يصبح تأثير المتغير $x_1$ على المتغير التابع متوقفاً بصورة لاخطية ومباشرة على القيمة التي يتخذها المتغير $x_2$ وحالته بالنسبة لنقطة عقدته $c_2$.
تتجلى أهمية هذه الميزة عند دراسة تفاعلات المتغيرات الفئوية مع المتغيرات المتصلة؛ فعلى سبيل المثال، تستطيع الخوارزمية اكتشاف أن منحنى العائد المالي للتقدم في العمر (متغير متصل) يختلف جذرياً في شكله ومواضع نقاط عقده بين فئة العمال الحاصلين على تعليم جامعي متقدم وفئة العمال غير الحاصلين على شهادة ثانوية (متغير فئوي)، دون أن يضطر الباحث إلى صياغة هذه التفاعلات المعقدة مسبقاً داخل معادلة النموذج.
9.2 التصور السطحي ثلاثي الأبعاد والخرائط الكنتورية
تمثل حزمة plotmo الأداة الرائدة المرافقة لحزمة earth لتصور وتجسيد أسطح الاستجابة متعددة الأبعاد بيانيًا. تتيح دالة plotmo() إنشاء مخططات الأسطح ثلاثية الأبعاد (3D Perspective Plots) والخرائط الكنتورية الملونة (Contour Plots) التي تلخص التفاعلات الثنائية المعقدة بين المتغيرات بأسلوب بصري بديع.
عند توليد المخطط السطحي للتفاعل المشترك بين العمر والمستوى التعليمي أو الحالة الاجتماعية على مستوى الأجور، تظهر التضاريس الرياضية للنموذج بوضوح تام كشبكة من الصفائح المستوية المتصلة التي تنثني بدقة عند خطوط العقد المكانية المشتركة. تبرز الخرائط الكنتورية المناطق الساخنة (Hotspots) في فضاء المدخلات التي تؤدي إلى تعظيم مستويات الأجور، مما يحول المعادلات الجبرية المجردة إلى خرائط بصرية تفاعلية سهلة الفهم للباحثين ومتخذي القرار.
9.3 مخططات الاعتماد الجزئي (Partial Dependence Plots – PDP)
تُعد مخططات الاعتماد الجزئي (PDP) المطبقة عبر حزم متقدمة مثل pdp أو حزمة DALEX في لغة R من أهم أدوات الذكاء الاصطناعي القابل للتفسير (XAI). تُمكن هذه المخططات الباحث من فحص التأثير الهامشي الصافي لمتغير تنبؤي معين (أو تفاعل ثنائي) على الاستجابة المتوقعة بعد عزل وتثبيت التأثيرات الهامشية لجميع المتغيرات الأخرى في النموذج عند متوسطاتها الحسابية.
يتم حساب دالة الاعتماد الجزئي رياضياً عبر أخذ المتوسط الحسابي للتنبؤات على امتداد عينة البيانات بأكملها عند تثبيت المتغير المستهدف عند قيمة محددة $x$:
$$\hat{f}_{S}(x_S) = \frac{1}{N} \sum_{i=1}^{N} \hat{f}(x_S, x_{i, C})$$
حيث يمثل $S$ المتغير المستهدف بالدراسة، ويمثل $C$ مجموعة المتغيرات المكملة الأخرى في النموذج. تظهر منحنيات الاعتماد الجزئي لنماذج MARS على هيئة خطوط مكسورة ناعمة (Piecewise Linear Curves) تعكس بدقة عالية مواقع التحولات البنيوية ونقاط العقد الحقيقية في الظاهرة الخاضعة للدراسة دون أي تشويش من المتغيرات المربكة (Confounders).
10. تقييم الأداء التنبؤي والمقارنة مع النماذج البديلة
10.1 حساب مقاييس الدقة على بيانات الاختبار المستقلة
لإجراء تقييم صارم وموضوعي للقدرة التعميمية لنموذج MARS المضبوط، يتم تطبيق دالة predict() لتوليد التنبؤات على بيانات الاختبار المستقلة (Testing Set) التي تم عزلها تماماً في البداية ولم تدخل في أي مرحلة من مراحل تدريب النموذج أو معايرته الفائقة.
يتم قياس دقة النموذج عبر منظومة متكاملة من المقاييس الإحصائية القياسية المقارنة، تشمل:
- جذر متوسط مربع الخطأ (Root Mean Squared Error – RMSE): ويقيس متوسط الانحراف المعياري لأخطاء التنبؤ، مع فرض عقوبة تربيعية على الأخطاء الكبيرة:
$$\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i – \hat{y}_i)^2}$$ - متوسط الخطأ المطلق (Mean Absolute Error – MAE): ويقيس متوسط الحجم المطلق للأخطاء، وهو مقياس متين وأقل حساسية للقيم الشاذة المتطرفة:
$$\text{MAE} = \frac{1}{n} \sum_{i=1}^{n} |y_i – \hat{y}_i|$$ - معامل التحديد خارج العينة (Test $R^2$): ويقيس النسبة المئوية للتباين المفسر بواسطة النموذج في بيانات الاختبار المستقلة:
$$R^2 = 1 – \frac{\sum (y_i – \hat{y}_i)^2}{\sum (y_i – \bar{y})^2}$$
يكشف التقييم الميداني على بيانات Wage أن نموذج MARS يحقق انخفاضاً جوهرياً في قيمتي RMSE و MAE مع زيادة ملموسة في قيمة $R^2$ مقارنة بنموذج الانحدار الخطي التقليدي، مما يعكس كفاءته العالية في استيعاب التباين الحقيقي خارج العينة دون الوقوع في فرط التخصيص.
10.2 المقارنة المعيارية مع الانحدار الخطي وشبكات المرونة (Elastic Net)
لإثبات الجدارة المنهجية لخوارزمية MARS، نقوم بإجراء مقارنة معيارية شاملة (Benchmarking) عبر تدريب عدة نماذج تنافسية على نفس مصفوفات التدريب وتقييمها على نفس بيانات الاختبار. تشمل هذه النماذج: نموذج الانحدار الخطي المتعدد الكلاسيكي (OLS)، ونموذج انحدار ريدج (Ridge)، ونموذج انحدار لاسو (Lasso)، ونموذج الشبكة المرنة (Elastic Net) المدعومة عبر حزمة glmnet.
توضح نتائج المقارنة أن نماذج الانحدار الخطي والجزائي (Regularized Linear Models)، رغم قدرتها الممتازة على تقليص التباين وتحديد المتغيرات، تظل مقيدة بافتراض استقامة العلاقات في فضاء المتغيرات. وبالتالي، فإنها تعجز عن منافسة MARS في النطاقات التي تتضمن انحناءات حادة وتغيرات هيكلية في الميل (مثل علاقة الأجر بالعمر ومستويات التفاعل التعليمي).
وعند إخضاع الفروق بين بواقي النماذج للاختبارات الإحصائية المقارنة (مثل اختبار Diebold-Mariano للتباين التنبؤي)، يتضح التفوق ذو الدلالة الإحصائية لنموذج MARS على النماذج الخطية الكلاسيكية والجزائية، مما يجعله الخيار الأمثل للبيانات الاقتصادية والسلوكية التي تتسم باللاخطية الكامنة.
10.3 المقارنة مع النماذج التجميعية ونماذج الصندوق الأسود
تمتد المقارنة المعيارية لتشمل النماذج التجميعية الحديثة الرائدة في تعلم الآلة، وعلى رأسها نماذج الغابات العشوائية (Random Forests) ونماذج التعزيز المتدرج المتطرف (XGBoost). تُعرف هذه النماذج بقدرتها التنبؤية الفائقة على ملاءمة أعتى أشكال اللاخطية والتفاعلات المعقدة.
تُظهر نتائج المقارنة التنافسية أن خوارزميات الغابات العشوائية و XGBoost قد تحقق تفوقاً طفيفاً وهامشياً في خفض قيمة RMSE على عينة الاختبار مقارنة بـ MARS. ومع ذلك، تأتي هذه الزيادة الطفيفة في الدقة على حساب التضحية الكاملة بقابلية التفسير والشفافية الهيكلية؛ حيث تتحول تلك الخوارزميات التجميعية إلى “صناديق سوداء” تضم مئات أو آلاف الأشجار المتشابكة التي يستحيل تمثيلها في صيغة رياضية صريحة قابلة للتدقيق النظري.
وهنا تتجلى الميزة الاستراتيجية لـ MARS كحل وسط عبقري؛ حيث تقدم أداءً تنبؤياً يضاهي ويقترب جداً من دقة النماذج التجميعية المتقدمة، وبسرعة حوسبة وتدريب أسرع بعشرات المرات، مع الاحتفاظ الكامل بمعادلة جبرية رياضية واضحة المعالم تتيح للباحثين والمدققين استخراج المعاملات وفهم الآليات السببية الكامنة بدقة متناهية.
11. تطبيقات MARS في العلوم النفسية والاجتماعية والسلوكية
11.1 نمذجة العتبات السلوكية والتأثيرات غير الخطية للمتغيرات النفسية
تمثل العلوم النفسية والسلوكية أحد أكثر الحقول المعرفية احتياجاً لقدرات خوارزمية MARS المتقدمة. فالنظريات النفسية الحديثة تؤكد أن العمليات الإدراكية والانفعالية لا تستجيب للمثيرات الخارجية والضغوط البيئية بصورة خطية متصلة؛ بل تخضع لقوانين العتبات الحرجة (Threshold Effects) ونقاط الانهيار الديناميكي.
على سبيل المثال، عند دراسة ظاهرة الاحتراق النفسي (Burnout) لدى الكوادر الطبية وعلاقتها بساعات العمل الأسبوعية ومستويات العبء الإدراكي، يفشل الانحدار الخطي في نمذجة الواقع بدقة؛ إذ يُظهر الواقع أن زيادة ساعات العمل حتى 45 ساعة أسبوعياً قد ترتبط بزيادة طفيفة في التوتر يمكن التكيف معها، ولكن بمجرد عبور “نقطة عقدة” حرجة (وليكن عند 48.5 ساعة)، يحدث تسارع حاد ومفاجئ في مؤشرات الانهيار النفسي وتراجع جودة الرعاية. تتيح خوارزمية MARS رصد هذا الموقع الحرج رياضياً بدقة بالغة، مما يوفر أسسًا علمية لتحديد السياسات التنظيمية وسقوف ساعات العمل الآمنة.
وبالمثل، في دراسات علم النفس العصبي وعلم نفس الشخصية، تخضع العلاقة بين سمات مثل القلق والأداء المعرفي لـ “قانون يركيز-دوبسون” (Yerkes-Dodson Law)، الذي يفترض وجود علاقة منحنية مقلوبة على شكل حرف U. تستطيع خوارزمية MARS عبر دوال المفصلات تمثيل هذا المنحنى بصورة خطية مجزأة دقيقة تحدد المستوى الأمثل للقلق المحفز للأداء والنقطة العتبية التي يتحول عندها القلق إلى عامل معيق ومدمر للوظائف التنفيذية.
11.2 التعامل مع تفاعلات العوامل البيئية والجينية والسلوكية
تتميز السلوكيات البشرية بالتشابك العالي بين المحددات الفردية والبيئية في إطار ما يُعرف في علم النفس التطوري ونمذجة السلوك بنماذج “الاستعداد والضغط” (Diathesis-Stress Models). تفترض هذه النماذج أن الاستعداد الجيني أو النفسي للاضطراب لا يظهر إلا في ظل وجود مستويات مرتفعة من الضغوط البيئية المحيطة، وهو ما يمثل تفاعلاً شرطياً لاخطياً بامتياز.
باستخدام قدرات MARS في نمذجة تفاعلات الدرجة الثانية (degree = 2)، يستطيع الباحثون استكشاف هذه التفاعلات المعقدة بين درجات المرونة النفسية (Resilience) والظروف الاجتماعية الضاغطة (Social Deprivation). تكشف الخوارزمية تلقائياً الشروط الدقيقة التي يتلاشى عندها التأثير الوقائي للمرونة النفسية عندما تتجاوز الصدمات الحياتية حداً معيناً، مما يثري برامج التدخل الإكلينيكي المعرفي ويوجه الموارد نحو الفئات الأكثر هشاشة وتأثراً بالتغيرات البيئية.
11.3 دمج MARS مع منهجيات التحليل النفسي القياسي (Psychometrics)
في مجال القياس النفسي (Psychometrics) وتطوير المقاييس والاستبيانات المقننة، تفتح خوارزمية MARS آفاقاً واسعة لتحسين وتدريج الفقرات واختبار صدق البناء التنبؤي (Predictive Construct Validity). تعتمد نظرية استجابة الفقرة التقليدية (IRT) على دوال لوجستية محددة مسبقاً، بينما يمكن استخدام MARS كأداة تشخيصية غير معلمية مرنة لفحص شكل دوال الاستجابة الفعلية للمفردات الاختبارية (Item Characteristic Curves).
تساعد الخوارزمية مطوري المقاييس النفسية في اكتشاف “تأثيرات السقف والأرضية” (Ceiling and Floor Effects) في أدوات القياس؛ حيث تظهر نقاط العقد الحدود التي يفقد عندها المقياس قدرته على التمييز بين مستويات السمة الكامنة لدى المفحوصين ذوي القدرات المرتفعة جداً أو المنخفضة جداً. يسهم هذا الكشف في إعادة معايرة وتدريج الاستبيانات النفسية والتربوية ورفع كفاءتها القياسية عبر مختلف الفئات السكانية.
12. أفضل الممارسات، التحديات، والاتجاهات المستقبلية
12.1 معالجة التحديات الحسابية والبيانات المفقودة
على الرغم من المزايا المنهجية الهائلة لخوارزمية MARS، فإن تطبيقها العملي يتطلب مراعاة مجموعة من التحديات الحسابية والمنهجية. يُعد التعامل مع البيانات المفقودة (Missing Data) أحد أبرز هذه التحديات؛ حيث لا تدعم خوارزمية فريدمان الأصلية وحزمة earth المشاهدات الناقصة بشكل مباشر، مما يتطلب تنفيذ استراتيجيات احترافية للتعويض المتعدد (Multiple Imputation) باستخدام حزم متخصصة مثل mice أو missForest قبل تمرير مصفوفات البيانات إلى دالة النمذجة.
كما تواجه الخوارزمية تحديات حسابية عند التعامل مع البيانات فائقة الأبعاد والضخمة (Big Data) ذات مئات الآلاف من المشاهدات وآلاف المتغيرات؛ حيث يتضخم فضاء البحث الجشع أثناء التمرير الأمامي بصورة أسية. وللتغلب على ذلك، يُنصح بتطبيق تقنيات الفلترة الأولية للمتغيرات (Feature Selection)، وتقييد عدد العقد المرشحة عبر ضبط وسيط minspan لمنع تقارب العقد المفرط، أو زيادة قيمة penalty لتسريع التشذيب وتخفيف العبء على الذاكرة العشوائية.
ويجب الانتباه أيضاً إلى مشكلة التعدد الخطي الحاد (Severe Multicollinearity) بين المتغيرات المستقلة؛ فرغم قدرة MARS على استبعاد المتغيرات المكررة أثناء التشذيب، إلا أن وجود ارتباطات خطية شديدة الارتفاع قد يؤدي إلى عدم استقرار في اختيار مواقع نقاط العقد وتقلب المعاملات التقديرية بين عينات التحقق المختلفة، مما يستدعي إجراء فحص دقيق لمصفوفة الارتباط وتطبيق تحليل المكونات الرئيسية (PCA) إذا لزم الأمر.
12.2 قواعد ومحاذير الاستخدام الأكاديمي والتطبيقي
لضمان الرصانة العلمية والنزاهة الأكاديمية عند نشر نتائج نماذج MARS في الدوريات المحكمة، يتعين على الباحثين الالتزام ببروتوكولات إحصائية صارمة، من أهمها:
- تجنب رفع درجة التفاعل دون مبرر نظري: يجب الحذر من ضبط
degree >= 3إلا في حال وجود مبررات نظرية وتجريبية قوية وحجم عينة ضخم جداً، نظراً لأن التفاعلات ثلاثية الرتبة ترفع من مخاطر التباين التنبؤي وتجعل التفسير السيكولوجي والمنطقي للمعاملات شديد التعقيد والغموض. - الفصل الصارم بين عينات التطوير والتقييم: يجب عدم الاكتفاء مطلقاً بقيم $GCV$ و $R^2$ المحسوبة على عينة التدريب، والاعتماد دائماً على استراتيجيات التحقق المتقاطع الخارجي وتقييم الأداء على عينات اختبار مستقلة لم ترها النماذج مطلقاً أثناء البناء.
- التفسير العقلاني الحذر لنقاط العقد: يجب التعامل مع مواقع العقد ($c$) المستخرجة إحصائياً كتقديرات تقريبية مستندة إلى العينة المتاحة، وربطها بالمنطق العلمي التخصصي للمجال، وتجنب بناء استنتاجات سببية حتمية وجازمة دون اختبار ثبات هذه العقد عبر عينات مستقلة متكررة.
- توثيق الكود والبيئة البرمجية: توفير الشيفرات البرمجية الكاملة، والبذور العشوائية (Seeds)، وإصدارات الحزم لضمان الشفافية وقابلية تكرار النتائج من قِبل الباحثين الآخرين.
12.3 التطورات المستقبلية وتكامل MARS مع الذكاء الاصطناعي القابل للتفسير
تشهد خوارزمية MARS والتقنيات المتفرعة منها نهضة متجددة في سياق الثورة المعاصرة في الذكاء الاصطناعي القابل للتفسير (Explainable AI – XAI). ففي ظل الانتقادات المتزايدة الموجهة لغموض نماذج التعلم العميق والشبكات العصبية في المجالات الحيوية (كالطب والقضاء والتشخيص النفسي)، تبرز MARS كأداة مثالية لبناء النماذج البديلة الشفافة (Surrogate Models)؛ حيث تُستخدم لتقريب وتفسير قرارات نماذج الصندوق الأسود المعقدة بصيغة جبرية مقروءة ومفهومة للبشر.
كما تتجه الأبحاث الحديثة نحو تطوير خوارزميات هجينة تجمع بين MARS والشبكات العصبية الاصطناعية (مثل Spline-based Neural Networks)، والتي تدمج دوال المفصلات كدوال تنشيط (Activation Functions) تكيفية داخل الطبقات العصبية، مما يمنح الشبكات العصبية قدرة ذاتية على التفسير وتحديد العتبات دون فقدان قوتها التنبؤية الفائقة.
وعلى صعيد بيئة R الإحصائية، تستمر التحديثات البرمجية في توسيع إمكانيات حزمة earth ودمجها مع منصات النمذجة الحديثة مثل tidymodels ومكتبات التحليل البايزي، مما يضمن بقاء شرائح الانحدار التكيفية كركيزة أساسية في ترسانة الإحصائيين وعلماء البيانات لعقود قادمة.
خاتمة واستنتاجات ختامية
قدمت هذه الدراسة المرجعية الشاملة دليلاً نظرياً وتطبيقياً متكاملاً لخوارزمية شرائح الانحدار التكيفية متعددة المتغيرات (MARS) وتطبيقاتها المتقدمة في لغة R عبر حزمة earth ومنظومة caret الإحصائية. لقد أثبت التحليل المعمق أن ابتكار جيروم فريدمان يمثل أحد أكثر الحلول توازناً وعبقرية في تاريخ تعلم الآلة الإحصائي؛ إذ نجح في كسر المعضلة التقليدية بين مرونة النماذج غير الخطية وقابلية التفسير التي تميز النماذج الخطية.
من خلال الجمع الفريد بين دوال المفصلات، ونقاط العقد التكيفية، ومعيار التحقق المتقاطع المعمم (GCV)، وآليتي التمرير الأمامي والتشذيب الخلفي، توفر MARS للمحللين أداة لا تقدر بثمن لرصد التحولات البنيوية، والآثار العتبية، والتفاعلات المعقدة متعددة الأبعاد تلقائياً وبأعلى درجات الدقة الإحصائية والموثوقية الحسابية.
وفي نهاية المطاف، تتجلى الأهمية التطبيقية الاستثنائية لهذه الخوارزمية في العلوم الإنسانية والنفسية والاجتماعية والاقتصادية؛ حيث تمكن الباحثين من تفكيك السلوك البشري المعقد دون الوقوع في أخطاء التحديد الخطي القسري أو الغموض المطلق للصناديق السوداء. إن إتقان خوارزمية MARS وتوظيفها الواعي يمثل خطوة أساسية لكل باحث يسعى إلى الجمع بين الرصانة المنهجية الأكاديمية والتميز التنبؤي في عصر البيانات الضخمة والذكاء الاصطناعي الشفاف.
References
- Craven, P., & Wahba, G. (1979). Smoothing noisy data with spline functions: Estimating the correct degree of smoothing by the method of generalized cross-validation. Numerische Mathematik, 31(4), 377–403. https://doi.org/10.1007/BF01396757
- Friedman, J. H. (1991). Multivariate adaptive regression splines. The Annals of Statistics, 19(1), 1–67. https://doi.org/10.1214/aos/1176347963
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7
- James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning: with Applications in R (2nd ed.). Springer. https://doi.org/10.1007/978-1-0716-1418-1
- Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1–26. https://doi.org/10.18637/jss.v028.i05
- Milborrow, S. (2020). earth: Multivariate Adaptive Regression Splines (R package version 5.3.0). CRAN. https://CRAN.R-project.org/package=earth
- R Core Team. (2023). R: A Language and Environment for Statistical Computing. R Foundation for Statistical Computing, Vienna, Austria. https://www.R-project.org/
- Wickham, H. (2016). ggplot2: Elegant Graphics for Data Analysis. Springer-Verlag New York. https://doi.org/10.1007/978-3-319-24277-4