كيفية ملائمة أشجار التصنيف والانحدار في R

تُعد خوارزميات أشجار التصنيف والانحدار، المعروفة اختصاراً بـ CART (Classification and Regression Trees)، واحدة من أكثر الركائز الأساسية تأثيراً في حقل التعلم الآلي والإحصاء اللامعلمي الحديث. نشأت هذه المنهجية كاستجابة علمية للحاجة الماسة إلى نماذج قادرة على التقاط العلاقات المعقدة، والأنماط غير الخطية، والتفاعلات التبادلية المتشابكة بين المتغيرات دون فرض افتراضات مسبقة صارمة حول توزيع البيانات أو شكل العلاقة الوظيفية. تكمن القوة الجوهرية لهذه الخوارزميات في قدرتها الفريدة على الجمع بين القوة التنبؤية الفائقة والشفافية التفسيرية العالية، مما يجعلها أداة لا غنى عنها للباحثين والممارسين في شتى المجالات العلمية والتطبيقية، بدءاً من العلوم السلوكية والطب الحيوي إلى التحليلات الاقتصادية والتسويقية المعقدة.

في بيئة الحوسبة الإحصائية R، تحظى خوارزمية CART بدعم برمجي استثنائي بفضل توفر حزم متخصصة رائدة مثل rpart وtree، فضلاً عن منظومات بصرية وتشخيصية متكاملة تتيح للمحلل ليس فقط بناء النماذج، بل وتدقيق آليات اتخاذ القرار خطوة بخطوة. إن عملية ملائمة هذه الأشجار تتجاوز مجرد كتابة أوامر برمجية بسيطة؛ إذ تتطلب فهماً إحصائياً عميقاً للأسس الرياضية التي تحكم معايير التقسيم، مثل مجموع مربعات البواقي في نماذج الانحدار، ومؤشر جيني والإنتروبيا في نماذج التصنيف، فضلاً عن استيعاب آليات ضبط التعقيد والتقليم البعدي لتفادي الوقوع في فخ الإفراط في المطابقة (Overfitting).

يهدف هذا الدليل المرجعي الشامل إلى تقديم معالجة أكاديمية وتطبيقية متعمقة لملائمة وتفسير وتقييم أشجار التصنيف والانحدار في لغة R. سنستعرض عبر هذه المادة المفاهيم النظرية الكامنة وراء الخوارزمية، والأسس الرياضية لتقسيم الفضاء الإحصائي، وإجراءات البناء العملي للأشجار بشقيها، بالإضافة إلى استراتيجيات التقليم، وإدارة التحديات الإحصائية المتقدمة مثل البيانات المفقودة وعدم توازن الفئات، وصولاً إلى مقارنة هذه النماذج الفردية مع المنهجيات الخطية والأساليب التجميعية المتقدمة لضمان بناء نماذج تنبؤية متينة وقابلة للتعميم بدقة منهجية رصينة.

1. مقدمة نظرية حول أشجار التصنيف والانحدار (CART)

1.1 المفهوم الأساسي لخوارزمية CART والفرق بين التصنيف والانحدار

تمثل خوارزمية أشجار التصنيف والانحدار، التي طورها Leo Breiman وزملاؤه عام 1984، نقلة نوعية في علم النمذجة التنبؤية اللامعلمية. تعتمد الخوارزمية على مبدأ تقسيم الفضاء الإحصائي متعدد الأبعاد الذي تشغله المتغيرات المستقلة إلى مناطق فرعية متجانسة ومستطيلة الشكل وغير متداخلة، حيث يتم تخصيص تنبؤ وحيد ومحدد لكل منطقة. ونظراً لعدم اشتراط الخوارزمية لأي توزيع احتمالي محدد مسبقاً للمتغيرات (Non-parametric framework)، فإنها تمتلك مرونة فائقة في استيعاب الانحرافات والتوزيعات الملتوية التي تعجز النماذج المعلمية عن تمثيلها بدقة دون تحويلات رياضية معقدة.

يكمن الفارق الإحصائي الجوهري بين شجرتي التصنيف والانحدار في طبيعة المتغير التابع أو المستهدف. في أشجار الانحدار (Regression Trees)، يكون المتغير التابع مستمراً وكمياً (مثل معدل الدخل، أو ضغط الدم، أو زمن الاستجابة النفسية)، ويكون التنبؤ الصادر عن كل ورقة طرفية عبارة عن المتوسط الحسابي لقيم المشاهدات الواقعة ضمن تلك العقدة. أما في أشجار التصنيف (Classification Trees)، فإن المتغير التابع يكون فئوياً أو نوعياً، سواء كان ثنائياً (مثل الإصابة بمرض من عدمه) أو متعدد الفئات (مثل التصنيفات التشخيصية المختلفة)، ويكون التنبؤ معتمداً على فئة الأغلبية (Majority Vote) أو مصفوفة الاحتمالات البعدية لانتماء المشاهدة لكل فئة من الفئات المستهدفة.

تكتسب نماذج CART أهمية استثنائية في الأبحاث السلوكية والاجتماعية والطبية؛ حيث تتفاعل المتغيرات الإنسانية والبيئية بطرق غير خطية يستحيل نمذجتها بالكامل عبر معادلات الانحدار الخطي أو اللوجستي التقليدية دون الوقوع في أخطاء التحديد الخاطئ للنموذج (Model Misspecification). تتيح الأشجار للباحثين تمييز المسارات المتباينة التي تؤدي إلى نفس النتيجة السلوكية أو المرضية، مما يمنحها بعداً تشخيصياً نوعياً يتجاوز مجرد التنبؤ الرقمي الأعمى إلى تقديم رؤى تفسيرية عميقة تدعم اتخاذ القرارات القائمة على الأدلة والبراهين التجريبية.

تتميز خوارزميات الأشجار أيضاً بمناعتها ضد مشكلات الانحدار التقليدية؛ فهي لا تتأثر بالقيم المتطرفة في المتغيرات المستقلة لأن عمليات التقسيم تعتمد على الترتيب الرتبي للقيم وليس على مسافاتها الرياضية المباشرة. كما أنها تتفادى مشكلة التعددية الخطية التامة (Multicollinearity) التي تفسد تقديرات معلمات الانحدار التقليدي، حيث تختار الشجرة المتغير الأكثر قدرة على الفصل وتتجاهل المتغيرات المكررة أو التابعة له دون أن يؤدي ذلك إلى انهيار مصفوفة التغاير أو تضخيم الأخطاء المعيارية.

1.2 بنية الشجرة والمصطلحات الإحصائية المرتبطة بها

تتشكل بنية شجرة القرار من تسلسل هرمي شبيه بالشجرة المقلوبة، حيث تبدأ العملية التحليلية عند القمة بما يُعرف بـ العقدة الجذرية (Root Node). تمثل العقدة الجذرية نقطة الانطلاق الشاملة التي تحتوي على جميع مشاهدات عينة الدراسة قبل إجراء أي فرز أو تقسيم، ويتم عندها اختبار جميع المتغيرات التفسيرية لفرز البيانات إلى فرعين رئيسيين استناداً إلى المتغير والحد الفاصل الأكثر قدرة على تقليل عدم التجانس في الاستجابة.

تتفرع العقدة الجذرية إلى عقد داخلية (Internal Nodes)، وتُمثل كل عقدة داخلية نقطة قرار وسيطة تطبق شرطاً منطقياً محدداً (مثل: هل العمر أكبر من 45 سنة؟). تقسم هذه الشروط الفضاء الفرعي للبيانات إلى فروع إضافية متتالية تعكس التفاعلات الشرطية بين المتغيرات. يُطلق على الخطوط الواصلة بين العقد اسم الفروع (Branches)، وهي تجسد المسارات المنطقية التي تسلكها المشاهدات بناءً على استيفائها للشروط المحددة عند كل مستوى من مستويات الشجرة.

تنتهي المسارات الهرمية عند العقد الطرفية أو الأوراق (Terminal / Leaf Nodes)، وهي العقد النهائية التي لا تخضع لمزيد من التقسيم نظراً لاستيفائها معايير التوقف أو لوصولها إلى درجة مقبولة من النقاء الإحصائي. تحتوي كل ورقة طرفية على التنبؤ الإحصائي النهائي المخصص لأي مشاهدة جديدة تسلك المسار المنتهي إليها، مصحوباً بمؤشرات الدقة مثل عدد المشاهدات التي استقرت في العقدة ونسبة الخطأ المصاحبة للتنبؤ.

يُعد عمق الشجرة (Tree Depth) والتعقيد البنيوي من أهم الخصائص الهيكلية للنموذج؛ حيث يُشير العمق إلى أطول مسار خطي من العقدة الجذرية وصولاً إلى أبعد ورقة طرفية. يعكس العمق الزائد قدرة الشجرة على التقاط أدق التفاصيل في عينة التدريب، ولكنه يشير في الوقت ذاته إلى تعقيد حسابي مرتفع وزيادة احتمالية الإفراط في المطابقة وفقدان القدرة على التعميم للبيانات الجديدة المستقلة، مما يستدعي ضبط هذا المعيار بدقة متناهية.

1.3 متى يُفضل استخدام CART بدلاً من النماذج الخطية

يُفضل اللجوء إلى خوارزميات CART عندما تشير المعطيات النظرية أو الاستكشافية إلى وجود علاقات غير خطية صريحة وتفاعلات عالية الرتبة (Higher-Order Interactions) بين المتغيرات المستقلة. في النماذج الخطية التقليدية، يجب على الباحث أن يحدد مسبقاً حدود التفاعل بين المتغيرات (Interaction Terms) وصيغ التحويل غير الخطية (مثل الحدود التربيعية أو اللوغاريتمية)، وهو أمر يزداد صعوبة واستحالة كلما تزايد عدد المتغيرات التفسيرية، بينما تكتشف CART هذه التفاعلات تلقائياً من خلال التقسيم الهرمي المتسلسل.

تبرز أفضلية CART أيضاً في الحالات التي تعاني فيها مجموعات البيانات من تعدد الارتباط الخطي الشديد بين المتغيرات التفسيرية المستقلة. في حين يؤدي التعدد الخطي في نماذج الانحدار المتعدد إلى تضخيم تباين المعلمات وصعوبة عزل التأثيرات الجزئية لكل متغير، فإن خوارزمية CART لا تتأثر بوجود متغيرات شديدة الارتباط، حيث تختار المتغير الأقوى في كل خطوة تقسيم بناءً على معايير التحسين، دون أن يؤثر وجود متغيرات موازية على استقرار النموذج الحسابي.

تتفوق الأشجار في التعامل مع البيانات غير السوية التي تنتهك بشدة افتراضات التوزيع الطبيعي وتجانس التباين (Homoscedasticity). وبما أن عمليات التقسيم في CART تعتمد على الفرز الترتيبي، فإنها تُظهر مناعة تامة ضد التحيزات الناتجة عن الالتواء الشديد أو وجود قيم متطرفة وشاذة (Outliers) في المتغيرات التفسيرية، وهي الظروف التي تؤدي عادة إلى انحياز شديد في تقديرات المربعات الصغرى العادية (OLS).

تمنح الشفافية التفسيرية وسهولة التمثيل البصري ميزة حاسمة لـ CART في بيئات اتخاذ القرار السريري والإداري والسياساتي. تُمكّن الأشجار صناع القرار والممارسين غير المتخصصين في الإحصاء الرياضي من تتبع منطق النموذج وقواعده الإرشادية بوضوح تام، على عكس النماذج المعقدة أو الصناديق السوداء (Black-Box Models) التي يصعب ترجمة آلياتها الحسابية إلى بروتوكولات عمل ميدانية واضحة.

2. الأسس الرياضية ومعايير التقسيم في خوارزميات CART

2.1 معايير التقسيم في أشجار الانحدار: مجموع مربعات البواقي (RSS)

تعتمد أشجار الانحدار على تقنية رياضية تُعرف بـ التقسيم الثنائي المتكرر (Recursive Binary Splitting). وهي خوارزمية جشعة (Greedy Algorithm) تبحث عند كل عقدة عن المتغير التفسيري الأفضل والحد الفاصل الأمثل الذي يحقق أقصى انخفاض ممكن في دالة الخسارة المستهدفة، والمتمثلة في مجموع مربعات البواقي (Residual Sum of Squares – RSS)، دون النظر إلى التداعيات المستقبلية للتقسيم على العقد التالية في المستويات الأدنى.

من الناحية الرياضية، إذا افترضنا أن الفضاء الحالي عند عقدة معينة يتم تقسيمه بواسطة المتغير التفسيري رقم j عند القيمة الحدية s إلى منطقتين فرعيتين، فإن الخوارزمية تسعى إلى إيجاد الزوج الرياضي (j, s) الذي يُقلل المقدار الإجمالي لمجموع مربعات البواقي عبر المنطقتين الناتجتين. يتم التعبير عن ذلك بحساب مجموع الفروق المربعة بين القيم الفعلية للمتغير التابع ومتوسط الاستجابة المحسوب داخل كل منطقة فرعية على حدة.

يتم حساب القيمة التنبؤية لكل منطقة فرعية ناتجة عن التقسيم ببساطة من خلال استخراج المتوسط الحسابي البسيط لجميع قيم المتغير التابع للمشاهدات التي وقعت داخل تلك المنطقة. يؤدي هذا التحديد إلى تقليل التباين الداخلي (Intra-node Variance) إلى أدنى حد ممكن، مما يضمن أن تكون التنبؤات ممثلة للمركز الإحصائي للعنقود الفرعي المتشكل، محققة بذلك أفضل مطابقة ممكنة لبيانات التدريب الموضعية.

تستمر عملية التقسيم الثنائي بصورة تكرارية على كل منطقة فرعية جديدة تم إنشاؤها، حيث تتحول المناطق الفرعية إلى عقد أصلية تخضع لعمليات تقييم وفصل جديدة. تهدف هذه العملية المستمرة إلى تخفيض التباين الإجمالي غير المفسر للنموذج تدريجياً، مع تحسين دالة الملاءمة الشاملة حتى يتم استيفاء معايير الإيقاف المبرمجة مسبقاً لمنع التمدد اللانهائي للشجرة.

2.2 معايير التقسيم في أشجار التصنيف: مؤشر جيني والإنتروبيا

في أشجار التصنيف، ونظراً لأن المتغير التابع متغير نوعي، فإن استخدام مجموع مربعات البواقي يصبح غير مناسب رياضياً. بدلاً من ذلك، تعتمد خوارزمية CART على مقاييس تقيس درجة الشوائب أو عدم النقاء (Impurity Measures) في العقدة. المعيار الافتراضي والأساسي في CART هو مؤشر جيني للشوائب (Gini Impurity Index)، والذي يقيس احتمالية تصنيف مشاهدة تم اختيارها عشوائياً بشكل غير صحيح إذا تم تصنيفها وفقاً للتوزيع الاحتمالي للفئات داخل تلك العقدة.

رياضياً، يتم حساب مؤشر جيني من خلال طرح مجموع مربعات الاحتمالات النسبية لكل فئة من الرقم واحد الصحيح. إذا كانت العقدة “نقية” تماماً، أي تحتوي على فئة واحدة فقط، فإن احتمال تلك الفئة يكون مساوياً لواحد، ويكون مؤشر جيني مساوياً للصفر، وهو الوضع المثالي الذي تسعى الخوارزمية للوصول إليه عند كل نقطة تفرع. وكلما زاد تشتت الفئات وتساوي نسبها داخل العقدة، ارتفعت قيمة المؤشر مقتربة من حدها الأقصى، مما يشير إلى عقدة غير نقية تتطلب مزيداً من التقسيم.

المعيار الرياضي البديل هو الإنتروبيا (Entropy)، المستمد من نظرية المعلومات لشانون (Shannon’s Information Theory)، والذي يقيس درجة الفوضى أو عدم اليقين في العقدة. يتم حساب الإنتروبيا بجمع حواصل ضرب الاحتمال النسبي لكل فئة في لوغاريتمه الثنائي مع الإشارة السالبة. يُعرف الفرق بين إنتروبيا العقدة الأصلية وإنتروبيا العقد الفرعية الموزونة بـ كسب المعلومات (Information Gain)، وهو المعيار الذي تعتمده خوارزميات مشتقة مثل C4.5 وID3 لفرز واختيار أفضل المتغيرات التفسيرية.

على الرغم من وجود مقياس ثالث بديهي يُعرف بمعدل خطأ التصنيف (Classification Error Rate)، إلا أنه لا يُستخدم كمعيار تفضيلي لبناء وتقسيم الأشجار نظراً لعدم حساسيته الكافية للتغيرات الدقيقة في التوزيعات الاحتمالية للفئات مقارنة بمؤشري جيني والإنتروبيا. يميل مؤشر جيني عملياً إلى عزل الفئة الأكثر تكراراً في فرع منفصل وتوليد عقد نقية ذات كثافة عالية، في حين تميل الإنتروبيا إلى موازنة أحجام الفروع الفرعية بصورة أدق، مع تشابه كبير في الأداء النهائي لمعظم التطبيقات العملية.

2.3 استراتيجيات التوقف عن التقسيم وتجنب النمو المفرط

إذا تُركت خوارزمية CART تعمل دون ضوابط أو قيود صارمة، فإنها ستستمر في تجزئة البيانات حتى تحتوي كل ورقة طرفية على مشاهدة واحدة فقط أو مجموعة متطابقة تماماً من المشاهدات. في هذه الحالة، ستصل الشجرة إلى دقة تصنيف كاملة (100%) على بيانات التدريب، لكنها ستعاني من إفراط حاد في المطابقة (Overfitting)، حيث تلتقط الضوضاء الإحصائية العشوائية بدلاً من النمط الهيكلي الحقيقي، مما يجعل أداءها كارثياً عند تعميمها على بيانات اختبار جديدة ومستقلة.

لتجنب هذا الإفراط التكيفي، يتم توظيف مجموعة من معايير التوقف المبكر (Pre-pruning Stopping Criteria) أثناء بناء الشجرة. من أهم هذه المعايير تحديد الحد الأدنى للمشاهدات المطلوبة لإجراء التقسيم (minsplit)، وهو رقم يفرضه الباحث يحدد أقل عدد من الحالات التي يجب أن تتوفر في العقدة للسماح للخوارزمية بالبحث عن تقسيمات فرعية جديدة؛ فإذا قل عدد المشاهدات عن هذا الحد، تتوقف العقدة عن النمو وتتحول تلقائياً إلى ورقة طرفية.

المعيار المكمل هو الحد الأدنى لعدد المشاهدات في العقدة الطرفية (minbucket)، والذي يمنع إنشاء أوراق طرفية شديدة الصغر تحتوي على عدد ضئيل جداً من الحالات لا يسمح بالاعتماد الإحصائي عليها. بالإضافة إلى ذلك، يُستخدم معيار معامل التعقيد الأدنى (Complexity Parameter – cp)، والذي يشترط ألا يتم قبول أي تقسيم جديد إلا إذا أدى إلى تحسين كفاءة ملاءمة النموذج وانخفاض الخطأ الإجمالي بمقدار يتجاوز قيمة العتبة المحددة لهذا المعامل.

كما يُمكن تحديد الحد الأقصى لعمق الشجرة (maxdepth) كحاجز هيكلي صارم يمنع امتداد المسارات الهرمية لأكثر من عدد محدد من المستويات المتتالية. تعمل هذه القيود التراكمية كصمام أمان تنظيمي يحافظ على بساطة الشجرة وقابليتها للتفسير، ويوفر حماية أولية ضد التضخم العشوائي للنموذج قبل الانتقال إلى مرحلة التقليم البعدي القائم على التحقق المتقاطع.

3. إعداد البيئة البرمجية وحزم R الأساسية لتحليل CART

3.1 الحزم الأساسية لبناء الأشجار: rpart وtree

تُعد لغة R البيئة الإحصائية الأكثر ثراءً لتنفيذ وتطوير خوارزميات CART، وتتصدر حزمة rpart (Recursive Partitioning and Regression Trees) قائمة الأدوات البرمجية المتخصصة في هذا النطاق. تستند حزمة rpart بشكل مباشر إلى الإطار النظري الذي وضعه Breiman وزملاؤه، وتوفر تنفيذاً فائق الكفاءة الحسابية مبنياً بلغة C لمعالجة الانقسامات المتكررة والتقليم التلقائي وإدارة البيانات المفقودة عبر المتغيرات البديلة المتقدمة.

إلى جانب rpart، تبرز حزمة tree الكلاسيكية كخيار تاريخي مهم في بيئة R؛ حيث تقدم واجهات تفاعلية تلتزم بالبنية البرمجية الأصلية لنماذج S-PLUS الإحصائية. تتيح الحزمة بناء أشجار التصنيف والانحدار ومحاكاة عمليات التحقق المتقاطع واختيار أحجام التقليم المناسبة، إلا أنها تفتقر لبعض الميزات المتقدمة المتوفرة في rpart، لا سيما في المعالجة التلقائية للمتغيرات المفقودة وآليات الحساب التفصيلية لمتغيرات التعقيد.

عند المقارنة الفنية والبرمجية، تتفوق rpart بفضل مرونة معلمات التحكم المتاحة من خلال دالة rpart.control، والتي تتيح للمحلل ضبط معايير التوقف، وأوزان المشاهدات، ومصفوفات الخسارة المخصصة، وعدد طيات التحقق المتقاطع الداخلي بدقة متناهية. كما تتميز بقدرتها الفائقة على التعامل مع المتغيرات الفئوية متعددة المستويات والبيانات واسعة النطاق بكفاءة وسرعة استثنائيتين.

لتهيئة بيئة العمل، يقوم الباحث بتثبيت واستدعاء الحزم عبر الأوامر القياسية في R، والتأكد من توافق الإصدارات البرمجية. يتيح ضبط الخيارات العامة للتحليل توحيد معايير المعالجة الإحصائية وضمان استقرار المخرجات الرقمية عبر جلسات العمل المختلفة، وتوفير بيئة متكاملة تدعم كافة خطوات النمذجة بدءاً من التقسيم الأولي وحتى التقييم المتقدم.

3.2 حزم التصور البياني المتقدم: rpart.plot وggplot2

على الرغم من أن حزمة rpart توفر أدوات رسم افتراضية مثل دالتي plot وtext، إلا أن مخرجاتها التخطيطية غالباً ما تفتقر للجاذبية البصرية والوضوح التفسيري المطلوب في التقارير العلمية الرصينة. هنا تبرز حزمة rpart.plot كأداة لا غنى عنها؛ حيث توفر إمكانات بصرية متقدمة تتيح إنتاج مخططات شجرية فائقة الدقة والوضوح بأقل قدر من الأوامر البرمجية.

تتيح دالة prp التابعة لحزمة rpart.plot ودالتها المخصصة rpart.plot تخصيصاً شاملاً لمظهر الشجرة؛ بما في ذلك تلوين العقد تلقائياً بناءً على الفئات التنبؤية أو متوسطات الاستجابة، وإظهار النسب المئوية للمشاهدات في كل ورقة، وتوضيح الشروط المنطقية بدقة فوق خطوط التفرع. يساعد هذا التنسيق البصري الباحثين وصناع القرار على استيعاب هيكل النموذج وقواعده التنبؤية دون أي التباس معرفي.

بالتوازي مع ذلك، تؤدي منظومة ggplot2 دوراً مكملاً بالغ الأهمية في فحص البيانات وتوليد المخططات التشخيصية المرافقة. يتم استخدام ggplot2 لرسم توزيعات الاستجابة عبر العقد الطرفية، وتصور أداء النموذج عبر مساحات المتغيرات التفسيرية، وتوليد مخططات مخصصة لتحليل البواقي ومنحنيات التعقيد، مما يمنح الباحث مرونة تصميمية غير محدودة.

يمكن تصدير هذه المخططات البيانية بتنسيقات متجهة عالية الدقة (مثل PDF أو SVG أو TIFF عالي الاستبانة) لضمان مطابقتها لأعلى معايير النشر الأكاديمي الدولي. يضمن التكامل بين rpart.plot وggplot2 تقديم نتائج التحليل الشجري في قوالب بصرية تجمع بين العمق الإحصائي والوضوح التفسيري الرصين.

3.3 حزم التقييم والتحقق: caret وISLR

تُمثل حزمة caret (Classification and Regression Training) المظلة الشاملة لإدارة وتوحيد عمليات التعلم الآلي والتقييم الإحصائي في R. توفر caret واجهة برمجية موحدة تدمج مئات الخوارزميات، وتتيح تنفيذ عمليات ضبط المعلمات الفائقة (Hyperparameter Tuning)، والتحقق المتقاطع المتكرر (Repeated K-Fold Cross-Validation)، والتقييم المقارن بين أشجار CART والنماذج البديلة بسلاسة تامة.

أما حزمة ISLR (Introduction to Statistical Learning with Applications in R)، فتُعد المرجع التطبيقي الأبرز الذي يوفر مجموعات بيانات كلاسيكية وواقعية معيارية (مثل بيانات Hitters وبيانات Carseats وبيانات Khan)، والتي تُستخدم على نطاق واسع لتدريب الباحثين واختبار النماذج الشجرية واستيعاب آليات عملها على سيناريوهات انحدارية وتصنيفية متباينة التعقيد.

تتطلب الإجراءات المنهجية الرصينة ضبط البذرة العشوائية للنظام باستخدام دالة set.seed قبل تنفيذ أي عمليات تقسيم للبيانات أو إجراء تحقق متقاطع. يضمن هذا الإجراء إمكانية إعادة إنتاج النتائج الإحصائية بدقة تامة (Reproducibility) عند إعادة تشغيل التحليل بواسطة باحثين آخرين أو عبر بيئات حوسبة مختلفة، وهو معيار جوهري للنزاهة العلمية.

تسهم هذه المنظومة المتكاملة من الحزم في إدارة التبعيات البرمجية بفعالية، وضمان تدفق سلس للبيانات عبر مراحل التحليل المختلفة، بدءاً من استيراد العينات وتجهيزها، ومروراً بالنمذجة والضبط والتقييم، وانتهاءً بتوثيق المخرجات الإحصائية في صورها النهائية القابلة للنشر والتطبيق الميداني.

4. بناء شجرة الانحدار في R: التطبيق العملي خطوة بخطوة

4.1 تجهيز وتقسيم البيانات (Data Preparation & Splitting)

تبدأ الخطوة التطبيقية الأولى في بناء شجرة الانحدار باستيراد وتفحص مجموعة البيانات المستهدفة، ولتكن دراسة تطبيقية لتحليل محددات الرواتب السنوية أو المؤشرات النفسية والسلوكية المقاسة بمقاييس مستمرة. يتم فحص البيانات هيكلياً للتأكد من تخزين المتغيرات التفسيرية في قوالبها الصحيحة (رقمية، عاملية، فئوية)، واستكشاف القيم المفقودة والتأكد من مدى اتساق وحدات القياس عبر المشاهدات المختلفة.

يتم بعد ذلك تقسيم العينة الكلية بطريقة عشوائية ومضبوطة إلى مجموعتين مستقلتين: مجموعة التدريب (Training Set)، وتستحوذ عادة على نسبة تتراوح بين 70% إلى 80% من إجمالي البيانات وتُخصص لتدريب النموذج وبناء الشجرة؛ ومجموعة الاختبار (Testing Set)، وتشمل النسبة المتبقية (20% إلى 30%) وتُحجب تماماً عن خوارزمية التدريب لاستخدامها حصرياً في تقييم القدرة التنبؤية للنموذج على بيانات غير مرئية.

من الضروري فحص التوزيع الإحصائي للمتغير التابع المستمر عبر مجموعتي التدريب والاختبار، والتحقق من تطابق مقاييس النزعة المركزية والتشتت (المتوسط، الانحراف المعياري، المدى الربيعي) بين المجموعتين. يضمن هذا الفحص خلو عملية التقسيم العشوائي من أي تحيزات اختيار غير مقصودة قد تؤثر سلباً على مصداقية التقييم التنبؤي اللاحق.

تتميز نماذج أشجار الانحدار بعدم اشتراطها لتقييس المتغيرات المستقلة (Feature Scaling or Normalization)؛ فالشجرة تبحث عن نقاط التقسيم المثلى لكل متغير بشكل منفصل استناداً إلى ترتيب قيمه، مما يعني أن تباين المقاييس بين المتغيرات المختلفة (مثل العمر بالسنوات والدخل بآلاف الدولارات) لا يؤثر إطلاقاً على سلوك أو نتائج الخوارزمية، وهو ما يختصر الكثير من خطوات المعالجة المسبقة المعقدة.

4.2 صياغة النموذج واستخدام الدالة rpart()

لبناء شجرة الانحدار، يتم استخدام الدالة الأساسية rpart ضمن صيغة المعادلات الإحصائية المعيارية في R، حيث يُحدد المتغير التابع في الطرف الأيسر للمعادلة مفصولاً بعلامة التلدة (~) عن المتغيرات التفسيرية المستقلة في الطرف الأيمن. يمكن تضمين جميع المتغيرات المتاحة دفعة واحدة باستخدام رمز النقطة (.)، أو اختيار توليفة محددة من المتغيرات وفقاً للإطار النظري للدراسة.

يُعد تحديد وسيط الطريقة method = 'anova' داخل دالة rpart خطوة جوهرية لتوجيه الخوارزمية لبناء شجرة انحدار؛ حيث يوجه هذا الخيار النموذج لاستخدام مجموع مربعات البواقي وتحليل التباين كمعيار أساسي لتقييم نقاط التقسيم وتوليد تنبؤات رقمية مستمرة تمثل متوسطات الاستجابة داخل العقد الطرفية، وهو السلوك الافتراضي للخوارزمية عندما يكون المتغير التابع رقمياً.

يمكن للمحلل التدخل المباشر لضبط سلوك الشجرة عبر تمرير كائن تحكم مخصص يتم إنشاؤه بواسطة الدالة rpart.control. يتيح هذا الكائن تعيين معلمات مسبقة مثل cp = 0.01 لتحديد الحد الأدنى للتحسن المطلوب، وminsplit = 20 لمنع تقسيم العقد الصغيرة، وmaxdepth = 10 للسيطرة على العمق الرأسي للنموذج، مما يضمن توازناً أولياً بين القوة التفسيرية والتعقيد الحسابي.

ينتج عن تنفيذ الدالة كائن إحصائي متكامل من فئة rpart، يحتوي على جميع المعلومات الهيكلية للشجرة، ومصفوفات الانقسام، وإحصاءات التحقق المتقاطع الداخلي، وأهمية المتغيرات، مما يمهد الطريق لفحص المخرجات وتفسير الأنماط المستخلصة بصورة تحليلية منظمة.

4.3 فحص وتفسير مخرجات الشجرة الأولية

يبدأ استكشاف مخرجات النموذج بتطبيق دالة print على كائن الشجرة، والتي تعرض ملخصاً نصياً منظماً لبنية الشجرة وقواعد التفرع الهرمية. يتم ترقيم العقد بطريقة موحدة؛ حيث تمثل كل سطر في المخرجات عقدة مستقلة، مع توضيح الشرط المنطقي المستخدم في التقسيم، وعدد المشاهدات الواقعة ضمن العقدة، وقيمة التشتت الداخلي (Deviance)، والتنبؤ الرقمي النهائي المخصص لتلك العقدة.

للحصول على تفاصيل تشخيصية أعمق، تُستخدم دالة summary التي تقدم تحليلاً شاملاً لكل عقدة داخلية، بما في ذلك جميع نقاط التقسيم البديلة التي تم اختبارها وترتيبها التفضيلي، فضلاً عن المتغيرات البديلة (Surrogate Splits) وأوزانها وقدرتها على محاكاة التقسيم الأساسي في حال وجود قيم مفقودة، مما يعكس الشفافية الكاملة لآليات عمل الخوارزمية.

توفر مخرجات rpart أيضاً مقياساً رقمياً دقيقاً لـ أهمية المتغيرات التنبؤية (Variable Importance). يقيس هذا المؤشر القيمة التراكمية لتحسينات التباين التي أحدثها كل متغير، سواء عند اختياره كمتغير تقسيم أساسي أو كمتغير بديل عبر جميع مستويات الشجرة، مع تقييس القيم لتصل في مجموعها إلى 100%، مما يسمح بتحديد أكثر المتغيرات تأثيراً في تفسير تباين الاستجابة.

يُتيح الفحص المتأني لهذه المخرجات استخلاص الأنماط والعلاقات الهيكلية التي كشفت عنها الشجرة بين المدخلات التفسيرية والنتيجة المستمرة، وتحديد الفئات الفرعية من المشاهدات التي تتشارك في مستويات استجابة متقاربة، مما يوفر أساساً علمياً متيناً للانتقال إلى مراحل التقييم الإحصائي وضبط جودة التنبؤ.

5. تقييم أداء شجرة الانحدار وضبط جودة التنبؤ

5.1 حساب مقاييس الدقة الإحصائية (MSE, RMSE, MAE)

تبدأ مرحلة التقييم الموضوعي لأداء شجرة الانحدار بتوليد التنبؤات الرقمية لمشاهدات مجموعة الاختبار المستقلة باستخدام الدالة العامة predict وتمرير كائن النموذج والبيانات الجديدة. تضمن هذه الخطوة اختبار كفاءة الشجرة على عينة لم تُستخدم إطلاقاً في حساب نقاط التقسيم، مما يمنع الوقوع في فخ التفاؤل المفرط المصاحب لمقاييس التطابق التدريبية.

يُعد متوسط مربعات الخطأ (Mean Squared Error – MSE) المقياس الرياضي الأساسي لتقييم دقة التنبؤ، ويُحسب باستخراج متوسط الفروق المربعة بين القيم الفعلية والتنبؤية في عينة الاختبار. ونظراً لأن وحدات MSE تكون مربعة وصعبة التفسير المباشر، يتم أخذ الجذر التربيعي للحصول على الجذر التربيعي لمتوسط مربعات الخطأ (Root Mean Squared Error – RMSE)، والذي يعبر عن الخطأ التنبؤي بنفس وحدات قياس المتغير التابع الأصلية، مما يجعله مقياساً بديهياً وسهل التفسير.

إلى جانب RMSE، يُحسب متوسط الخطأ المطلق (Mean Absolute Error – MAE) باستخراج متوسط القيم المطلقة للبواقي التنبؤية. يتميز MAE بعدم حساسيته المفرطة للقيم الشاذة المتطرفة مقارنة بـ RMSE الذي يضاعف وزن الأخطاء الكبيرة عبر التربيع. تتيح المقارنة المشتركة بين RMSE وMAE تقييم مدى استقرار تنبؤات الشجرة وما إذا كانت تعاني من أخطاء فادحة متفرقة أم أن أخطاءها متسقة وموزعة بانتظام حول المتوسط.

يجب على الباحث مقارنة هذه المقاييس الإحصائية مع الانحراف المعياري العام للمتغير التابع في العينة الأصلية؛ فإذا كان RMSE المحسوب أقل بكثير من الانحراف المعياري، فإن ذلك يُشير إلى أن النموذج نجح بالفعل في استخلاص نمط تفسيري وتنبؤي حقيقي يتجاوز التنبؤ الساذج بالمتوسط الحسابي العام للبيانات.

5.2 حساب معامل التحديد (R-squared) ومقارنة الأداء

يمثل معامل التحديد (R-squared / R²) نسبة التباين الإجمالي في المتغير التابع التي تمكنت شجرة الانحدار من استيعابها وتفسيرها على بيانات الاختبار المستقلة. يُحسب هذا المعامل بطرح نسبة مجموع مربعات البواقي التنبؤية مقسومة على التباين الإجمالي للبيانات من الرقم واحد الصحيح، حيث تشير القيم القريبة من 1 إلى كفاءة تفسيرية ممتازة، في حين تشير القيم المنخفضة أو السالبة إلى ضعف قدرة الشجرة على التعميم خارج عينة التدريب.

لتقييم الجدوى المنهجية لاستخدام CART، يجب مقارنة قيمة R² وRMSE المحسوبة للشجرة مع نتائج نموذج الانحدار الخطي المتعدد التقليدي (Multiple Linear Regression) المطبق على نفس مجموعة البيانات. توضح هذه المقارنة ما إذا كانت المرونة اللامعلمية للأشجار قد حققت تفوقاً حقيقياً في التقاط الأنماط غير الخطية، أم أن البنية الخطية البسيطة كانت كافية وربما أفضل لتفسير العلاقة الإحصائية.

يتعين أيضاً تفحص دقة التنبؤ عبر مستويات مختلفة من المتغير التابع؛ حيث تعاني أشجار الانحدار بطبيعتها الهيكلية من ظاهرة “تسطيح التنبؤات” عند الأطراف القصوى للتوزيع، نظراً لأن تنبؤ الشجرة لا يمكن أن يتجاوز أدنى أو أعلى متوسط محسوب في الأوراق الطرفية. يساعد هذا الفحص في تحديد النطاقات الكمية التي يظهر فيها النموذج أداءً متميزاً مقابل النطاقات التي تتطلب حذراً تحليلياً إضافياً.

تُعد المقارنة المعيارية للأداء خطوة أساسية لاختيار الأداة التحليلية الأنسب لطبيعة الظاهرة المدروسة، وتوجيه الباحث نحو التوفيق الأمثل بين بساطة التفسير النظري ودقة الحسابات التنبؤية في الأبحاث التطبيقية المتقدمة.

5.3 تحليل البواقي (Residual Analysis) لنماذج الأشجار

يمثل تحليل البواقي التنبؤية (القيم الفعلية ناقصاً القيم التنبؤية) أداة تشخيصية لا غنى عنها للتحقق من سلامة الملاءمة الإحصائية لشجرة الانحدار. يتم رسم البواقي في مواجهة القيم التنبؤية للتأكد من خلو الشكل البياني من أي أنماط منتظمة أو انحناءات هندسية واضحة تشير إلى وجود علاقات غير خطية جوهرية لم تنجح الشجرة في استيعابها عبر تقسيماتها الحالية.

يساعد فحص البواقي أيضاً في اختبار فرضية تجانس التباين (Homoscedasticity)؛ حيث يشير تشتت البواقي بشكل عشوائي ومتساوٍ على جانبي خط الصفر عبر مختلف مستويات التنبؤ إلى جودة النموذج، بينما يشير اتساع التشتت على شكل قمع (Heteroscedasticity) إلى أن الشجرة تقدم تنبؤات دقيقة في مستويات معينة وتفقد استقرارها في مستويات أخرى، مما يستدعي مراجعة معايير التقسيم أو إجراء تحويلات للمتغير التابع.

يتيح تحليل البواقي التفصيلي تحديد الأوراق الطرفية المحددة التي تسجل أعلى معدلات تباين أو بواقي غير مفسرة داخل النموذج. يمكن استكشاف هذه العقد المعيبة للوقوف على خصائص المشاهدات المستقرة داخلها، والتحقق مما إذا كانت تمثل فئات فرعية مجهولة تتطلب إدخال متغيرات تفسيرية جديدة أو تحسين تمثيل العينة الأصلية.

بناءً على نتائج هذا التشخيص، يستطيع الباحث تبني استراتيجيات تعديل منهجية تشمل إعادة ضبط معلمات التحكم المسبقة، أو تجربة تحويلات رياضية للمتغيرات (مثل التحويل اللوغاريتمي)، أو اللجوء إلى تقليم الأغصان الضعيفة لتحقيق استقرار بنيوي أعلى للبواقي وكفاءة أدق في التنبؤ النهائي.

6. بناء شجرة التصنيف في R: التطبيق العملي للبيانات الفئوية

6.1 تجهيز المتغيرات الفئوية وتوزيع الفئات

يتطلب بناء شجرة التصنيف في R التأكد أولاً من تحويل المتغير التابع والمتغيرات التفسيرية النوعية إلى عوامل تصنيفية (Factors) باستخدام دالة as.factor. يُعد هذا الإجراء البرمجي شرطاً حاسماً لتمكين خوارزمية rpart من التعرف على الطبيعة غير الرقمية للمتغير واستدعاء دوال الحساب الاحتمالي ومؤشرات الشوائب المخصصة لبيانات التصنيف بدلاً من معايير الانحدار.

يجب على المحلل فحص توازن الفئات (Class Distribution) بدقة داخل المتغير التابع. في العديد من التطبيقات الواقعية (مثل الكشف عن الاحتيال المالي أو تشخيص الأمراض النادرة)، تكون نسبة الفئة الإيجابية المستهدفة ضئيلة للغاية مقارنة بالفئة السائدة، وهو ما يُعرف بمشكلة عدم توازن الفئات (Class Imbalance). يؤدي تجاهل هذه المشكلة إلى بناء شجرة منحازة تفضل دائماً تصنيف الحالات ضمن الفئة الأكثر تكراراً لتحقيق دقة ظاهرية مضللة.

لمعالجة هذه المشكلة أثناء مرحلة الإعداد، يُنصح بتطبيق التقسيم الطبقي للبيانات (Stratified Sampling) باستخدام دوال متخصصة مثل createDataPartition في حزمة caret. يضمن هذا التقسيم الحفاظ على نفس النسب المئوية الدقيقة للفئات المستهدفة في كل من مجموعتي التدريب والاختبار، مما يمنع تشوه العينة ويضمن تدريباً وتقييماً متوازناً على جميع فئات الاستجابة.

تتميز خوارزمية CART بقدرتها الفريدة على التعامل المباشر مع المتغيرات التفسيرية الفئوية دون الحاجة إلى تحويلها مسبقاً إلى متغيرات وهمية (Dummy Variables)؛ حيث تختبر الخوارزمية تلقائياً جميع التوليفات والاندماجات الممكنة لمستويات المتغير الفئوي للعثور على التقسيم الأمثل، مما يختصر المعالجات البيانية ويحافظ على البنية التفسيرية للمتغيرات الأصلية.

6.2 تنفيذ نموذج التصنيف باستخدام method = ‘class’

يتم بناء شجرة التصنيف باستدعاء دالة rpart مع التصريح الصريح بالوسيط method = 'class'. يوجه هذا الخيار الخوارزمية إلى تبني معايير الشوائب الاحتمالية (مثل مؤشر جيني) كدالة هدف لفصل العقد وتحديد التنبؤ النهائي لكل ورقة طرفية استناداً إلى تصويت الأغلبية وتوزيع الاحتمالات البعدية للفئات.

توفر دالة rpart مرونة فائقة لمعالجة التكاليف التمييزية للأخطاء من خلال تمرير مصفوفة الخسارة (Loss Matrix) عبر وسيط parms. تُستخدم هذه الميزة عندما تكون تكلفة الخطأ من النوع الثاني (السلبي الخاطئ) أعلى بكثير من تكلفة الخطأ من النوع الأول (الإيجابي الخاطئ)، كما في الفحوصات الطبية الحرجة، حيث تُجبر مصفوفة الخسارة الخوارزمية على تفضيل تصنيف الحالات المشتبه بها ضمن الفئة الخطرة لتقليل التكلفة الإجمالية للأخطاء.

يمكن للمحلل أيضاً التبديل بين معايير التقسيم المختلفة داخل وسيط parms؛ حيث يمكن اختيار معيار نسبة المعلومات والإنتروبيا (Information Split) كبديل لمؤشر جيني الافتراضي، واختبار تأثير هذا التغيير على بنية الشجرة الناتجة واستقرار حدود القرار الفاصلة بين الفئات المختلفة.

عند استخدام الدالة التنبؤية predict على نموذج التصنيف المدرب، يُتاح للباحث خياران أساسيان: استخراج الفئة التصنيفية النهائية مباشرة عبر الوسيط type = 'class'، أو استخراج مصفوفة الاحتمالات التنبؤية البعدية (Posterior Probabilities) لكل فئة عبر الوسيط type = 'prob'، وهو الخيار الأهم لإجراء التشخيصات المتقدمة وضبط عتبات اتخاذ القرار وتقييم منحنيات الحساسية والنوعية بدقة متناهية.

6.3 تفسير مسارات القرار وقواعد التصنيف

تُعد القابلية المباشرة للاستقراء والتفسير إحدى أعظم مزايا أشجار التصنيف؛ إذ يتحول كل مسار ينطلق من العقدة الجذرية وصولاً إلى أي ورقة طرفية إلى قاعدة قرار منطقية قطعية (Deterministic Decision Rule) تأخذ صيغة شرطية صريحة (إذا تحقق الشرط أ والشرط ب، فإن الحالة تنتمي إلى الفئة ج بنسبة احتمال س%).

يُحلل الباحث خصائص الأوراق الطرفية المختلفة من خلال تقييم درجة نقائها الإحصائي وحجم الدعم (Support) الممثل بعدد المشاهدات المستقرة في كل ورقة. تعكس الأوراق ذات النقاء العالي مسارات تصنيف قوية وحاسمة، في حين تشير الأوراق ذات التوزيعات الاحتمالية المتقاربة إلى مناطق غموض حدودية بين الفئات تتطلب مزيداً من الفحص أو جمع متغيرات تفسيرية إضافية لفض التشابك بينها.

تسمح هذه القواعد التفسيرية بربط النتائج الإحصائية مباشرة بالأطر والفرضيات النظرية للدراسة؛ ففي الأبحاث النفسية والاجتماعية على سبيل المثال، يمكن للشجرة أن تكشف عن “بروفايلات” أو أنماط شخصية وسلوكية مركبة تحدد المجموعات الأكثر عرضة للخطر أو الأكثر استجابة لبرامج التدخل، مما يحول البيانات الكمية الجافة إلى رؤى استراتيجية قابلة للتنفيذ.

يُسهم التوثيق المنهجي لهذه القواعد والمسارات في بناء أنظمة خبيرة شفافة وموثوقة تحظى بقبول واسع لدى الممارسين وصناع القرار مقارنة بالنماذج المعقدة غير الشفافة، وتؤسس لمنظومة عمل إجرائية واضحة المعالم تدعم التطبيقات الميدانية المتنوعة.

7. تقييم دقة شجرة التصنيف والمقاييس التشخيصية

7.1 بناء وتفسير مصفوفة الارتباك (Confusion Matrix)

تُعد مصفوفة الارتباك (Confusion Matrix) حجر الزاوية في التقييم التشخيصي لأشجار التصنيف؛ حيث تقدم جدولاً تقاطعياً ثنائياً أو متعدد الأبعاد يقارن بين الفئات الفعلية المرصودة في مجموعة الاختبار والتنبؤات الصادرة عن النموذج. يتم توليد هذه المصفوفة بكفاءة عالية في R باستخدام دالة confusionMatrix() التابعة لحزمة caret، والتي تحسب تلقائياً طيفاً واسعاً من المقاييس المشتقة وفواصل الثقة الإحصائية المرتبطة بها.

يُعد مقياس الدقة الإجمالية (Overall Accuracy) المؤشر الأكثر شيوعاً، ويُعبر عن نسبة الحالات التي تم تصنيفها بشكل صحيح (سواء كانت موجبة أو سالبة) إلى إجمالي عدد الحالات. ورغم أهميته البديهية، إلا أن الاعتماد الحصري عليه قد يكون مضللاً للغاية في حالات عدم توازن الفئات، حيث يمكن لنموذج غير كفء يحقق دقة 95% بمجرد التنبؤ الدائم بالفئة السائدة، بينما يفشل تماماً في رصد الفئة النادرة المستهدفة بالدراسة.

لتجاوز هذا القصور، تُحلل مقاييس الكفاءة التفصيلية لكل فئة؛ وفي مقدمتها الحساسية (Sensitivity / Recall)، والتي تقيس قدرة النموذج على الرصد الصحيح للحالات الإيجابية الفعلية وتجنب السلبيات الكاذبة، والنوعية (Specificity)، والتي تقيس قدرته على الاستبعاد الصحيح للحالات السلبية وتجنب الإيجابيات الكاذبة. يُعد التوازن بين هذين المقياسين مؤشراً حاسماً على الكفاءة التشخيصية للنموذج الشجري.

بالإضافة إلى ذلك، يتم تقييم القيمة التنبؤية الإيجابية (Positive Predictive Value – PPV / Precision) والقيمة التنبؤية السلبية (Negative Predictive Value – NPV). توفر هذه المؤشرات إجابات عملية للممارسين حول احتمالية صحة التشخيص عند صدور تنبؤ إيجابي أو سلبي من النموذج، مما يمنح عملية التقييم بعداً تطبيقياً دقيقاً يرتبط مباشرة باتخاذ القرارات في الواقع الميداني.

7.2 تحليل منحنى خصائص التشغيل للمستقبل (ROC) والمساحة تحته (AUC)

يوفر منحنى خصائص التشغيل للمستقبل (Receiver Operating Characteristic – ROC Curve) أداة تقييمية بصرية ورياضية متقدمة لقياس كفاءة شجرة التصنيف عبر جميع عتبات اتخاذ القرار الاحتمالية الممكنة، وليس فقط عند نقطة القطع الافتراضية (0.50). يتم بناء المنحنى في R باستخدام حزم متخصصة مثل pROC برسم معدل الإيجابيات الحقيقية (الحساسية) على المحور الرأسي في مواجهة معدل الإيجابيات الكاذبة (1 – النوعية) على المحور الأفقي.

يمثل مقياس المساحة تحت المنحنى (Area Under the Curve – AUC) المؤشر الرقمي الأبرز المأخوذ من تحليل ROC، وتتراوح قيمته بين 0.50 (مما يشير إلى نموذج عشوائي عديم الفائدة التنبؤية) و1.00 (مما يعكس نموذجاً تمييزياً مثالياً وخالياً من الأخطاء). تكمن قوة AUC في كونه مقياساً موضوعياً غير متأثر بعدم توازن الفئات أو بتغير نسب الحالات في المجتمع، مما يجعله المعيار الذهبي للمقارنة المنهجية بين النماذج المختلفة.

يُستخدم منحنى ROC أيضاً لتحديد نقطة القطع الاحتمالية المثلى (Optimal Cut-off Threshold)، مثل استخدام معيار Youden’s Index لتحقيق أقصى توازن ممكن بين الحساسية والنوعية، أو ضبط العتبة لتفضيل الحساسية على حساب النوعية وفقاً للاحتياجات السريرية أو التطبيقية للمشروع التحليلي.

تتيح المقارنة البصرية والإحصائية لمنحنيات ROC بين أشجار التصنيف الفردية ونماذج الانحدار اللوجستي أو النماذج التجميعية استبيان الفروق الجوهرية في القدرة التمييزية وتحديد الخوارزمية الأكثر ملاءمة للأهداف التنبؤية بدقة واستقلالية تامة عن تحيزات التوزيع.

7.3 مقياس كوهين كابا (Cohen’s Kappa) ومقاييس التوافق

يُعد معامل كوهين كابا (Cohen’s Kappa) أحد أهم المقاييس الإحصائية المتقدمة المستخدمة لتقييم كفاءة أشجار التصنيف؛ حيث يقيس درجة التوافق الفعلي بين التصنيفات التنبؤية والتصنيفات الحقيقية بعد استبعاد نسبة التوافق التي يمكن أن تحدث بمحض الصدفة الإحصائية البحتة (Chance Agreement). تبرز أهمية كابا الاستثنائية عند التعامل مع مجموعات البيانات غير المتوازنة حيث تصبح مقاييس الدقة التقليدية مضللة.

تتراوح قيم كابا نظرياً بين أقل من الصفر و1.00؛ وتُفسر القيم التي تتجاوز 0.60 عموماً بأنها توافق جيد إلى جوهري، في حين تشير القيم التي تتجاوز 0.80 إلى توافق شبه مثالي بين النموذج والواقع. يمنح هذا المقياس الباحثين ثقة إحصائية متينة في أن النتائج الإيجابية للنموذج ليست ناتجة عن التخمين العشوائي أو الانحياز للفئات الكبيرة في العينة.

بالتوازي مع ذلك، يُستخدم مقياس F1-Score كمعيار توازني يمثل المتوسط التوافقي (Harmonic Mean) بين الدقة (Precision) والاسترجاع (Recall). يتميز F1-Score بتركيزه الصارم على أداء النموذج في رصد وتصنيف الفئة الإيجابية المستهدفة، مما يجعله المقياس المفضل في مجالات استرجاع المعلومات، والكشف عن الأمراض والأنماط السلوكية الشاذة.

يوفر التكامل بين مصفوفة الارتباك، وتحليل ROC/AUC، ومقاييس Kappa وF1-Score رؤية تشخيصية بانورامية متكاملة تكشف كافة جوانب القوة والضعف في شجرة التصنيف، وتضمن ضبطاً محكماً لجودة التنبؤ ومصداقيته قبل اعتماده في التطبيقات العملية الموسعة.

8. تقليم الأشجار (Tree Pruning) والتحكم في التعقيد

8.1 مفهوم التقليم وأهميته في معالجة الإفراط في المطابقة

تتميز خوارزمية CART بميلها الطبيعي نحو النمو والتفرع الكثيف لاستيعاب كافة تفاصيل عينة التدريب، مما ينتج عنه شجرة بالغة التعقيد تعاني من مشكلة الإفراط في المطابقة (Overfitting). يؤدي هذا النمو المفرط إلى تدهور قدرة الشجرة على التعميم لبيانات جديدة ومستقلة، فضلاً عن تحولها إلى هيكل بصري فوضوي يفقد أهم مزاياه المتمثلة في الشفافية وسهولة التفسير النظري.

لحل هذه المعضلة الرياضية، وضعت نظرية CART منهجية التقليم البعدي القائم على تكلفة التعقيد (Cost-Complexity Pruning / Weakest Link Pruning). تقوم هذه الاستراتيجية على مبدأ بناء شجرة كبيرة وضخمة الحجم أولاً، ثم الشروع في قص وتقليم الأغصان والفروع الضعيفة التي لا تُسهم بشكل جوهري في تقليل الخطأ التنبؤي، تماماً كما يقلم البستاني الفروع الزائدة في الشجرة الطبيعية لتشجيع نمو الجذع الأساسي القوي.

تستند هذه الآلية إلى دالة هدف رياضية توازن بين شيئين متعارضين: خطأ التدريب الإجمالي وحجم الشجرة (الممثل بعدد الأوراق الطرفية)، مضروباً في معامل التعقيد (Complexity Parameter – cp). يمثل معامل cp تكلفة أو “غرامة” جزائية تُفرض على كل ورقة طرفية إضافية تتم إضافتها إلى النموذج؛ فإذا كان الانخفاض في الخطأ الناتج عن إضافة تفريع جديد أقل من قيمة cp، يُلغى هذا التفريع ويُقلم الغصن لصالح تبسيط الهيكل العام.

يتميز التقليم البعدي (Post-pruning) بتفوقه النظري والتطبيقي الحاسم على أساليب التوقف المبكر (Pre-pruning)؛ حيث يتيح للنموذج استكشاف التفاعلات غير الخطية العميقة متعددة المستويات التي قد تبدو غير واعدة في خطوات التقسيم الأولى ولكنها تثبت قيمتها التفسيرية في المستويات الأدنى، ثم إزالة الفروع التي لا تقدم فائدة حقيقية بدقة متناهية.

8.2 استخدام التحقق المتقاطع (Cross-Validation) لاختيار معامل التعقيد (cp)

لتحديد القيمة المثلى لمعامل التعقيد (cp) دون الوقوع في الانحياز لعينة التدريب، تنفذ حزمة rpart تلقائياً إجراء التحقق المتقاطع من الدرجة K (K-Fold Cross-Validation) المدمج (10 طيات افتراضياً) أثناء بناء الشجرة الأولية. يقسم هذا الإجراء بيانات التدريب إلى 10 أجزاء، ويقوم بتدريب الشجرة على 9 أجزاء واختبار خطأ التعقيد على الجزء المتبقي بشكل دوري متكرر لجميع أحجام الأشجار الفرعية المحتملة.

يتم تفحص نتائج هذا التحقق المتقاطع باستخدام دالة printcp() التي تعرض جدولاً إحصائياً يوضح قيم cp المختلفة، وعدد التقسيمات المقابلة (nsplit)، والخطأ التدريبي النسبي (rel error)، وخطأ التحقق المتقاطع النسبي (xerror)، مصحوباً بالخطأ المعياري لخطأ التحقق (xstd). يُعد عمود xerror الدليل الإحصائي الأساسي لاختيار حجم الشجرة الأنسب.

توفر حزمة rpart أداة بصرية مكملة عبر دالة plotcp()، والتي ترسم بيانياً خطأ التحقق المتقاطع في مواجهة قيم معامل التعقيد المختلفة، مع وضع خط أفقي منقط يمثل قاعدة الخطأ المعياري الواحد (1-SE Rule) الشهيرة لـ Breiman. تنص هذه القاعدة المنهجية على اختيار أبسط شجرة ممكنة (أصغر عدد من العقد وأكبر قيمة لـ cp) يقع خطأ التحقق المتقاطع الخاص بها ضمن نطاق انحراف معياري واحد من أدنى خطأ مسجل، مما يضمن التوازن المثالي بين البساطة الهيكلية والقدرة التنبؤية.

يمكن استخراج القيمة المثلى لمعامل التعقيد برمجياً من كائن الشجرة عبر استهداف السطر الذي يسجل أدنى قيمة لـ xerror، أو تطبيق قاعدة 1-SE رياضياً، مما يمهد لتمرير هذه القيمة الدقيقة لدوال التقليم المخصصة لتوليد النموذج النهائي المعتمد.

8.3 تنفيذ التقليم عملياً عبر دالة prune()

بمجرد تحديد قيمة cp المثلى، يتم تطبيق عملية التقليم الفعلي على الشجرة الكاملة الأولية باستخدام دالة prune() في R، بتمرير كائن الشجرة الكبيرة وتحديد وسيط معامل التعقيد المستهدف cp = opt_cp. تقوم الدالة بقص جميع الفروع والعقد التي لا تستوفي هذا المعيار الجزائي بدقة متناهية، منتجة كائناً شجرياً مقلماً وجديداً.

تتم إعادة رسم الشجرة المقلمة باستخدام rpart.plot لملاحظة التغيرات البنيوية؛ حيث يلاحظ المحلل فوراً انخفاض عدد الأوراق الطرفية وزوال التفريعات الهامشية المعقدة، وبروز المسارات والقرارات التفسيرية الجوهرية بوضوح تام، مما يجعل النموذج أكثر بساطة وأسهل في القراءة والتفسير العلمي.

يتعين بعد ذلك إعادة حساب مقاييس الأداء التنبؤي (RMSE وR² لشجرة الانحدار، ومصفوفة الارتباك وAUC لشجرة التصنيف) على بيانات مجموعة الاختبار المستقلة للتحقق من أثر التقليم. في معظم التطبيقات العملية، يلاحظ أن الشجرة المقلمة تحقق أداءً تنبؤياً متطابقاً أو متفوقاً على بيانات الاختبار مقارنة بالشجرة الضخمة غير المقيدة، على الرغم من انخفاض دقتها الظاهرية قليلاً على بيانات التدريب.

يُجسد هذا السلوك التطبيقي المبدأ الإحصائي الكلاسيكي “نصل أوكام” (Occam’s Razor)، حيث تُفضل النماذج الأبسط والأكثر إحكاماً بنيوياً طالما أنها تقدم نفس الكفاءة التفسيرية، مما يمنح الشجرة المقلمة مناعة قوية ضد تقلبات البيانات الجديدة وجاهزية تامة للتطبيق العملي المستدام.

9. التصور البياني المتقدم وتفسير قرارات الشجرة في R

9.1 التخصيص الاحترافي باستخدام rpart.plot

تُمثل الشفافية البصرية الميزة الأكثر جاذبية في نماذج CART، وتوفر حزمة rpart.plot قدرات واسعة النطاق لتحويل الأشجار الإحصائية إلى لوحات بيانية توضيحية فائقة الجمال والدقة العلمية. تتيح دالة rpart.plot() عبر وسائطها المتعددة التحكم التام في نمط العرض ونوعية البيانات المعروضة داخل العقد لتناسب متطلبات التقارير الأكاديمية والتنفيذية.

من أهم وسائط التخصيص وسيط type الذي يحدد موضع الشروط المنطقية ونمط التفرع، ووسيط extra الذي يتحكم في طبيعة الأرقام المطبوعة داخل العقد الطرفية والداخلية؛ مثل عرض التكرارات العددية، أو النسب المئوية للمشاهدات، أو التوزيع الاحتمالي التفصيلي للفئات في أشجار التصنيف، أو متوسط الاستجابة والتباين في أشجار الانحدار، مما يثري المحتوى المعرفي للمخطط.

يتيح وسيط box.palette تطبيق لوحات ألوان متدرجة واحترافية (مثل درجات الأزرق والأخضر أو لوحات Viridis الملائمة لعمى الألوان)، حيث يتم تظليل العقد تلقائياً بكثافة لونية تتناسب طردياً مع درجة نقاء العقدة أو ارتفاع متوسط الاستجابة التنبؤية، مما يمنح القارئ إدراكاً بصرياً فورياً للمناطق الإحصائية الأكثر أهمية وتأثيراً في النموذج.

يمكن أيضاً التحكم في أحجام الخطوط، وهوامش التباعد بين العقد، وتدوير النصوص، وإضافة عناوين وهوامش توضيحية شاملة عبر وسائط مثل fallen.leaves = TRUE وcex وtweak. تضمن هذه التعديلات التنسيقية تجنب تداخل النصوص في الأشجار الكبيرة، وإنتاج رسوم بيانية جاهزة للنشر المباشر في المجلات العلمية المرموقة دون الحاجة إلى معالجات رسومية خارجية.

9.2 التصور التفاعلي للأشجار باستخدام visNetwork وpartykit

مع تزايد حجم وتعقيد مجموعات البيانات، قد تصبح المخططات الشجرية الثابتة صعبة التصفح، وهنا تبرز أهمية أدوات التصور التفاعلي والبيئي المتقدم في R. تتيح حزمة partykit تحويل كائنات rpart التقليدية إلى كائنات شجرية متطورة من فئة party، والتي توفر مخططات بيانية استثنائية تدمج رسوماً بيانية مصغرة (Boxplots أو Barplots) داخل كل ورقة طرفية لتوضيح توزيع الاستجابة بالتفصيل.

بالإضافة إلى ذلك، توفر حزم التصور الشبكي التفاعلي مثل visNetwork وDiagrammeR إمكانية تحويل شجرة القرار إلى شبكة تفاعلية ديناميكية. يستطيع المستخدم من خلال هذه الواجهات تكبير وتصغير العقد (Zooming)، وسحب الفروع وتصفح تفاصيل كل مسار تنبؤي بمجرد تمرير الفأرة (Hovering)، مما يسهل استكشاف النماذج المعقدة ذات المستويات المتعددة.

يمكن دمج هذه المخططات التفاعلية بسلاسة داخل تقارير R Markdown الديناميكية ولوحات التحكم التفاعلية Shiny Applications. يتيح هذا الدمج للباحثين والمحللين مشاركة نماذجهم التنبؤية مع صناع القرار وفرق العمل غير التقنية في قوالب برمجية تفاعلية تمكنهم من اختبار سيناريوهات مختلفة وتتبع مسارات القرار الشجري بشكل حي ومباشر.

يُمثل الانتقال من التصور الاستاتيكي إلى التصور التفاعلي خطوة نوعية في تعزيز التواصل العلمي، وجسر الفجوة بين التحليلات الإحصائية الرياضية المعقدة والتطبيقات التشغيلية الميدانية في مختلف بيئات الأعمال والبحث الأكاديمي.

9.3 استخراج وتصدير قواعد القرار النصية

في العديد من البيئات التشغيلية والأنظمة الخبيرة، يُفضل تحويل شجرة القرار الهندسية إلى مجموعة من القواعد النصية الصريحة (Textual Decision Rules) التي يمكن دمجها مباشرة في برمجيات أخرى أو استخدامها كبروتوكولات عمل ميدانية للموظفين والممارسين دون الحاجة للرجوع إلى بيئة R.

توفر حزمة rpart.plot دالة استثنائية تُعرف بـ rpart.rules()، والتي تقوم تلقائياً بتحليل كائن الشجرة واستخراج كافة المسارات المؤدية إلى الأوراق الطرفية وصياغتها في شكل قواعد شرطية موحدة ومنسقة بدقة تأخذ صيغة “IF-THEN”. تتضمن كل قاعدة الشروط التفسيرية المتسلسلة، متبوعة بالتنبؤ النهائي ونسبة الدعم الإحصائي واحتمالات الفئات المرافقة لكل قرار.

يمكن للمحلل فرز وترتيب هذه القواعد البرمجية استناداً إلى حجم التغطية الإحصائية أو احتمالية التنبؤ أو متوسط الاستجابة عبر وسائط التحكم المتاحة في الدالة. يتيح ذلك تسليط الضوء على القواعد الأكثر حساسية أو المسارات التي تستوعب النسبة الأكبر من المشاهدات في المجتمع المدروس.

يُتاح تصدير هذه القواعد النصية بسهولة إلى ملفات نصية مستقلة أو جداول بيانات إلكترونية (CSV أو Excel) لأغراض التوثيق المنهجي، أو التدقيق الإجرائي، أو برمجتها بلغات أخرى مثل SQL أو Python داخل قواعد البيانات المؤسسية، مما يضمن الاستفادة القصوى من مخرجات النمذجة الشجرية في التطبيقات الواقعية المتنوعة.

10. التعامل مع التحديات الإحصائية المتقدمة في CART

10.1 إدارة البيانات المفقودة وتقنية التقسيم البديل (Surrogate Splits)

تُمثل معالجة البيانات المفقودة (Missing Data) أحد أكبر التحديات في النمذجة الإحصائية الكلاسيكية، حيث تلجأ معظم النماذج الخطية إلى استبعاد الحالات التي تحتوي على أي قيمة مفقودة بالكامل (Listwise Deletion)، مما يؤدي إلى فقدان هائل في حجم العينة وانحيازات خطيرة في التقديرات. في المقابل، تقدم خوارزمية CART حلاً إحصائياً عبقرياً ومدمجاً يُعرف بـ التقسيمات البديلة (Surrogate Splits).

عندما تواجه الخوارزمية قيمة مفقودة في المتغير التفسيري الأساسي المختار لتقسيم عقدة معينة، فإنها لا تستبعد تلك المشاهدة؛ بل تبحث تلقائياً عن متغير تفسيري بديل يُظهر أعلى درجة ارتباط وتوافق في فرز البيانات المشابهة للتقسيم الأساسي. يُستخدم هذا المتغير البديل لتوجيه المشاهدة إلى الفرع الصحيح، وإذا كانت القيمة في البديل الأول مفقودة أيضاً، تنتقل الخوارزمية إلى البديل الثاني وهكذا، وصولاً إلى تصنيف المشاهدة وفقاً لفرع الأغلبية كخيار أخير.

يمكن للمحلل فحص جودة وقوة المتغيرات البديلة في مخرجات دالة summary() لكائن الشجرة، والتحكم في الحد الأقصى لعدد البدائل المسموح بحسابها عبر وسيط maxsurrogate في دالة rpart.control. يتيح هذا الضبط مرونة حسابية فائقة، خاصة عند التعامل مع مجموعات بيانات ضخمة تحتوي على نسب فقد متفاوتة بين المتغيرات.

ورغم الكفاءة الاستثنائية لتقنية التقسيم البديل في الاستفادة من كامل حجم العينة دون استبعاد، إلا أنه في الدراسات التي تعاني من فقد بنيوي معقد أو غير عشوائي (MNAR)، يُفضل مقارنة نتائج الشجرة مع أساليب التضمين المتعدد (Multiple Imputation) المتقدمة للتأكد من عدم تأثر البنية الهيكلية للشجرة بآليات الفقد الإحصائي.

10.2 التعامل مع مشكلة عدم توازن الفئات (Imbalanced Datasets)

يؤدي اختلال التوازن الشديد بين فئات المتغير التابع (مثل وجود 98% من الحالات السليمة مقابل 2% فقط من الحالات المصابة) إلى ميل خوارزمية CART نحو تجاهل الفئة النادرة واعتبارها ضوضاء إحصائية، مما ينتج عنه شجرة عاجزة وظيفياً عن تحقيق الهدف التنبؤي الأساسي من بنائها.

توفر بيئة CART في R عدة استراتيجيات منهجية لمعالجة هذا الخلل؛ أولها استخدام الاحتمالات القبلية المسبقة (Prior Probabilities) أو أوزان الحالات (Case Weights) عبر وسيط parms = list(prior = c(...)) أو وسيط weights في دالة rpart. يتيح ذلك منح وزن إحصائي مضاعف لمشاهدات الفئة النادرة لتعويض قلة عددها وإجبار الخوارزمية على البحث عن مسارات تقسيم تضمن عزلها وتمييزها بدقة.

الاستراتيجية الثانية تعتمد على تقنيات إعادة أخذ العينات المتقدمة (Resampling Techniques) قبل البدء في ملاءمة الشجرة، مثل خوارزمية الإفراط في أخذ العينات الاصطناعية من الفئة الأقلية SMOTE (Synthetic Minority Over-sampling Technique) أو تقنية ROSE. تعمل هذه الأساليب على توليد مشاهدات تركيبية واقعية للفئة النادرة أو تخفيض عينات الفئة السائدة لخلق توازن اصطناعي يساعد الشجرة على تعلم الخصائص المميزة لكلا الطرفين.

بالإضافة إلى ذلك، يُمكن اللجوء إلى ضبط عتبات القرار الاحتمالية (Threshold Tuning) واستخدام مصفوفات الخسارة التمييزية، مع التركيز على تقييم النموذج باستخدام مقاييس ملائمة لعدم التوازن مثل AUC وF1-Score وPrecision-Recall Curves، بدلاً من الاعتماد المضلل على الدقة الإجمالية للنموذج.

10.3 التعامل مع المتغيرات الفئوية ذات المستويات المتعددة (High-Cardinality Categorical Predictors)

تعاني خوارزمية CART الكلاسيكية من تحيز إحصائي متأصل يُعرف بـ التحيز نحو التعددية (Selection Bias towards High-Cardinality Variables)؛ حيث تميل الخوارزمية تلقائياً إلى تفضيل المتغيرات الفئوية التي تحتوي على عدد كبير جداً من المستويات (مثل الرموز البريدية، أو أسماء المحافظات، أو التخصصات الدقيقة) واختيارها كنقاط تقسيم أساسية على حساب المتغيرات الثنائية أو المستمرة الأكثر أهمية نظرياً.

ينشأ هذا التحيز لأن المتغير الذي يحتوي على $K$ من المستويات يوفر $2^{K-1}-1$ توليفة ممكنة من التقسيمات الثنائية، مما يمنح الخوارزمية فضاءً هائلاً للبحث يزيد من احتمالية عثورها على تقسيم عشوائي يحقق انخفاضاً زائفاً في الشوائب التدريبية بمحض الصدفة، مما يؤدي إلى تضخم الشجرة والإفراط الشديد في المطابقة.

للتعامل المنهجي مع هذه المشكلة في R، يتعين على الباحث تطبيق استراتيجيات معالجة مسبقة ذكية؛ مثل تجميع المستويات الفئوية المتقاربة (Collapsing Categories) ودمج الفئات النادرة ذات التكرارات المنخفضة ضمن فئة جامعة باستخدام دوال حزمة forcats المتخصصة في إدارة المتغيرات العاملية.

البديل الأكثر تقدماً هو استخدام تقنية الترميز المعتمد على الهدف (Target Encoding / Mean Encoding)؛ حيث يتم استبدال كل مستوى فئوي بمتوسط قيمة المتغير التابع المقابلة له مع تطبيق معاملات تمهيد وتنعيم بيزية لتجنب التسريب المعلوماتي، مما يحول المتغير الفئوي المتعدد إلى متغير رقمي مستمر ومستقر يحد من التحيز الهيكلي ويحافظ على كفاءة ومصداقية التقسيم الشجري.

11. مقارنة أشجار القرار الفردية مع النماذج الخطية ونماذج التجميع (Ensemble Methods)

11.1 مقارنة الأداء والشفافية: CART مقابل الانحدار الخطي واللوجستي

تخضع المفاضلة بين أشجار القرار الفردية ونماذج الانحدار المعلمية التقليدية (الانحدار الخطي واللوجستي) لمقايضة منهجية كبرى بين الشفافية التفسيرية (Interpretability) والمرونة الوظيفية (Functional Flexibility). تتميز CART بقدرتها الاستثنائية على التقاط العلاقات الوعرة والتفاعلات المعقدة والانقطاعات الهيكلية في البيانات دون الحاجة لتحديدها مسبقاً في المعادلة، بينما تعجز النماذج الخطية عن استيعاب هذه الأنماط ما لم يقم الباحث بصياغتها يدوياً.

في المقابل، إذا كانت العلاقة الحقيقية الكامنة في المجتمع المدروس علاقة خطية ناعمة ومستمرة ($Y = \beta X + \epsilon$)، فإن النماذج الخطية تتفوق بوضوح على CART؛ فالأشجار تحاول محاكاة الخط المستقيم الناعم عبر سلسلة من التقسيمات الدرجية المتقطعة (Stepwise Approximations)، وهو ما يتطلب شجرة بالغة العمق لتقريب الخط بدقة مقبولة، مما يرفع تباين النموذج ويقلل كفاءته التنبؤية في هذه الحالات الخاصة.

تتميز نماذج الانحدار التقليدية بتوفير اختبارات دلالة إحصائية قياسية (p-values) وفواصل ثقة دقيقة للمعلمات، مما يسمح باختبار الفرضيات النظرية حول التأثيرات الهامشية المستقلة لكل متغير عند تثبيت المتغيرات الأخرى، وهي خاصية تفتقر إليها بنية CART الهرمية التي تركز على التفاعلات المشروطة بدلاً من التأثيرات الجزئية المعزولة.

تظل الميزة الأقوى لـ CART هي سهولة استيعابها من قبل الممارسين وصناع القرار عبر قواعد “IF-THEN” والمخططات البصرية المباشرة، مما يجعلها الخيار المثالي في البيئات التشغيلية والسريرية التي تتطلب تبريراً منطقياً وواضحاً لكل قرار تنبؤي على حدة.

11.2 الانتقال نحو نماذج التجميع: الغابات العشوائية (Random Forests) والتعزيز (Boosting)

على الرغم من مزايا أشجار CART الفردية، إلا أنها تعاني من نقطة ضعف إحصائية جوهرية تتمثل في التباين المرتفع وعدم الاستقرار الهيكلي (High Variance & Instability)؛ حيث يمكن أن يؤدي تغير طفيف جداً في بيانات عينة التدريب إلى تغيير جذري في العقدة الجذرية ونقاط التقسيم، منتجاً شجرة مختلفة تماماً في بنيتها وتنبؤاتها.

لمعالجة هذا القصور وتخفيض التباين، طُوّرت أساليب التعلم التجميعي (Ensemble Methods) التي تعتمد على دمج مئات أو آلاف الأشجار معاً. تتصدر هذه الأساليب خوارزمية الغابات العشوائية (Random Forests) التي طورها Breiman، والتي تعتمد على تدريب عدد هائل من الأشجار باستخدام عينات Bootstrap العشوائية مع اختيار عشوائي لمجموعة فرعية من المتغيرات عند كل تقسيم، ثم دمج تنبؤاتها عبر المتوسط أو التصويت التعددي، مما يحقق خفضاً هائلاً في التباين واستقراراً تنبؤياً فائقاً.

في الاتجاه الموازي، تبرز خوارزميات التعزيز المتدرج (Gradient Boosting Machines – GBM وXGBoost)، والتي تبني الأشجار بشكل تسلسلي تراكمي بحيث تقوم كل شجرة جديدة بالتركيز حصرياً على تصحيح أخطاء وبواقي الأشجار السابقة لها، محققة أعلى مستويات الدقة التنبؤية الممكنة في مسابقات التعلم الآلي والبيانات المجدولة المعقدة.

تفرض هذه النماذج التجميعية مقايضة واضحة؛ فهي تتفوق بشكل كاسح على الأشجار الفردية في الدقة التنبؤية، ولكنها تضحي بالشفافية البصرية وتتحول إلى نماذج “صندوق أسود” يصعب تفسير مساراتها الفردية، مما يدفع الباحثين لاستخدام الأشجار الفردية عندما تكون التفسيرية هي الهدف الأول، واللجوء للغابات والتعزيز عندما تكون الدقة التنبؤية هي الغاية القصوى.

11.3 التحقق المتقاطع المتكرر ومقارنة النماذج المتعددة في R

لإجراء مقارنة منهجية وموضوعية بين أداء شجرة CART الفردية ونماذج الانحدار الكلاسيكية والأساليب التجميعية المتقدمة، تُستخدم حزمة caret لتأسيس بروتوكول موحد وصارم لـ التحقق المتقاطع المتكرر (Repeated K-Fold Cross-Validation). يضمن هذا البروتوكول تقييم جميع الخوارزميات المتنافسة على نفس الطيات والتقسيمات العشوائية للبيانات تماماً لتحقيق العدالة الإحصائية الكاملة في المقارنة.

يتم استخراج مصفوفات مقاييس الأداء التنبؤي عبر مختلف الطيات والتكرارات لكل نموذج (مثل توزيعات RMSE وR² في الانحدار، أو AUC وKappa في التصنيف)، ورسمها في مخططات بيانية مقارنة (Boxplots وDensity Plots) باستخدام دالة resamples() وdotplot() في حزمة caret لرصد الفروق التوزيعية بوضوح.

يتيح إجراء اختبارات الدلالة الإحصائية المقارنة (مثل اختبار t للعينات المزدوجة أو اختبار Wilcoxon) على نتائج الطيات التحقق مما إذا كانت الفروق في الدقة بين النماذج فروقاً ذات دلالة إحصائية حقيقية أم أنها ناتجة عن التباين العشوائي في العينات، مما يمنح القرار النهائي لاختيار النموذج مصداقية علمية ومنهجية لا يرقى إليها الشك.

تتضمن عملية المقارنة أيضاً تقييم الكلفة الحسابية وزمن التدريب والموارد الحاسوبية المطلوبة لكل خوارزمية؛ مما يمكن الباحث من الموازنة الشاملة بين متطلبات الدقة، وسرعة الاستجابة التشغيلية، وسهولة النشر والصيانة البرمجية في البيئات التطبيقية المستهدفة.

12. أفضل الممارسات المنهجية ودراسة حالة تطبيقية متكاملة

12.1 خطوات العمل المعيارية (Best Practices Workflow) لملائمة أشجار CART

لضمان بناء نماذج CART تتسم بالرصانة المنهجية والمصداقية العلمية والقدرة على التعميم، يتعين على الباحثين اتباع بروتوكول عمل معياري يتألف من خطوات متسلسلة ومحكمة:

• التجهيز والتدقيق الهيكلي للبيانات: فحص المتغيرات بدقة، وتحويل المتغيرات النوعية إلى عوامل تصنيفية (Factors)، والتعامل الأولي مع المتغيرات الفئوية شديدة التعدد، وتدقيق التوزيعات والبيانات الشاذة.
• التقسيم الصارم والمستقل للبيانات: حجز مجموعة اختبار مستقلة بنسبة (20-30%) باستخدام التقسيم العشوائي الطبقي (Stratified Splitting) لضمان تمثيل الفئات، مع تجميد هذه العينة وعدم استخدامها في أي مرحلة من مراحل التدريب أو ضبط المعلمات.
• بناء الشجرة الأولية الكبيرة وتعيين معلمات التعقيد: تدريب نموذج أولي موسع باستخدام rpart() مع تحديد قيمة منخفضة جداً لمعامل التعقيد (مثل cp = 0.001) للسماح للشجرة بالنمو الكامل والتقاط كافة الأنماط والتفاعلات الممكنة.
• التقليم المنهجي القائم على التحقق المتقاطع: فحص جدول ورسم التحقق المتقاطع عبر plotcp() وprintcp()، واختيار قيمة cp المثلى استناداً إلى أدنى خطأ تحقق (Min xerror) أو تطبيق قاعدة الخطأ المعياري الواحد (1-SE Rule)، ثم تنفيذ التقليم عبر prune().
• التقييم المستقل والشامل: تقييم أداء الشجرة المقلمة النهائية على مجموعة بيانات الاختبار المستقلة حصرياً، وحساب مصفوفات الارتباك ومقاييس RMSE وAUC وKappa وF1-Score للتأكد من القدرة التنبؤية الحقيقية.
• التوثيق والتفسير البصري: استخراج المخططات البيانية المخصصة عبر rpart.plot()، وتوليد القواعد النصية عبر rpart.rules()، وتوثيق الكود البرمجي والبذرة العشوائية (set.seed) لضمان قابلية التكرار العلمي التام.

12.2 دراسة حالة تطبيقية شاملة: نمذجة بيانات واقعية من البداية للنهاية

لتجسيد هذه المبادئ في سياق عملي متكامل، نفترض سيناريو تطبيقي لدراسة تنبؤية تهدف إلى تشخيص وتصنيف مخاطر الإصابة بمرض السكري لدى عينة سريرية تضم متغيرات ديموغرافية وفسيولوجية وسلوكية مختلطة (مثل تركيز الجلوكوز، وضغط الدم، ومؤشر كتلة الجسم BMI، والعمر، والتاريخ العائلي). تبدأ المعالجة البرمجية بتهيئة البيئة الإحصائية وضبط البذرة العشوائية واستدعاء حزم rpart وrpart.plot وcaret وpROC.

يتم تحويل متغير الإصابة إلى عامل تصنيفي ثنائي بمستويين (Pos/Neg)، ثم تقسيم البيانات بنسبة 75% للتدريب و25% للاختبار بنظام التقسيم الطبقي. تُبنى الشجرة التصنيفية الأولية باستخدام معادلة تشمل جميع المؤشرات الفسيولوجية مع تحديد وسيط method = 'class' ومعامل تعقيد أولي صغير cp = 0.0001 للسماح بنمو هرمي كامل وشامل لجميع التفاعلات الممكنة.

يُظهر فحص جدول printcp() ومنحنى plotcp() أن خطأ التحقق المتقاطع ينخفض بشكل حاد مع وصول الشجرة إلى 4 تقسيمات رئيسية، ثم يبدأ في الارتفاع مجدداً بسبب الإفراط في المطابقة. تُستخرج قيمة cp المثلى المقابلة لأدنى خطأ، وتُمرر إلى دالة prune() للحصول على شجرة مقلمة وموجزة تتكون من 5 أوراق طرفية متميزة ترتكز أساساً على مستويات الجلوكوز، ومؤشر كتلة الجسم، والعمر.

تُظهر مخرجات التقييم على مجموعة بيانات الاختبار المستقلة أن الشجرة المقلمة حققت دقة إجمالية بلغت 82%، ومساحة تحت المنحنى (AUC) بلغت 0.86، مع حساسية متوازنة بلغت 78% ونوعية 85%. تكشف القواعد المستخرجة بواسطة rpart.rules() أن الخطر يرتفع إلى أقصى مستوياته (احتمال 89%) لدى الأفراد الذين يتجاوز تركيز الجلوكوز لديهم 127 مع مؤشر كتلة جسم يتجاوز 29.8، مما يقدم قاعدة إكلينيكية مباشرة قابلة للتطبيق الوقائي الفوري.

12.3 الأخطاء الشائعة وكيفية تجنبها عند استخدام CART في R

يقع العديد من المحللين والممارسين في أخطاء منهجية شائعة عند بناء أشجار القرار في R، ويأتي في مقدمة هذه العثرات استخدام وتعميم الشجرة الأولية الكاملة دون تقليم. يؤدي هذا الإهمال إلى تقديم نماذج تبدو مبهرة على بيانات التدريب ولكنها تفشل تماماً في الواقع العملي، والحل المنهجي الصارم هو الالتزام الدائم بإجراءات التقليم البعدي الموجه بالتحقق المتقاطع.

الخطأ الثاني يتمثل في تجاهل ضبط البذرة العشوائية (set.seed) قبل تقسيم البيانات وإجراء التحقق المتقاطع، مما ينتج عنه تباين مستمر في بنية الشجرة وقيم cp وأرقام الدقة عند كل إعادة تشغيل للبرنامج، وهو ما يقوض مبدأ الاستقرار وقابلية التكرار العلمي للنتائج.

يتمثل الخطأ الثالث في سوء تفسير درجات أهمية المتغيرات (Variable Importance)؛ حيث يفترض البعض خطأً أن المتغيرات التي لم تظهر في المخطط البصري للشجرة هي متغيرات غير مهمة، متجاهلين أن خوارزمية CART قد تستبعد متغيراً بالغ الأهمية من التقسيم الأساسي لمجرد وجود متغير آخر يرتبط به بشدة تفوق عليه بفارق طفيف جداً، إلا أن هذا المتغير يظهر بوضوح في حسابات الأهمية التراكمية والمتغيرات البديلة داخل مخرجات summary().

أما الخطأ الرابع فيكمن في الاعتماد الساذج على الدقة الإجمالية (Accuracy) لتقييم البيانات غير المتوازنة، مما يخفي فشل النموذج في رصد الفئات الحساسة، ويتطلب هذا دائماً مرافقة التقييم بمصفوفة الارتباك الكاملة وتحليلات AUC وPrecision-Recall وKappa لتوفير رؤية تشخيصية موضوعية ومتكاملة تحمي التحليل من الاستنتاجات المضللة.

الخاتمة

تُمثل أشجار التصنيف والانحدار (CART) في بيئة الحوسبة الإحصائية R أداة نمذجة استثنائية تجمع ببراعة بين الدقة الحسابية غير المعلمية والوضوح التفسيري الهيكلي الذي تفتقر إليه معظم خوارزميات التعلم الآلي المعاصرة. تتيح هذه المنهجية للباحثين والمحللين في مختلف التخصصات العلمية تفكيك شبكات العلاقات غير الخطية واستكشاف التفاعلات التبادلية المعقدة في مجموعات البيانات الواقعية وصياغتها في شكل قواعد قرار منطقية وبصرية شفافة تدعم اتخاذ القرارات الرشيدة في البيئات الإكلينيكية، والإدارية، والبحثية على حد سواء.

إن التطبيق المنهجي الرصين لخوارزميات CART يتطلب الإلمام الكامل بكافة مراحل دورة النمذجة؛ بدءاً من التجهيز المتقن للمتغيرات، والاستيعاب الدقيق للأسس الرياضية الكامنة وراء معايير التقسيم مثل مجموع مربعات البواقي ومؤشر جيني، ومروراً بالضبط المحكم لمعلمات التحكم وإجراءات التقليم البعدي القائم على التحقق المتقاطع لضمان البساطة الهيكلية وتفادي الإفراط في المطابقة، وانتهاءً بالتقييم التشخيصي المستقل والواعي بالتحديات الإحصائية كعدم توازن الفئات والبيانات المفقودة. يوفر الالتزام بهذه المعايير المنهجية أساساً صلباً لبناء نماذج تنبؤية قوية تجمع بين الأصالة النظرية والمنفعة التطبيقية المستدامة.

References

• Breiman, L., Friedman, J. H., Olshen, R. A., & Stone, C. J. (1984). Classification and Regression Trees. Wadsworth & Brooks/Cole Advanced Books & Software. https://www.routledge.com/Classification-and-Regression-Trees/Breiman-Friedman-Stone-Olshen/p/book/9780412048418
• James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An Introduction to Statistical Learning: with Applications in R (2nd ed.). Springer. https://doi.org/10.1007/978-1-0716-1418-1
• Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7
• Therneau, T. M., & Atkinson, E. J. (2022). An Introduction to Recursive Partitioning Using the RPART Routines. Mayo Foundation. https://cran.r-project.org/package=rpart/vignettes/longintro.pdf
• Milborrow, S. (2022). rpart.plot: Plot ‘rpart’ Models: An Enhanced Version of ‘plot.rpart’. R package version 3.1.1. https://cran.r-project.org/package=rpart.plot
• Kuhn, M. (2008). Building Predictive Models in R Using the caret Package. Journal of Statistical Software, 28(5), 1–26. https://doi.org/10.18637/jss.v028.i05
• Robin, X., Turck, N., Hainard, A., Tiberti, N., Lisacek, F., Sanchez, J.-C., & Müller, M. (2011). pROC: an open-source package for R and S+ to analyze and compare ROC curves. BMC Bioinformatics, 12(1), 77. https://doi.org/10.1186/1471-2105-12-77
• Hothorn, T., Hornik, K., & Zeileis, A. (2006). Unbiased Recursive Partitioning: A Conditional Inference Framework. Journal of Computational and Graphical Statistics, 15(3), 651–674. https://doi.org/10.1198/106186006X133933