مجموع مربع الخطأ – error sum of squares

مدرس الدكتور محمد لوتي

المحتويات:

مجموع مربعات الخطأ (Error Sum of Squares)

Primary Disciplinary Field(s): الإحصاء الرياضي، تحليل الانحدار، الاقتصاد القياسي

1. التعريف الأساسي

يمثل مجموع مربعات الخطأ، المعروف اختصارًا بـ م.م.خ (ESS)، مقياسًا إحصائيًا محوريًا يستخدم لتقييم مدى تباين البيانات غير المفسَّر في نموذج إحصائي، لا سيما في سياق تحليل الانحدار. إنه يُعرَّف بدقة على أنه مجموع مربعات الفرق بين القيم الملاحظة (البيانات الفعلية) والقيم المتنبأ بها بواسطة النموذج. بعبارة أخرى، يقيس مجموع مربعات الخطأ حجم الخطأ العشوائي أو التباين المتبقي الذي يفشل النموذج في تفسيره أو استيعابه. كلما كانت قيمة مجموع مربعات الخطأ أصغر، دل ذلك على أن نقاط البيانات الملاحظة تقع أقرب إلى خط الانحدار المُقدَّر، مما يشير إلى أن النموذج يتمتع بلياقة أو مطابقة أفضل للبيانات. هذا المفهوم حيوي لأنه يوفر الأساس لتقييم جودة النماذج الإحصائية وتحديد مدى دقة التنبؤات التي تقدمها.

في جوهره، مجموع مربعات الخطأ هو تجسيد لكمية “الضوضاء” أو “البقايا” التي لم يتم التقاطها بواسطة المتغيرات المستقلة المضمنة في النموذج. يشير المصطلح “خطأ” هنا إلى الانحراف المتبقي بعد تطبيق النموذج التنبؤي، وليس خطأ بالمعنى الاصطلاحي للخلل البشري أو الحسابي. إنه عنصر أساسي في منهجية المربعات الصغرى (Least Squares)، وهي الطريقة الأكثر شيوعًا لتقدير معلمات نماذج الانحدار الخطي. تعتمد هذه الطريقة على مبدأ تقليل مجموع مربعات هذه الأخطاء إلى أدنى حد ممكن، مما يضمن أن الخط المُقدَّر هو الأقرب إحصائيًا لجميع نقاط البيانات. هذا المقياس هو الأساس الذي تُبنى عليه العديد من اختبارات الفرضيات الإحصائية، بما في ذلك اختبار F وتقييم معامل التحديد (R-squared)، مما يجعله عنصرًا لا غنى عنه في تحليل التباين (ANOVA) وفي تقييم مدى ملاءمة النماذج.

يجب التمييز بين مجموع مربعات الخطأ (ESS) ومجموع مربعات الانحدار (RSS) أو مجموع مربعات النموذج (SSM)، حيث يقيس الأخير التباين الذي يفسره النموذج بنجاح. العلاقة بين هذه المجاميع الثلاثة تشكل حجر الزاوية في نظرية الانحدار، وتحديدًا أن مجموع مربعات الانحراف الكلي (Total Sum of Squares, TSS) يساوي مجموع مربعات الخطأ مضافًا إليه مجموع مربعات الانحدار. هذا التحلل للتباين هو ما يسمح للمحللين بتحديد النسبة المئوية للتباين في المتغير التابع التي تم شرحها بواسطة المتغيرات المستقلة.

2. أصل التسمية والتطور التاريخي

ترتبط جذور مفهوم مجموع مربعات الخطأ ارتباطًا وثيقًا بتطور طريقة المربعات الصغرى، التي تُنسب بشكل أساسي إلى عالم الرياضيات الفرنسي أدريان ماري ليجندر في عام 1805، ولاحقًا إلى كارل فريدريش جاوس الذي ادعى أنه استخدمها قبل ذلك بكثير في أوائل ثمانينيات القرن الثامن عشر لتحديد مدارات الكواكب. كان الهدف الأساسي من هذه الطريقة هو إيجاد أفضل تقدير خطي للمعلمات المجهولة من مجموعة من الملاحظات التي تحتوي على أخطاء قياس. كانت الفكرة الثورية تكمن في أن بدلاً من محاولة جعل جميع الأخطاء صفرًا (وهو أمر مستحيل عمليًا)، يتم تقليل إجمالي حجم هذه الأخطاء.

أدى اختيار “مربعات” الأخطاء بدلاً من القيم المطلقة للأخطاء إلى ظهور مصطلح مجموع مربعات الخطأ. كان التبرير الرياضي لاستخدام التربيع متعدد الجوانب: أولاً، يسمح التربيع بمعالجة الأخطاء الموجبة والسالبة بنفس الطريقة، مما يضمن أن الانحرافات في كلا الاتجاهين تساهم في المجموع الكلي. ثانيًا، الأهم من ذلك، أن دالة التربيع قابلة للاشتقاق بسهولة، مما يسهل استخدام حساب التفاضل والتكامل لإيجاد القيمة الدنيا للمجموع، وهو ما يمثل جوهر تقدير المربعات الصغرى. هذا الجانب الرياضي هو الذي رسخ مجموع مربعات الخطأ كأداة أساسية في التقدير الإحصائي.

مع التطورات اللاحقة في الإحصاء خلال القرن العشرين، خاصة مع أعمال رونالد فيشر وتطوير تحليل التباين (ANOVA)، تم دمج مجموع مربعات الخطأ بالكامل كعنصر رئيسي. أصبح مجموع مربعات الخطأ يُستخدم ليس فقط لتقدير المعلمات، ولكن أيضًا لتقييم جودة النماذج ومقارنة النماذج المختلفة. التطور في الاقتصاد القياسي وعلوم البيانات الحديثة، مع ظهور نماذج الانحدار المتعددة المعقدة، عزز مكانة مجموع مربعات الخطأ كـ مقياس عالمي لعدم ملاءمة النموذج أو بقاياه غير المفسرة.

3. الصيغة الرياضية والحساب

رياضيًا، يتم تمثيل مجموع مربعات الخطأ (ESS)، والذي يشار إليه أحيانًا بـ (Residual Sum of Squares, RSS) في بعض السياقات، على النحو التالي. نفترض أن لدينا مجموعة من الملاحظات y_i والقيم المتوقعة المقابلة ŷ_i من نموذج الانحدار. يتم تعريف الخطأ (أو الباقي) للملاحظة i على أنه الفرق e_i = y_i – ŷ_i.

تُعطى الصيغة الرياضية لمجموع مربعات الخطأ بالمعادلة التالية:
$$ ESS = sum_{i=1}^{n} e_{i}^{2} = sum_{i=1}^{n} (y_{i} – hat{y}_{i})^{2} $$
حيث:

n هو عدد الملاحظات في مجموعة البيانات.
y_i هي القيمة الفعلية أو الملاحظة للمتغير التابع.
ŷ_i هي القيمة المتوقعة للمتغير التابع بواسطة نموذج الانحدار.
e_i هو الباقي (الخطأ) للملاحظة i.

عملية الحساب تتضمن ثلاث خطوات رئيسية: أولاً، يتم تقدير معلمات النموذج (مثل الميل والجزء المقطوع في الانحدار الخطي البسيط) باستخدام طريقة المربعات الصغرى لتقليل ESS. ثانيًا، يتم استخدام هذه المعلمات لإنشاء القيم المتوقعة ŷ_i لكل نقطة بيانات. ثالثًا، يتم حساب الفرق بين القيمة الفعلية والقيمة المتوقعة، وتربيع هذا الفرق، ثم جمع جميع المربعات الناتجة. يضمن التربيع أن الأخطاء الكبيرة لها تأثير غير متناسب على المجموع الإجمالي، مما يعكس الأولوية الممنوحة لتقليل الانحرافات الكبيرة في طريقة المربعات الصغرى.

تجدر الإشارة إلى أن مجموع مربعات الخطأ يختلف عن مجموع الأخطاء (Sum of Errors) غير المربعة، (sum e_{i}). في حالة نموذج الانحدار الخطي المُقدَّر باستخدام المربعات الصغرى، يكون مجموع البواقي غير المربعة دائمًا صفرًا تقريبًا (أو صفرًا تمامًا في حالة إضافة ثابت للنموذج)، مما يجعله مقياسًا غير مفيد لتباين الخطأ. لذا، فإن تربيع الأخطاء هو خطوة ضرورية لقياس الحجم الكلي للتفاوت غير المفسَّر.

4. العلاقة بمجاميع المربعات الأخرى

يُعد مجموع مربعات الخطأ جزءًا لا يتجزأ من التحلل الأساسي للتباين في تحليل الانحدار، والذي ينص على أن إجمالي التباين في المتغير التابع ينقسم إلى جزأين: التباين المفسَّر والتباين غير المفسَّر.

مجموع مربعات الانحراف الكلي (Total Sum of Squares, TSS): يقيس إجمالي التباين في المتغير التابع Y حول متوسطه.
$$ TSS = sum_{i=1}^{n} (y_{i} – bar{y})^{2} $$
مجموع مربعات الانحدار (Regression Sum of Squares, RSS) أو مجموع مربعات النموذج (SSM): يقيس التباين في المتغير التابع الذي يفسره النموذج (أي الفرق بين القيمة المتوقعة والمتوسط).
$$ RSS = sum_{i=1}^{n} (hat{y}_{i} – bar{y})^{2} $$
مجموع مربعات الخطأ (ESS) أو مجموع مربعات البواقي (Residual Sum of Squares, SSR): يقيس التباين غير المفسَّر.

العلاقة المتطابقة التي تربط هذه المجاميع هي: TSS = RSS + ESS. هذا التحلل مهم للغاية لأنه يسمح بإنشاء معامل التحديد R². يُعرَّف R² بأنه نسبة التباين المفسَّر (RSS) إلى إجمالي التباين (TSS). وبما أن TSS ثابت لمجموعة بيانات معينة، فإن تقليل ESS يؤدي تلقائيًا إلى زيادة RSS، وبالتالي تحسين R² وملاءمة النموذج.

في سياق تحليل التباين (ANOVA)، يتم استخدام ESS لتقدير تباين الخطأ (sigma^2). يتم ذلك عن طريق قسمة ESS على درجات الحرية المقابلة له، والتي هي n – k (حيث n هو عدد الملاحظات و k هو عدد المعلمات المُقدَّرة في النموذج، بما في ذلك الجزء المقطوع). النتيجة تسمى متوسط مربعات الخطأ (Mean Square Error, MSE)، وهي تقدير غير متحيز لتباين الخطأ الأساسي في المجتمع.

5. الدور في تحليل الانحدار

في تحليل الانحدار الخطي المتعدد، يُعد مجموع مربعات الخطأ مقياسًا أساسيًا لتقييم أداء النموذج. الهدف من تقدير المربعات الصغرى العادية (Ordinary Least Squares, OLS) هو اختيار معلمات الانحدار التي تقلل ESS. هذا التقليد يضمن أن خط الانحدار المُقدَّر يمر “بأقرب شكل ممكن” إلى جميع نقاط البيانات الملاحظة، مقارنة بأي خط مستقيم آخر يمكن رسمه.

إن استخدام ESS يخدم أغراضًا متعددة في الانحدار. أولاً، كما ذكرنا سابقًا، هو مكون أساسي في حساب R². ثانيًا، يُستخدم ESS لإنشاء فاصل الثقة واختبار الفرضيات. يعتمد الخطأ المعياري لمعاملات الانحدار على الجذر التربيعي لمتوسط مربعات الخطأ (MSE). كلما كان ESS أصغر، كان MSE أصغر، وبالتالي كانت الأخطاء المعيارية للمعاملات أصغر، مما يشير إلى أن تقديرات المعاملات أكثر دقة وموثوقية إحصائيًا.

علاوة على ذلك، في سياق مقارنة النماذج، غالبًا ما يُستخدم ESS (أو MSE المشتق منه) كمعيار للمفاضلة بين النماذج المختلفة. عند مقارنة نموذج مقيَّد (يحتوي على عدد أقل من المتغيرات) ونموذج غير مقيَّد (يحتوي على عدد أكبر من المتغيرات)، يُستخدم الفرق في ESS بين النموذجين في اختبار F لتحديد ما إذا كانت إضافة المتغيرات الجديدة تُحدث تحسنًا إحصائيًا مهمًا في ملاءمة النموذج. إذا كان الانخفاض في ESS نتيجة لإضافة المتغيرات لا يتجاوز بكثير الانخفاض المتوقع عشوائيًا، فإن المتغيرات الجديدة لا تعتبر ذات قيمة تفسيرية إضافية.

6. الخصائص والافتراضات الرئيسية

يتمتع مجموع مربعات الخطأ وتقديراته المشتقة (مثل MSE) بخصائص محددة ضمن افتراضات نموذج الانحدار الخطي الكلاسيكي (Classical Linear Regression Model, CLRM). هذه الافتراضات ضرورية لضمان أن ESS يقدم تقديرًا غير متحيز ومتسق لتباين الخطأ.

الاعتماد على النموذج: ESS هو دالة مباشرة لمعلمات النموذج المُقدَّرة. إذا تم تقدير النموذج باستخدام تقنية غير OLS، فإن القيمة الناتجة قد لا تكون الحد الأدنى الممكن، وقد لا تتمتع بالخصائص المرغوبة.
التباين المتجانس (Homoscedasticity): يفترض استخدام ESS أن تباين الخطأ (sigma^2) ثابت عبر جميع مستويات المتغيرات المستقلة. إذا كان هناك تباين غير متجانس (Heteroscedasticity)، فإن ESS سيظل قابلاً للحساب، ولكن التقدير المشتق لـ MSE لن يكون التقدير الأكثر كفاءة (الأقل تباينًا).
التوزيع الطبيعي للبواقي: على الرغم من أن حساب ESS لا يتطلب افتراض التوزيع الطبيعي للبواقي، إلا أن هذا الافتراض يصبح حيويًا عند استخدام ESS في اختبارات الفرضيات واشتقاق فترات الثقة (التي تعتمد على توزيعات t أو F أو (chi^2)).
عدم التحيز (Unbiasedness): متوسط مربعات الخطأ (MSE)، المشتق من ESS، هو تقدير غير متحيز لتباين الخطأ الحقيقي (sigma^2) في المجتمع، شريطة استيفاء افتراضات CLRM. هذا يعني أن القيمة المتوقعة لـ MSE تساوي تباين الخطأ الحقيقي.

تؤثر انتهاكات افتراضات CLRM بشكل مباشر على تفسير وقيمة ESS. على سبيل المثال، إذا كانت هناك علاقة ذاتية بين الأخطاء (Autocorrelation)، فإن ESS قد يقلل بشكل منهجي من تباين الأخطاء الحقيقي، مما يؤدي إلى استنتاجات خاطئة حول دقة المعاملات. لذلك، يلجأ المحللون إلى فحص البواقي (التي يُشتق منها ESS) بيانيًا وإحصائيًا للتأكد من استيفاء الافتراضات.

7. التطبيقات والتفسير

يُستخدم مجموع مربعات الخطأ في مجموعة واسعة من التطبيقات الإحصائية والقياسية، حيث يوفر مقياسًا كميًا لعدم يقين النموذج.

أولاً: تقييم جودة النموذج: القيمة المطلقة لـ ESS ليست مفيدة بمفردها، لأنها تعتمد على وحدات قياس المتغير التابع وحجم العينة. ومع ذلك، فإن مقارنة ESS لنموذجين مختلفين على نفس مجموعة البيانات توفر رؤية فورية: النموذج الذي يحتوي على ESS أقل هو النموذج الذي يتناسب بشكل أفضل مع البيانات. هذه المقارنة هي أساس مؤشرات الملاءمة المعدلة مثل معامل التحديد المعدل (Adjusted R-squared) ومعيار معلومات أكايكي (AIC) ومعيار معلومات بايزي (BIC)، والتي تستخدم ESS كمدخل رئيسي مع معاقبة النماذج الأكثر تعقيدًا.

ثانيًا: التنبؤ والتحقق: في مجالات مثل التعلم الآلي والنمذجة التنبؤية، غالبًا ما يُطلق على مجموع مربعات الخطأ اسم متوسط الخطأ التربيعي (MSE) أو الجذر التربيعي لمتوسط الخطأ التربيعي (RMSE). تُستخدم هذه المقاييس المشتقة من ESS لتقييم دقة التنبؤات على مجموعات بيانات الاختبار (Out-of-sample data). يُعد RMSE مقياسًا شائعًا لأنه يعود إلى وحدات المتغير التابع، مما يجعله سهل التفسير.

ثالثًا: تحليل التباين (ANOVA): في تحليل التباين، يمثل ESS التباين داخل المجموعات أو التباين المتبقي بعد أخذ تأثيرات المعالجات (المتغيرات المستقلة) في الحسبان. يُستخدم متوسط مربعات الخطأ (MSE) كقاسم في نسبة F لتحديد ما إذا كانت الفروق بين متوسطات المجموعات ذات دلالة إحصائية. إذا كان التباين بين المجموعات (المفسَّر بواسطة النموذج) أكبر بكثير من تباين الخطأ (ESS)، فإننا نرفض الفرضية الصفرية التي تنص على عدم وجود تأثير.

8. القيود والبدائل

على الرغم من الأهمية المركزية لـ ESS في الإحصاء، إلا أن هناك قيودًا يجب مراعاتها، خاصة عند انتهاك افتراضات المربعات الصغرى.

الحساسية للقيم الشاذة (Outliers): نظرًا لأن ESS يتضمن تربيع الأخطاء، فإن القيم الشاذة (الملاحظات التي لديها بواقٍ كبيرة) تساهم بشكل غير متناسب في القيمة الإجمالية لـ ESS. هذا يجعل تقديرات OLS حساسة جدًا للقيم الشاذة، ويمكن أن يؤدي إلى خط انحدار مشوه لا يمثل غالبية البيانات بشكل جيد.
التحيز في المقارنة: لا يمكن استخدام ESS لمقارنة نماذج تم تقديرها باستخدام متغيرات تابعة مختلفة أو على مجموعات بيانات مختلفة. بالإضافة إلى ذلك، يميل ESS دائمًا إلى الانخفاض عند إضافة المزيد من المتغيرات المستقلة إلى النموذج، حتى لو كانت تلك المتغيرات غير ذات صلة. هذا هو السبب في أن المحللين يعتمدون على R² المعدل أو AIC/BIC بدلاً من ESS المطلق لتقييم ملاءمة النموذج مقارنة بنماذج أخرى.
قياس الأداء التنبؤي: في تطبيقات التعلم الآلي، قد لا يكون ESS (أو MSE) هو مقياس الأداء الأمثل دائمًا، خاصة عندما تكون توزيعات الأخطاء غير متماثلة أو عندما تكون الأخطاء من أنواع مختلفة تتطلب عقوبات مختلفة. في مثل هذه الحالات، قد يتم استخدام بدائل مثل مجموع الانحرافات المطلقة (Sum of Absolute Errors) أو مقاييس الخسارة المخصصة (Custom Loss Functions) التي تكون أقل حساسية للقيم الشاذة.

عندما يتم انتهاك افتراض التباين المتجانس أو الافتراضات الأخرى، يتم استخدام بدائل لطريقة المربعات الصغرى العادية (OLS). على سبيل المثال، يمكن استخدام المربعات الصغرى الموزونة (Weighted Least Squares, WLS)، حيث يتم إعطاء وزن أقل للملاحظات التي لديها تباين خطأ أكبر، وبالتالي تعديل مساهمتها في مجموع مربعات الخطأ. كما يمكن استخدام طرق التقدير القوية (Robust Estimation Methods) لتقليل تأثير القيم الشاذة على التقديرات الإجمالية، مما يؤدي فعليًا إلى تقليل حساسية النموذج تجاه ESS.