كيفية حساب مسافة ماهالانوبيس في بايثون

تُعد مسألة قياس المسافات والتشابه بين المتجهات في الفضاءات الإحصائية متعددة الأبعاد إحدى الركائز الجوهرية التي بُنيت عليها نظريات الإحصاء متعدد المتغيرات وتطبيقات تعلم الآلة الحديثة. في الفضاءات الهندسية البسيطة، يميل الباحثون تلقائياً إلى استخدام المقاييس المترية التقليدية كالمسافة الإقليدية لتحديد مدى تقارب أو تباعد الملاحظات. ومع ذلك، فإن هذه المقاييس الكلاسيكية تفترض ضمناً أن جميع المحاور والمتغيرات تتسم بالاستقلالية التامة وتتطابق في مقاييس التشتت ووحدات القياس، وهو افتراض نادراً ما يتحقق في البيانات الواقعية المعقدة، سواء كانت بيانات سلوكية، أو اقتصادية، أو حيوية، حيث تتداخل المتغيرات وترتبط ببعضها بعلاقات خطية وغير خطية معقدة تجعل الفضاء الهندسي الحقيقي مشوهاً وبيضاوي الشكل بدلاً من كونه كروياً متماثلاً.

هنا تبرز الأهمية الاستثنائية لمسافة ماهالانوبيس (Mahalanobis Distance) كأداة رياضية وإحصائية بالغة الدقة والفاعلية؛ إذ لا تكتفي بقياس البعد المطلق بين نقطة ومركز التوزيع الاحتمالي أو بين نقطتين مستقلتين، بل تدمج في بنيتها الجبرية كامل بنية التباين والتباين المشترك للمتغيرات عبر توظيف مصفوفة التغاير المشترك. يتيح ذلك للباحثين والمحللين تقييم مدى انحراف الملاحظات في سياق التوزيع الإحصائي العام، مع الأخذ في الحسبان اتجاهات التشتت والارتباطات البينية، مما يجعل هذا المقياس لا غنى عنه في كشف القيم الشاذة، وتصنيف الأنماط المعقدة، وتطوير خوارزميات التعلم الآلي القوية، وتدقيق البيانات السيكومترية والنفسية بدقة فائقة.

يهدف هذا الدليل المرجعي الشامل إلى تقديم معالجة نظرية وتطبيقية متكاملة لمسافة ماهالانوبيس، بدءاً من تفكيك جذورها التاريخية والرياضية، والمقارنة المنهجية المعمقة بينها وبين المقاييس المترية الأخرى، مروراً بصياغتها الجبرية عبر التحويلات الخطية وتحليل المكونات ومصفوفات الدقة، وصولاً إلى بنائها البرمجي خطوة بخطوة باستخدام لغة بايثون عبر مكتبات الحوسبة العلمية مثل NumPy وSciPy وPandas. كما يتناول المقال بتفصيل دقيق آليات كشف الشواذ باستخدام توزيع كاي-تربيع، والتطبيقات الميدانية في القياس النفسي، والتغلب على التحديات الحسابية المتقدمة كالتعدد الخطي ولعنة الأبعاد عبر التقديرات الإحصائية الحصينة.

1. مقدمة نظرية: مفهوم مسافة ماهالانوبيس وأهميتها الإحصائية

1.1 التعريف الرياضي والإحصائي لمسافة ماهالانوبيس

تعود الجذور التاريخية لمسافة ماهالانوبيس إلى عام 1936، عندما قدمها العالم والإحصائي الهندي البارز براسانتا شاندرا ماهالانوبيس في سياق دراساته الأنثروبومترية المقارنة لتحليل القياسات القياسية للجمجمة والصفات الجسدية بين المجموعات السكانية المختلفة في الهند. واجه ماهالانوبيس حينها معضلة منهجية كبرى تمثلت في أن القياسات الجسدية (مثل الطول، وعرض الجمجمة، وطول الأطراف) ليست مستقلة عن بعضها البعض، بل تتسم بدرجات عالية من الارتباط الداخلي، فضلاً عن اختلاف تباين كل متغير ووحدات قياسه. أدرك ماهالانوبيس أن تطبيق المسافة الإقليدية التقليدية يؤدي إلى تكرار احتساب المعلومات المشتركة وتضخيم المسافات الإجمالية نتيجة للارتباطات المتبادلة، مما قاده إلى ابتكار مقياس متري يأخذ في الحسبان التباين المشترك بين المتغيرات.

من الناحية الإحصائية، تُعرَّف مسافة ماهالانوبيس بأنها مقياس يحدد المسافة النسبية بين نقطة معينة وتوزيع احتمالي متعدد الأبعاد، أو المسافة بين نقطتين مأخوذتين من نفس التوزيع مع تعديل المقاييس بناءً على الارتباطات البينية ومقاييس التشتت. بدلاً من التعامل مع الفضاء المتجهي كفضاء إقليدي متجانس، تعامل مسافة ماهالانوبيس الفضاء على أنه فضاء لا متجانس تحكمه مصفوفة التغاير المشترك؛ حيث يتم وزن الفروق في كل متغير عكسياً مع مقدار تباينه، وتُصحح التداخلات الخطية الناتجة عن التباين المشترك بين الأزواج المختلفة من المتغيرات.

تكمن القوة التحليلية لهذا المقياس في قدرته على التمييز الدقيق بين التباينات الفردية الطبيعية للمتغيرات والأنماط المشتركة المنبثقة عن الهيكل الداخلي للبيانات. في الفضاء الإحصائي، قد تبدو نقطة معينة بعيدة جداً عن المركز بالمعايير الإقليدية، لكنها تقع تماماً على مسار الارتباط الطبيعي للمتغيرات وتتبع الاتجاه البيضاوي للتوزيع، وبالتالي تُعتبر قريبة بمعيار ماهالانوبيس. وعلى العكس من ذلك، قد تقع نقطة بالقرب من المتوسط الحسابي إقليدياً ولكنها تكسر نمط الارتباط المتوقع بشدة، فتسجل مسافة ماهالانوبيس مرتفعة للغاية وتُصنف كانحراف إحصائي صريح.

1.2 أهمية مسافة ماهالانوبيس في تنقيب البيانات وتحليلها

في مجالات تنقيب البيانات واستخراج المعرفة، تبرز مسافة ماهالانوبيس كأداة لا غنى عنها للتعامل مع التوزيعات البيضاوية (Ellipsoidal Distributions) وغير المتماثلة المنتشرة في الفضاءات عالية الأبعاد. البيانات الحقيقية نادراً ما تتجمع في كرات متناسقة الأطراف؛ بل تميل إلى الامتداد في اتجاهات تمليها التفاعلات البينية بين المتغيرات. إن عجز المقاييس المترية الكلاسيكية عن استيعاب هذا الامتداد الهندسي يجعلها تولد تقييمات مضللة للتشابه والاختلاف، وهو القصور الجوهري الذي تتجاوزه مسافة ماهالانوبيس عبر إعادة توجيه المحاور ومطابقة الفضاء الهندسي مع الطبيعة الاحتمالية للظاهرة المدروسة.

تلعب هذه المسافة دوراً محورياً في المراحل المتقدمة من تنظيف البيانات وهندسة الميزات (Feature Engineering). فعند فحص مجموعات البيانات المعقدة، يفشل الفحص أحادي المتغير (Univariate Outlier Detection) المعتمد على الدرجات المعيارية ($Z$-scores) أو المدى الربيعي في كشف القيم الشاذة التي تقع ضمن النطاق المقبول لكل متغير على حدة ولكنها تشكل معاً تركيبة مستحيلة أو شاذة للغاية. توفر مسافة ماهالانوبيس إطاراً رياضياً موحداً يدمج جميع الأبعاد في قيمة عددية سكالارية واحدة تعكس احتمالية انحدار المشاهدة من التوزيع العام، مما يرفع كفاءة تصفية الشوائب وعزل الأنماط الشاذة.

ينعكس هذا الاستخدام المنهجي إيجاباً على دقة واستقرار النماذج التنبؤية والتصنيفية اللاحقة. إن النماذج الحساسة للشواذ والتشوهات الهندسية، مثل التحليل التمييزي الخطي (LDA)، ونماذج الانحدار الخطي، والشبكات العصبية الاصطناعية، وخوارزميات العنقودية كـ $K$-Means وGaussian Mixture Models، تشهد تحسناً ملموساً في مقاييس الأداء وتعميم التنبؤات عندما تُبنى على فضاءات محايدة ومعايرة بمسافة ماهالانوبيس، مما يمنع انحياز حدود القرار الرياضية نحو العينات المشوهة.

1.3 السياق الاستخدامي في المقاييس النفسية والسلوكية

تحظى مسافة ماهالانوبيس بأهمية استثنائية في مجالات السيكومتريكس (Psychometrics) والعلوم السلوكية والاجتماعية؛ حيث تتكون أدوات القياس غالباً من استبيانات وبطاريات اختبارية متعددة الأبعاد تقيس سمات كامنة (Latent Traits) معقدة مثل القلق، والذكاء المعرفي، والعوامل الخمسة الكبرى للشخصية. في هذه البيئات البحثية، يمثل سلوك المستجيبين مصدراً كبيراً للضوضاء الإحصائية الناتجة عن عدم الانتباه، أو الإجابة العشوائية المنتظمة، أو المحاكاة المصطنعة (Faking Good/Bad)، وهي أنماط سلوكية يصعب اكتشافها بالطرق الكلاسيكية.

تُمكن مسافة ماهالانوبيس الباحثين النفسيين من رصد التناقضات السلوكية الداخلية عبر حساب المسافة بين نمط استجابة الفرد ومتجه المتوسطات العام للعينة، مع الأخذ في الاعتبار مصفوفة الارتباط المتوقعة بين بنود المقياس. فإذا أظهر مستجيب درجات مرتفعة جداً في سمة “الانبساطية” وفي الوقت ذاته درجات متطرفة في بنود تقيس “العزلة الاجتماعية التامة” (وهما سمتان ترتبطان عادةً بعلاقة عكسية قوية)، فإن هذا النمط الشاذ يُترجم فوراً إلى مسافة ماهالانوبيس ضخمة، مما يسمح بعزل هذه الاستجابة غير المنطقية لحماية صدق الأداة البحثية.

علاوة على ذلك، تُعد هذه المسافة حجر الزاوية في الدراسات السريرية لتقييم الصدق التمييزي والاتساق الداخلي للبروفايلات النفسية للمرضى. يمكن من خلالها تحديد الحالات السريرية الفريدة التي تنحرف عن التوزيع الطبيعي المعياري لمجموعة ضابطة، مما يوفر مؤشراً كمياً موضوعياً يدعم التشخيص النفسي ويساعد على عزل الحالات غير النمطية قبل تطبيق نماذج النمذجة بالمعادلات البنائية (SEM) والتحليل العاملي التوكيدي (CFA).

2. المقارنة المنهجية بين المسافة الإقليدية ومسافة ماهالانوبيس

2.1 حدود وقصور المسافة الإقليدية (Euclidean Distance)

تُعد المسافة الإقليدية التجسيد الهندسي المباشر لنظرية فيثاغورس في الفضاء الإقليدي، وتُحسب بحساب الجذر التربيعي لمجموع الفروق المربعة بين إحداثيات النقاط عبر جميع الأبعاد. على الرغم من بساطتها الحسابية وجاذبيتها البديهية، إلا أنها تنطوي على افتراضات نظرية صارمة نادراً ما تتوافق مع بيانات العالم الواقعي. يكمن القصور الأول والأساسي في افتراضها الضمني للاستقلالية التامة والتعامد الصارم (Orthogonality) بين جميع المتغيرات المدروسة، متجاهلة تماماً أي ارتباطات خطية أو غير خطية قد تربط بينها.

يتمثل القصور الثاني في الحساسية المفرطة لاختلاف وحدات القياس ومقاييس التشتت. إذا قمنا مثلاً بقياس المتغير الأول بوحدة “السنوات” (مثل العمر من 20 إلى 70) والمتغير الثاني بوحدة “الدخل السنوي بالريال” (من 50,000 إلى 500,000)، فإن المسافة الإقليدية ستجعل المتغير ذا القيم المطلقة والتشتت الأكبر (الدخل) يهيمن بصورة شبه مطلقة على قيمة المسافة الإجمالية، محيِّداً تماماً أثر المتغير الأول، حتى وإن كانت التغيرات الطفيفة في المتغير الأول تحمل دلالة إحصائية وتصنيفية أعظم بكثير.

تؤدي هذه المحددات مجتمعة إلى تشوه شديد في الأبعاد الهندسية للمسافات؛ فالنقاط التي تتساوى مسافاتها الإقليدية عن مركز التوزيع تشكل كرات متماثلة الأقطار (Spheres or Hyperspheres). غير أن الكثافة الاحتمالية للتوزيع الفعلي قد تكون ممتدة على طول محور مائل بزاوية معينة، مما يجعل كرات الثقة الإقليدية تضم نقاطاً ذات احتمالية منخفضة للغاية وتستبعد نقاطاً طبيعية تقع ضمن الامتداد الطبيعي للبيانات، كما يتضح في الفضاءات ثنائية المتغير المترابطة.

2.2 المزايا المنهجية لمسافة ماهالانوبيس في الفضاء متعدد المتغيرات

تتجاوز مسافة ماهالانوبيس كافة عيوب المسافة الإقليدية عبر المعايرة الذاتية للفروق باستخدام مصفوفة التغاير المشترك. تضمن هذه المعايرة تحقيق خاصية اللامبالاة بوحدات القياس (Scale-Invariance)؛ حيث تصبح المسافة غير متأثرة تماماً بإجراء أي تحويل خطي، أو تغيير وحدات القياس (كالتحويل من الجرام إلى الكيلوجرام أو من السنتيمتر إلى المتر)، أو إعادة قياس المتغيرات بمقاييس مختلفة، لأن مصفوفة التباين تعيد ضبط الأوزان النسبية لكل متغير بما يطابق مقياس تشتته الحقيقي بدقة تامة.

من الناحية الهندسية، تقوم مسافة ماهالانوبيس بعملية تحويل مزدوجة للفضاء المتجهي: تتضمن تدوير المحاور الإحداثية لتتطابق مع اتجاهات التباين الأقصى (عبر المحاور الذاتية للبيانات)، متبوعة بعملية توسيع أو تقليص (Rescaling) للمحاور بناءً على الانحرافات المعيارية في كل اتجاه مستقل. تؤدي هذه العملية إلى تفكيك الارتباطات البينية وإلغاء التغاير الداخلي، محولة التوزيعات البيضاوية المشوهة إلى فضاء كروي موحد التباين وغير مترابط.

نتيجة لهذه المزايا، توفر مسافة ماهالانوبيس قياساً احتماليا حقيقياً يعبر عن مدى انحراف المشاهدة عن مركز الكتلة الاحتمالية للتوزيع (Centroid). وتتحول خطوط تساوي المسافة (Iso-distance Contours) في هذا الفضاء إلى أشكال بيضاوية فائقة (Hyper-ellipsoids) تتطابق أبعادها وميولها الهندسية تماماً مع سطوح ثبات الكثافة الاحتمالية لـ التوزيع الطبيعي متعدد المتغيرات، مما يمنح المسافة دلالة احتمالية رياضية دقيقة يمكن ربطها بالاختبارات الإحصائية الاستدلالية.

2.3 سيناريوهات الاختيار بين المقياسين في تحليل البيانات

يتطلب اتخاذ القرار المنهجي بين استخدام المسافة الإقليدية أو مسافة ماهالانوبيس تقييماً دقيقاً لطبيعة البيانات، والفرضيات الإحصائية، والأهداف التحليلية، والموارد الحاسوبية المتاحة. تُعد المسافة الإقليدية خياراً كافياً ومثالياً في الحالات التي تكون فيها المتغيرات متعامدة بصورة طبيعية، ومستقلة إحصائياً، وتستخدم نفس وحدة القياس والمقياس المعياري (أو بعد تطبيق المعايرة القياسية Z-Score بدقة)، أو عندما يكون الهدف هو قياس المسافة الفيزيائية الحقيقية في الفضاء ثلاثي الأبعاد الحقيقي كما في مجالات الرؤية الحاسوبية والروبوتات.

في المقابل، يصبح استخدام مسافة ماهالانوبيس أمراً إلزامياً وضرورياً في الحالات التالية:

• وجود ارتباطات خطية متوسطة إلى قوية بين المتغيرات المدروسة تعيق افتراض الاستقلالية.
• اختلاف وحدات ومقاييس قياس المتغيرات بشكل يتعذر حله بالمعايرة الأحادية البسيطة.
• الرغبة في كشف القيم الشاذة والمتطرفة في الفضاءات متعددة المتغيرات بدقة احتمالية.
• بناء نماذج التحليل التمييزي، ومصفوفات التصنيف، والتعرف على الأنماط الإحصائية.

ومع ذلك، يجب موازنة هذه المزايا مع الكلفة الحسابية ومتطلبات حجم العينة؛ فحساب مسافة ماهالانوبيس يتطلب تقدير مصفوفة التغاير وعكسها جبرياً، وهي عملية ذات تعقيد حسابي من الدرجة الثالثة $\mathcal{O}(p^3)$ حيث يمثل $p$ عدد المتغيرات. وإذا كان حجم العينة $n$ صغيراً مقارنة بعدد المتغيرات ($n le p$)، تصبح مصفوفة التغاير غير قابلة للعكس وتفقد المسافة استقرارها الرياضي، مما يستدعي توخي الحذر واستخدام تقنيات التقدير الحصينة التي سنناقشها لاحقاً.

3. الأسس الرياضية والمصفوفية لمسافة ماهالانوبيس

3.1 المعادلة الجبرية لمسافة ماهالانوبيس

تُصاغ مسافة ماهالانوبيس رياضياً بين متجه عينة متعدد الأبعاد $\mathbf{x} = [x_1, x_2, dots, x_p]^T$ ومتجه المتوسطات الحسابية للتوزيع $boldsymbol{\mu} = [\mu_1, \mu_2, dots, \mu_p]^T$ في الفضاء الإحصائي ذي الأبعاد $p$ عبر المعادلة التربيعية المصفوفية التالية:

$$D_M^2(\mathbf{x}, boldsymbol{\mu}) = (\mathbf{x} – boldsymbol{\mu})^T \mathbf{\Sigma}^{-1} (\mathbf{x} – boldsymbol{\mu})$$

وللحصول على مسافة ماهالانوبيس الخطية المطلقة $D_M$，يُستخرج الجذر التربيعي للناتج القياسي:

$$D_M(\mathbf{x}, boldsymbol{\mu}) = \sqrt{(\mathbf{x} – boldsymbol{\mu})^T \mathbf{\Sigma}^{-1} (\mathbf{x} – boldsymbol{\mu})}$$

لتفكيك هذه الصيغة الجبرية، نجد أن التعبير يتألف من ثلاثة مكونات رئيسية مترابطة:

• متجه الفروق الممركز $(\mathbf{x} – boldsymbol{\mu})$: وهو متجه عمودي بحجم $(p \times 1)$ يمثل إزاحة النقطة عن مركز ثقل التوزيع الإحصائي في كل بعد من الأبعاد الفردية.
• معكوس مصفوفة التغاير $\mathbf{\Sigma}^{-1}$: وهي مصفوفة مربعة متناظرة بحجم $(p \times p)$، وتُعرف في الجبر الخطي بمصفوفة الدقة (Precision Matrix) أو مصفوفة التركيز (Concentration Matrix)، وتعمل كعامل وزن وتدوير متعدد الأبعاد.
• منقول متجه الفروق $(\mathbf{x} – boldsymbol{\mu})^T$: وهو متجه صفي بحجم $(1 \times p)$ يُضرب في ناتج ضرب المصفوفة والمتجه لتحويل الناتج من مصفوفة إلى قيمة قياسية موجبة غير سالبة (Scalar).

إذا كانت مصفوفة التغاير $\mathbf{\Sigma}$ مساوية لمصفوفة الوحدة $\mathbf{I}$ (أي أن التباينات تساوي 1 والارتباطات تساوي صفراً)، فإن $\mathbf{\Sigma}^{-1} = \mathbf{I}$، وتختزل المعادلة فوراً إلى صيغة المسافة الإقليدية القياسية $D_E = \sqrt{(\mathbf{x} – boldsymbol{\mu})^T (\mathbf{x} – boldsymbol{\mu})}$، مما يثبت أن المسافة الإقليدية ليست سوى حالة خاصة ومبسطة من مسافة ماهالانوبيس العامة.

3.2 دور مصفوفة التغاير المشترك ومعكوسها

تُمثل مصفوفة التغاير المشترك $\mathbf{\Sigma}$ حجر الأساس في بنية مسافة ماهالانوبيس؛ إذ تختزل كامل البنية الهندسية والارتباطية للتوزيع متعدد المتغيرات. تتكون هذه المصفوفة من عناصر قطرية وعناصر غير قطرية على النحو التالي:

$$\mathbf{\Sigma} = \begin{\bmatrix}
\sigma_{1}^2 &a\mp; \sigma_{12} &a\mp; dots &a\mp; \sigma_{1p} \
\sigma_{21} &a\mp; \sigma_{2}^2 &a\mp; dots &a\mp; \sigma_{2p} \
\vdots &a\mp; \vdots &a\mp; \ddots &a\mp; \vdots \
\sigma_{p1} &a\mp; \sigma_{p2} &a\mp; dots &a\mp; \sigma_{p}^2
\end{\bmatrix}$$

حيث تمثل القيم القطرية $\sigma_i^2$ تباينات المتغيرات الفردية، بينما تمثل العناصر غير القطرية $\sigma_{ij} = \sigma_{ji}$ التباينات المشتركة بين المتغيرات المزدوجة $i$ و $j$. تُعد المصفوفة متناظرة وموجبة نصف معرفة (Positive Semi-Definite)، وفي الظروف المثالية تكون موجبة معرفة تماماً (Positive Definite) لضمان قابليتها للعكس الرياضي.

تكمن الأهمية الجبرية لمعكوس مصفوفة التغاير $\mathbf{\Sigma}^{-1}$ في قيامه بوظيفتين أساسيتين في آن واحد:

• المعايرة العكسية للأوزان: حيث يؤدي قلب القيم القطرية إلى تقليص وزن المتغيرات ذات التباين المرتفع وزيادة وزن المتغيرات ذات التباين المنخفض، مما يلغي أثر الفروق في وحدات القياس.
• إلغاء التكرار المعلوماتي: حيث تعكس العناصر غير القطرية في المعكوس معاملات الارتباط الجزئي (Partial Correlations) بين المتغيرات بعد ضبط أثر بقية المتغيرات، مما يمنع احتساب المتغيرات المترابطة أكثر من مرة.

لكي يكون المعكوس $\mathbf{\Sigma}^{-1}$ موجوداً ومستقراً عددياً، يجب ألا تكون المصفوفة شاذة (Non-singular)؛ أي يجب أن يكون محدد المصفوفة $det(\mathbf{\Sigma}) ne 0$. في حال وجود ارتباط خطي تام بين متغيرين أو أكثر، يصبح المحدد صفراً وتفشل عملية القلب الجبري المباشر، وهو تحدٍ حسابي يستلزم حلولاً متقدمة سنستعرضها في أقسام لاحقة.

3.3 التحويلات الخطية وإلغاء الارتباط (Whitening Transformation)

لفهم الآلية الهندسية العميقة لمسافة ماهالانوبيس، يجب النظر إليها من منظور تحويل التبييض الإحصائي (Whitening or Sphering Transformation). يستند هذا المفهوم إلى تفكيك مصفوفة التغاير باستخدام التحليل الطيفي للقيم والمتجهات الذاتية (Spectral Eigen-decomposition):

$$\mathbf{\Sigma} = \mathbf{V} \mathbf{\Lambda} \mathbf{V}^T$$

حيث تمثل $\mathbf{V}$ مصفوفة متعامدة تحتوي على المتجهات الذاتية (Eigenvectors) التي تحدد اتجاهات محاور التباين الأساسية للبيانات (المطابقة لاتجاهات تحليل المكونات الرئيسية PCA)، بينما تمثل $\mathbf{\Lambda}$ مصفوفة قطرية تضم القيم الذاتية (Eigenvalues) $\lambda_1, \lambda_2, dots, \lambda_p$ التي تقيس مقدار التباين على طول كل محور ذاتي.

بناءً على هذا التفكيك، يمكن كتابة معكوس مصفوفة التغاير بالصيغة:

$$\mathbf{\Sigma}^{-1} = \mathbf{V} \mathbf{\Lambda}^{-1} \mathbf{V}^T = (\mathbf{\Lambda}^{-1/2} \mathbf{V}^T)^T (\mathbf{\Lambda}^{-1/2} \mathbf{V}^T)$$

إذا قمنا بتعريف مصفوفة التحويل الخطي للتبييض كالتالي: $\mathbf{W} = \mathbf{\Lambda}^{-1/2} \mathbf{V}^T$، وقمنا بتحويل البيانات الأصلية الممركزة $\mathbf{z} = \mathbf{W} (\mathbf{x} – boldsymbol{\mu})$، فإن متجه البيانات الجديد $\mathbf{z}$ سيمتلك مصفوفة تغاير مساوية لمصفوفة الوحدة تماماً $\mathbf{\Sigma}_{\mathbf{z}} = \mathbf{I}$.

عند التعويض في معادلة ماهالانوبيس، نجد:

$$D_M^2(\mathbf{x}, boldsymbol{\mu}) = (\mathbf{x} – boldsymbol{\mu})^T \mathbf{W}^T \mathbf{W} (\mathbf{x} – boldsymbol{\mu}) = \mathbf{z}^T \mathbf{z} = |\mathbf{z}|_2^2$$

يكشف هذا البرهان الرياضي الأنيق أن مسافة ماهالانوبيس في الفضاء الأصلي المترابط ليست سوى المسافة الإقليدية الكلاسيكية المحسوبة في الفضاء المحول الجديد بعد إلغاء الارتباطات وتوحيد التباينات عبر تحويل التبييض.

4. إعداد بيئة العمل البرمجية واستيراد المكتبات في بايثون

4.1 المكتبات الأساسية المطلوبة

يتطلب التطبيق البرمجي الفعال والدقيق لمسافة ماهالانوبيس في بايثون منظومة متكاملة من المكتبات العلمية المتخصصة في الجبر الخطي، وهندسة البيانات، والتحليل الإحصائي، والتمثيل البصري. وتتضمن هذه الحزمة البرمجية الأساسية:

• NumPy: المكتبة المعيارية الأولى للحوسبة العددية عالية الأداء في بايثون. توفر تراكيب البيانات الأساسية المتمثلة في المصفوفات متعددة الأبعاد (ND-arrays)، وتتيح تنفيذ عمليات الجبر الخطي المتقدمة (كالضرب المصفوفي، وحساب المعكوسات، والتفكيك الطيفي) بسرعة فائقة بالاعتماد على خوارزميات مجمعة بلغة C وفورتران.
• Pandas: المكتبة المركزية لهيكلة ومعالجة الجداول والبيانات متعددة المتغيرات عبر كائنات DataFrames وSeries. توفر وظائف متقدمة لتنظيف البيانات، وفهرستها، وإجراء الإحصاءات الوصفية واستخراج مصفوفات الارتباط بسلاسة.
• SciPy: توفر الوحدات الفرعية التخصصية، ولا سيما وحدة scipy.spatial.distance لحساب المسافات المترية بمختلف أنواعها، ووحدة scipy.stats لتقييم التوزيعات الاحتمالية المستمرة كـ توزيع كاي-تربيع وحساب القيم الاحتمالية ($p$-values).
• Matplotlib و Seaborn: مكتبات التمثيل البصري التي تسمح بإنشاء الرسوم البيانية الإحصائية المتقدمة، مثل مخططات التشتت ثنائية وثلاثية الأبعاد، ورسم خطوط تساوي مسافات ماهالانوبيس والقطوع الناقصة للثقة، ورسم الخرائط الحرارية لمصفوفات التغاير.

يضمن التكامل السلس بين هذه المكتبات توفير بيئة حوسبية مرنة تجمع بين السرعة الفائقة وسهولة القراءة البرمجية والتوثيق المنهجي الصارم للنتائج.

4.2 تهيئة بيئة بايثون وتثبيت الاعتماديات

لضمان استقرار العمليات الحسابية وتجنب تعارض إصدارات المكتبات، يُنصح دائماً بإنشاء بيئة عمل افتراضية منعزلة (Virtual Environment) باستخدام أدوات مثل venv أو conda. يساعد هذا الإجراء في الحفاظ على بيئة تشغيل مستقرة وقابلة للتكرار عبر مختلف الأنظمة الحاسوبية.

يمكن تثبيت كافة الحزم والاعتماديات الأساسية المطلوبة عبر موجه الأوامر باستخدام أداة إدارة الحزم pip بتنفيذ الأمر المباشر التالي:

pip install numpy scipy pandas matplotlib seaborn scikit-learn

من الأهمية بمكان التأكد من أن نسخة بايثون ومكتبة NumPy مثبتة ومرتبطة بمكتبات الجبر الخطي المحسنة مثل BLAS (Basic Linear Algebra Subprograms) و LAPACK أو مكتبة Intel MKL، حيث يؤدي ذلك إلى تسريع عمليات ضرب المصفوفات وحساب المعكوسات بمعدلات تزيد عن عشرات الأضعاف مقارنة بالتنفيذ البرمجي البسيط، وهو ما يُعد حاسماً عند التعامل مع مجموعات البيانات الكبيرة.

عقب اكتمال التثبيت، تُستورد المكتبات داخل بيئة العمل البرمجية بالصيغة المعيارية المتفق عليها في الأوساط العلمية:

import numpy as np
import pandas as pd
import scipy.stats as stats
from scipy.spatial import distance
import matplotlib.pyplot as plt
import seaborn as sns

5. بناء وهيكلة مجموعة البيانات متعددة المتغيرات

5.1 إنشاء إطار بيانات تجريبي دراسي وسلوكي

لبناء فهم تطبيقي عميق لكيفية عمل مسافة ماهالانوبيس في بيئة تجريبية منضبطة، سنقوم بتوليد مجموعة بيانات سيناريو تعليمي وسلوكي ترتبط متغيراته بعلاقات خطية مقصودة وتباينات متباينة. يمثل السيناريو عينة من $N = 500$ طالب في بيئة أكاديمية، حيث تتضمن مجموعة البيانات أربعة متغيرات مترابطة:

• ساعات الدراسة الأسبوعية ($X_1$ – Study Hours): تتبع توزيعاً بمعدل 25 ساعة وتشتت معياري يقارب 6 ساعات.
• معدل الاختبارات التحضيرية ($X_2$ – Prep Exams Score): مقاس من 100، ويرتبط إيجابياً بساعات الدراسة.
• درجة الاختبار النهائي ($X_3$ – Final Exam Score): مقاس من 100، ويعتمد بقوة على التحضير وساعات الدراسة.
• المعدل التراكمي السابق ($X_4$ – Current GPA): مقياس من 4.0، يعكس القدرة الأكاديمية التراكمية للمستجيب.

يمكن توليد هذه البيانات التركيبية المترابطة باستخدام دالة التوزيع الطبيعي متعدد المتغيرات في بايثون عبر الكود المعياري التالي:

# ضبط البذرة العشوائية لضمان تكرار النتائج
np.random.seed(42)
n_samples = 500

# تحديد متجهات المتوسطات ومصفوفة التغاير الحقيقية
means = np.array([25, 75, 78, 3.2])
cov_matrix = np.array([
    [36.0, 18.0, 22.0, 1.8],
    [18.0, 64.0, 45.0, 3.2],
    [22.0, 45.0, 81.0, 4.1],
    [1.8, 3.2, 4.1, 0.25]
])

# توليد العينات وتضمينها في إطار بيانات
data_raw = np.random.multivariate_normal(means, cov_matrix, size=n_samples)
columns = ['Study_Hours', 'Prep_Exam', 'Final_Exam', 'GPA']
df = pd.DataFrame(data_raw, columns=columns)

نقوم عمداً بحقن بعض الحالات الشاذة متعددة الأبعاد لاختبار قدرة المقياس على رصدها؛ كأن نقوم بإضافة طالب يدرس 45 ساعة أسبوعياً وحصل على معدل تحضيري ممتاز 95، لكنه رسب في الامتحان النهائي بنتيجة 35 وسجل معدلاً 1.5، وهي حالة تبدو قيمها الفردية ممكنة، لكن تركيبتها المشتركة متناقضة إحصائياً وتخترق مصفوفة التغاير بحدة.

5.2 فحص الخصائص الإحصائية واستكشاف البيانات الأولية

قبل الشروع في تطبيق خوارزميات المسافة، يقتضي البروتوكول الإحصائي الصارم فحص الخصائص التوزيعية والارتباطية للبيانات المستهدفة. نبدأ بحساب مقاييس النزعة المركزية (المتوسط، الوسيط) ومقاييس التشتت (الانحراف المعياري، التباين، المدى الربيعي) والتفرطح والالتواء لكل عمود للتأكد من استقرار المقاييس وخلوها من أخطاء الإدخال المباشرة.

يتم استخراج مصفوفة الارتباط (Correlation Matrix) وفحص معاملات بيرسون عبر الدالة df.corr() لتأكيد وجود ارتباطات ذات دلالة بين المتغيرات. يوضح هذا الفحص التداخل الخطي الكبير؛ حيث نلاحظ ارتباطاً قوياً بين درجات التحضير والاختبار النهائي ($r \approx 0.62$) وارتباطاً مع ساعات الدراسة ($r \approx 0.38$)، مما يبرهن فوراً على بطلان فرضية الاستقلالية ويجعل استخدام المسافة الإقليدية مضللاً في هذا السياق.

يتضمن الفحص الاستكشافي أيضاً التحقق من فرضية التوزيع الطبيعي متعدد المتغيرات (Multivariate Normality) عبر اختبارات متخصصة مثل اختبار مارديان (Mardia’s Test) للالتواء والتفرطح المتعدد، أو من خلال فحص الرسوم البيانية للاحتمال الطبيعي (Q-Q Plots). إن تحقق هذه الفرضية يعزز دقة استخدام التوزيعات الاستدلالية المرافقة لمسافة ماهالانوبيس (كتوزيع كاي-تربيع) كما سنوضح لاحقاً.

6. حساب مصفوفة التغاير ومعكوسها برمجياً في بايثون

6.1 استخراج مصفوفة التباين والتباين المشترك

تتمثل الخطوة الإجرائية الأولى في حساب مصفوفة التغاير المشترك للعينة $\mathbf{S}$ انطلاقاً من مصفوفة البيانات $\mathbf{X}$ ذات الحجم $(n \times p)$. رياضياً، تُعطى مصفوفة التباين والتباين المشترك للعينة غير المنحازة بالصيغة الجبرية التالية:

$$\mathbf{S} = \frac{1}{n – 1} \sum_{i=1}^{n} (\mathbf{x}_i – \bar{\mathbf{x}})(\mathbf{x}_i – \bar{\mathbf{x}})^T = \frac{1}{n – 1} (\mathbf{X} – \mathbf{1}\bar{\mathbf{x}}^T)^T (\mathbf{X} – \mathbf{1}\bar{\mathbf{x}}^T)$$

في بايثون، توفر كل من مكتبتي NumPy وPandas أدوات مباشرة لحساب هذه المصفوفة بكفاءة عالية. عند استخدام مكتبة NumPy عبر دالة np.cov، يجب الانتباه دائماً إلى وسيط rowvar؛ حيث تفترض الدالة افتراضياً أن الصفوف تمثل المتغيرات والأعمدة تمثل المشاهدات، لذا يجب تمرير rowvar=False عندما تكون الأعمدة هي المتغيرات:

# حساب مصفوفة التغاير للعينة باستخدام NumPy و Pandas
cov_np = np.cov(df.values, rowvar=False)
cov_pd = df.cov().to_numpy()

# حساب متجه المتوسطات الحسابية
mean_vector = df.mean().to_numpy()

تُظهر مصفوفة التغاير الناتجة التباينات الفردية على القطر الرئيسي والتباينات المشتركة على العناصر غير القطرية. يمثل قسمة التباين على درجات الحرية $(n – 1)$ تصحيح بسل (Bessel’s Correction) لضمان الحصول على مقدر غير منحاز لتباين المجتمع الإحصائي الحقيقي.

6.2 حساب معكوس المصفوفة والتحقق من قابليتها للعكس

تتطلب الخطوة التالية في حساب مسافة ماهالانوبيس قلب مصفوفة التغاير للحصول على مصفوفة الدقة $\mathbf{S}^{-1}$. يتم تنفيذ هذه العملية في بايثون عبر وحدة الجبر الخطي numpy.linalg باستخدام الدالة inv. ومع ذلك، من الضروري فحص الاستقرار العددي للمصفوفة ومحددها (Determinant) قبل إجراء عملية المعكوس لتجنب الوقوع في أخطاء الشذوذ الرياضي أو عدم الاستقرار الناتج عن الفروق الدقيقة في التقريب العشري.

# التحقق من محدد المصفوفة ورقم الحالة العددي
det_cov = np.linalg.det(cov_np)
cond_number = np.linalg.cond(cov_np)

if det_cov == 0 or cond_number > 1e12:
    raise ValueError("مصفوفة التغاير شاذة أو غير مستقرة عددياً، لا يمكن حساب المعكوس المباشر.")
else:
    inv_cov_matrix = np.linalg.inv(cov_np)

يقيس رقم الحالة (Condition Number) حساسية معكوس المصفوفة للأخطاء الطفيفة والتشوهات في البيانات المدخلة؛ فإذا كان رقم الحالة كبيراً جداً، فهذا يشير إلى قرب المصفوفة من الشذوذ (Ill-conditioned Matrix) نتيجة لوجود تعدد خطي قوي (Multicollinearity). في مثل هذه السيناريوهات، يُفضل استخدام المعكوس الزائف لشبه المصفوفة (Pseudo-inverse) عبر الدالة np.linalg.pinv التي تعتمد على تفكيك القيم المفردة (SVD) لضمان استقرار الحل الحسابي.

7. بناء دالة مخصصة لحساب مسافة ماهالانوبيس من الصفر

7.1 الهيكلة البرمجية للدالة المخصصة

يُعد بناء دالة برمجية مخصصة لحساب مسافة ماهالانوبيس خطوة تعليمية ومنهجية بالغة الأهمية لتثبيت الفهم النظري وتوفير أقصى قدر من المرونة في تخصيص الحسابات ومعالجة البيانات المتدفقة. سنقوم بصياغة دالة بايثون قياسية تستقبل نقطة اختبار فردية أو مصفوفة بيانات كاملة، وتقوم بحساب المسافة بالنسبة لتوزيع مرجعي مع مراعاة كافة العمليات المصفوفية الجبرية.

def calculate_mahalanobis_single(x, mean, inv_cov):
    """
    حساب مسافة ماهالانوبيس لنقطة واحدة بالنسبة لتوزيع معروف.
    """
    x = np.asarray(x)
    mean = np.asarray(mean)
    diff = x - mean
    # تطبيق الضرب المصفوفي الثلاثي: (x - u)^T * Inv(Cov) * (x - u)
    left_term = np.dot(diff, inv_cov)
    mahalanobis_sq = np.dot(left_term, diff.T)
    return np.sqrt(mahalanobis_sq)

تقوم هذه الدالة أولاً بتحويل المدخلات إلى مصفوفات NumPy لضمان التوافق النمطي، ثم تحسب متجه الفرق الممركز. بعد ذلك، يتم تنفيذ عملية ضرب المصفوفات باستخدام الدالة np.dot أو المشغل المعياري الحديث @، حيث يُضرب متجه الفرق الصفي في معكوس مصفوفة التغاير، ثم يُضرب الناتج في متجه الفرق العمودي لإنتاج قيمة سكالارية غير سالبة، ويُستخرج الجذر التربيعي النهائي للمسافة.

7.2 تحسين الأداء الحسابي والتعامل مع العمليات المتجهة (Vectorization)

عند الرغبة في حساب مسافة ماهالانوبيس لآلاف أو ملايين الصفوف في إطار بيانات، يصبح استخدام الحلقات التكرارية البسيطة (for loops) أمراً غير مقبول حسابياً ويسبب بطئاً شديداً في التنفيذ. الحل البرمجي الأمثل يتمثل في الاستفادة الكاملة من قوة المعالجة المتجهة (Vectorization) والبث المتجهي (Broadcasting) في NumPy لإجراء الحسابات على مصفوفة البيانات بالكامل كعملية جبرية موحدة ودفعة واحدة.

def calculate_mahalanobis_vectorized(data, mean=None, inv_cov=None):
    """
    حساب مسافة ماهالانوبيس المتجهة لجميع صفوف المصفوفة بكفاءة عالية.
    """
    X = np.asarray(data)
    if mean is None:
        mean = np.mean(X, axis=0)
    if inv_cov is None:
        cov = np.cov(X, rowvar=False)
        inv_cov = np.linalg.pinv(cov)
    
    # حساب الفروق الممركزة لكافة المشاهدات دفعة واحدة
    diff = X - mean
    # استخدام الضرب المصفوفي وحساب مجموع حاصل الضرب النقطي لكل صف
    left_term = np.dot(diff, inv_cov)
    mahalanobis_sq = np.sum(left_term * diff, axis=1)
    return np.sqrt(np.maximum(mahalanobis_sq, 0))

يوضح هذا الكود المتجه كيف يتم استبدال ضرب المتجه الكامل بالدالة np.sum(left_term * diff, axis=1) التي تنفذ الضرب العنصري (Element-wise multiplication) وتجمعه عبر المحور الأفقي، مما يحقق اختزالاً زمنياً هائلاً يصل إلى مئات الأضعاف مقارنة بالتكرار التقليدي، مع توفير حماية عددية باستخدام np.maximum(..., 0) لتفادي القيم السالبة الصغرى الناتجة عن أخطاء التقريب العشري.

8. حساب مسافة ماهالانوبيس باستخدام دوال مكتبة SciPy

8.1 توظيف دالة scipy.spatial.distance.mahalanobis

توفر مكتبة SciPy التخصصية دالة قياسية مدمجة ومحسنة لحساب المسافة بدقة وهي scipy.spatial.distance.mahalanobis. تتطلب هذه الدالة تمرير ثلاثة معاملات إجبارية بالترتيب: متجه النقطة الأولى $\mathbf{u}$، ومتجه النقطة الثانية $\mathbf{v}$، ومعكوس مصفوفة التغاير $\mathbf{VI} = \mathbf{\Sigma}^{-1}$.

from scipy.spatial.distance import mahalanobis

# استخراج نقطة عشوائية ومتجه المتوسطات ومعكوس التغاير
u = df.iloc[0].to_numpy()
v = mean_vector
VI = inv_cov_matrix

# حساب المسافة باستخدام الدالة القياسية
dist_scipy = mahalanobis(u, v, VI)
print(f"مسافة ماهالانوبيس المحسوبة بواسطة SciPy: {dist_scipy:.4f}")

إذا أردنا تطبيق هذه الدالة على كامل صفوف إطار بيانات Pandas، يمكننا استخدام دالة apply وتمرير وسيط محور الصفوف axis=1:

df['Mahalanobis_SciPy'] = df.apply(
    lambda row: mahalanobis(row[['Study_Hours', 'Prep_Exam', 'Final_Exam', 'GPA']].values, mean_vector, inv_cov_matrix),
    axis=1
)

وعلى الرغم من أن هذه الطريقة تُعد مقروءة وقياسية، إلا أنها تعتمد داخلياً على التكرار عبر الصفوف، مما يجعلها أقل كفاءة وسرعة مقارنة بالحلول المتجهة الشاملة عند التعامل مع البيانات الضخمة.

8.2 استخدام دالة cdist لحساب المسافات الجماعية بكفاءة

للتعامل مع الحسابات المترية الكبيرة بين مصفوفتين من النقاط، توفر SciPy دالة قوية وشديدة الفعالية هي scipy.spatial.distance.cdist. تسمح هذه الدالة بحساب مصفوفة المسافات الثنائية المتقاطعة بين مجموعتين من العينات بطلب واحد ومعالجة مجمعة بلغة C منخفضة المستوى.

from scipy.spatial.distance import cdist

# إعداد مصفوفة البيانات ومصفوفة المركز كمدخلات ثنائية الأبعاد
X_mat = df[['Study_Hours', 'Prep_Exam', 'Final_Exam', 'GPA']].values
center_mat = mean_vector.reshape(1, -1)

# حساب مسافة ماهالانوبيس دفعة واحدة لجميع الصفوف بالنسبة لمتجه المتوسطات
distances = cdist(X_mat, center_mat, metric='mahalanobis', VI=inv_cov_matrix)
df['Mahalanobis_cdist'] = distances.flatten()

يوفر استخدام cdist المزايا التالية للمحللين ومهندسي البيانات:

• السرعة الحسابية الفائقة الناتجة عن تنفيذ الحسابات بالكامل داخل مكتبات C البرمجية المجمعة.
• إمكانية حساب المسافات بين مجموعات بيانات مختلفة كلياً (مثل حساب مسافة عينات الاختبار Test Set بالنسبة لتوزيع عينات التدريب Train Set).
• سهولة دمج النتائج المصفوفية مباشرة كعمود جديد داخل إطار بيانات Pandas لدعم العمليات الإحصائية اللاحقة.

9. كشف القيم الشاذة والمتطرفة باستخدام توزيع كاي-تربيع

9.1 الأساس النظري لاختبار كاي-تربيع للقيم الشاذة

من أهم المزايا الإحصائية لمسافة ماهالانوبيس ارتباطها الرياضي الوثيق بالتوزيعات الاحتمالية الكلاسيكية. ففي ظل افتراض أن البيانات تتبع توزيعاً طبيعياً متعدد المتغيرات بأبعاد $p$، فإن مربع مسافة ماهالانوبيس$D_M^2$ لمشاهدة عشوائية يتبع نظرياً توزيع كاي-تربيع (Chi-Square Distribution $\chi^2$) بدرجات حرية مساوية تماماً لعدد المتغيرات المستخدمة في التحليل ($df = p$):

$$D_M^2 \sim \chi^2(p)$$

يسمح هذا التأصيل النظري بتحويل مسألة كشف القيم الشاذة من مجرد حكم تجريبي تقريبي إلى اختبار فرضي إحصائي استدلالي محكم؛ حيث يمكننا تحديد قيمة حرجة (Critical Cutoff Value) $\chi^2_{critical}$ بناءً على مستوى دلالة إحصائية محدد مسبقاً $\alpha$ (مثل $\alpha = 0.05$ أو $\alpha = 0.01$ أو $\alpha = 0.001$ في الدراسات الصارمة):

$$\text{Critical Cutoff} = \chi^2_{1-\alpha, , p}$$

تُصنف أي مشاهدة يتجاوز مربع مسافة ماهالانوبيس الخاص بها هذه القيمة الحرجة ($D_M^2 > \chi^2_{critical}$) على أنها قيمة شاذة متعددة الأبعاد ذات دلالة إحصائية، مما يعني أن احتمالية صدور هذه المشاهدة عن التوزيع الطبيعي الأصلي بالصدفة المحضة تقل عن مستوى الدلالة $\alpha$ المختار.

9.2 حساب القيمة الاحتمالية (p-value) وعزل الشواذ برمجياً

لتطبيق هذا المنهج في بايثون، نستخدم الدالة scipy.stats.chi2.sf التي تحسب دالة البقاء (Survival Function أو $1 – text{CDF}$) لحساب القيمة الاحتمالية المباشرة المقترنة بكل مسافة محسوبة، ثم نطبق قناعاً منطقياً (Boolean Mask) لتحديد المشاهدات الشاذة وعزلها.

# تحديد درجات الحرية ومستوى الدلالة
p_dim = len(columns)
alpha = 0.001
cutoff_value = stats.chi2.ppf(1 - alpha, df=p_dim)

# حساب مربع المسافة والقيم الاحتمالية
df['Mahalanobis_Sq'] = df['Mahalanobis_cdist'] ** 2
df['p_value'] = stats.chi2.sf(df['Mahalanobis_Sq'], df=p_dim)

# تحديد المشاهدات الشاذة بقناع منطقي
df['is_outlier'] = df['Mahalanobis_Sq'] > cutoff_value

outliers_detected = df[df['is_outlier']]
print(f"القيمة الحرجة لتوزيع كاي-تربيع (p={p_dim}, alpha={alpha}): {cutoff_value:.3f}")
print(f"عدد المشاهدات الشاذة المكتشفة: {len(outliers_detected)}")

يوفر هذا الكود مرونة استثنائية؛ فبدلاً من الاعتماد فقط على التصنيف الثنائي (شاذ / طبيعي)، يتيح عمود p_value للمحلل تقييم شدة التطرف بدقة مستمرة، وتحديد أولويات الفحص اليدوي للحالات الأكثر غرابة وشذوذاً في البيانات.

9.3 المعالجة المنهجية للقيم الشاذة المكتشفة

لا يعني اكتشاف القيم الشاذة بمسافة ماهالانوبيس المبادرة فوراً إلى حذفها الميكانيكي من مجموعة البيانات؛ فالشواذ الإحصائية قد تنقسم منهجياً إلى ثلاثة أنماط رئيسية تتطلب كل منها تدخلاً مختلفاً:

• أخطاء القياس والإدخال (Measurement & Entry Errors): كأن يتم إدخال ساعات الدراسة بقيمة 250 بدلاً من 25 نتيجة خطأ طباعي، وهنا يكون التصحيح اليدوي أو الحذف هو الخيار المنهجي السليم.
• عينات من خارج المجتمع المستهدف (Contaminated Samples): كأن يشارك في عينة الطلاب الجامعيين أستاذ جامعي أو طالب من مرحلة دراسية أخرى، مما يستوجب استبعاد المشاهدة لعدم تمثيلها للمجتمع المستهدف.
• تنوع طبيعي حقيقي ونادر (Genuine Extreme Variability): كحالة طالب عبقري يتمتع بقدرات استثنائية غير مسبوقة، وهنا يمثل حذف البيانات تضليلاً علمياً، ويكون من الأنسب دراسة الحالة بشكل منفرد أو استخدام نماذج تحليلية حصينة.

في حال تقرر استبعاد الشواذ الصريحة، يجب بعد الحذف إعادة احتساب متجه المتوسطات ومصفوفة التغاير من جديد على البيانات المنقاة، لأن الشواذ تؤثر في تقدير مصفوفة التغاير الأصلية وتؤدي إلى تشويهها فيما يُعرف بظاهرتي “الإخفاء” (Masking) و”المحاكاة الشاذة” (Swamping)، حيث تخفي الشواذ الكبيرة شواذ أخرى أصغر منها أو تجعل نقاطاً طبيعية تبدو شاذة.

10. تطبيقات عملية في تحليل البيانات النفسية والقياس النفسي

10.1 تنقية بيانات الاستبيانات ومقاييس الشخصية

تمثل البيانات السيكومترية ومقاييس ليكرت (Likert Scales) في أبحاث الشخصية والسلوك أحد أكثر الحقول استفادة من مسافة ماهالانوبيس. في استبيانات التقرير الذاتي (Self-report Questionnaires) كاستبيان العوامل الخمسة الكبرى (Big Five Inventory)، يعاني الباحثون من ظاهرة المستجيبين غير المنتبهين (Inattentive Responders) الذين يختارون إجابات عشوائية أو يضغطون على نفس الخيار عبر كافة الصفحات لإنهاء الاستبيان بسرعة.

تساعد مسافة ماهالانوبيس في تنقية هذه البيانات عبر مقارنة نمط إجابات كل مفحوص مع مصفوفة التغاير المعروفة بين أبعاد الشخصية. إذا أظهر المفحوص استجابات متطرفة غير متسقة عبر الأبعاد الفرعية المترابطة (مثل تسجيل أعلى درجة في “الضمير الحي والتنظيم” وأدنى درجة ممكنة في “الانضباط الذاتي والالتزام بالمهام”)، فإن مسافة ماهالانوبيس الخاصة به ستتجاوز الحدود الحرجة لتوزيع كاي-تربيع فوراً.

يؤدي استبعاد هذه الأنماط غير المتسقة إلى تحسين جوهري ومباشر في مؤشرات جودة القياس السيكومتري؛ حيث ترتفع معاملات الاتساق الداخلي (Cronbach’s Alpha) والصدق العاملي التوكيدي، وتصبح مصفوفات الارتباط بين المتغيرات الكامنة أكثر نظافة واستقراراً وقدرة على تفسير الفروق الفردية الحقيقية بين الأفراد.

10.2 التشخيص الإكلينيكي وتحديد الحالات الفريدة متعددة الأبعاد

في مجال التشخيص العصبي والنفسي الإكلينيكي، يخضع المريض لبطاريات اختبارية شاملة تقيس وظائف الإدراك، والذاكرة العاملة، وسرعة المعالجة، والتحكم التنفيذي، والاستقرار الانفعالي. نادراً ما تظهر الاضطرابات المعقدة كمرض الزهايمر أو اضطراب فرط الحركة وتشتت الانتباه (ADHD) من خلال تدهور معيار منفرد، بل تتبدى في شكل خلل في نمط التوازن والارتباط المتعدد بين هذه الوظائف مجتمعة.

تتيح مسافة ماهالانوبيس للأطباء والمحللين الإكلينيكيين إنشاء “بروفايل تشخيصي مركب”؛ حيث تُحسب مسافة المريض الفردي بالنسبة لتوزيع العينة المعيارية من الأفراد الأصحاء (Normative Baseline Distribution). يوفر هذا الحساب مؤشراً كمياً واحداً يلخص مدى ابتعاد الحالة السريرية عن التوازن الوظيفي الطبيعي في الفضاء متعدد الأبعاد، حتى لو كانت كل درجة فردية تقع ضمن النطاق المقبول ظاهرياً.

كما تُعد هذه الأداة حاسمة في الدراسات الطولية (Longitudinal Studies) لمتابعة التدهور المعرفي؛ حيث يتم حساب مسافة ماهالانوبيس لملف المريض في نقاط زمنية متتابعة بالنسبة لنقطة الأساس (Baseline)، مما يسمح برصد بداية الانحدار المعرفي والانتكاسات المرضية في مراحل مبكرة جداً قبل أن تتجاوز المؤشرات الفردية الحدود المرضية الصريحة.

11. التحديات الإحصائية والحسابية: التعدد الخطي العالي وتحدي الأبعاد

11.1 مشكلة الارتباط الخطي التام ومصفوفات التغاير المفردة

تعتمد مسافة ماهالانوبيس الكلاسيكية على قابلية مصفوفة التغاير للعكس الرياضي الكامل. غير أن هذه الفرضية تنهار برمجياً ورياضياً عند وجود ارتباط خطي متعدد مرتفع جداً أو تام (Perfect Multicollinearity) بين متغيرين أو أكثر في مجموعة البيانات؛ كأن يتم تضمين متغير ونسخة مكررة منه بوحدة قياس أخرى، أو متغير يمثل مجموع متغيرين آخرين تماماً.

في هذه الحالات، تصبح محددة مصفوفة التغاير مساوية للصفر ($det(\mathbf{\Sigma}) = 0$)، وتصبح المصفوفة شاذة أو مفردة (Singular Matrix)، مما يؤدي إلى فشل دالة np.linalg.inv وإطلاق خطأ برمجي شهير: LinAlgError: Singular matrix. للتغلب على هذه المعضلة الحسابية، يلجأ المحللون إلى استراتيجيات منهجية متعددة تشمل:

• المعكوس الزائف لمور-بينروز (Moore-Penrose Pseudoinverse): تطبيق الدالة scipy.linalg.pinv التي تحسب معكوساً معمماً يتعامل مع القيم الذاتية الصفرية عبر إلغائها وتجاوز الشذوذ الهندسي.
• تقليل الأبعاد التمهيدي: تطبيق تحليل المكونات الرئيسية (PCA) لاستبعاد الأبعاد الخطية الزائدة وحصر التحليل على المكونات الأساسية ذات التباين الملموس قبل حساب المسافات.
• حذف المتغيرات الزائدة مسبقاً: فحص مصفوفة الارتباط وتطبيق معامل تضخم التباين (VIF – Variance Inflation Factor) لاستبعاد المتغيرات ذات التكرار الخطي المفرط.

11.2 لعنة الأبعاد (Curse of Dimensionality) وصغر حجم العينة

يظهر تحدٍ إحصائي أكثر تعقيداً عندما يقترب عدد المتغيرات $p$ من حجم العينة الكلي $n$، أو يتجاوزه ($p > n$)، وهي ظاهرة شائعة في بيانات الجينوم، والرؤية الحاسوبية، والبيانات النصية، وتُعرف إحصائياً بـ لعنة الأبعاد. في ظل هذه الظروف، يصبح مقدر مصفوفة التغاير التجريبية غير مستقر ومشوهاً للغاية، ويحتوي على تباين عينات هائل يجعل تقديرات مسافة ماهالانوبيس مضخمة وغير موثوقة إحصائياً.

لمعالجة هذه المشكلة الجذرية، طُوِّرت تقنيات تنظيم المصفوفات (Regularization and Shrinkage)؛ حيث يتم “تقليص” مصفوفة التغاير التجريبية نحو مصفوفة هدف مستقرة وبسيطة (مثل مصفوفة قطرية أو مصفوفة الوحدة) عبر معادلة التركيب الخطي التالية:

$$\mathbf{\Sigma}_{\text{shrunk}} = (1 – \gamma) \mathbf{S} + \gamma \mathbf{T}$$

حيث تمثل $\mathbf{T}$ المصفوفة الهدف، بينما يمثل $\gamma in [0, 1]$ معامل التقليص الأمثل. يُعد مقدر ليدويت-وولف (Ledoit-Wolf Shrinkage Estimator) المعيار الذهبي في هذا المجال؛ إذ يحسب المعامل $\gamma$ تحليلياً بطريقة تضمن تقليل متوسط الخطأ التربيعي (MSE) لتقدير مصفوفة التغاير وتضمن قابليتها للعكس واستقرار مسافات ماهالانوبيس المشتقة منها حتى في الفضاءات عالية الأبعاد.

12. أفضل الممارسات والحلول البديلة لتقدير مصفوفة التغاير القوية

12.1 محدد التغاير الأدنى (Minimum Covariance Determinant – MCD)

تتمثل المفارقة الإحصائية الكبرى في استخدام مسافة ماهالانوبيس التقليدية لكشف الشواذ في أن المقدرات الكلاسيكية لمتجه المتوسطات $\bar{\mathbf{x}}$ ومصفوفة التغاير $\mathbf{S}$ تتأثر هي ذاتها تأثراً بالغاً بوجود هذه الشواذ. فالقيم المتطرفة تنجذب نحوها المتوسطات وتؤدي إلى تضخيم عناصر التباين، مما يخلق ظاهرة “الإخفاء” (Masking Effect) حيث تصبح مسافة المشاهدة الشاذة أصغر مما ينبغي، فتفلت من الكشف.

لحل هذه المعضلة المنهجية، يُستخدم مقدر محدد التغاير الأدنى (Minimum Covariance Determinant – MCD) الذي ابتكره الإحصائي بيتر روسيو (Peter Rousseeuw). تعتمد خوارزمية MCD (المعروفة بـ FastMCD) على البحث عن مجموعة فرعية من المشاهدات بحجم $h$ (حيث يمثل $h$ عادةً حوالي 75% من العينة الإجمالية) تمتلك أقل محدد ممكن لمصفوفة التغاير، ومن ثم حساب المتوسط ومصفوفة التغاير بالاعتماد الحصري على هذه النواة النقية الخالية من الشواذ.

توفر مكتبة Scikit-Learn تطبيقاً معيارياً لهذه التقنية عبر الفئة EllipticEnvelope أو الفئة المباشرة MinCovDet:

from sklearn.covariance import MinCovDet

# تطبيق مقدر التغاير الحصين MCD
mcd = MinCovDet(support_fraction=0.75, random_state=42)
mcd.fit(df[['Study_Hours', 'Prep_Exam', 'Final_Exam', 'GPA']])

# حساب مسافة ماهالانوبيس الحصينة (Robust Distance)
df['Robust_Mahalanobis'] = np.sqrt(mcd.mahalanobis(df[['Study_Hours', 'Prep_Exam', 'Final_Exam', 'GPA']]))

يطلق على المسافة الناتجة “مسافة ماهالانوبيس الحصينة” (Robust Mahalanobis Distance)، وتتميز بقدرتها الفائقة على عزل الشواذ المعقدة دون التأثر بوجود تكتلات شاذة في البيانات.

12.2 التمثيل البصري للنتائج وتفسير مخرجات النماذج

يمثل التمثيل البصري للنتائج ركيزة أساسية لتفسير مخرجات مسافة ماهالانوبيس ونقل الرؤى التحليلية لصناع القرار والباحثين. في الفضاء ثنائي الأبعاد، يُعد رسم القطوع الناقصة للثقة (Confidence Ellipses) الأداة التوضيحية الأكثر فاعلية؛ حيث تُمثل هذه القطوع خطوط تساوي مسافة ماهالانوبيس عند مستويات دلالة إحصائية مختلفة (مثل 95% و99%).

from matplotlib.patches import Ellipse
import matplotlib.transforms as transforms

def plot_confidence_ellipse(x, y, ax, n_std=3.0, facecolor='none', **kwargs):
    cov = np.cov(x, y)
    pearson = cov[0, 1] / np.sqrt(cov[0, 0] * cov[1, 1])
    ell_radius_x = np.sqrt(1 + pearson)
    ell_radius_y = np.sqrt(1 - pearson)
    ellipse = Ellipse((0, 0), width=ell_radius_x * 2, height=ell_radius_y * 2,
                      facecolor=facecolor, **kwargs)
    scale_x = np.sqrt(cov[0, 0]) * n_std
    mean_x = np.mean(x)
    scale_y = np.sqrt(cov[1, 1]) * n_std
    mean_y = np.mean(y)
    transf = transforms.Affine2D().rotate_deg(45).scale(scale_x, scale_y).translate(mean_x, mean_y)
    ellipse.set_transform(transf + ax.transData)
    return ax.add_patch(ellipse)

# إنشاء المخطط البصري
fig, ax = plt.subplots(figsize=(10, 6))
sns.scatterplot(data=df, x='Prep_Exam', y='Final_Exam', hue='is_outlier', palette={False: 'steelblue', True: 'crimson'}, ax=ax)
plot_confidence_ellipse(df['Prep_Exam'], df['Final_Exam'], ax, n_std=3.0, edgecolor='black', linestyle='--', label='حد كاي-تربيع 99.9%')
plt.title('كشف القيم الشاذة باستخدام مسافة ماهالانوبيس وقطع الثقة الناقص')
plt.xlabel('درجات الاختبار التحضيري')
plt.ylabel('درجات الاختبار النهائي')
plt.legend()
plt.show()

يكشف هذا المخطط بوضوح كيف يلتف القطع الناقص حول محور الارتباط الطبيعي بين المتغيرين، مما يبرز كيف تقع النقاط الطبيعية داخل الإهليلج على الرغم من تباعدها الإقليدي، بينما تُعزل النقاط الشاذة بوضوح خارجه لتناقضها مع اتجاه الارتباط العام.

12.3 دليل الخطوات المعيارية والبروتوكول النهائي للمحلل

لضمان أعلى معايير الدقة العلمية وقابلية إعادة الإنتاج (Reproducibility) في المشاريع التحليلية والأبحاث الأكاديمية، يجب على محلل البيانات اتباع بروتوكول منهجي متسلسل عند حساب وتطبيق مسافة ماهالانوبيس، كما يوضح الجدول المعياري التالي:

المرحلة المنهجية	الإجراء التحليلي والبرمجي	معيار التحقق والقرار المنهجي
1. استكشاف البيانات	فحص التوزيعات الفردية، وحساب مصفوفة الارتباط، واختبار التوزيع الطبيعي المتعدد.	التأكد من وجود ارتباطات خطية تبرر استخدام ماهالانوبيس وتدعم افتراض التوزيع الطبيعي.
2. فحص التعدد الخطي	حساب محدد مصفوفة التغاير $det(\mathbf{\Sigma})$ ورقم الحالة العددي (Condition Number).	إذا كان المحدد يقترب من الصفر، يُستخدم المعكوس الزائف pinv أو تقنية تقليص الأبعاد PCA.
3. اختيار المقدر المناسب	المفاضلة بين المقدر التجريبي الكلاسيكي، ومقدر التقليص Ledoit-Wolf، ومقدر التغاير الحصين FastMCD.	استخدام FastMCD في حال الاشتباه بوجود شواذ مجمعة، واستخدام Ledoit-Wolf إذا كانت الأبعاد $p$ كبيرة مقارنة بـ $n$.
4. حساب المسافات	تطبيق المعالجة المتجهة عبر scipy.spatial.distance.cdist أو الدوال المتجهة المخصصة.	التأكد من مطابقة الأبعاد والتحقق من عدم وجود قيم مفقودة أو سالبة في مصفوفة المسافات.
5. الاستدلال واتخاذ القرار	مقارنة مربع المسافات بالقيم الحرجة لتوزيع كاي-تربيع $\chi^2(p)$ وحساب $p$-values.	توثيق الحالات الشاذة ومراجعتها منهجياً وفق سياق الدراسة قبل إقرار التعديل أو الحذف.

يمثل هذا البروتوكول الإجرائي خارطة طريق متكاملة تضمن للمحللين والباحثين استخراج أقصى قيمة إحصائية من مسافة ماهالانوبيس مع تفادي المنزلقات الرياضية والحسابية الشائعة.

خاتمة

تُشكل مسافة ماهالانوبيس نقلة نوعية في منهجيات القياس والتحليل الإحصائي متعدد المتغيرات؛ إذ نجحت في سد الفجوة العميقة التي تركتها المقاييس المترية الإقليدية البسيطة عبر دمجها لبنية التغاير والارتباطات الداخلية للبيانات. ومن خلال قدرتها الرياضية الفريدة على تحقيق اللامبالاة بمقاييس التشتت ووحدات القياس، وإلغاء التكرار المعلوماتي بين المتغيرات المترابطة عبر تحويل التبييض الإحصائي، تظل هذه الأداة حجر الزاوية في تنقيب البيانات، وكشف الشواذ متعددة الأبعاد، والتشخيص الإكلينيكي، وتحليل المقاييس السيكومترية المعقدة.

وقد أثبتت منظومة بايثون العلمية—بما تضمه من مكتبات رائدة كـ NumPy وSciPy وPandas وScikit-Learn—كفاءة استثنائية في تجسيد هذه المفاهيم الرياضية وتحويلها إلى أدوات برمجية فائقة السرعة والاستقرار. وسواء تم استخدام الصيغ المتجهة المخصصة، أو الدوال الجاهزة، أو المقدرات الحصينة المتقدمة كمحدد التغاير الأدنى ومقدرات التقليص، فإن التطبيق السليم لمسافة ماهالانوبيس يتطلب دائماً وعياً عميقاً بالفروض النظرية، والتحديات الحسابية المرتبطة بالتعدد الخطي ولعنة الأبعاد، لضمان استخلاص نتائج إحصائية دقيقة، نزيهة، وقابلة للتكرار العلمي الصارم.

المراجع (References)

• Mahalanobis, P. C. (1936). On the generalised distance in statistics. Proceedings of the National Institute of Sciences of India, 2(1), 49–55. https://en.wikipedia.org/wiki/Mahalanobis_distance
• Rousseeuw, P. J., & Driessen, K. V. (1999). A fast algorithm for the minimum covariance determinant estimator. Technometrics, 41(3), 212–223. https://doi.org/10.1080/00401706.1999.10485670
• Ledoit, O., & Wolf, M. (2004). A well-conditioned estimator for large-dimensional covariance matrices. Journal of Multivariate Analysis, 88(2), 365–411. https://doi.org/10.1016/S0047-259X(03)00096-4
• Johnson, R. A., & Wichern, D. W. (2007). Applied Multivariate Statistical Analysis (6th ed.). Pearson Prentice Hall. https://www.pearson.com
• Tabachnick, B. G., & Fidell, L. S. (2019). Using Multivariate Statistics (7th ed.). Pearson. https://www.pearson.com
• Virtanen, P., Gommers, R., Oliphant, T. E., Haberland, M., Reddy, T., Cournapeau, D., … & SciPy 1.0 Contributors. (2020). SciPy 1.0: Fundamental algorithms for scientific computing in Python. Nature Methods, 17(3), 261–272. https://doi.org/10.1038/s41592-019-0686-2
• Harris, C. R., Millman, K. J., van der Walt, S. J., Gommers, R., Virtanen, P., Cournapeau, D., … & Oliphant, T. E. (2020). Array programming with NumPy. Nature, 585(7825), 357–362. https://doi.org/10.1038/s41586-020-2649-2
• Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., … & Duchesnay, É. (2011). Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12, 2825–2830. https://jmlr.org/papers/v12/pedregosa11a.html