كيفية إزالة القيم المتطرفة في بايثون

تُعد معالجة البيانات وتنقيتها الركيزة الجوهرية التي تستند إليها كافة مسارات التحليل الإحصائي وبناء نماذج تعلم الآلة في العصر الرقمي الحديث. فمهما بلغت الخوارزميات الرياضية من التعقيد والتقدم، تظل مخرجاتها مقيدة بجودة المدخلات، وفق المبدأ الحاسوبي الراسخ “المدخلات الرديئة تقود حتماً إلى مخرجات رديئة” (Garbage In, Garbage Out). وضمن هذا السياق، تحتل مسألة التعاطي مع القيم المتطرفة (Outliers) أو الشاذة مكانة حرجة تتطلب دراية منهجية تجمع بين الفهم النظري العميق للإحصاء الرياضي والمهارة التقنية في توظيف لغات البرمجة المتقدمة، وعلى رأسها لغة Python التي باتت المعيار القياسي الفعلي لعلوم البيانات.

إن إزالة القيم المتطرفة لا يمكن اختزالها في مجرد إجراء برمجي عشوائي يُحذف بموجبه أي رقم يبدو غريباً للعين المجردة؛ بل هي عملية قرار منهجي محفوفة بالمحاذير الإحصائية والأخلاقية. فالقيم الشاذة قد تنطوي على أخطاء قياس مشوهة تستوجب التطهير الحاسم لحماية دقة النماذج، ولكنها قد تعبر أيضاً عن ظواهر استثنائية أصيلة، أو اكتشافات علمية غير مسبوقة، أو تغيرات هيكلية في طبيعة المنظومة الخاضعة للدراسة. من هنا، يهدف هذا الدليل الشامل والمفصل إلى تزويد الباحثين ومهندسي البيانات بإطار عملي متكامل يغطي كافة تقنيات رصد وتشخيص وحذف أو معالجة القيم المتطرفة باستخدام منظومة بايثون التحليلية، بدءاً من الأساليب البارامترية واللابارامترية التقليدية وصولاً إلى خوارزميات التعلم الآلي متعددة الأبعاد وتحليل السلاسل الزمنية المعقدة.

خلال هذه الأطروحة التطبيقية، سنستعرض بالتفصيل المعايير الرياضية الدقيقة، والأكواد الموجهة، والمقارنات المنهجية التي تضمن تنفيذ المعالجة المسبقة للبيانات بأعلى درجات الرصانة العلمية، مع التركيز على تجنب الوقوع في الانحياز التأكيدي أو تقويض الصدق الإحصائي للدراسات، مما يجعل هذا المرجع دليلاً مرجعياً متكاملاً للممارسين والمحققين في علم البيانات والإحصاء الحسابي.

1. مقدمة منهجية حول مفهوم القيم المتطرفة وتأثيرها الإحصائي

1.1 تعريف القيمة المتطرفة في التحليل الإحصائي للبيانات

تُعرف القيمة المتطرفة في الأدبيات الإحصائية الكلاسيكية، كما صاغها فرانك غرابز (Frank Grubbs) وفيكتور بارنيت (Vic Barnett)، بأنها تلك الملاحظة التجريبية التي تنحرف بشكل ملحوظ وفج عن النمط التوزيعي العام الذي تخضع له بقية عناصر العينة الإحصائية. ومن المنظور الرياضي المجرد، تظهر القيمة المتطرفة في ذيول التوزيع الاحتمالي، حيث تكون احتمالية حدوثها وفق دالة الكثافة الاحتمالية النظرية المفترضة منخفضة للغاية مقارنة بالملاحظات المركزية.

تنبع القيم الشاذة في البيانات التجريبية والميدانية من مصادر متعددة ومتنوعة؛ فقد تكون ناتجة عن أخطاء آلية أثناء عملية القياس، مثل عطل طارئ في مستشعرات إنترنت الأشياء، أو ناتجة عن أخطاء بشرية متكررة أثناء إدخال البيانات وترميزها في قواعد البيانات، أو تنشأ عن خلل في تصميم عينة المسح الميداني ذاته. وفي المقابل، قد تنشأ الملاحظات المتطرفة عن تباين طبيعي حقيقي أصيل يعكس تقلبات نادرة ولكن واقعية في الظاهرة المدروسة، مثل تقلبات الأسواق المالية المفاجئة أثناء الأزمات الاقتصادية، أو تسجيل درجات حرارة قياسية نتيجة ظواهر مناخية شاذة.

يتطلب التحليل المنهجي الدقيق التمييز الصارم بين التباين الإحصائي الطبيعي المتأصل في الظواهر العشوائية (Natural Stochastic Variation) وبين الأخطاء المنهجية الملوثة للبيانات (Systematic Contamination). فالأول يعبر عن الحقيقة الكامنة التي يجب على النموذج الرياضي التقاطها وتفسيرها، بينما يمثل الثاني ضوضاء زائفة تؤدي إلى تشويه الاستدلال العلمي. ومن ثم، فإن تحديد هذه القيم وتشخيصها يمثل الخطوة الأولى والحاسمة في مرحلة المعالجة المسبقة للبيانات، حيث يُبنى عليها لاحقاً استقرار النماذج وسلامة استنتاجاتها الاستقرائية.

1.2 الآثار المنهجية للقيم الشاذة على النماذج الإحصائية

تمارس القيم المتطرفة تأثيراً هداماً ومباشراً على المقاييس الإحصائية البارامترية الكلاسيكية، وتحديداً مقاييس النزعة المركزية مثل المتوسط الحسابي. وبما أن المتوسط الحسابي يعتمد في حسابه على المجموع الكلي للقيم مقسوماً على عددها، فإن وجود قيمة متطرفة واحدة ذات مقدار ضخم كفيل بجذب المتوسط نحوه بعيداً عن مركز الثقل الحقيقي للبيانات، مما يجعله مقياساً غير ممثل للمجتمع الإحصائي في حضور التوزيعات الملتوية أو الملوثة.

يمتد هذا التأثير المشوه بصورة أكثر حدة إلى مقاييس التشتت والتباين، لا سيما التباين (Variance) والانحراف المعياري (Standard Deviation)، اللذين يعتمدان على تربيع الفروق بين المشاهدات والمتوسط الحسابي. إن عملية التربيع الرياضي تضخم وزن الانحرافات الكبيرة بصورة أسية، مما يؤدي إلى تضخيم زائف للانحراف المعياري. يترتب على هذا التضخيم عواقب وخيمة في الاختبارات الإحصائية الاستدلالية، مثل اختبار “ت” (t-test) وتحليل التباين (ANOVA)، حيث يزداد الخطأ المعياري للتقديرات، مما يقلل من القوة الإحصائية (Statistical Power) للاختبارات ويزيد من احتمالية ارتكاب الخطأ من النوع الثاني (Type II Error) المتمثل في الفشل في رفض الفرضية الصفرية الخاطئة.

علاوة على ذلك، تُخل القيم الشاذة بالافتراضات الأساسية لنماذج الانحدار الخطي الكلاسيكية (OLS Regression)، وأبرزها فرضية التوزيع الطبيعي للبواقي (Normality of Residuals) وتجانس التباين (Homoscedasticity). تمارس النقاط ذات التأثير المرتفع (High Leverage Points) عزماً دورانياً على خط الانحدار، مما يغير من قيم معاملات الانحدار بصورة جوهرية ويفسد القدرة التنبؤية للنموذج عبر خفض معامل التحديد وتضخيم معدلات الخطأ المعياري للتقديرات.

1.3 معايير اتخاذ القرار قبل حذف البيانات المتطرفة

إن قرار حذف الملاحظات المتطرفة هو أحد أخطر القرارات المنهجية في مسار علم البيانات، ولا يجوز اتخاذه بصورة آلية متعجلة دون استناد إلى معايير موضوعية واضحة. يرتكز المعيار الأول على التقييم النوعي الصارم لمصدر الشذوذ؛ فإذا ثبت بالدليل القاطع أن القيمة ناتجة عن خطأ تقني في أجهزة القياس أو خطأ مطبعي موثق، يصبح الحذف أو التصحيح مبرراً وضرورياً لحماية نزاهة مصفوفة البيانات. أما إذا كانت القيمة تمثل مشاهدة واقعية لظاهرة نادرة، فإن استبعادها قد يعد تحريفاً وتزييفاً لطبيعة المجتمع الإحصائي.

يتعلق المعيار الثاني بتحليل حجم العينة الكلي والنسبة المئوية للملاحظات المراد استبعادها. في العينات الصغيرة، يؤدي حذف عدد قليل من الملاحظات إلى فقدان جسيم في درجات الحرية (Degrees of Freedom)، مما يهدد استقرار التقديرات الإحصائية. وبشكل عام، تحذر الأدبيات المنهجية من حذف ما يتجاوز 1% إلى 5% من إجمالي حجم البيانات دون تقديم تبريرات نظرية ومسوغات إحصائية قاطعة تدعم هذا الإجراء.

يتصل المعيار الثالث بالأبعاد الأخلاقية والمنهجية للأمانة العلمية وصدق النتائج. إن الإفراط في تنظيف البيانات عبر إزالة كل نقطة لا تتطابق مع فرضيات الباحث يُعد شكلاً مقنعاً من أشكال التلاعب بالنتائج أو ما يُعرف بممارسة “تنقيب البيانات الاحتيالي” (P-hacking). لذلك، يجب أن يستند قرار الحذف دائماً إلى بروتوكول تحليلي معلن ومحدد مسبقاً يضمن الشفافية وقابلية إعادة الإنتاج المستقل من قِبل باحثين آخرين.

2. إعداد بيئة العمل واستيراد المكتبات الأساسية في بايثون

2.1 تهيئة المكتبات البرمجية للحسابات العددية والتحليل

لبناء بيئة عمل متماسكة وفعالة قادرة على تنفيذ العمليات الإحصائية المتقدمة ومعالجة المصفوفات الضخمة، يعتمد مجتمع بايثون على ترسانة من المكتبات المتخصصة في الحساب العلمي. في مقدمة هذه الأدوات تأتي مكتبة NumPy، وهي الحزمة الأساسية للحوسبة العددية التي توفر هياكل مصفوفات متعددة الأبعاد (N-dimensional Arrays) مبرمجة بلغة C، مما يتيح إجراء العمليات الحسابية المتجهية المعقدة بسرعة فائقة تتجاوز الحلقات التكرارية التقليدية بمراحل.

تتكامل مكتبة Pandas بصورة عضوية مع مصفوفات الأعداد لتوفير هياكل بيانات مرنة وعالية المستوى، وتحديداً أطر البيانات (DataFrames) والسلاسل (Series). تتيح هذه الأدوات تنظيم البيانات المجدولة، والتعامل مع الفهارس المتقدمة، وإجراء عمليات الفلترة والاستعلام المعقدة، والدمج، والتحويلات الهيكلية الضرورية لتنقية السجلات المشبوهة بدقة وكفاءة استثنائية.

تكتمل هذه المنظومة الحسابية بالاعتماد على موديول الإحصاء scipy.stats المضمن داخل مكتبة SciPy العلمية. يوفر هذا الموديول وصولاً مباشراً إلى مئات التوزيعات الاحتمالية المستمرة والمنقطعة، بالإضافة إلى دوال حساب الدرجات المعيارية، واختبارات الفروض البارامترية واللابارامترية، والتقديرات المتينة للتشتت، مما يمنح الممارس الأساس الرياضي الصلب لتطبيق معايير الكشف الإحصائي بدقة متناهية.

2.2 إعداد أدوات التصور البياني لاستكشاف الشذوذ

يمثل الاستكشاف البصري خطوة تمهيدية لا غنى عنها في مسار تشخيص البيانات؛ ولذا يجب ضبط بيئة التصور البياني بعناية لتقديم قراءات دقيقة للتوزيعات وتحديد مواقع الشذوذ. توفر مكتبة Matplotlib البنية التحتية الأساسية لإنشاء الرسوم والمخططات ثنائية الأبعاد في بايثون، وتتيح التحكم الكامل في كافة العناصر المظهرية للمخطط مثل المحاور، والمقاييس اللوغاريتمية، والعلامات التوضيحية، وحدود الرؤية الرياضية.

للارتقاء بجودة التمثيل البياني وتحقيق قراءة إحصائية أوضح، تُستخدم مكتبة Seaborn المبنية على قواعد ماتبلوتليب. تتميز سيبورن بقدرتها الفائقة على توليد المخططات الإحصائية التفاعلية والمعقدة بكود برمجي مقتضب وأنيق، مع ضبط تلقائي للمحددات الجمالية مثل لوحات الألوان المتباينة وشبكات الخلفية التي تبرز تكتلات البيانات والانحرافات القصوى.

يتطلب الإعداد الاحترافي لبيئة العمل البرمجية في بايثون استدعاء هذه الحزم وتخصيص معايير الخطوط ودقة العرض (DPI) لضمان وضوح المخرجات البصرية أثناء تقييم التوزيعات الاحتمالية ومخططات الانتشار ومخططات الصندوق، مما يعزز الحدس الإحصائي لدى المحلل قبل الانتقال إلى مرحلة التنقية الرقمية الخوارزمية.

2.3 توليد وهيكلة مجموعة بيانات تطبيقية للمحاكاة

لضمان الفهم العميق للتقنيات التطبيقية، يُفضل دائماً بناء نموذج محاكاة يعتمد على مصفوفة بيانات اصطناعية محكومة بخصائص رياضية معروفة مسبقاً، حيث يتم حقن قيم شاذة عمداً لاختبار كفاءة الخوارزميات في استرجاع الهيكل الأصلي. يمكن تحقيق ذلك في بايثون عبر توظيف دوال التوليد العشوائي في حزمة numpy.random لإنشاء توزيع طبيعي معياري، ثم إقحام مجموعة محددة من القيم القصوى التي تنحرف عن المتوسط بمقدار يتجاوز أربعة أو خمسة انحرافات معيارية.

يتم تحويل هذه المصفوفات العددية إلى إطار بيانات من نوع Pandas DataFrame، مع تسمية الأعمدة بمتغيرات محاكية لدراسات واقعية، مثل الدخل الشهري، وضغط الدم، ومعدلات الاستهلاك الكهربائي، لإضفاء طابع تطبيقي مباشر. يتيح ذلك إمكانية تتبع أثر الشذوذ عبر متغيرات أحادية ومتعددة في آن واحد.

تُختتم هذه التهيئة بإجراء فحص استكشافي مبدئي باستخدام التوابع الوصفية المدمجة في بانداس، وعلى رأسها التابع describe() الذي يوضح المتوسط، والانحراف المعياري، والقيم الدنيا والقصوى، والربيعات الأساسية، بالإضافة إلى التابع info() للتحقق من أنواع البيانات وسلامتها الهيكلية، مما يمهد الطريق للبدء في تطبيق استراتيجيات الاستكشاف والتنظيف البرمجي.

3. الاستكشاف البصري للقيم المتطرفة في بايثون

3.1 تحليل مخططات الصندوق (Boxplots)

يُعد مخطط الصندوق، الذي ابتكره عالم الإحصاء الشهير جون توكي (John Tukey)، أحد أعظم وأكفأ الأدوات البصرية لتشخيص التوزيعات وتحديد القيم الشاذة دون الحاجة لافتراض التوزيع الطبيعي. يعتمد تشريح مخطط الصندوق على الملخص الخماسي للبيانات: القيمة الصغرى، والربيع الأول (Q1)، والوسيط الإحصائي (Q2)، والربيع الثالث (Q3)، والقيمة العظمى المحددة بواسطة الشوارب (Whiskers).

عند استخدام التابع sns.boxplot في مكتبة Seaborn، يتم رسم مستطيل يمثل المدى الربيعي الذي يحتوي على 50% من البيانات المركزية. تمتد الشوارب من حواف الصندوق إلى مسافة تعادل عادة 1.5 مضروبة في المدى الربيعي (IQR) في كلا الاتجاهين. تُعامل أي نقطة بيانات تقع خارج هذه الشوارب الإحصائية بصفتها قيمة شاذة محتملة، ويتم تمثيلها بيانياً كنقاط فردية معزولة تطفو وراء الحدود الدنيا أو القصوى.

تتميز مخططات الصندوق بقدرتها الفريدة على المقارنة البصرية السريعة بين فئات وتصنيفات متعددة عبر تضمين المعامل الفئوي داخل التابع البرمجي. يتيح ذلك للباحث رصد ما إذا كان الشذوذ يمثل نمطاً عاماً عبر كامل مصفوفة البيانات أم أنه شذوذ مشروط بظروف فئة معينة دون غيرها، مما يمنع الحذف الخاطئ لبيانات قد تكون طبيعية ضمن فئتها الفرعية.

3.2 مخططات التشتت (Scatter Plots) للعلاقات الثنائية

عند الانتقال من التحليل أحادي المتغير إلى فحص العلاقات الثنائية بين متغيرين كميين، تبرز مخططات التشتت عبر التابعين plt.scatter و sns.scatterplot كأداة تشخيصية لا غنى عنها لكشف القيم المتطرفة متعددة المتغيرات (Bivariate Outliers). فقد تكون نقطة البيانات طبيعية تماماً عند فحصها ضمن نطاق المتغير الأول بصورة منفردة، وطبيعية ضمن نطاق المتغير الثاني، لكنها تظهر شذوذاً هيكلياً صارخاً عند دراسة الاقتران المشترك بين المتغيرين.

تتجلى هذه الظاهرة في سياقات نماذج الانحدار والارتباط؛ فعندما تترابط المتغيرات خطياً، تتجمع النقاط في هيئة سحابة بيضاوية تتبع اتجاهاً عاماً. تُعرف القيمة الشاذة ثنائياً بكونها تلك النقطة التي تبتعد بمسافة عمودية أو قطرية شاسعة عن الخط المركزي للاتجاه، مما يشير إلى كسر موضعي لنمط الارتباط المفترض بين المتغيرين.

لتوسيع نطاق الاستكشاف ليشمل منظومة متغيرات متعددة، توفر دالة sns.pairplot في بايثون إمكانية توليد مصفوفة بصرية شاملة من مخططات التشتت المتقاطعة لكافة أزواج الأعمدة في إطار البيانات. تتيح هذه المصفوفة للمحلل مسحاً شمولياً سريعاً يكشف النقاط الشاذة المستترة عبر أبعاد اقترانية متعددة في خطوة برمجية واحدة.

3.3 تحليل مدرجات التكرار ومنحنيات الكثافة (Histograms & KDE)

يوفر المدرج التكراري المقترن بتقدير كثافة النواة (Kernel Density Estimation – KDE) وسيلة بصرية مباشرة لتقييم الشكل الهندسي للتوزيع الاحتمالي والتعرف على مدى التوائه وامتداد ذيوله. يُمكن تفعيل هذا النمط من التحليل في بايثون عبر استدعاء الدالة sns.histplot وتمرير المعامل kde=True لرسم المنحنى السلس التقديري فوق الأعمدة التكرارية.

تكشف هذه المخططات بوضوح عن الانحرافات الجوهرية عن التوزيع الطبيعي، لا سيما الالتواء الموجب (الانحراف نحو اليمين) أو الالتواء السالب (الانحراف نحو اليسار). تظهر القيم المتطرفة في هذه الرسوم في هيئة ذيول ممتدة وطويلة للغاية، أو على شكل تجمعات معزولة صغيرة ومتباعدة في أقصى أطراف المنحنى تفصلها فجوات بيضاء عريضة عن الكتلة الرئيسية للبيانات.

يساعد التقدير البصري للكثافة الاحتمالية المحلل في تحديد ما إذا كان التوزيع أحادي القمة (Unimodal) أو متعدد القمم (Multimodal). هذا التمييز حاسم للغاية، إذ إن تطبيق أساليب الحذف الكلاسيكية المبنية على فرضية التوزيع الطبيعي على بيانات متعددة القمم أو شديدة الالتواء قد يؤدي إلى حذف خاطئ لشرائح كاملة من المجتمع الإحصائي المدروس.

4. طريقة المدى الربيعي (IQR) لاكتشاف وإزالة القيم المتطرفة

4.1 الأسس الرياضية لمعيار المدى الربيعي

تعتبر طريقة المدى الربيعي (Interquartile Range – IQR) من أهم المنهجيات اللابارامترية (Non-parametric) وأكثرها متانة ومقاومة لوجود القيم الشاذة، حيث تعتمد في حساباتها بالكامل على الرتب الترتيبية للبيانات بدلاً من المتوسطات المتأثرة بالانحرافات. يُعرف الربيع الأول ($Q_1$) بأنه المئين الخامس والعشرون (25th Percentile)، وهو النقطة التي تقع دونها 25% من الملاحظات المرتبة تصاعدياً. وبالمثل، يمثل الربيع الثالث ($Q_3$) المئين الخامس والسبعين (75th Percentile)، وهو النقطة التي تقع دونها 75% من الملاحظات.

يُعرف المدى الربيعي رياضياً بأنه حاصل الفرق بين الربيع الثالث والربيع الأول وفق المعادلة:

IQR = Q_3 – Q_1

بناءً على هذه المسافة الإحصائية التي تعبر عن تشتت الـ 50% الوسطى من المشاهدات، وضع جون توكي حدين مانعين للكشف عن الشذوذ. يُحسب الحد الأدنى المسموح به (Lower Bound) والحد الأعلى المسموح به (Upper Bound) عبر الصيغ التالية:

Lower Bound = Q_1 – 1.5 times text{IQR}

Upper Bound = Q_3 + 1.5 times text{IQR}

يتميز معامل التضخيم 1.5 بأساس احتمالي دقيق؛ ففي حالة التوزيع الطبيعي الخالص، تقع حوالي 99.3% من البيانات داخل هذين الحدين، مما يجعل احتمالية تصنيف نقطة طبيعية كقيمة شاذة لا تتجاوز 0.7%. وفي الحالات التي تتطلب تشدداً إحصائياً أكبر لحذف القيم شديدة التطرف فقط (Extreme Outliers)، يُمكن رفع المعامل النظري من 1.5 إلى 3.0، مما يؤدي إلى توسيع نطاق القبول وحصر الحذف في الحالات بالغة الشذوذ.

4.2 التطبيق البرمجي لحساب IQR في بايثون

يتيح إطار العمل في بايثون حساب المدى الربيعي والحدود المرتبطة به بمرونة متناهية وبأسلوب برمجي متجهي بالاعتماد على دالة quantile() المدمجة في مكتبة Pandas. لتنفيذ ذلك على متغير معين داخل إطار البيانات، يتم استخراج الربيع الأول بتمرير القيمة 0.25، واستخراج الربيع الثالث بتمرير القيمة 0.75، ثم تطبيق المعادلة الرياضية لحساب IQR بصورة مباشرة.

عقب استخراج الحدود الحسابية الدنيا والعليا، يتم بناء أقنعة منطقية بولينية (Boolean Masks) عبر مقارنة قيم العمود بالحدود المستخرجة. ينتج عن هذا الشرط مصفوفة من القيم المنطقية (True و False) تشير بوضوح إلى مواقع الملاحظات التي تقع خارج النطاق الآمن وتستحق الوسم بالشذوذ الإحصائي.

يتيح هذا النهج البرمجي مرونة فائقة، حيث يمكن تعميمه بسهولة عبر حلقة تكرارية أو تطبيق دالة مخصصة على كافة الأعمدة الرقمية في إطار البيانات دفعة واحدة، مما يتيح استخراج تقرير إحصائي يوضح عدد ونسبة القيم الشاذة المكتشفة في كل متغير على حدة قبل الشروع في اتخاذ إجراءات التصفية الفعلية.

4.3 تنفيذ كود الحذف الفعلي للقيم المتطرفة بالمدى الربيعي

تتم عملية الحذف الفعلي للسجلات الملوثة في بايثون عبر توظيف تقنية الفهرسة البولينية (Boolean Indexing) لتصفية إطار البيانات والاحتفاظ حصراً بالصفوف التي تقع جميع قيمها المستهدفة داخل النطاق المحدد بين الحدين الأدنى والأعلى. يتم ذلك عبر صياغة تعبير منطقي يدمج بين شرطين باستخدام المعامل المنطقي العطفي (&).

عند التعامل مع مجموعات بيانات تتضمن متغيرات عددية متعددة، يواجه المحلل خيارين منهجيين: إما تصفية البيانات في كل عمود على حدة بصورة معزولة، أو تطبيق عملية حذف شاملة تستبعد أي صف يحتوي على قيمة شاذة في أي عمود من الأعمدة الرقمية. يُنفذ الخيار الثاني عبر الجمع المنطقي للشروط باستخدام دالة all(axis=1) للتأكد من أن الصف المقبول يحقق شروط السلامة في كافة المتغيرات مجتمعة.

عقب الانتهاء من عملية الحذف والتصفية، يُعد من الممارسات البرمجية الإلزامية فحص أبعاد إطار البيانات باستخدام الخاصية df.shape قبل وبعد التنفيذ لمقارنة التغير في عدد الصفوف، وإعادة ضبط فهرس السجلات عبر التابع reset_index(drop=True) لضمان تسلسل الفهارس وتفادي أي أخطاء برمجية في مراحل النمذجة اللاحقة.

5. طريقة الدرجة المعيارية (Z-Score) لتنقية البيانات

5.1 المفهوم الإحصائي للدرجة المعيارية والافتراضات الأساسية

تُعد طريقة الدرجة المعيارية (Z-Score) من أشهر المناهج البارامترية الكلاسيكية المتبعة لتحديد القيم الشاذة، وتستند بصورة جوهرية إلى قياس المسافة النسبية التي تفصل الملاحظة الفردية عن المتوسط الحسابي للعينة، معبراً عنها بوحدات الانحراف المعياري. تُحسب الدرجة المعيارية للمشاهدة $x_i$ وفق الصيغة الرياضية التالية:

Z_i = frac{x_i – mu}{sigma}

حيث تمثل $\mu$ المتوسط الحسابي للمجتمع أو العينة، بينما تمثل $\sigma$ الانحراف المعياري. تقوم هذه العملية بتحويل التوزيع الأصلي للبيانات إلى توزيع معياري بمتوسط يساوي صفراً وانحراف معياري يساوي واحداً صحيحاً.

تعتمد مشروعية ودقة استخدام معيار Z-Score على افتراض حاسم مفاده أن المتغير الخاضع للدراسة يتبع التوزيع الطبيعي (Gaussian Distribution) أو قريباً منه بصورة مقبولة. وفقاً للقاعدة التجريبية الإحصائية (Empirical Rule / 68-95-99.7 Rule):

• تقع حوالي 68.27% من البيانات ضمن نطاق انحراف معياري واحد حول المتوسط ($|Z| le 1$).
• تقع حوالي 95.45% من البيانات ضمن نطاق انحرافين معياريين حول المتوسط ($|Z| le 2$).
• تقع 99.73% من الملاحظات ضمن نطاق ثلاثة انحرافات معيارية حول المتوسط ($|Z| le 3$).

انطلاقاً من هذا التوزيع الاحتمالي، فإن احتمالية ظهور قيمة تتجاوز درجتها المعيارية المطلقة القيمة 3 في توزيع طبيعي لا تتعدى 0.27%، مما يجعلها عتبة إحصائية قياسية لتصنيف المشاهدات كقيم متطرفة تستوجب الإزالة أو المعالجة.

5.2 حساب Z-Score باستخدام مكتبة SciPy

توفر بيئة بايثون وسيلة حسابية متطورة وفائقة السرعة لاستخراج الدرجات المعيارية عبر موديول scipy.stats وتحديداً من خلال الدالة zscore(). تقبل هذه الدالة تمرير مصفوفات NumPy أو سلاسل وأطر بيانات Pandas، وتقوم بحساب الدرجات المعيارية لكافة العناصر بصورة متجهية متزامنة دون الحاجة لكتابة معادلات يدوية.

لضمان الكشف المتماثل عن الشذوذ في كلا الاتجاهين (القيم بالغة الصغر أقصى اليسار والقيم بالغة الكبر أقصى اليمين)، يُطبق اقتران القيمة المطلقة عبر دالة numpy.abs() على مصفوفة الدرجات المعيارية الناتجة. يتيح ذلك تحويل كافة الانحرافات السالبة إلى قيم موجبة، مما يبسط المقارنة الرياضية مع العتبة المحددة.

يتم اختيار العتبة الإحصائية (Threshold) بناءً على طبيعة الدراسة وحجم العينة؛ حيث يُعد الرقم 3 العتبة الأكثر شيوعاً وقبولاً في التطبيقات العامة، في حين يفضل بعض الباحثين استخدام عتبة أكثر تسامحاً مثل 2.5 في التطبيقات الطبية الحساسة، أو عتبة أكثر تشدداً مثل 3.5 أو 4.0 في مجموعات البيانات الضخمة (Big Data) لتجنب الإفراط في حذف البيانات الصالحة.

5.3 تطبيق التصفية البرمجية وحذف الملاحظات الشاذة

يتم تنفيذ تصفية البيانات في بايثون باستخدام Z-Score عبر دمج الدرجات المحسوبة في شرط منطقي يستبعد السجلات التي تتخطى العتبة المقررة. في سياق أطر البيانات متعددة الأعمدة، يُمكن استخراج مصفوفة الدرجات المعيارية للأعمدة الرقمية حصراً، ثم تطبيق الدالة (np.abs(z_scores) < threshold).all(axis=1) للحصول على قناع بوليني يحدد الصفوف النظيفة في كافة المتغيرات.

يُستخدم هذا القناع لإعادة هيكلة إطار البيانات الأصلي واستخلاص النسخة المصفاة، مع التخلص التام من الصفوف الملوثة. تتيح هذه الخطوة أيضاً للمحلل استخراج إطار بيانات موازٍ يحتوي فقط على الصفوف المستبعدة لدراستها وتوثيق خصائصها المنهجية بدقة قبل التخلص النهائي منها.

من الضروري في هذه المرحلة توثيق المخرجات الإحصائية لعملية التنقية؛ ويشمل ذلك طباعة عدد السجلات الإجمالي قبل المعالجة، وعدد السجلات المحذوفة، والنسبة المئوية التي تمثلها هذه السجلات من الحجم الكلي للعينة، مما يوفر سجلاً تدقيقياً يضمن شفافية المعالجة الحسابية.

5.4 قيود طريقة Z-Score وحالات عدم الملاءمة

على الرغم من الانتشار الواسع لطريقة Z-Score وبساطتها المفاهيمية، إلا أنها تعاني من مأزق منهجي خطير يُعرف في الأدبيات الإحصائية بـ “المفارقة الدائرية” أو مشكلة التقنيع (Masking Effect). تنبع هذه المشكلة من حقيقة أن المتوسط الحسابي والانحراف المعياري المستخدمين في حساب Z-Score يتأثران بشدة بوجود القيم المتطرفة ذاتها؛ فالقيم المتطرفة ترفع المتوسط نحوها وتضخم الانحراف المعياري، مما يؤدي إلى خفض مصطنع في الدرجات المعيارية للمشاهدات الشاذة، فيفشل المعيار في التقاطها وكشفها.

علاوة على ذلك، تفقد طريقة Z-Score فعاليتها وموثوقيتها الإحصائية تماماً عندما تنحرف البيانات عن افتراض التوزيع الطبيعي. ففي التوزيعات شديدة الالتواء (مثل توزيعات الدخل والثروة) أو التوزيعات ذات الذيول الثقيلة (Heavy-tailed Distributions) كالتوزيع الأسي أو توزيع كوشي، يؤدي تطبيق عتبة Z-Score التقليدية إلى حذف غير مبرر لملاحظات طبيعية أصيلة تنتمي لبنية التوزيع الفعلي.

تستدعي هذه القيود الهيكلية ضرورة توخي الحذر الشديد وعدم استخدام Z-Score كخيار افتراضي أعمى، واللجوء بدلاً من ذلك إلى مقاييس متينة (Robust Alternatives) لا تتأثر بالقيم الشاذة عند غياب التوزيع الطبيعي أو في البيئات الملوثة بشدة.

6. الدرجة المعيارية المعدلة (Modified Z-Score) والانحراف المطلق عن الوسيط (MAD)

6.1 الأسس الرياضية لطريقة الانحراف المطلق عن الوسيط (MAD)

لتجاوز المعضلات المنهجية المتأصلة في مقاييس الإحصاء الكلاسيكية، طور علماء الإحصاء المتين مقاييس بديلة تعتمد على مقاييس الموقع والتشتت المقاومة للشذوذ (Robust Location and Scale Measures). يحل الوسيط الإحصائي (Median) كبديل للمتوسط الحسابي، نظراً لتمتعه بدرجة انهيار قصوى تبلغ 50% (Breakdown Point of 50%)، مما يعني أنه يظل ثابتاً وممثلاً للمركز حتى لو تلوثت نصف المشاهدات بقيم شاذة بالغة التطرف.

يقابل الانحراف المعياري في هذا الإطار مقياس يُعرف باسم الانحراف المطلق عن الوسيط (Median Absolute Deviation – MAD). يُحسب هذا المقياس من خلال استخراج الفروق المطلقة بين كل مشاهدة ووسيط العينة، ثم حساب الوسيط الرياضي لتلك الفروق المطلقة وفق الصيغة:

text{MAD} = text{median}(|x_i – text{median}(X)|)

لمواءمة قيمة مقياس MAD مع الانحراف المعياري للتوزيع الطبيعي المعياري وجعل التقديرات متسقة إحصائياً (Consistent Estimator)، يتم ضرب MAD في معامل تصحيح رياضي ثابت مشتق من دالة التوزيع التراكمي العكسية للدرجات المعيارية، وقيمته التقريبية:

frac{1}{Phi^{-1}(0.75)} approx 1.4826 quad text{أو ما يعادله كضرب في المعكوس} approx 0.6745

6.2 خوارزمية إيغليويكز وهوغلين (Iglewicz and Hoaglin)

قدم العالمان بوريس إيغليويكز (Boris Iglewicz) وديفيد هوغلين (David Hoaglin) في عام 1993 تطويراً جوهرياً للدرجة المعيارية الكلاسيكية، أُطلق عليه اسم الدرجة المعيارية المعدلة (Modified Z-Score – $M_i$). تُصاغ هذه الدرجة باستخدام مقياس الوسيط وMAD وفق المعادلة التالية:

M_i = frac{0.6745 times (x_i – tilde{x})}{text{MAD}}

حيث تمثل $\tilde{x}$ وسيط العينة، و MAD هو الانحراف المطلق عن الوسيط دون تعديل مسبق. بفضل استخدام المقاييس المتينة في البسط والمقام، لا تعاني درجات $M_i$ من تضخم التشتت أو انحراف المركز، مما يمنحها حساسية فائقة في تشخيص الشواذ حتى في وجود تجمعات شاذة متقاربة (Masking and Swamping Resistance).

بناءً على دراسات المحاكاة المكثفة التي أجراها إيغليويكز وهوغلين، أوصى الباحثان باعتماد العتبة الحرجة $|M_i| > 3.5$ كمعيار حاسم وفعال للحكم على شذوذ الملاحظة واستبعادها من التحليل، حيث توفر هذه العتبة توازناً مثالياً بين تقليل معدل الإنذارات الكاذبة وتعظيم كفاءة كشف الانحرافات الفعلية.

6.3 بناء دالة بايثون مخصصة لتطبيق Modified Z-Score

نظراً لعدم توفر دالة موحدة ومباشرة في الإصدارات القياسية لبعض المكتبات لحساب الدرجة المعيارية المعدلة بخطوة واحدة، يقوم مهندس البيانات ببناء دالة بايثون مخصصة تعتمد على الدوال المتجهية في NumPy أو SciPy. تستقبل الدالة إطار البيانات أو المصفوفة العددية، إلى جانب قيمة العتبة المستهدفة (التي تُضبط افتراضياً على 3.5).

يبدأ الإجراء البرمجي بحساب الوسيط باستخدام np.median()، ثم حساب الفروق المطلقة واستخراج وسيطها للوصول إلى MAD. يتضمن الكود البرمجي معالجة لحالة الحافة الرياضية الحرجة (Edge Case) عندما تكون قيمة MAD مساوية للصفر (وهي حالة تحدث عند تكرار قيمة واحدة في أكثر من نصف العينة)، حيث يتم استخدام متوسط الانحراف المطلق عن المتوسط كبديل لتجنب القسمة على الصفر.

تقوم الدالة بعد ذلك بحساب مصفوفة درجات $M_i$ وتوليد قناع التصفية البوليني لحذف الملاحظات التي تتجاوز العتبة المحددة، ثم إرجاع إطار بيانات مصفى ونظيف بالكامل إلى جانب تقرير تفصيلي يوضح السجلات المستبعدة ومؤشراتها الإحصائية، مما يوفر أداة برمجية متينة وقابلة لإعادة الاستخدام في خطوط المعالجة المتقدمة.

7. أساليب الاقتطاع المئوي والوينزرة (Trimming and Winsorization)

7.1 تقنية الاقتطاع المئوي (Percentile Trimming)

تُمثل تقنية الاقتطاع المئوي (Percentile Trimming) إحدى أسهل وأوضح الاستراتيجيات اللابارامترية للتخلص من الذيول الثقيلة والضوضاء المتطرفة دون الانشغال بافتراضات التوزيع الاحتمالي النظري. تعتمد هذه المنهجية على استبعاد نسبة مئوية ثابتة ومحددة سلفاً من طرفي توزيع البيانات؛ كأن يتم استبعاد أدنى 1% وأعلى 1%، أو أدنى 5% وأعلى 5% من المشاهدات المرتبة تصاعدياً.

يتم تطبيق هذا الإجراء في بايثون عبر توظيف دالة quantile() في مكتبة Pandas لتحديد الحدود المئوية المباشرة. على سبيل المثال، لتطبيق اقتطاع بنسبة 1% من الطرفين، يتم حساب المئين 0.01 والمئين 0.99، ثم يتم تصفية إطار البيانات للاحتفاظ فقط بالمشاهدات المحصورة بدقة داخل هذه العتبات المئوية.

يؤدي الاقتطاع المئوي إلى تقليص مباشر وفوري لتباين العينة وإعادة ضبط الانحرافات الشديدة نحو المركز، غير أنه يحمل في طياته عيباً منهجياً يتمثل في التضحية الحتمية بنسبة محددة من البيانات الصالحة حتى لو كانت العينة الأصلية خالية تماماً من أي قيم شاذة حقيقية، ولذلك يجب استخدامه بحذر وفي سياقات محددة تستهدف دراسة استقرار المؤشرات المركزية المقتطعة (Trimmed Means).

7.2 طريقة الوينزرة الإحصائية (Winsorizing Method)

سُميت طريقة الوينزرة (Winsorization) نسبة إلى عالم الإحصاء تشارلز وينسور (Charles Winsor)، وهي تقدم بديلاً فلسفياً ومنهجياً مبتكراً للحذف الفيزيائي للسجلات؛ فبدلاً من إسقاط وحذف الصفوف التي تحتوي على قيم متطرفة وما يترتب على ذلك من فقدان للمعلومات وانخفاض في حجم العينة، تقوم الوينزرة بإعادة تعيين أو “تقليم” (Capping/Clipping) القيم المتطرفة واستبدالها بأقرب قيمة مئوية مقبولة داخل النطاق المحدد.

على سبيل المثال، عند تطبيق وينزرة بنسبة 5% على الطرفين، فإن جميع القيم التي تقل عن المئين الخامس (5th percentile) يتم استبدال قيمتها العددية لتصبح مساوية لقيمة المئين الخامس تماماً، كما أن جميع القيم التي تتجاوز المئين الخامس والتسعين (95th percentile) يتم استبدال قيمتها لتصبح مساوية لقيمة المئين الخامس والتسعين، بينما تظل كافة المشاهدات الواقعة بين هذين المئينين دون أي تعديل.

تُنفذ هذه العملية في بايثون بأعلى درجات الكفاءة باستخدام التابع scipy.stats.mstats.winsorize، أو من خلال دالة clip() المدمجة في مكتبة Pandas عبر تمرير الحدود المئوية الدنيا والعليا المحسوبة. تضمن الوينزرة تحجيم التأثير التدميري للقيم الشاذة مع المحافظة التامة والكاملة على حجم العينة الأصلي ($N$) ودرجات الحرية في التحليلات اللاحقة.

7.3 مقارنة منهجية: الحذف المباشر مقابل المعالجة بالوينزرة

تخضع المفاضلة المنهجية بين أسلوب الحذف المباشر للقيم المتطرفة وأسلوب المعالجة بالوينزرة لاعتبارات تتعلق بطبيعة الهدف التحليلي وحساسية النماذج المزمع تطبيقها. يوضح الجدول التحليلي التالي مقارنة شاملة بين المدخلين:

وجه المقارنة	الحذف المباشر (Trimming / Dropping)	الوينزرة والتقليم (Winsorization)
التأثير على حجم العينة ($N$)	يقل حجم العينة بفقدان السجلات المحذوفة.	يظل حجم العينة ثابتاً ومطابقاً للأصل تماماً.
الحفاظ على درجات الحرية	يؤدي إلى انخفاض درجات الحرية في الاختبارات الإحصائية.	يحافظ على درجات الحرية كاملة في النماذج.
تشويه شكل التوزيع الأصلي	يقص الذيول مما قد يترك أطرافاً حادة ومبتورة.	يُحدث تراكمات تكرارية اصطناعية عند نقاط القطع المئوية.
القوة الإحصائية (Statistical Power)	قد تنخفض في العينات الصغيرة بسبب تراجع الحجم.	ترتفع نسبياً مع تقليص التباين والحفاظ على الحجم.
السياق المفضل للتطبيق	أخطاء القياس الموثقة والبيانات الملوثة غير الصحيحة.	البيانات المالية والاقتصادية الحقيقية ذات الذيول الثقيلة.

تُظهر المقارنة أن الحذف المباشر هو الخيار الأمثل عند التيقن من عدم صحة المشاهدات وتلوثها الباطل، بينما تمثل الوينزرة الخيار الأكثر رصانة في الدراسات الاقتصادية وقطاع التأمين وإدارة المخاطر، حيث تكون القيم القصوى حقيقية وتقتضي النزاهة العلمية عدم محوها من السجلات ولكن تحجيم قدرتها على تشويه النماذج الخطية التقديرية.

8. كشف وحذف القيم المتطرفة متعددة المتغيرات (Multivariate Outliers)

8.1 مسافة ماهالانوبيس (Mahalanobis Distance)

في فضاءات البيانات متعددة الأبعاد، تصبح الأساليب أحادية المتغير عاجزة عن رصد الأنماط الشاذة المعقدة؛ إذ قد تقع نقطة ما ضمن النطاق الطبيعي لكل متغير على حدة، لكنها تمثل شذوذاً هيكلياً صارخاً عند النظر إلى التفاعل التزامني والارتباط بين تلك المتغيرات. هنا تبرز مسافة ماهالانوبيس (Mahalanobis Distance)، التي ابتكرها العالم براسانتا شاندرا ماهالانوبيس، كمعيار متقدم يقيس المسافة الإحصائية لنقطة البيانات بالنسبة لمركز ثقل التوزيع متعدد الأبعاد (الوسيط المتعدد أو مصفوفة المتوسطات)، مع الأخذ بعين الاعتبار مصفوفة التغاير والارتباطات القائمة بين المتغيرات.

تُحسب مسافة ماهالانوبيس المربعة ($D^2$) للمتجه $x$ وفق المعادلة المصفوفية التالية:

D^2 = (x – mu)^T Sigma^{-1} (x – mu)

حيث يمثل $\mu$ متجه المتوسطات الحسابية لكافة الأعمدة، وتمثل $\Sigma^{-1}$ مقلوب مصفوفة التباين والتباين المشترك (Inverse Covariance Matrix). تكمن عبقرية هذه المسافة في قيامها بتحييد المقاييس وتصحيح التداخل الناتج عن الارتباطات البينية، مما يعطي وزناً حقيقياً للاتجاهات التوزيعية الإهليلجية.

وفقاً للنظرية الإحصائية، عندما تتبع البيانات توزيعاً طبيعياً متعدد المتغيرات (Multivariate Normal Distribution)، فإن مربع مسافة ماهالانوبيس يتبع نظرياً توزيع كاي-تربيع ($\chi^2$) بدرجات حرية ($p$) مساوية تماماً لعدد المتغيرات المضمنة في التحليل. بناءً على ذلك، يتم تحديد العتبة الحرجة لحذف الشواذ عبر استدعاء دالة scipy.stats.chi2.ppf باحتمالية دلالة إحصائية معتمدة (مثل $p < 0.001$)، واستبعاد أي صف تتجاوز مسافته المربعة تلك العتبة الرياضية الصارمة.

8.2 خوارزمية المظروف الإهليلجي (Elliptic Envelope)

لتفادي تأثر مصفوفة التباين المشترك الكلاسيكية بوجود الشواذ ذاتها في الأبعاد المتعددة، تقدم حزمة Scikit-Learn فئة متقدمة تُعرف باسم EllipticEnvelope. تعتمد هذه الخوارزمية على تقدير محدد التغاير الأدنى السريع (Fast Minimum Covariance Determinant – FastMCD) الذي ابتكره بيتر روسيو (Peter Rousseeuw)، وهو مقدر فائق المتانة يقوم بالبحث عن مجموعة فرعية نقية من البيانات تملك أصغر محدد لمصفوفة التغاير، مما يتيح ملاءمة مظروف إهليلجي قوي يعبر عن النواة المركزية السليمة للتوزيع.

يتم استدعاء الفئة عبر المسار البرمجي sklearn.covariance.EllipticEnvelope وتمرير المعامل الحاسم contamination، الذي يمثل التقدير المسبق لنسبة التلوث بالقيم الشاذة المتوقعة في مصفوفة البيانات (مثلاً 0.05 لتمثيل نسبة 5%). بعد ملاءمة النموذج على البيانات عبر التابع fit()، يقوم التابع predict() بتصنيف الملاحظات إلى قيمتين: (+1) للبيانات الطبيعية داخل المظروف، و (-1) للملاحظات الشاذة الواقعة خارجه.

يتميز هذا المدخل بقدرته على عزل التجمعات الشاذة المعقدة في الفضاءات ثنائية وثلاثية ومتعددة الأبعاد بكفاءة برمجية فائقة، مما يتيح تنقية أطر البيانات من المشاهدات التي تخل بالبنية الترابطية المشتركة للمتغيرات في خطوة برمجية واحدة متكاملة وسريعة التنفيذ.

8.3 التعامل مع التحديات الحسابية في الأبعاد العالية

تواجه الطرق متعددة المتغيرات الكلاسيكية مأزقاً حسابياً وهيكلياً حاداً عندما يرتفع عدد المتغيرات ($p$) بصورة كبيرة مقارنة بعدد المشاهدات ($n$)، وهي الظاهرة المعروفة إحصائياً بـ لعنة الأبعاد (Curse of Dimensionality). في هذه البيئات عالية الأبعاد، يصبح الفضاء الرياضي شبه فارغ، وتتباعد المسافات الإقليدية ومسافات ماهالانوبيس بين كافة النقاط لتصبح شبه متساوية، مما يفقد مفهوم “القرب والبعد” دلالته التمييزية التقليدية.

علاوة على ذلك، تواجه مصفوفة التغاير $\Sigma$ مشكلات عدم الاستقرار الرياضي (Instability) وتصبح غير قابلة للعكس (Singular / Non-invertible Matrix) في حال وجود ارتباط خطي تام أو متعدد (Multicollinearity) بين المتغيرات، مما يجعل حساب مقلوبها مستحيلاً برمجياً ويتسبب في انهيار خوارزميات مثل ماهالانوبيس الكلاسيكية.

للتغلب على هذه التحديات المعقدة، يجب تطبيق استراتيجيات تخفيض الأبعاد المسبقة قبل الشروع في تنقية الشواذ متعددة الأبعاد. تشمل هذه الاستراتيجيات استخدام تحليل المكونات الرئيسية المتين (Robust PCA) أو التحليل العاملي لعزل التباين الجوهري في عدد محدود من المكونات غير المرتبطة، أو تطبيق تقنيات الانكماش لمصفوفات التغاير (Covariance Shrinkage Estimators مثل Ledoit-Wolf Estimator)، مما يضمن استقرار الحسابات وسلامة قرارات التصفية في البيانات الكثيفة والمعقدة.

9. خوارزميات تعلم الآلة المتقدمة لإزالة القيم الشاذة في بايثون

9.1 خوارزمية غابة العزل (Isolation Forest)

تُعد خوارزمية غابة العزل (Isolation Forest)، التي طورها فاي توني ليو (Fei Tony Liu) وكاي مينغ تينغ (Kai Ming Ting) وتشو-هوا تشو (Zhi-Hua Zhou) في عام 2008، إحدى أكثر خوارزميات تعلم الآلة غير الخاضعة للإشراف (Unsupervised Learning) كفاءة وثورية في كشف وإزالة القيم المتطرفة. تنطلق الخوارزمية من فرضية بديهية وعبقرية: القيم المتطرفة قليلة العدد ومختلفة وظيفياً وهيكلياً عن النمط العام، مما يجعلها “أسهل في العزل” مقارنة بالنقاط الطبيعية المتكتلة.

تعمل الخوارزمية على بناء غابة من أشجار العزل العشوائية (Isolation Trees – iTrees)، حيث يتم في كل عقدة اختيار متغير عشوائياً وتحديد نقطة تقسيم عشوائية بين أدنى وأعلى قيمة لذلك المتغير. تتطلب النقاط الشاذة، نظراً لوقوعها في مناطق منخفضة الكثافة أو على أطراف الفضاء الرياضي، عدداً قليلاً جداً من الانقسامات المتتالية لعزلها في أوراق منفردة (طول مسار شجري قصير – Short Path Length)، في حين تتطلب النقاط الطبيعية المتمركزة في قلب التجمعات الكثيفة عمقاً شجرياً كبيراً ومسارات أطول بكثير لعزلها.

تُنفذ الخوارزمية في بايثون عبر استدعاء sklearn.ensemble.IsolationForest وضبط المعاملات الفائقة الأساسية مثل عدد الأشجار n_estimators=100، ومعامل التلوث المتوقع contamination، ومعدل أخذ العينات max_samples. بعد إتمام التدريب، تُرجع الخوارزمية مصفوفة تصنيفية تتضمن القيم 1 للملاحظات المقبولة و -1 للقيم الشاذة المستبعدة، بالإضافة إلى إمكانية استخراج درجات الشذوذ المستمرة (Anomaly Scores) عبر التابع decision_function()، مما يمنح الباحث مرونة قصوى في تصفية البيانات غير الخطية والضخمة بسرعة حسابية خطية $O(n)$.

9.2 معامل العامل الخارجي المحلي (Local Outlier Factor – LOF)

تتألق خوارزمية معامل العامل الخارجي المحلي (Local Outlier Factor – LOF)، التي ابتكرها ماركوس بريونغ (Markus Breunig) وزملاؤه عام 2000، في معالجة مصفوفات البيانات التي تتميز بوجود تجمعات سكانية متفرقة ذات كثافات متفاوتة بصورة جوهرية (Varying Density Clusters). تعجز الطرق الكونية (Global Methods) مثل Z-score و IQR عن كشف الشواذ في مثل هذه البيانات، إذ قد تُصنف نقطة ما كقيمة عادية لأن كثافتها تقارب كثافة تجمع آخر متباعد، بينما هي في واقع الأمر شاذة تماماً بالنسبة للتجمع المحلي الضيق والمكتظ الذي تجاوره.

تعتمد خوارزمية LOF على خوارزمية الجيران الأقرب (k-Nearest Neighbors) لحساب الكثافة المحلية لإمكانية الوصول (Local Reachability Density – LRD) لكل نقطة بيانات بناءً على المسافات الفاصلة بينها وبين جيرانها الـ $k$ الأقرب. بعد ذلك، يتم حساب معامل LOF كنظير نسبي يقارن كثافة النقطة المحلية بمتوسط الكثافات المحلية لجيرانها؛ فإذا كانت النسبة قريبة من 1، فإن النقطة تشارك جيرانها نفس الكثافة وتعتبر طبيعية، أما إذا كانت النسبة أعلى بكثير من 1، فإن كثافة النقطة تقل جوهرياً عن كثافة محيطها المحلي، مما يدل على كونها نقطة معزولة وشاذة موضعياً.

يتم تطبيق الخوارزمية في بايثون عبر الفئة sklearn.neighbors.LocalOutlierFactor مع تحديد عدد الجيران n_neighbors=20 ونسبة التلوث contamination. توفر هذه الفئة وسيلة فعالة لتصفية السجلات المعقدة، وتعد الحل المنهجي الموصى به للبيانات الجغرافية والمكانية وبيانات التجمعات الحضرية والسلوكية غير المتجانسة.

9.3 آلات ناقلات الدعم ذات الفئة الواحدة (One-Class SVM)

تُعد خوارزمية آلات ناقلات الدعم ذات الفئة الواحدة (One-Class SVM)، المستندة إلى الإطار النظري الذي أسسه فلاديمير فابنيك (Vladimir Vapnik) وبيرنهارد شولكوف (Bernhard Schölkopf)، مدخلاً متقدماً وفعالاً لكشف الشذوذ عبر إعادة صياغة المسألة كنمذجة لحدود القرار المحيطة بالفئة الطبيعية. تقوم الخوارزمية بإسقاط بيانات التدريب غير المصنفة إلى فضاء مميزات عالي الأبعاد (أو لانهائي الأبعاد) باستخدام دوال النواة (Kernel Functions)، وتحديداً نواة الأساس الشعاعي (Radial Basis Function – RBF).

تسعى الخوارزمية داخل هذا الفضاء التحويلي المعقد إلى فصل مصفوفة البيانات عن نقطة الأصل الرياضية بأقصى هامش ممكن (Maximal Margin) باستخدام مستوى فائق غير خطي (Hyperplane). تُعامل المنطقة المحصورة داخل حدود القرار المفصولة عن الأصل بصفتها النطاق الحصري للبيانات الطبيعية، في حين تُصنف أي نقطة تقع في الجانب المقابل المقارب للأصل كقيمة متطرفة خارجة عن فضاء الكثافة المقبول.

تُطبق الخوارزمية برمجياً عبر sklearn.svm.OneClassSVM مع ضبط معامل النواة kernel='rbf' ومعامل nu الذي يمثل حداً أعلى لنسبة أخطاء التدريب (الشواذ) وحداً أدنى لعدد متجهات الدعم. يُعد هذا النموذج ممتازاً في البيئات عالية الأبعاد وحالات الكشف عن التسلل السيبراني (Intrusion Detection) وتزوير المعاملات، حيث تمثل البيانات الطبيعية نمطاً مكثفاً يصعب التعبير عنه بالمعادلات الخطية البسيطة.

10. معالجة القيم المتطرفة في السلاسل الزمنية والبيانات المعتمدة على الزمن

10.1 الإحصاءات المتحركة والانحراف المتدحرج (Rolling Statistics)

تتسم بيانات السلاسل الزمنية بخصوصية هيكلية تحظر تطبيق أساليب المعالجة الثابتة (Static Methods) بصورة شاملة على كامل البيانات؛ نظراً لاحتواء السلاسل غالباً على اتجاهات عامة متغيرة بمرور الزمن (Non-stationarity and Trends) ومواسم دورية. فالقيمة التي تعتبر متطرفة في شهر يناير قد تكون طبيعية واعتيادية تماماً في شهر يوليو بسبب تغير مستوى السلسلة، مما يتطلب تقييم الشذوذ ضمن سياق نافذة زمنية متحركة وموضعية.

يتم التعامل مع هذه الخاصية في بايثون عبر توظيف تابع النوافذ المتحركة rolling() المدمج في Pandas. يتم تحديد حجم النافذة الزمنية (مثلاً window=30 للتعبير عن ثلاثين يوماً)، ثم حساب المتوسط المتحرك (Rolling Mean) والانحراف المعياري المتحرك (Rolling Std) لتتبع ديناميكية تغير السلسلة عبر الزمن بدقة.

بناءً على هذه الإحصاءات المتدحرجة، يتم بناء نطاقات ثقة ديناميكية (Dynamic Upper and Lower Bands) تحيط بمنحنى السلسلة عند مستويات انحراف محددة (مثل $\text{Rolling Mean} \pm 3 \times \text{Rolling Std}$). تُصنف أي نقطة تخترق هذه الحدود الديناميكية المتحركة كصدمة عشوائية أو شذوذ زمني يستوجب المعالجة، مما يضمن تقييم المشاهدة وفق ظروف الفترة الزمنية الملاصقة لها تاريخياً.

10.2 التفكيك الموسمي واستخراج الشذوذ في البواقي (STL Decomposition)

لتحقيق أقصى درجات الدقة المنهجية في تنقية السلاسل الزمنية المركبة، يُلجأ إلى تقنية التفكيك الموسمي والاتجاهي باستخدام الانحدار الموضعي (Seasonal and Trend decomposition using Loess – STL). تقوم هذه التقنية الرياضية بتفكيك السلسلة الزمنية الأصلية ($Y_t$) إلى ثلاثة مكونات مستقلة وواضحة:

• مركبة الاتجاه العام ($T_t$ – Trend Component): تعبر عن الحركة طويلة المدى في السلسلة صعوداً أو هبوطاً.
• مركبة الموسمية ($S_t$ – Seasonal Component): تعبر عن الأنماط الدورية المتكررة في فترات زمنية ثابتة.
• مركبة البواقي أو المتبقيات ($R_t$ – Residual / Irregular Component): تعبر عما يتبقى بعد إزالة الاتجاه والموسمية، وهي تمثل الضوضاء والاضطرابات العشوائية الصافية.

يتم تطبيق هذا التفكيك في بايثون باستخدام الدالة statsmodels.tsa.seasonal.STL المتوفرة في مكتبة Statsmodels. بعد استخلاص المكونات، يتم تركيز جهود كشف الشواذ حصراً على سلسلة البواقي ($R_t$) باستخدام معايير IQR أو Z-score؛ نظراً لأن البواقي تكون في الحالة الطبيعية مستقرة وخالية من أثر الاتجاه والموسمية. يضمن هذا النهج عدم الخلط الخاطئ بين القمم الموسمية الطبيعية وبين الشذوذ الحقيقي.

10.3 تقنيات الاستيفاء بدلاً من الحذف الفيزيائي للصفوف الزمانية

تفرض السلاسل الزمنية قيداً حاسماً يتمثل في ضرورة الحفاظ على الانتظام الزمني للفترات الفاصلة (Equally-spaced Time Intervals) لضمان صحة تطبيق نماذج التنبؤ الكلاسيكية مثل ARIMA و SARIMAX وشبكات التعلم العميق مثل LSTM. إن الحذف الفيزيائي للصفوف المتطرفة يؤدي إلى تمزيق السلسلة وإحداث فجوات زمنية مفقودة (Missing Timestamps)، مما يفسد حساب دوال الارتباط الذاتي (Autocorrelation Functions – ACF) ويدمر افتراضات النمذجة.

لذلك، يتمثل البروتوكول المنهجي المعتمد في السلاسل الزمنية في استبدال القيم المتطرفة المكتشفة بقيم فارغة مفقودة (np.nan)، ثم تطبيق تقنيات الاستيفاء الرياضي (Interpolation) وإعادة البناء بدلاً من الحذف النهائي. يوفر إطار عمل Pandas التابع interpolate() الذي يدعم خوارزميات متعددة لاستيفاء الفجوات الزمنية بدقة متناهية:

• الاستيفاء الخطي (Linear Interpolation): يقوم بربط النقاط السابقة واللاحقة بخط مستقيم لتقدير القيمة المفقودة، وهو مناسب للتغيرات البسيطة والقصيرة.
• الاستيفاء التكعيبي وشبه الدائري (Cubic / Spline Interpolation): يستخدم كثيرات حدود ملساء لتقدير القيم في السلاسل المنحنية التي تخضع لأنماط فيزيائية متصلة.
• الاستيفاء المعتمد على الزمن (Time-weighted Interpolation): يأخذ بعين الاعتبار الفروق الزمنية الفعلية بين الطوابع الزمنية في السلاسل غير المنتظمة.

بالإضافة إلى ذلك، يمكن استخدام تقنيات الملء التقدمي والرجعي (ffill() و bfill()) في سياقات خاصة تحظر التنبؤ المستقبلي، مما يضمن استمرارية السلسلة الزمنية ونظافتها الرياضية دون الإخلال بانتظامها التاريخي.

11. أفضل الممارسات البرمجية وإنشاء خط أنابيب شامل لتنقية البيانات

11.1 كتابة دوال ومحولات مخصصة قابلة لإعادة الاستخدام

للارتقاء بجودة الكود البرمجي ونقله من النمط التجريبي المرتجل إلى معايير هندسة البرمجيات الاحترافية للإنتاج (Production-ready Code)، يجب تجنب كتابة أكواد التصفية المتناثرة وبناء فئات ومحولات برمجية مخصصة (Custom Transformers) تتبع معايير مكتبة Scikit-Learn. يتحقق ذلك من خلال وراثة الفئات الأساسية BaseEstimator و TransformerMixin من موديول sklearn.base.

يتطلب هذا البناء المعياري تضمين تابعين رئيسيين داخل الفئة المخصصة: التابع fit()، الذي يقتصر دوره على حساب واستخلاص المعايير الإحصائية (مثل قيم الوسيط، وحدود IQR، أو متوسطات ومصفوفات التغاير) من بيانات التدريب حصراً وتخزينها كمعاملات داخلية للفئة؛ والتابع transform()، الذي يقوم بتطبيق تلك المعايير المستخلصة لتنقية أو تحجيم المشاهدات في أي مجموعة بيانات جديدة تُمرر إليه.

يمنع هذا الفصل الهندسي الدقيق والمنهجي بين مرحلتي الملاءمة (Fit) والتحويل (Transform) وقوع الكارثة الشائعة في تعلم الآلة المعروفة بـ تسرب البيانات (Data Leakage)، حيث يُحظر تماماً حساب معايير الشذوذ على بيانات الاختبار أو التحقق، مما يضمن تقييم النماذج التنبؤية بأعلى درجات النزاهة والموضوعية.

11.2 دمج تنقية الشواذ داخل Scikit-Learn Pipeline

يمثل خط الأنابيب (Pipeline) في مكتبة Scikit-Learn الهيكل القياسي الموحد لأتمتة تسلسل عمليات المعالجة المسبقة وهندسة الميزات وبناء النماذج التنبؤية. ومع ذلك، تواجه المحولات القياسية في سايت-كيرن قيداً تقنياً يتمثل في أن التابع transform() مصمم لتعديل وتغيير قيم الأعمدة والمصفوفات دون تغيير عدد الصفوف، مما يجعل الحذف الفيزيائي للصفوف أثناء سريان خط الأنابيب القياسي أمراً غير مدعوم بصورة افتراضية مباشرة.

لحل هذه المعضلة الهندسية وتطبيق الحذف الفعلي للقيم الشاذة بسلاسة داخل منظومة الأتمتة، يُلجأ إلى استخدام مكتبة imbalanced-learn واستدعاء خط الأنابيب المتقدم imblearn.pipeline.Pipeline بدلاً من خط الأنابيب الكلاسيكي. تتيح هذه الحزمة توظيف دالة fit_resample() القادرة على تصفية وإسقاط الصفوف الملوثة ديناميكياً خلال مرحلة التدريب فقط، مع تمرير بيانات الاختبار كاملة دون تغيير في أبعادها.

يضمن هذا التكامل الهيكلي تشغيل عمليات التحقق المتقاطع (Cross-Validation) والبحث عن أفضل المعاملات الفائقة (GridSearchCV) بأمان تام، حيث يتم تنقية الشواذ تلقائياً وبشكل مستقل داخل كل طية تدريبية (Training Fold) بمعزل تام عن طية التحقق (Validation Fold)، مما يحقق المحاكاة الأكثر دقة واحترافية للبيانات الواقعية غير المرئية.

11.3 تقييم أداء النموذج الإحصائي والتنبؤي قبل وبعد الحذف

إن المبرر النهائي لأي تدخل برمجي يستهدف إزالة القيم المتطرفة يكمن في إثبات تحسن جودة النموذج الإحصائي أو التنبؤي بعد المعالجة، دون التضحية بقدرة النموذج على التعميم على بيانات واقعية جديدة. ولتحقيق ذلك، يجب تبني بروتوكول تقييم تجريبي يقارن مقاييس الأداء بدقة قبل وبعد تطبيق إجراءات التنقية.

في نماذج الانحدار الخطي والتنبؤ الكمي، يتم تتبع مقاييس الخطأ مثل الجذر التربيعي لمتوسط مربعات الخطأ (Root Mean Squared Error – RMSE)، ومتوسط الخطأ المطلق (Mean Absolute Error – MAE)، ومعامل التحديد ($R^2$). يُظهر تنظيف الشواذ عادةً انخفاضاً حاداً في RMSE وزيادة في استقرار المعاملات المقدرة. أما في نماذج التصنيف، فيتم تتبع مساحة المنحنى المميز للأداء (ROC-AUC) ودقة التمييز (F1-Score) ومصفوفة الارتباك (Confusion Matrix).

ومع ذلك، يجب الحذر من الوقوع في فخ الإفراط في التخصيص التطهيري (Sanitization Overfitting)؛ وهو الوضع الذي يؤدي فيه الإفراط في حذف البيانات إلى رفع أداء النموذج ظاهرياً وبصورة خادعة على بيانات التدريب المعقمة، في حين ينهار أداؤه تماماً عند اختباره في بيئة الإنتاج الحقيقية المليئة بالتقلبات والضوضاء الطبيعية. لذا يجب أن يكون التقييم دائماً على مصفوفة اختبار مستقلة لم تخضع لعمليات الحذف التعسفي.

12. الاعتبارات المنهجية والأكاديمية في توثيق إزالة القيم المتطرفة

12.1 التوثيق الشفاف لخطوات المعالجة المسبقة

تفرض المعايير الأكاديمية والمهنية الصارمة التزاماً كاملاً بالشفافية والوضوح عند توثيق وتدوين كافة القرارات المتعلقة بتنقية البيانات في التقارير الفنية والأوراق البحثية المحكمة. لا يجوز للباحث تقديم مصفوفة بيانات معالجة بصفتها البيانات الأصلية دون الإفصاح التفصيلي عن البروتوكولات المتبعة في إدارتها وتنظيفها.

يتضمن التوثيق المنهجي الإفصاح الدقيق عن النقاط التالية:

• التعريف الرياضي والمعيار الإحصائي المعتمد للكشف عن الشذوذ (مثل IQR، أو Modified Z-Score، أو Isolation Forest).
• العتبات الرقمية الدقيقة التي تم استخدامها كحدود فاصلة للقطع (مثل تحديد العتبة عند $1.5 times text{IQR}$ أو $|Z| > 3$).
• بيانات الحجم الدقيقة: حجم العينة الإجمالي الأصلي ($N_{initial}$)، والعدد الدقيق للملاحظات المستبعدة، ونسبتها المئوية من إجمالي المجتمع المدروس.
• المسوغات العلمية والمنهجية التي بررت اختيار أسلوب الحذف المباشر بدلاً من التحويل الرياضي أو الاستبدال والوينزرة.

يضمن هذا التوثيق الدقيق حماية الباحث من شبهات التلاعب، ويتيح لمجتمع المراجعين والباحثين فهم الحدود التجريبية التي صيغت ضمنها نتائج التحليل ومخرجاته التنبؤية.

12.2 تحليل الحساسية (Sensitivity Analysis)

يُمثل تحليل الحساسية (Sensitivity Analysis) المعيار الذهبي لتقييم مدى متانة وقوة الاستنتاجات العلمية في مواجهة القرارات الإحصائية المتعلقة بالبيانات المتطرفة. يقوم هذا الإجراء المنهجي على تنفيذ التحليلات الإحصائية ونمذجة البيانات مرتين بالتوازي: المرة الأولى باستخدام مصفوفة البيانات الكاملة بما تحتويه من قيم شاذة، والمرة الثانية باستخدام مصفوفة البيانات المنقاة بعد استبعاد الشواذ.

عقب إتمام التحليلين، يقوم الباحث بمقارنة معاملات النماذج، ومستويات الدلالة الإحصائية (P-values)، وفترات الثقة، ومؤشرات جودة التوافق بين النموذجين. إذا ظلت الاستنتاجات والقرارات الجوهرية ثابتة ومتطابقة في كلا الحالتين، فإن ذلك يمنح ثقة ويقيناً إحصائياً بأن النتائج متينة ولا تستند إلى صدفة عشوائية تقودها بضع نقاط شاذة.

أما إذا أدى استبعاد القيم المتطرفة إلى انقلاب النتائج أو اختفاء العلاقات الارتباطية تماماً، فإن الأمانة العلمية تقتضي تضمين هذه المقارنة ومناقشة التباينات بتفصيل كامل في متن البحث؛ إذ يشير هذا التباين إلى أن الظاهرة المدروسة قد تكون مدفوعة حصراً بتلك الحالات الاستثنائية، مما يتطلب إعادة النظر في الفرضيات النظرية للدراسة برمتها.

12.3 تجنب الممارسات الخاطئة والانحياز التأكيدي في تنظيف البيانات

تُعد النزاهة الأخلاقية والمنهجية الرادع الأساسي ضد الممارسات الاحتيالية غير المقبولة في معالجة البيانات، وعلى رأسها ممارسة الانحياز التأكيدي (Confirmation Bias). تتمثل هذه الممارسة المعيبة في قيام المحلل بحذف المشاهدات المتطرفة التي تتعارض مع فرضياته البحثية المسبقة أو تعوق وصول نماذجه إلى دلالة إحصائية معنوية ($p < 0.05$)، بينما يغض الطرف عن إبقاء القيم الشاذة التي تدعم توجهاته وتثبت صحة افتراضاته.

تندرج هذه الممارسات المشوهة تحت مظلة الاحتيال الإحصائي المنهجي المعروف بـ “P-hacking” أو “استخراج الدلالة المصطنعة عبر التلاعب بالبيانات”، وهي ممارسات تقوض الثقة في مخرجات البحث العلمي وتؤدي إلى ما يُعرف في الأوساط الأكاديمية بـ “أزمة قابلية التكرار” (Replication Crisis)، حيث يعجز الباحثون الآخرون عن تكرار نفس النتائج عند تطبيق التجارب في بيئات مستقلة.

لمكافحة هذه الممارسات، يجب الالتزام الصارم بتحديد قواعد وبروتوكولات تنظيف البيانات مسبقاً قبل الشروع في فحص النتائج (Pre-registration of Analysis Plans)، وتوفير الأكواد البرمجية المكتوبة بلغة بايثون في مستودعات مفتوحة المصدر تتيح المراجعة المستقلة والتدقيق الشفاف لكافة مراحل المعالجة، مما يضمن بقاء علم البيانات أداة استكشاف موضوعية قائمة على الحقيقة المجردة.

خاتمة واستنتاجات ختامية

استعرضنا في هذا الدليل المتكامل الأبعاد النظرية والتطبيقية لمسألة إزالة القيم المتطرفة في بايثون، مؤكدين على أن هذه العملية تتجاوز مجرد كتابة أسطر برمجية لتنقية الأرقام إلى كونها قراراً منهجياً وإحصائياً حاسماً يرتبط مباشرة بصدق النماذج وموثوقيتها العلمية. لا يوجد حل وحيد أو معيار سحري يصلح لكافة السيناريوهات؛ فاختيار المنهجية الأنسب يرتبط ارتباطاً وثيقاً بخصائص البيانات، وأبعادها، وتوزيعها الاحتمالي، والأهداف المرجوة من النمذجة.

يمكن تلخيص التوصيات المنهجية الشاملة للاختيار بين التقنيات المختلفة على النحو التالي:

• استخدم طريقة المدى الربيعي (IQR) أو مخططات الصندوق كخيار افتراضي متين ولابارامتري للبيانات أحادية المتغير غير المقيدة بافتراض التوزيع الطبيعي.
• اعتمد على الدرجة المعيارية (Z-Score) حصراً عندما تثبت الاختبارات الإحصائية أن البيانات تتبع توزيعاً طبيعياً معيارياً معتدلاً وتخلو من مشكلات التقنيع.
• وظف الدرجة المعيارية المعدلة (Modified Z-Score / MAD) كبديل متين ومقاوم في البيئات أحادية المتغير الملوثة بشدة بالشواذ.
• الجأ إلى الوينزرة (Winsorization) في البيانات المالية والاقتصادية الحساسة للحفاظ على حجم العينة واستقرار درجات الحرية في النماذج الخطية.
• طبق مسافة ماهالانوبيس و المظروف الإهليلجي (Elliptic Envelope) للكشف عن الشذوذ متعدد المتغيرات في البيانات الخطية منخفضة إلى متوسطة الأبعاد.
• استخدم خوارزميات تعلم الآلة المتقدمة مثل غابة العزل (Isolation Forest) و العامل الخارجي المحلي (LOF) للبيانات الضخمة غير الخطية وعالية الأبعاد ذات التجمعات متفاوتة الكثافة.
• تعامل مع السلاسل الزمنية عبر التفكيك الموسمي (STL) والإحصاءات المتحركة مع استخدام تقنيات الاستيفاء الرياضي (Interpolation) بدلاً من الحذف الفيزيائي المباشر لتفادي تمزيق الفواصل الزمنية.

إن الممارسة الاحترافية لعلم البيانات تفرض دائماً الجمع بين الدقة الرياضية، والبراعة البرمجية في كتابة خطوط أنابيب آمنة وقابلة لإعادة الاستخدام، والالتزام بأعلى معايير الشفافية والنزاهة الأكاديمية عبر التوثيق الدقيق وتحليل الحساسية، مما يضمن بناء أنظمة ذكاء اصطناعي ونماذج إحصائية قوية وموثوقة وقادرة على مواكبة تحديات العالم الواقعي.

المراجع الأكاديمية والمصادر (References)

• Barnett, V., & Lewis, T. (1994). Outliers in Statistical Data (3rd ed.). John Wiley & Sons. https://www.wiley.com/en-us/Outliers+in+Statistical+Data%2C+3rd+Edition-p-9780471930945
• Breunig, M. M., Kriegel, H. P., Ng, R. T., & Sander, J. (2000). LOF: identifying density-based local outliers. ACM SIGMOD Record, 29(2), 93-104. https://doi.org/10.1145/335191.335388
• Grubbs, F. E. (1969). Procedures for detecting outlying observations in samples. Technometrics, 11(1), 1-21. https://doi.org/10.1080/00401706.1969.10490657
• Harris, C. R., Millman, K. J., van der Walt, S. J., Gommers, R., Virtanen, P., Cournapeau, D., … & Oliphant, T. E. (2020). Array programming with NumPy. Nature, 585(7825), 357-362. https://doi.org/10.1038/s41586-020-2649-2
• Iglewicz, B., & Hoaglin, D. C. (1993). How to Detect and Handle Outliers (Vol. 16). ASQC Basic References in Quality Control, American Society for Quality.
• Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation forest. In 2008 Eighth IEEE International Conference on Data Mining (pp. 413-422). IEEE. https://doi.org/10.1109/ICDM.2008.17
• Mahalanobis, P. C. (1936). On the generalized distance in statistics. Proceedings of the National Institute of Sciences of India, 2(1), 49-55.
• McKinney, W. (2010). Data structures for statistical computing in Python. In Proceedings of the 9th Python in Science Conference (Vol. 445, pp. 51-56). https://doi.org/10.25080/Majora-92bf1928-005
• Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., … & Duchesnay, É. (2011). Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12, 2825-2830. https://jmlr.csail.mit.edu/papers/v12/pedregosa11a.html
• Rousseeuw, P. J., & Driessen, K. V. (1999). A fast algorithm for the minimum covariance determinant estimator. Technometrics, 41(3), 212-223. https://doi.org/10.1080/00401706.1999.10485670
• Schölkopf, B., Williamson, R. C., Smola, A., Shawe-Taylor, J., & Platt, J. (1999). Support vector method for novelty detection. In Advances in Neural Information Processing Systems (Vol. 12, pp. 582-588). MIT Press.
• Tukey, J. W. (1977). Exploratory Data Analysis. Addison-Wesley Publishing Company.
• Virtanen, P., Gommers, R., Oliphant, T. E., Haberland, M., Reddy, T., Cournapeau, D., … & SciPy 1.0 Contributors. (2020). SciPy 1.0: fundamental algorithms for scientific computing in Python. Nature Methods, 17(3), 261-272. https://doi.org/10.1038/s41592-019-0686-2
• Waskom, M. L. (2021). Seaborn: statistical data visualization. Journal of Open Source Software, 6(60), 3021. https://doi.org/10.21105/joss.03021