كيفية استخراج رقم من سلسلة نصية في بانداز

تُمثّل معالجة السلاسل النصية واستخلاص البيانات العددية منها إحدى أهم الركائز الأساسية في دورة حياة علم البيانات وهندسة الميزات التحليلية. في كثير من السيناريوهات الواقعية، لا تأتي البيانات في قوالب رقمية مهيكلة ونقية؛ بل تكون مضمنة داخل سجلات وصفية، أو حقول استبيانات حرة، أو نصوص مأخوذة من تقنيات تجريف الويب، أو سجلات الأنظمة الخادمة، أو القياسات السريرية والنفسية غير المعيارية. في مثل هذه البيئات المعقدة، يفقد المحلل القدرة على تطبيق العمليات الحسابية أو النماذج الإحصائية مباشرة على المتغيرات المستهدفة دون تنفيذ مرحلة وسيطة دقيقة لفصل النصوص الوصفية عن القيم الكمية الدالة. وهنا تبرز مكتبة بانداز (Pandas) بوصفها الأداة القياسية في بيئة بايثون لإنجاز هذه المهام بكفاءة حوسبية عالية.

يرجع الفضل في تأسيس وتطوير مكتبة بانداز إلى ويس ماكيني (Wes McKinney)، الذي وضع نواتها الأولى عام 2008 بهدف معالجة أوجه القصور التي كانت تواجه المحللين الكميين والماليين في التعامل مع السلاسل الزمنية وهياكل البيانات المعقدة في بايثون. ومنذ إتاحتها كبرمجية مفتوحة المصدر، تطورت البنية التحتية للمكتبة لتشمل ملحقات متطورة لمعالجة السلاسل النصية على مستوى المتجهات عبر الموجه النصي الخاص، مما أتاح إمكانية تطبيق التعبيرات النمطية (Regular Expressions) بدقة ومرونة دون الحاجة إلى كتابة حلقات تكرارية بطيئة على مستوى لغة بايثون التفسيرية. وتستند هذه التعبيرات النمطية في أصولها الرياضية إلى الأعمال التأسيسية التي وضعها عالم الرياضيات ستيفن كول كلين (Stephen Cole Kleene) في منتصف القرن العشرين لنمذجة الشبكات العصبية والآلات المحدودة، لتصبح اليوم المحرك الخلفي لعمليات التقاط الأنماط والرموز داخل النصوص الحاسوبية.

يتناول هذا الدليل التخصصي الشامل دراسة منهجية ومعمقة لكيفية استخراج الأرقام من السلاسل النصية في بيئة بانداز. سنستعرض عبر فصول هذا المقال الأسس النظرية والمفاهيم البرمجية المتقدمة التي تحكم استخدام دوال الاستخراج، انطلاقاً من الدوال الأساسية وحتى التعامل مع الأنماط المعقدة مثل الأرقام العشرية، والإشارات السالبة، والتدوين العلمي، والكسور، بالإضافة إلى تقنيات معالجة البيانات متعددة الأرقام، وإدارة القيم المفقودة، وتحويل الأنواع البيانية، وتحسين الأداء الحسابي في مجموعات البيانات الضخمة، مدعومة بتطبيقات ودراسات حالة واقعية.

1. مقدمة منهجية لمعالجة النصوص واستخراج البيانات الرقمية في بانداز

1.1 أهمية التحليل النصي واستخلاص القيم العددية في تنقيب البيانات

تشير التقديرات الحديثة في مجال تنقيب البيانات إلى أن أكثر من ثمانين بالمئة من البيانات المولدة مؤسسياً تأتي في صور غير مهيكلة أو شبه مهيكلة، حيث تتداخل النصوص اللغوية مع الأرقام الحسابية بصورة عشوائية داخل الحقل البياني الواحد. نجد هذه الظاهرة بوضوح في سجلات المنتجات التجارية (مثل “كمبيوتر محمول بشاشة 15.6 بوصة وذاكرة 16GB بسعر 1200.50 دولار”)، وفي نتائج الاختبارات النفسية والقياسات السلوكية (مثل إدراج زمن الاستجابة في عبارات وصفية مثل “استغرق المفحوص 450ms لإتمام المهمة”)، أو في السجلات الطبية والصحية. إن بقاء هذه الأرقام محاصرة داخل السلاسل النصية يُعطّل تماماً خط أنابيب المعالجة التحليلية، حيث تعامل الحواسيب هذه الحقول كأشياء نصية مجردة لا تقبل الترتيب الرياضي أو العمليات الجبرية.

تتمثل الخطوة الأولى في تحويل البيانات الأولية إلى أصول معرفية في القدرة على استخلاص هذه القيم الكمية وفصلها عن السياق النصي المحيط بها. يتيح هذا الفصل الرياضي تطبيق مقاييس النزعة المركزية (كالوسط الحسابي والوسيط)، ومقاييس التشتت (كالانحراف المعياري والتباين)، وإجراء اختبارات الفرضيات، وبناء الارتباطات الخطية بين المتغيرات. فبدون عزل الأرقام وتحويلها إلى متجهات عددية خالصة، يستحيل على خوارزميات تعلم الآلة، مثل الانحدار الخطي أو الشبكات العصبية الاصطناعية، معالجة هذه السمات؛ إذ تتطلب هذه النماذج مصفوفات رياضية ذات قيم عددية واضحة ومحددة رياضياً.

علاوة على ذلك، تلعب هذه العملية دوراً حاسماً في تعزيز كفاءة التحليل التنبؤي، حيث يؤدي استخراج الأرقام وتنظيفها إلى تقليل أبعاد المشكلة البيانية، والتخلص من التشويش النصي المصاحب للقياسات، وتحسين الدقة المعيارية للنماذج الإحصائية. إن التنقيب الفعال في البيانات النصية لاستخراج الأرقام لا يقتصر على مجرد التقطيع الحرفي للنصوص، بل يمتد ليكون عملية هندسية تهدف إلى إعادة هيكلة البيانات غير المنتظمة في مصفوفات منظمة وقابلة للتحليل المقارن عبر فترات زمنية ومجموعات تجريبية متباينة.

1.2 نظرة عامة على ملحقات المعالجة النصية عبر الموجه str في إطار بيانات بانداز

توفر مكتبة بانداز واجهة برمجية متخصصة للغاية للتعامل مع البيانات النصية من خلال الموجه المسمى str، والذي يرتبط بالهياكل البيانية أحادية البعد كالسلاسل (Series) أو المؤشرات (Index). صُممت هذه الواجهة لتتيح للمطورين والباحثين تطبيق دوال معالجة النصوص على مستوى المتجهات (Vectorized String Methods)، مما يلغي الحاجة إلى إنشاء حلقات تكرارية يدوية للمرور على عناصر العمود عنصراً تلو الآخر. بمجرد استدعاء الموجه النصي عبر الصيغة المألوفة، تكتسب السلسلة البيانية قدرة الوصول إلى مجموعة واسعة من أدوات المطابقة، والبحث، والتقطيع، والاستبدال المجهزة للتعامل التلقائي مع تباين أطوال النصوص ووجود القيم المفقودة.

يكمن الاختلاف التشغيلي الجوهري بين دوال السلاسل النصية القياسية المدمجة في لغة بايثون ومثيلاتها المتجهة في بانداز في طريقة التعامل مع الأخطاء واستمرارية التنفيذ. في بايثون القياسية، يؤدي تطبيق دالة نصية على متغير يحتوي على قيمة مفقودة أو غير معرّفة إلى إطلاق استثناء فوري يتسبب في إيقاف البرنامج ما لم يُحط بكتل معالجة الأخطاء. في المقابل، صُمم موجه بانداز النصي ليتخطى القيم المفقودة بسلاسة، محتفظاً بموقعها الهيكلي داخل المتجه ومولداً قيمة مفقودة مناظرة دون تعطيل مسار المعالجة لباقي السجلات، وهو ما يضمن استقرار تدفقات معالجة البيانات الكبيرة.

يتكامل هذا الموجه النصي تكاملاً عميقاً مع هياكل البيانات الأساسية في بانداز (Series وDataFrame)، حيث تُترجم العمليات المنفذة عبره إلى استدعاءات منخفضة المستوى تستفيد من تحسينات الأداء الداخلية للمكتبة وتفادي استهلاك الذاكرة الإضافي. إن هذا التكامل لا يقتصر على تسريع زمن الحوسبة بنسب قد تصل إلى أضعاف الحلقات التقليدية فحسب، بل يضمن أيضاً الحفاظ على تناسق الفهارس الهيكلية (Index Alignment) الأصلية لإطار البيانات، مما يسهل إعادة دمج النتائج المستخرجة مباشرة مع الأعمدة التكميلية في خطوة برمجية واحدة وموجزة.

1.3 التحديات التقنية الشائعة عند التعامل مع البيانات النصية المختلطة

تواجه عمليات استخراج البيانات الرقمية من السلاسل النصية مجموعة من التحديات الهندسية المعقدة التي تنشأ من الطبيعة الحرة وغير المنتظمة للغة الطبيعية. التحدي الأول يكمن في التباين الشديد لمواضع الأرقام داخل الجمل؛ فقد يظهر الرقم في بداية السلسلة كمعرّف تعريفي (مثل “101 – مبنى أ”)، أو في نهايتها للإشارة إلى كمية أو قياس (مثل “الحمولة القصوى: 50 كغ”)، أو مدمجاً في المنتصف ضمن سياق وصفي معقد (“تم رصد 3 حالات تعافي من أصل 10”). يتطلب هذا التباين المكاني بناء استراتيجيات برمجية لا تعتمد على الافتراضات الثابتة لموقع المحارف، بل تبحث عن البنية المجردة للأرقام ذاتها أينما وجدت.

يتجسد التحدي الثاني في التنوع الشديد للأنماط العددية واختلاطها بالرموز والوحدات الاصطلاحية. فالأرقام لا تقتصر على الأعداد الصحيحة، بل تشمل الأرقام العشرية التي تستخدم النقطة أو الفاصلة كعلامة كسرية، والأرقام ذات الدلالات النسبية السالبة التي تسبقها إشارات الطرح، والأرقام المالية التي تتضمن فواصل الآلاف لتسهيل القراءة البشرية (مثل “1,250,500.00”). إضافة إلى ذلك، غالباً ما تلتصق الأرقام برؤوس الوحدات الفيزيائية (مثل “120km/h” أو “5V”) أو رموز العملات العالمية (مثل “$99.99” أو “50€”)، مما يفرض على خوارزمية الاستخراج ضرورة التمييز الدقيق بين الحدود النصية للحروف والحدود الرياضية للخانة العددية.

أخيراً، تمثل القيم المفقودة (NaN أو None) والسلاسل النصية الفارغة عائقاً مستمراً يهدد سلامة أنابيب المعالجة. فعند تمرير أعمدة تحتوي على سجلات مفقودة جزئياً، يجب ألا تؤدي خوارزميات الاستخراج إلى تحويل القيم المفقودة إلى أصفار افتراضية قد تشوه التحليل الإحصائي، وألا تسقط هذه الصفوف بشكل تعسفي يغير حجم العينة الإجمالي. تتطلب هذه التحديات مجتمعة استخدام منهجية برمجية منضبطة توازن بين مرونة التعبيرات النمطية ودقة التحكم في البنى البيانية الخاصة بمكتبة بانداز لضمان استخراج سليم وقابل للتكرار.

2. الأساس النظري للتعبيرات النمطية (Regular Expressions) في استخراج الأرقام

2.1 فهم الرمز النمطي d ومحددات التكرار

تُعد التعبيرات النمطية لغة اصطلاحية متخصصة لوصف وتحديد أنماط المحارف داخل السلاسل النصية، وتستند تاريخياً إلى النماذج الرياضية التي وضعها ستيفن كول كلين لتمثيل الأحداث في الشبكات العصبية والأوتوماتا المحدودة. في سياق تنقيب البيانات في بايثون وبانداز، يمثل الرمز النمطي d حجر الزاوية لاستخراج الأرقام، حيث يعبر عن أي خانة عددية مطابقة للأرقام العشرية في النظام العشري من الصفر إلى التسعة [0-9]. ومع ذلك، فإن استخدام هذا الرمز منفرداً يؤدي فقط إلى مطابقة خانة عددية واحدة في كل مرة، وهو ما لا يكفي في معظم التطبيقات العملية التي تتطلب التقاط أعداد مركبة تتكون من خانات متعددة.

للتغلب على هذا القيد، تعتمد التعبيرات النمطية على ما يُعرف بمحددات التكرار (Quantifiers)، وأبرزها رمز الإضافة +. عند إلحاق رمز الإضافة بالرمز النمطي ليصبح النمط d+، تتغير دلالة المطابقة لتشمل تتابع خانة عددية واحدة أو أكثر بصورة متصلة. يضمن هذا المحدد التقاط الأعداد الصحيحة كاملة بغض النظر عن عدد خاناتها؛ فالرقم “7” سيطابق هذا النمط تماماً كما يطابقه الرقم “2024” أو “987654321”. يكمن الفرق الدلالي هنا بين استخراج المحارف الفردية واستخراج الكتل العددية المتصلة في أن الأول يفتت الكيان الرقمي إلى عناصر معزولة، بينما يحافظ الثاني على الوحدة الرياضية المتكاملة للعدد.

بالإضافة إلى رمز الإضافة، توفر التعبيرات النمطية محددات تكرار أخرى تمنح الباحث مرونة أوسع، مثل علامة الاستفهام ? التي تدل على ظهور العنصر لمرة واحدة على الأكثر أو غيابه التام، ورمز النجمة * الذي يدل على تكرار العنصر لصفر أو أكثر من المرات، والأقواس المعقوفة {n,m} التي تتيح تحديد حد أدنى وحد أقصى دقيقين لعدد الخانات المسموح بمطابقتها. يُعد الفهم العميق لهذه المحددات ضرورياً للتمييز بين الأرقام القياسية القصيرة (مثل أرقام الأيام أو الأشهر) والأرقام الطويلة المعقدة (كأرقام الهواتف أو الرموز البريدية الوطنية).

2.2 مفهوم مجموعات الالتقاط وحتمية استخدام الأقواس

تحتل مجموعات الالتقاط (Capture Groups) مكانة محورية في هندسة التعبيرات النمطية داخل مكتبة بانداز. يتم تعريف مجموعة الالتقاط من خلال إحاطة النمط المستهدف بأقواس هلالية (). تؤدي هذه الأقواس وظيفة بنيوية مزدوجة: فهي من جهة تحدد أولوية التقييم المنطقي داخل التعبير النمطي، ومن جهة أخرى ترسل إشارة صريحة إلى محرك المعالجة بوجوب عزل وحفظ الجزء المطابق داخل هذه الأقواس وتجاهل ما سواها من محارف قد تكون ضرورية لمطابقة السياق العام لكنها غير مرغوبة في المخرجات النهائية المستخرجة.

في بيئة بانداز، وتحديداً عند استخدام دالة الاستخراج النصي Series.str.extract، يُعد وجود مجموعة الالتقاط شرطاً بنيوياً لا غنى عنه. إذا حاول المبرمج تمرير نمط رقمي مثل r'd+' دون أقواس التقاط، فإن بانداز تطلق تحذيراً برمجياً أو خطأ استثنائياً صريحاً يفيد بأن التعبير النمطي يفتقر إلى مجموعات الالتقاط. هذا السلوك الإلزامي صُمم عمداً لضمان وعي المطور بالبيانات المحددة التي يتم استخلاصها، وتفادي السلوكيات الغامضة التي قد تنتج عن استخراج النصوص الكاملة المطابقة للنمط المحيط بدلاً من القيمة المستهدفة ذاتها.

علاوة على ذلك، تتيح مجموعات الالتقاط إمكانية استخراج أجزاء نصية متعددة متزامنة وتعيينها في أعمدة مستقلة ضمن خطوة برمجية واحدة. فعلى سبيل المثال، إذا كان النمط النصي يحتوي على قياسين مقترنين مثل “العرض: 20 والارتفاع: 40″، يمكن صياغة التعبير النمطي ليتضمن مجموعتي التقاط منفصلتين، حيث تُخصص المجموعة الأولى لاستخلاص القيمة الأولى والمجموعة الثانية لاستخلاص القيمة اللاحقة. تترجم بانداز هذه المجموعات المتعددة تلقائياً إلى أعمدة متجاورة في إطار البيانات الناتج، مما يسهل من إعادة هيكلة المتغيرات المتداخلة بكفاءة عالية وبأقل استهلاك للموارد الحاسوبية.

2.3 قواعد المطابقة العامة وضبط سلوك المحرك النمطي

تعتمد محركات التعبيرات النمطية بصورة افتراضية على مبدأ “المطابقة الشرهة” (Greedy Matching)، وهو مفهوم نظري حاسم يجب إدراكه عند استخراج الأرقام. يعني السلوك الشره أن محدد التكرار يميل إلى التقاط أطول تتابع ممكن من المحارف المطابقة للنمط المحدد قبل السماح للمحرك بالانتقال إلى القواعد التالية. في المقابل، يمثل السلوك “الكسول” أو غير الشره (Lazy/Non-Greedy)، والذي يتم تفعيله بإلحاق علامة الاستفهام بمحدد التكرار (مثل +?)، استراتيجية تلتقط أقصر تتابع ممكن من المحارف يحقق شروط المطابقة الشاملة للتعبير. قد يؤدي إغفال التمييز بين هذين السلوكين إلى ابتلاع خانات عددية مجاورة أو تقليص القيمة المستخرجة بصورة غير مرغوبة.

من الأدوات المنهجية المتقدمة لضبط سلوك المحرك النمطي استخدام محددات حدود الكلمات، والتي يُرمز لها بالحرف b. يشير هذا الرمز إلى نقطة التحول بين محرف كلمة (أبجدي رقمي) ومحرف غير كلمي (مثل المسافات أو علامات الترقيم). يُعد توظيف حدود الكلمات أمراً جوهرياً لتجنب التقاط الأرقام العرضية المدمجة داخل معرّفات نصية لا ينبغي تجزئتها؛ فعلى سبيل المثال، استخدام النمط r'bd+b' يضمن استخراج الرقم “500” إذا ورد ككلمة مستقلة في النص، لكنه يتجاهل استخراجه إذا كان جزءاً لا يتجزأ من اسم طراز سيارة أو كود تقني مثل “Model3” أو “Boeing747″، مما يرفع من جودة البيانات المنقاة.

تتوافق محركات بانداز النصية توافقاً شبه كامل مع المعايير القياسية المعتمدة في مكتبة re المدمجة في لغة بايثون. يتيح هذا التوافق للمحللين تمرير وسائط وأعلام مطابقة متقدمة (Flags) لتعديل بيئة التقييم، مثل تفعيل المطابقة غير الحساسة لحالة الأحرف (IGNORECASE)، أو السماح للأنماط بالتمدد عبر أسطر متعددة (MULTILINE)، أو تجاهل الفراغات التنسيقية داخل النمط النمطي المعقد لتسهيل قراءته وصيانته (VERBOSE). هذا التكامل يعزز قدرة بانداز على استيعاب أعقد تراكيب البيانات النصية دون الخروج عن المعايير المعمارية لبايثون.

3. البنية البرمجية الأساسية لاستخدام دالة str.extract لاستخراج الأرقام

3.1 الصياغة البرمجية العامة للدالة وتفكيك وسائطها

تُعد دالة str.extract الأداة المعيارية والأساسية التي توفرها مكتبة بانداز لاستخلاص المجموعات النصية والعددية المطابقة لأنماط التعبيرات النمطية. تأتي الدالة بالصيغة العامة التالية المرتبطة بالسلاسل البيانية: Series.str.extract(pat, flags=0, expand=True). يتطلب الوسيط الأساسي pat تمرير التعبير النمطي المستهدف كسلسلة نصية خام (يفضل دائماً استخدام البادئة r'' في بايثون لتعطيل الهروب التلقائي للشرطة المائلة العكسية)، مع اشتراط احتواء هذا التعبير على مجموعة التقاط واحدة على الأقل محاطة بأقواس دائرية لتمكين المحرك من عزل النتيجة المطلوبة.

يتحكم الوسيط المنطقي expand في الهيكل البنائي للمخرجات الناتجة عن عملية الاستخراج. عندما يُضبط هذا الوسيط على قيمته الافتراضية expand=True، فإن الدالة تُرجع دائماً كائن إطار بيانات (DataFrame)، حتى وإن كان التعبير النمطي يحتوي على مجموعة التقاط واحدة فقط، حيث يتم تمثيل كل مجموعة التقاط في عمود مستقل. أما إذا تم ضبطه تاريخياً أو صريحاً على expand=False في ظل وجود مجموعة التقاط يتيمة، فإن المخرجات قد تعود على هيئة سلسلة بيانية (Series). إلا أن التوجه المعياري في الإصدارات الحديثة من بانداز يشجع الحفاظ على نمط إطار البيانات الممتد لتوحيد الواجهات البرمجية وتسهيل عمليات الدمج والربط اللاحقة.

أما الوسيط flags، فيسمح للمستخدم بتمرير معدلات تشغيلية متقدمة مستمدة من وحدة التعبيرات النمطية القياسية re في بايثون. يمكن للمطور، على سبيل المثال، تمرير الأعلام الثنائية لتعديل سلوك البحث، مثل re.IGNORECASE في حال كان النمط الرقمي مقترناً بوحدات تتغير صياغتها الطباعية بين الأحرف الكبيرة والصغيرة، أو تمرير مجموعات أعلام متعددة مدمجة باستخدام معامل المقارنة المنطقي (OR). يضمن هذا التصميم المرن قدرة الدالة على التكيف مع التباينات البنائية في السجلات النصية الضخمة دون تعقيد التعبير النمطي الأساسي.

3.2 تطبيق عملي نموذجي على بيانات المنتجات والمبيعات

لتوضيح الآلية التشغيلية لدالة str.extract، نفترض وجود إطار بيانات تجريبي يمثل كتالوجاً تجارياً للمبيعات يحتوي على عمود وصفي يمزج بين أسماء الأجهزة الإلكترونية والأكواد التعريفية لقطع الغيار، كأن يحتوي العمود على نصوص مثل: “موجّه شبكة موديل 404″، و”لوحة مفاتيح لاسلكية كود 12″، و”شاشة عرض مسطحة 4K فئة 99”. الهدف التحليلي هو عزل هذه الأكواد الرقمية في عمود بياني مستقل لإجراء مطابقة للمخزون.

يتم استدعاء الدالة على العمود المستهدف بتطبيق النمط الأساسي للأرقام الصحيحة: df['Product_Code'] = df['Description'].str.extract(r'(d+)'). عند تنفيذ هذه التعليمة البرمجية، يقوم المحرك الداخلي بمسح متوازي لكل صف داخل العمود Description عبر آليات المتجهات. فور عثور المحرك على أول تتابع رقمي، يلتقط القيمة العددية المطابقة ويودعها في الصف المقابل ضمن العمود الجديد Product_Code، متجاهلاً الكلمات المحيطة السابقة واللاحقة للرقم.

بمقارنة البيانات الأصلية بالمخرجات المباشرة، نلاحظ أن السجلات النصية التي لم تتضمن أي أرقام، كأن يكون الوصف مقتصراً على “محول طاقة بديل”، قد تحولت تلقائياً في العمود المستخرج إلى قيمة مفقودة صريحة من نوع NaN. تؤكد هذه النتيجة على الآلية المتسقة للمكتبة في إدارة الفجوات البيانية، حيث تضمن عدم حدوث إزاحة في ترتيب الفهارس أو فقدان للتزامن البنائي بين السجلات، مما يسمح للمحلل بفحص السجلات الناجحة والتعرف على الاستثناءات النصية بدقة رياضية.

3.3 تحليل الخصائص الهيكلية لمخرجات عملية الاستخراج

من الأهمية بمكان من الناحية التحليلية تفكيك البنية الهيكلية والأنواع البيانية للمخرجات الناتجة عن str.extract. الملاحظة المحورية الأولى هي أن الأعمدة الناتجة، على الرغم من احتوائها ظاهرياً على أرقام مجردة، لا تزال تُخزن داخل إطار البيانات كأنواع كائنية object أو سلاسل نصية string dtype. يرجع ذلك إلى أن دوال التعبيرات النمطية هي في الأصل عمليات تحويلية من نص إلى نص؛ فالمحرك يلتقط المحارف المطابقة ويعيد تجميعها كرموز نصية مقطوعة، دون إجراء أي استدلال منطقي أو تحويل تلقائي لنوع البيانات إلى صيغ رياضية كالأعداد الصحيحة أو العشرية.

إذا كانت عملية الاستخراج تستهدف مجموعة التقاط وحيدة مع اعتماد الخيار expand=True، فإن النتيجة تكون إطار بيانات بعمود مفهرس يبدأ افتراضياً من التسمية الرقمية 0. وعند إسناد هذا العمود الناتج مباشرة إلى إطار البيانات الأساسي، كأن نكتب df['Extracted'] = df['Source'].str.extract(r'(d+)')، تقوم بانداز بتسطيح هذا الإطار أحادي العمود ليتطابق مع بنية السلسلة، مما يضمن اتساق التعيين في بنية السلسلة البيانية، مستندة إلى تطابق الفهارس بين الكائن الأصلي والكائن الناتج.

تفتح هذه الخاصية الهيكلية الباب أمام استراتيجية متقدمة تتمثل في تسمية مجموعات الالتقاط داخل التعبير النمطي ذاته باستخدام الصيغة الاصطلاحية (?P<name>pattern). عندما يُصاغ التعبير النمطي بهذا الأسلوب الاسمي، تقوم دالة str.extract تلقائياً بتعيين أسماء المجموعات كعناوين رسمية للأعمدة في إطار البيانات الناتج، مما يزيل الحاجة إلى خطوات لاحقة لإعادة تسمية الأعمدة، ويعزز من وضوح الشيفرة البرمجية وقابليتها للصيانة في المشروعات التحليلية الكبرى.

4. استخراج الأنماط العددية المتقدمة: الأعداد العشرية والسالبة والرموز العلمية

4.1 صياغة التعبيرات النمطية الخاصة بالأرقام العشرية

يعد التعامل مع الأرقام العشرية من أكثر المهام عرضة للأخطاء البرمجية الشائعة بين محللي البيانات المبتدئين. إذا طُبق النمط البسيط r'(d+)' على سلسلة نصية تتضمن سعراً أو وزناً عشرياً مثل “الحجم: 14.75 لتر”، فإن المحرك سيتوقف عند النقطة العشرية ويلتقط فقط الجزء الصحيح المتمثل في “14”، مما يؤدي إلى تشويه خطير وفقدان فادح للدقة الحسابية للبيانات. يرجع ذلك إلى أن النقطة ليست محرفاً عددياً مطابقاً لـ d، بل هي في لغة التعبيرات النمطية محرف حرج يعني “أي محرف على الإطلاق”.

لبناء تعبير نمطي قوي يستوعب النقطة العشرية الاختيارية، يجب أولاً إلغاء الدلالة العامة للنقطة عبر الهروب منها بالشرطة المائلة العكسية لتصبح . ومن ثم جعل ظهورها مع الأجزاء الكسرية اللاحقة أمراً اختيارياً. النمط الكلاسيكي لمطابقة الأعداد العشرية يأخذ الصيغة: r'(d+.?d*)' أو بصورة أكثر إحكاماً: r'(d+.d+|d+)'. تضمن هذه الصياغة المركبة البحث عن كتل عددية تحتوي على نقطة متبوعة بخانات عشرية، أو استرجاع الأعداد الصحيحة الصرفة في حال غياب الفاصلة الكسرية، دون الوقوع في خطأ عزل الجزء الصحيح عن كسره العشري.

علاوة على ذلك، تزخر مجموعات البيانات الحقيقية بحالات شاذة تبدأ فيها الأرقام العشرية مباشرة بنقطة عشرية دون وجود الصفر في خانة الآحاد (مثل قياس كتب بالصيغة “.75mg”). لاستيعاب هذه الحالات الحافة، يتعين تعديل النمط ليشمل إمكانية غياب الخانات السابقة للنقطة، بالصيغة: r'(d*.?d+)'. يضمن هذا النمط الدقيق عدم مطابقة نقطة معزولة تظهر في نهاية الجملة كعلامة ترقيم، لأن محدد التكرار الأخير d+ يفرض حتمية وجود خانة عددية واحدة على الأقل ملاصقة للنقطة، مما يحمي خط الأنابيب من التقاط علامات الترقيم اللغوية المجردة وتصنيفها كأرقام.

4.2 استخراج الأعداد الصحيحة والعشرية ذات الإشارة السالبة

في العديد من المجالات التطبيقية، مثل دراسات الأرصاد الجوية ورصد درجات الحرارة، أو التقارير المالية المتضمنة للأرباح والخسائر وعوائد الأسهم، تحمل الإشارة السالبة وزناً دلالياً لا يمكن تجاهله أو التنازل عنه. إذا اقتصر الاستخراج على التقاط المحارف العددية المجردة دون مراعاة الإشارة، فإن خسارة مالية قدرها “-450 دولار” ستتحول خطأً إلى قيمة موجبة “450”، مما يقود إلى نتائج تحليلية مضللة تماماً تقلب مؤشرات الأداء الحسابي.

يتطلب دمج الإشارة السالبة تعديل بداية النمط داخل مجموعة الالتقاط لاستيعاب رمز الطرح أو الإشارة السالبة بصورة اختيارية. يتحقق ذلك باستخدام الصياغة: r'([-+]?d*.?d+)'. في هذا النمط، تُعرّف الفئة [-+]? إمكانية ظهور إشارة سالب أو موجب لمرة واحدة أو غيابها كلياً قبل الرقم. من الضروري جداً تضمين هذه الإشارة داخل قوسي مجموعة الالتقاط () لضمان بقائها ملتصقة بالقيمة العددية عند عزلها ونقلها إلى إطار البيانات الجديد.

تواجه هذه العملية أحياناً تعقيداً إضافياً ناجماً عن وجود فراغات بيضاء فاصلة بين الإشارة والرقم نتيجة أخطاء الإدخال البشري (مثل “- 15.4”). لمعالجة هذا الاستثناء، يمكن إدراج محدد المسافات البيضاء s* داخل النمط، ليصبح r'([-+]?s*d*.?d+)'. ومع ذلك، يتعين الانتباه إلى أن وجود الفراغ داخل النص المستخرج قد يعرقل لاحقاً دوال التحويل الرقمي المباشر، مما يستوجب تطهير السلسلة المستخرجة بحذف المسافات الداخلية لتوحيد التمثيل الرياضي للأرقام السالبة قبل إجراء العمليات الحسابية.

4.3 التعامل مع التدوين العلمي والكسور وفواصل الآلاف

تحتوي مجموعات البيانات العلمية والبيولوجية والفيزيائية المتقدمة غالباً على قيم متطرفة الصغر أو الكبر ممثلة بالتدوين العلمي (Scientific Notation)، كأن يُسجل تركيز مادة بالصيغة “1.25e-04” أو “3.5E+08”. إن استخراج مثل هذه الأرقام باستخدام أنماط الأعداد العشرية البسيطة سيؤدي إلى شطر القيمة إلى جزأين وفقدان الأس الرياضي المعبر عن الرتبة الأسية. يتطلب التقاط التدوين العلمي صياغة نمط متخصص يستوعب الرمز الحرفي (e أو E) متبوعاً بإشارة اختيارية وأرقام الأس: r'([-+]?d*.?d+(?:[eE][-+]?d+)?)'. نلاحظ هنا استخدام مجموعة عدم الالتقاط (?:...) لحماية هيكلية الإطار من توليد أعمدة غير مرغوبة للأس الرياضي بمفرده.

من العقبات البنائية الشائعة الأخرى في البيانات المالية والتجارية وجود فواصل الآلاف (Commas) المدمجة داخل الأرقام الكبيرة، كأن يُكتب المبلغ بصيغة “$1,250,500.50”. تكمن المشكلة في أن التعبيرات النمطية التي تعتمد على d+ ستتوقف قسرياً عند الفاصلة الأولى، لتلتقط فقط “1” وتتجاهل باقي المبلغ. لمواجهة هذه المعضلة، يبرز مساران تقنيان: الأول هو بناء تعبير نمطي يستوعب الفواصل الحسابية داخل النمط، مثل r'(d{1,3}(?:,d{3})*(?:.d+)?)'؛ إلا أن هذا النمط سيُبقي على الفواصل النصية داخل المخرجات، مما يعيق تحويلها المباشر إلى قيم رقمية صحيحة.

أما المسار الثاني، وهو الأفضل هندسياً والأكثر كفاءة، فيتمثل في إجراء خطوة تنقية تمهيدية للبيانات قبل إطلاق عملية الاستخراج. يتم ذلك باستخدام دالة الاستبدال المتجهة لإزالة كافة الفواصل غير الفاصلة بين السجلات، كأن نطبق df['Clean_Text'] = df['Text'].str.replace(',', '', regex=False). بمجرد إزالة فواصل الآلاف، تعود السلاسل العددية إلى صياغتها المتصلة القياسية، مما يسمح بتطبيق أنماط الاستخراج العشرية المألوفة بسلاسة مطلقة ودون الحاجة إلى صياغة تعبيرات نمطية بالغة التعقيد والبطء الحسابي.

5. التعامل مع النصوص متعددة الأرقام: المقارنة المعمقة بين extract و extractall

5.1 القيود المنهجية لدالة str.extract عند تكرار الأرقام

يكمن القيد المنهجي الجوهري لدالة Series.str.extract في سلوكها الإيقافي الحتمي؛ فالطبيعة المعمارية للدالة مصممة للبحث من بداية السلسلة النصية والتوقف الفوري عند تحقيق أول تطابق ناجح لمجموعة الالتقاط المحددة. بمجرد استيفاء هذا التطابق الأول، يُغلق محرك الدالة مسار المسح لذلك الصف وينتقل مباشرة إلى الصف التالي في المتجه، متجاهلاً تماماً أي خانات عددية أخرى قد تظهر لاحقاً داخل السلسلة النصية الواحدة مهما بلغت أهميتها التحليلية.

يولد هذا السلوك مخاطر تحليلية جسيمة عند التعامل مع نصوص وصفية مركبة. على سبيل المثال، إذا كان السجل النصي يحتوي على ملخص لمباراة رياضية بالصيغة “انتهت المباراة بفوز الفريق أ بنتيجة 3 مقابل 1″، فإن تطبيق دالة str.extract(r'(d+)') سيلتقط فقط الرقم الأول “3”، تاركاً الرقم “1” في طي التجاهل. ينتج عن ذلك فقدان بياني نصفه مجهول، وقد يقود المحلل الذي لا يدرك هذه الآلية إلى افتراض خاطئ بأن الرقم المستخرج يمثل الظاهرة الكلية وليس مجرد الحدوث الأولي لها داخل النص.

ومع ذلك، تظل دالة str.extract الخيار الأنسب والمفضل من الناحية الأدائية والهيكلية في الحالات التي يُعرف فيها مسبقاً أن النص لا يحتوي إلا على قيمة رقمية وحيدة، أو عندما يكون الهدف التحليلي منصباً بدقة وحصرية على التقاط المعرّف الأولي أو البادئة العددية للنص دون الاكتراث بالمعطيات اللاحقة. في المقابل، عندما تكون البيانات ذات طبيعة متعددة الأبعاد داخل السجل الواحد، يصبح التمسك بدالة extract قصوراً منهجياً يستوجب الانتقال إلى بدائل برمجية قادرة على المسح الشامل.

5.2 استخراج كافة الأرقام المتزامنة باستخدام دالة str.extractall

لمعالجة القصور الحتمي للدالة الأحادية، توفر بانداز دالة متخصصة للمسح الشامل هي Series.str.extractall. على عكس سابقتها، لا تتوقف هذه الدالة عند بلوغ التطابق الأول، بل تواصل محركات التعبير النمطي فحص كامل السلسلة النصية حتى نهايتها، مستخرجة كافة التواجدات العددية التي تتطابق مع نمط مجموعة الالتقاط المعرف، ومودعة إياها في هيكل بياني منظم يضمن تتبع كل رقم وموضعه النسبي بالنسبة للسجل الأصلي.

تتمثل السمة البنائية الأبرز لدالة extractall في طبيعة المخرجات التي تُنتجها؛ حيث تُرجع إطار بيانات ذا فهرس متعدد المستويات (MultiIndex). يتكون هذا الفهرس المركب دائماً من مستويين رئيسيين: المستوى الأول (المستوى الصفري) يحمل التسمية والموقع الأصلي للصف في إطار البيانات الأساسي، مما يتيح ربط المخرجات بمصدرها؛ بينما يمثل المستوى الثاني، والذي يُسمى افتراضياً match، تسلسلاً رقمياً تزايدياً يبدأ من الصفر لترقيم المطابقات المتتالية المكتشفة داخل هذا السجل المحدد.

يبرز التطبيق العملي لهذه الأداة بوضوح في تنقيب مواصفات المنتجات الفيزيائية، كأن نسعى لاستخراج أبعاد صندوق شحن موصوف بالنص التالي: “الأبعاد: الطول 120سم، العرض 80سم، الارتفاع 60سم”. بتمرير النمط r'(d+)' عبر extractall، يُنتج المحرك إطار بيانات يحتوي على ثلاثة صفوف متتالية تابعة لنفس فهرس السجل الأصلي، حيث يقابل التطابق صفر القيمة “120”، والتطابق واحد القيمة “80”، والتطابق اثنين القيمة “60”. يتيح هذا التمثيل الهيكلي الدقيق الاحتفاظ بالمعلومات الكمية المتعددة دون تشويه أو بتر.

5.3 إعادة هيكلة وتسطيح مخرجات extractall لدمجها مع البيانات الأصلية

على الرغم من القوة الاستخراجية التي توفرها مخرجات extractall، فإن بقاء البيانات في صورة الفهرس المتعدد غالباً ما يتعارض مع متطلبات النمذجة الرياضية الكلاسيكية، والتي تتطلب أن يمثل كل صف كياناً مستقلاً بذاته مع توزيع السمات المتعددة على أعمدة أفقية متجاورة. تبرز هنا الحاجة المنهجية لإعادة هيكلة وتسطيح (Flattening) هذه المخرجات وتجريدها من الفهرس المتعدد لتسهيل إعادة دمجها مع إطار البيانات الأصلي.

تُعد دالة unstack الأداة الرياضية المثلى لإنجاز هذه الهيكلة؛ حيث تتيح الدوران المحوري لمستوى الفهرس الثاني (رقم التطابق match) وتحويله من تمثيل رأسي متعدد الصفوف إلى تمثيل أفقي متعدد الأعمدة عبر الشفرة: unstacked = df['Description'].str.extractall(r'(d+)').unstack(). ينتج عن هذه العملية إطار بيانات مسطح يتطابق فهرسه تماماً مع فهرس البيانات الأصلية، وتُمثل مطابقاته كأعمدة مستقلة مرقمة (0، 1، 2، إلخ)، تعكس الترتيب الزمني لظهور الأرقام في النص الأصلي.

تكتمل خطوة التسطيح بتنفيذ عمليتي تنظيف وربط نهائيتين؛ الأولى هي تسطيح أسماء الأعمدة المتعددة (MultiIndex Columns) إن وجدت عبر دمج المستويات النصية أو إعادة تسميتها بأسماء دلالية صريحة (مثل تحويل الأعمدة المستخرجة إلى “Length”، و”Width”، و”Height”). والخطوة الثانية هي دمج إطار البيانات الناتج مع الجدول الأساسي باستخدام دالة الربط المباشر join المستندة إلى الفهرس. يضمن هذا الإجراء البرمجي المتكامل بقاء الأبعاد الرقمية المتعددة متزامنة هندسياً مع بيانات المنتجات الأصلية دون تسريب أو خلط بين السجلات.

6. إدارة القيم المفقودة (NaN) وحالات الشذوذ في البيانات النصية

6.1 سلوك دوال الاستخراج عند غياب التطابق الرقمي

تتميز بنية المعالجة المتجهة في بانداز باتباع سياسة محددة ومنضبطة رياضياً عند التعامل مع حالات غياب التطابق أو وجود قيم فارغة أصيلة في البيانات. عندما يتم تطبيق دالة مثل str.extract على سلسلة نصية تخلو تماماً من أي محارف تطابق التعبير النمطي الممرر، كأن نطبق نمط استخراج الأرقام على سجل يحتوي فقط على العبارة الوصفية “غير متاح حالياً”، فإن الدالة لا ترمي استثناء يوقف التشغيل، بل تولد تلقائياً القيمة المفقودة القياسية NaN (Not a Number) في الموقع الموازي لذلك السجل.

من الضروري للباحث ومحلل البيانات التمييز الدقيق بين نوعين متباينين من حالات الفقدان البياني في هذا السياق: الفقدان الناشئ عن خلو النص الأصلي من الأرقام، والفقدان الموروث أصلاً من كون السجل النصي مدخلاً مفقوداً (NaN) في قاعدة البيانات قبل بدء المعالجة. في كلتا الحالتين، تحافظ الدالة على التناسق الهيكلي وتُسجل الناتج كـ NaN، لكن التفسير الدلالي يختلف؛ فالأول يعكس نصاً خالياً من المعلومة الكمية، في حين يعكس الثاني انعداماً كلياً للمدخل الوصفي ذاته.

يؤدي التراكم غير المضبوط للقيم المفقودة إلى تداعيات إحصائية بالغة الخطورة على مراحل التحليل اللاحقة. فعند حساب المتوسطات أو الانحرافات المعيارية للأعمدة المستخرجة، تقوم دوال بانداز الحسابية تلقائياً بإسقاط قيم NaN، مما قد يؤدي إلى انحياز العينة وتقليص حجمها الفعال دون انتباه المحلل. لذا، فإن فحص وتوزيع مخرجات الاستخراج المفقودة يُعد مرحلة تحقق أولية إلزامية لمعرفة ما إذا كانت التعبيرات النمطية المكتوبة قاصرة عن التقاط بعض التنسيقات الرقمية الشاذة، أم أن غياب الأرقام هو انعكاس أصيل لطبيعة البيانات المدروسة.

6.2 استراتيجيات تعويض وتعديل القيم العددية المفقودة

بمجرد تحديد حجم وتوزيع القيم المفقودة الناتجة عن عمليات الاستخراج، يتعين على المحلل اتخاذ قرار منهجي لمعالجة هذه الفجوات بما يتلاءم مع الفرضيات التحليلية للدراسة. تبرز دالة fillna بوصفها الأداة الأساسية للتعويض، حيث تتيح استبدال قيم NaN بقيم معيارية بديلة. على سبيل المثال، في سياقات الحسابات المالية أو إحصاء الكميات الإضافية، قد يكون من المنطقي دلالياً استبدال السجلات التي لم يُعثر فيها على أرقام بالرقم صفر عبر الأمر df['Count'].fillna(0)، بافتراض أن عدم ذكر الكمية يكافئ انعدامها التام.

في المقابل، إذا كانت المتغيرات المستخرجة تمثل قياسات مستمرة، كدرجات الحرارة أو المؤشرات الحيوية أو معدلات الأداء، فإن التعويض بالصفر يمثل خطأ كارثياً يُحدث انحرافاً حاداً في التوزيع الإحصائي للبيانات. في مثل هذه السيناريوهات، تتجه المنهجيات المتقدمة إلى استخدام تقنيات التعويض الإحصائي (Statistical Imputation)، مثل تعويض الفاقد بحساب المتوسط الحسابي أو الوسيط للأرقام المستخرجة بنجاح، أو الاعتماد على التعبئة التوجيهية (Forward or Backward Fill) في حال كانت البيانات تمثل سلاسلاً زمنية ذات ترابط تتابعي منتظم.

تتمثل إحدى أفضل الممارسات البرمجية قبل اتخاذ قرار التعويض الأعمى في عزل وتصفية الصفوف التي أخفقت في عملية الاستخراج لدراستها نوعياً. يتم ذلك بتطبيق مرشح منطقي مباشر: failed_records = df[df['Extracted'].isna()]. يتيح فحص هذه العينة للمطور اكتشاف ما إذا كانت هناك أنماط نصية غير متوقعة (مثل كتابة الأرقام بالحروف الهجائية، أو استخدام محارف يونيكود غير قياسية) تستدعي تحسين التعبير النمطي وتوسيعه بدلاً من اللجوء القسري إلى التعويض البياني الذي قد يطمس معالم البيانات الحقيقية.

6.3 تنقية البيانات والتحقق المسبق قبل إطلاق عمليات الاستخراج

تتحقق الكفاءة العالية في مسارات المعالجة النصية عبر تطبيق بروتوكول صارم لتنقية البيانات والتحقق المسبق من صحتها قبل الدفع بها إلى محركات التعبيرات النمطية. أحد أهم متطلبات هذا البروتوكول هو ضمان تجانس النوع البياني للعمود النصي المستهدف. ففي كثير من الأحيان، تحتوي الأعمدة المصنفة كـ object على خليط هجين يجمع بين السلاسل النصية والأعداد الصحيحة والقيم المنطقية أو حتى التواريخ. لدرء أي فشل تشغيلي، يُنصح دائماً بالتحويل القسري الصريح للعمود إلى نصوص مجردة عبر استخدام التابع df['col'] = df['col'].astype(str).

الخطوة الوقائية التالية تتمثل في استخدام التابع المنطقي Series.str.contains للتحقق من وجود أنماط قابلة للاستخراج قبل الشروع في بناء مصفوفات البيانات الجديدة. يتيح هذا التابع للمحلل تقييم نسبة السجلات التي تحتوي فعلياً على خانات رقمية، وتوليد أقنعة منطقية (Boolean Masks) تسمح بتوجيه دالة str.extract للعمل حصرياً على الصفوف الإيجابية، مما يوفر جهداً حوسبياً كبيراً يتم إهداره عند مسح السجلات الخالية من المعطيات في مجموعات البيانات الضخمة التي تحتوي على عشرات الملايين من الصفوف.

أخيراً، يجب معالجة مشكلات التباين في الترميز النصي (Text Encoding) ووجود المحارف الخفية أو المسافات البيضاء الشاذة (Non-breaking spaces) التي تلتصق بالنصوص أثناء عمليات التصدير أو النقل الشبكي. يؤدي تطبيق دوال التنظيف الأولية مثل Series.str.strip واستبدال الفراغات غير المرئية بمسافات عادية إلى القضاء على الشوائب التي قد تحول دون انطباق التعبيرات النمطية. إن هذه الإجراءات التحضيرية تُزيل الغموض وتوفر بيئة نصية مهيكلة تضمن تدفق عمليات الاستخراج بأعلى درجات الموثوقية والثبات التشغيلي.

7. تحويل الأنواع البيانية للأرقام المستخرجة لتمكين العمليات الحسابية

7.1 إشكالية بقاء المخرجات كأنواع كائنية (Object Dtype)

تُمثل مرحلة ما بعد الاستخراج فخاً برمجياً شائعاً يقع فيه العديد من المشتغلين بالبيانات، حيث يُعتقد خطأً أن نجاح دالة str.extract في عزل الأرقام يعني تلقائياً جاهزيتها للدخول في المعادلات الرياضية. الحقيقة البرمجية الراسخة هي أن نواتج دوال التعبيرات النمطية في بانداز تظل دائماً وأبداً ذات نوع بياني كائني (object) أو نصي (string). محرك الاستخراج يعامل هذه الأرقام كصور لمحارف أبجدية تصادف أنها تتطابق مع الخانات العددية، ولا يدرك خصائصها الرياضية الكامنة.

يترتب على هذا البقاء النصي عجز تام لكافة الدوال الإحصائية والرياضية عن أداء وظائفها المعتادة. فعند محاولة تطبيق دالة الجمع sum() على عمود رقمي لا يزال حبيس النوع الكائني، لن تقوم بانداز بجمع القيم حسابياً، بل ستجري عملية “دمج نصي” (String Concatenation) تدمج الأرقام في سلسلة نصية عملاقة واحدة. وإذا حاول المطور حساب المتوسط الحسابي عبر mean()، ستطلق المكتبة استثناء يمنع الحساب أو ترجع نتائج مشوهة. كما يستحيل إجراء عمليات المقارنة المنطقية أو الترتيب الرياضي السليم، حيث يخضع الترتيب للفرز المعجمي الأبجدي الذي يرى أن النص “100” يسبق النص “20” لأن الواحد يسبق الاثنين هجائياً.

إلى جانب القصور الوظيفي، يفرض استمرار الأعمدة العددية كأنواع كائنية عبئاً استهلاكياً هائلاً على ذاكرة الوصول العشوائي (RAM). فالنوع object في بايثون يعمل كمصفوفة من المؤشرات (Pointers) التي تشير إلى كائنات منفصلة في الذاكرة، مما يرفع البصمة المكانية للبيانات ويفقد المعالجات المركزية ميزة الاستفادة من التخزين المؤقت السريع (CPU Cache). بناءً عليه، يصبح التحويل الصريح للنوع البياني للأرقام المستخرجة التزاماً هندسياً حتمياً لا تكتمل مهمة تنقيب البيانات بدونه.

7.2 التحويل باستخدام دالة astype وحدود تطبيقها

يعد التابع astype الوسيلة الكلاسيكية والأكثر شيوعاً في بايثون لتغيير أنواع البيانات بين المصفوفات والأعمدة. يمكن للمطور استدعاء هذا التابع لتحويل مخرجات الاستخراج مباشرة إلى أعداد صحيحة أو عشرية عبر الصيغة: df['Num'] = df['Extracted'].astype(int) أو astype(float). تعمل هذه الطريقة بكفاءة وسرعة فائقة عندما تكون البيانات نقية تماماً، وخالية من أي تشوهات متبقية، والأهم من ذلك: خالية كلياً من أي قيم مفقودة (NaN).

وهنا تكمن المحدودية التقنية القاتلة لدالة astype(int) القياسية؛ فالأعداد الصحيحة التقليدية في لغة بايثون ومكتبة نومباي (NumPy int32 أو int64) لا تدعم هيكلياً وجود القيم المفقودة. إذا احتوى العمود المستخرج على قيمة NaN واحدة فقط ناتجة عن فشل تطابق في أحد الصفوف، فإن تنفيذ الأمر astype(int) سينهار فوراً مطلقاً الخطأ الشهير ValueError: cannot convert float NaN to integer. هذا العجز الهيكلي يجعل استخدام دالة التحويل القياسية غير آمن في البيئات الواقعية التي نادراً ما تخلو من الفجوات البيانية النصية.

لتجاوز هذه المشكلة الهيكلية المعقدة، قدمت مكتبة بانداز في إصداراتها الحديثة نوعاً بيانياً مبتكراً للأعداد الصحيحة يُعرف بالنوع القابل للإلغاء (Nullable Integer Data Type)، والمميز بكتابة الحرف الأول كبيراً Int64. يعتمد هذا النوع على تقنية متقدمة تُعرف بمصفوفة القناع (Masked Array)، حيث يفصل القيم العددية الصحيحة عن قناع منطقي موازٍ يتعقب مواقع القيم المفقودة. يتيح استخدام التحويل عبر الصيغة astype('Int64') تخزين الأعداد الصحيحة بسلام جنباً إلى جنب مع قيم <NA> دون أي انهيار برمجي، مما يحل معضلة الأعداد الصحيحة الناقصة جذرياً.

7.3 الاستخدام الأمثل والآمن لدالة pd.to_numeric

تُمثل دالة pd.to_numeric الأداة الأكثر قوة ومرونة وموثوقية في مكتبة بانداز لتحويل البيانات المستخرجة إلى صيغ رقمية قابلة للحوسبة. تكمن القوة الاستثنائية لهذه الدالة في احتوائها على وسيط تحكم استراتيجي هو الوسيط errors. يحدد هذا الوسيط طريقة تصرف المحرك البرمجي عند اصطدامه بقيم نصية يتعذر تحويلها رياضياً إلى أرقام، مما يمنح المطور سيطرة كاملة على إدارة حالات الشذوذ البياني أثناء خطوة التحويل.

يوفر الوسيط خيارات متعددة، إلا أن الاستخدام الأمثل والأكثر تطبيقاً في مسارات تنظيف البيانات يتمثل في ضبطه على الخيار القسري: errors='coerce'. عند تفعيل هذا الخيار عبر الشفرة: pd.to_numeric(df['Extracted'], errors='coerce')، تتعهد الدالة بتحويل كافة القيم الصالحة إلى أرقام صحيحة أو عشرية وفقاً لطبيعتها، بينما تقوم بالتحويل التلقائي والآمن لأي مدخل غير صالح أو مشوه أو مفقود إلى NaN دون إطلاق أي استثناءات توقف المعالجة، مما يضمن استمرارية تدفق خط الأنابيب في مجموعات البيانات الكبيرة.

علاوة على ذلك، يتيح استخدام pd.to_numeric توفيراً إضافياً للذاكرة من خلال وسيط تكميلي يُدعى downcast. بتمرير وسائط مثل downcast='integer' أو downcast='float'، تقوم الدالة آلياً بفحص المجال الرقمي الفعلي للقيم المستخرجة وتقليص الحجم الثنائي المخصص لها في الذاكرة إلى أدنى حد ممكن (مثلاً من 64-bit إلى 8-bit أو 16-bit). يُحقق هذا التقليص ترشيداً استهلاكياً فائقاً للذاكرة يرفع من سرعة العمليات الحسابية اللاحقة بصورة ملحوظة ويوفر بيئة مثالية للتحليلات الإحصائية الدقيقة.

8. البدائل المنهجية لدالة str.extract وحالات استخدامها التخصصية

8.1 استخدام دالة str.findall لاستخراج الأرقام داخل قوائم مدمجة

تُعد دالة Series.str.findall إحدى الأدوات الوظيفية الهامة التي تمثل بديلاً مرناً لدوال الاستخراج الهيكلية، خاصة عندما يكون الغرض هو استكشاف وحصر كافة الأرقام الواردة في السجل النصي دون الرغبة الفورية في تفكيكها إلى أعمدة أو فهارس متعددة. على عكس دالة extract التي تكتفي بالمطابقة الأولى، تقوم findall بمسح السلسلة النصية كاملة وتجميع كافة الأرقام المطابقة للتعبير النمطي، وتخزينها كعناصر داخل قائمة بايثون قياسية (List) ضمن كل صف على حدة.

تُظهر هذه الدالة مرونة فائقة عند التعامل مع التعبيرات النمطية؛ إذ لا تشترط وجود أقواس مجموعات الالتقاط، بل تلتقط أي نمط عددي يطابق الصياغة المباشرة مثل df['Text'].str.findall(r'd+'). تُعد هذه الخاصية مثالية للسيناريوهات الاستكشافية السريعة التي تتطلب معرفة عدد الأرقام المذكورة في كل وثيقة نصية، أو عند الرغبة في حساب مجاميع سريعة للأرقام المستخرجة داخل الصف الواحد دون الحاجة إلى تشييد أعمدة جديدة تشوش التكوين الهيكلي لإطار البيانات الأصلي.

عندما تتطلب متطلبات التحليل اللاحقة تحويل هذه القوائم المدمجة إلى صفوف مستقلة، يمكن دمج مخرجات findall مباشرة مع دالة التفجير البنائي explode في بانداز. يؤدي تطبيق df.explode('Numbers_List') إلى تفكيك القوائم النصية وتكرار بيانات الصف لكل رقم على حدة، مما يوفر وسيلة بديلة وأنيقة لمعالجة البيانات متعددة الأرقام تنافس مخرجات extractall، وتمنح المحلل مساراً حوسبياً يسهل تخصيصه والتحكم في مراحله وفقاً لاحتياجات نموذج البيانات المطلوب.

8.2 تقنية الحذف العكسي باستخدام دالة str.replace

تُمثل تقنية الحذف العكسي أو التطهير الاستبعادي فلسفة برمجية مختلفة تماماً عن منطق الالتقاط المباشر؛ فبدلاً من البحث الإيجابي عن الأرقام واستخلاصها، تعتمد هذه المنهجية على استهداف كافة المحارف غير الرقمية وحذفها بالكامل من السلسلة النصية، ليتبقى في النهاية الرقم المستهدف منفرداً. يتحقق هذا التطهير عبر استخدام دالة الاستبدال المتجهة Series.str.replace مدعومة بفئة المحارف المنفية في التعبيرات النمطية.

الصياغة النمطية المعيارية لهذا الأسلوب تعتمد على الفئة النمطية [^0-9] أو الرمز النمطي المنفي D، والذي يعني حرفياً “أي محرف لا يمثل خانة عددية”. بتطبيق الأمر: df['Number'] = df['Text'].str.replace(r'D+', '', regex=True)، يقوم المحرك بمسح الكلمات والرموز والمسافات وعلامات الترقيم وتفريغها، كاشفاً عن الهيكل الرقمي المتبقي في الخلية. تبرز قوة هذه التقنية عند معالجة الحقول التي يُفترض أن تحتوي حصراً على أرقام هواتف أو أرقام هويات وطنية لكنها كُتبت بتنسيقات متفرقة تتخللها شرطات وأقواس وفراغات غير منتظمة.

على الرغم من بساطة هذه التقنية وجاذبيتها، إلا أنها تنطوي على مخاطر تحليلية مدمرة يجب الحذر الشديد منها. العيب الجوهري يكمن في الحالات التي تحتوي فيها السلسلة النصية على أرقام متعددة منفصلة دلالياً؛ فعند حذف النصوص والفواصل بينها، ستلتحم هذه الأرقام المستقلة وتندمج في عدد واحد عملاق لا معنى له. فعلى سبيل المثال، عبارة مثل “يحتوي الصندوق 12 على 5 أكياس” ستتحول بعد الحذف العكسي إلى الرقم “125”، مما يطمس الفواصل الرقمية تماماً ويولد بيانات خاطئة تصعب ملاحقتها وتصحيحها لاحقاً.

8.3 مقارنة منهجية شاملة للأداء والسرعة بين مختلف الاستراتيجيات

تستلزم الممارسة الاحترافية في علم البيانات إجراء مفاضلة تقنية مستمرة بين الاستراتيجيات المتاحة بناءً على معايير الأداء الحسابي، واستهلاك الذاكرة، وسلامة المخرجات البنائية. عند وضع الأدوات الثلاث (extract، findall، replace) في ميزان المقارنة المنهجية لمعالجة الأرقام، تتضح فروق جوهرية تحكم اختيار كل منها؛ حيث تتفوق str.extract المطلقة في الدقة عندما يكون المطلوب رقماً محدداً بدلالة سياقية داخل أقواس التقاط واضحة، فضلاً عن سرعتها العالية في التوقف المبكر.

من منظور استهلاك الموارد وسرعة المعالجة على مجموعات البيانات المليونية، تشير المقارنات المعيارية (Benchmarking) إلى أن العمليات التي تعتمد على التعبيرات النمطية المعقدة داخل extractall هي الأكثر استهلاكاً للوقت والذاكرة، نظراً لاضطرار المحرك إلى بناء فهرس متعدد ومعقد يتعقب الإحداثيات الدقيقة لكل تطابق. في المقابل، تظهر دالة str.replace العكسية أداءً زمنياً ممتازاً في الحالات البسيطة، لكنها تعاني من فقدان القدرة على التعامل مع الأرقام العشرية؛ إذ إن حذف كل ما هو غير رقمي سيؤدي حتماً إلى حذف النقطة العشرية ودمج الكسر بالعدد الصحيح ما لم يتم استثناؤها بعناية من التعبير النمطي المنفي عبر [^0-9.].

يوضح الجدول المنهجي التالي المعايير المقارنة الدقيقة التي توجه المحلل نحو الاختيار الأنسب لمشروعه البرمجي:

• str.extract: مثالية لاستخراج أول ظهور لرقم محدد وسياقي، تنتج إطار بيانات أحادي أو متعدد الأعمدة، تكلفتها الحسابية متوسطة، وتوفر أماناً عالياً في حفظ تمايز القيم المنفصلة.
• str.extractall: الأداة الوحيدة المناسبة لالتقاط كافة الأرقام المتعددة مع الحفاظ على ترقيمها ومواقعها، تنتج إطار بيانات ذا فهرس متعدد (MultiIndex)، تكلفتها الحسابية والذاكرية مرتفعة، وتتطلب خطوات تسطيح لاحقة.
• str.findall: ممتازة للاستكشاف والتحليل التجميعي السريع لكافة الأرقام، ترجع قوائم مدمجة داخل الخلايا، تكلفتها منخفضة، لكنها غير ملائمة للحسابات الرياضية المباشرة دون تفجير القوائم.
• str.replace العكسية: مناسبة لتنظيف المعرفات الرقمية المشوشة بتنسيقات ثابتة، ترجع سلاسل نصية منظفة، شديدة السرعة في الحالات التطهيرية البسيطة، لكنها خطرة للغاية عند تعدد الأرقام أو وجود علامات كسرية.

9. تحسين الأداء الحسابي وإدارة الذاكرة في مجموعات البيانات الكبيرة

9.1 ترجمة التعبيرات النمطية مسبقاً عبر وحدة re

عندما تتسع رقعة البيانات لتصل إلى ملايين السجلات في بيئات المعالجة الدفعية (Batch Processing) أو خطوط الأنابيب الفورية، يصبح الأداء الزمني عنصراً فاصلاً في كفاءة الخوارزمية. بصورة افتراضية، عندما يمرر المطور تعبيراً نمطياً كسلسلة نصية إلى دوال بانداز، يضطر المحرك الداخلي إلى إعادة فحص وتحليل وبناء شجرة النمط النمطي مراراً وتكراراً لتقييم السجلات. هنا تبرز ميزة الترجمة المسبقة للتعبير النمطي باستخدام الدالة re.compile المدمجة في بايثون لتفادي هذا الهدر الحسابي.

تعمل عملية الترجمة المسبقة عبر تجميع النمط النمطي وتحويله إلى كائن برمجي ثنائي منخفض المستوى يتم تخزينه في الذاكرة، مثل: compiled_pat = re.compile(r'(d+.?d*)'). عند تمرير هذا الكائن المترجم كمعامل نمطي للوسيط pat في دالة str.extract(compiled_pat)، يتخطى محرك بانداز مرحلة الترجمة اللغوية المتكررة وينتقل مباشرة إلى مرحلة التنفيذ والمطابقة، وهو ما يُترجم إلى تقليص ملحوظ في أزمنة المعالجة الدورية، لا سيما في التعبيرات النمطية المعقدة ذات الفروع والرموز الشرطية المتعددة.

تتعاظم الفائدة التقنية لهذه الاستراتيجية عند تطبيق نفس النمط الاستخراجي عبر أعمدة متعددة أو استخدامه بصورة متكررة داخل دوال المعالجة المتدفقة. إن إخراج مرحلة تجميع النمط خارج نطاق العمليات التكرارية يضمن بقاء استهلاك وحدة المعالجة المركزية (CPU) في أدنى مستوياته التشغيلية، ويعزز استقرار المعالجة التحليلية في البيئات الإنتاجية المقيدة بالموارد.

9.2 استغلال المعالجة المتجهة والحد من الحلقات التكرارية

تتمثل القاعدة الذهبية الأولى لهندسة البيانات في بانداز في: تجنب الحلقات التكرارية الصريحة (Explicit For Loops) تماماً عند معالجة النصوص. إن استخدام حلقة for التقليدية للمرور على سجلات العمود وتطبيق تعبير نمطي على كل صف يستحضر أثقل أشكال البطء البرمجي في بايثون؛ حيث يُحرم المحلل من ميزة التحسينات المجمعة التي توفرها المكتبة، ويتحول البرنامج إلى تنفيذ تفسيري بطيء يُهدر الملايين من دورات المعالج دون مبرر.

يمتد هذا التحذير المنهجي ليشمل الاستخدام المفرط للدالة apply مقترنة بدوال lambda. على الرغم من أن دالة apply تبدو في ظاهرها أداة متقدمة من أدوات بانداز، إلا أنها في جوهرها التشغيلي لمعالجة النصوص ليست سوى حلقة تكرارية مستترة تعمل على مستوى بايثون، وتفتقر إلى المعالجة المتجهة الحقيقية. في المقابل، صُممت التوابع النصية المدمجة في الموجه str لتستند إلى كود مكتوب بلغة سي (C Layer) ينفذ المطابقات النصية والقفزات الذاكرية بأقصى سرعة ممكنة وبأقل قدر من إنشاء الكائنات المؤقتة.

في حالات البيانات الضخمة التي تتجاوز سعة الذاكرة الفردية وتصل إلى مئات الملايين من السجلات، يجب الانتقال إلى استراتيجيات المعالجة المتوازية؛ إما عبر تقسيم البيانات النصية إلى أجزاء ومعالجتها عبر حزم مثل Dask أو Modin، أو الاستفادة من المحركات الحديثة مثل PyArrow التي تم دمجها في الإصدارات الأخيرة من بانداز لتوفير مسارات معالجة نصية متجهة فائقة السرعة تتفوق جذرياً على دوال بايثون التقليدية، مما يسمح باستخراج الأرقام بمعدلات إنجاز قياسية.

9.3 إدارة أنواع البيانات الناتجة لترشيد استهلاك الذاكرة

لا تتوقف هندسة الأداء الحسابي عند زمن المعالجة فحسب، بل تمتد لتشمل إدارة وترشيد البصمة الذاكرية للبيانات المستخرجة. عندما يُنجز الاستخراج وتُحول الأرقام عبر pd.to_numeric، تُسند بانداز افتراضياً الأنواع البيانية الأعلى دقة، مثل float64 أو int64، والتي تستهلك 8 بايت كاملة لكل خلية مفردة. في مجموعات البيانات الكبيرة، يمكن أن يؤدي هذا التخصيص غير الرشيد إلى التهام غيغابايتات من الذاكرة لتمثيل أرقام صغيرة نسبياً كأرقام الأعمار أو أيام الشهر أو الكميات المحدودة.

يتطلب ترشيد الذاكرة إعادة تخصيص دقيقة للأحجام الثنائية للأنواع البيانية (Downcasting). يمكن للمحلل فحص القيمة القصوى والدنيا للمتغير المستخرج، واستبدال الأنواع الافتراضية بأنواع ذات استهلاك منخفض مثل int16 (الذي يستوعب الأرقام حتى 32,767 ويستهلك ربع الذاكرة فقط) أو float32. يتم ذلك إما تلقائياً عبر وسائط pd.to_numeric أو يدوياً عبر astype('int16') بعد التأكد المطلق من عدم وجود قيم تتجاوز الحدود القصوى للنوع لتفادي أخطاء الفيض الحسابي (Integer Overflow).

من التقنيات التكميلية الفعالة تحويل العمود النصي الأصلي ذاته إلى النوع الفئوي category إذا كانت النصوص التي تتضمن الأرقام نصوصاً مكررة وذات تنوع محدود (مثل تكرار أكواد طرازات معينة أو جمل قياسية معادة). في هذه الحالة، يتم تخزين السلسلة النصية الفريدة لمرة واحدة في الذاكرة، وتُستبدل في باقي السجلات بمؤشرات صحيحة صغيرة، مما يخفض الحجم الكلي لإطار البيانات بصورة دراماتيكية تنعكس إيجاباً على سرعة كافة العمليات التحليلية والاستخراجية اللاحقة.

10. دراسات حالة وتطبيقات عملية وأفضل الممارسات البرمجية

10.1 استخراج الأسعار والعملات في منصات التجارة الإلكترونية

تُمثل واجهات ومتاجر التجارة الإلكترونية بيئة خصبة للبيانات النصية غير المهيكلة؛ حيث تأتي حقول الأسعار ملوثة بالعديد من الرموز والوحدات النصية المعقدة، مثل: “السعر: 1,499.99 دولار أمريكي شامل الضريبة”، أو “خصم خاص! الآن بـ 250€ فقط بدلاً من 300€”. إن استخلاص هذه البيانات يستلزم بناء خط أنابيب متكامل قادر على فصل القيمة النقدية عن رمز العملة وتحديد نسب التخفيض المرافقة.

لتحقيق هذا الهدف بمهارة برمجية، يمكن توظيف تعبير نمطي يعتمد على مجموعات الالتقاط المتعددة والمسماة، كأن نصيغ النمط التالي: r'(?P<Currency>[$€£]|دولار|ريال)?s*(?P<Price>d+(?:,d{3})*(?:.d+)?)s*(?P<Currency_Post>دولار|ريال)?'. يقوم هذا النمط المتقدم بالتقاط رمز أو اسم العملة سواء ورد كبادئة أو لاحقة للرقم، مع التقاط القيمة النقدية بدقة متناهية مستوعباً فواصل الآلاف والنقاط العشرية. تُودع المخرجات فوراً في أعمدة مسماة جاهزة للمعالجة الهندسية.

تكتمل معالجة هذه الحالة بتطهير عمود السعر الناتج من الفواصل الحسابية عبر str.replace(',', '')، ومن ثم تمريره إلى pd.to_numeric(errors='coerce') لإنشاء عمود نقدي عائم (float) يمكن للمحلل استخدامه في احتساب الإيرادات الإجمالية، ومقارنة متوسطات الأسعار عبر الفئات التجارية المختلفة، وتوحيد العملات المتباينة بناءً على جداول أسعار الصرف المتغيرة، وهو ما يُمثل تحويلاً جوهرياً للبيانات من مجرد جمل نصية تسويقية إلى مؤشرات مالية شديدة الدقة.

10.2 معالجة بيانات السجلات الطبية والجرعات الدوائية

تكتسب دقة استخراج الأرقام من النصوص أهمية حيوية قصوى في حقل المعلوماتية الطبية الحيوية؛ حيث تتضمن تقارير المرضى والوصفات الطبية نصوصاً حرجة مثل: “تم إعطاء المريض 500mg من الباراسيتامول مرتين يومياً”، أو “تعديل الجرعة إلى 0.25ml وريدياً”. أي خطأ في التقاط القيمة الرقمية أو خلطها بالوحدة المصاحبة قد يقود إلى نتائج سريرية وإحصائية بالغة الخطورة عند بناء النماذج التنبؤية للرعاية الصحية.

تتطلب هذه الحالة صياغة تعبيرات نمطية صارمة تقرن الرقم بالوحدة الفيزيائية بدقة تامة لتفادي استخراج أرقام التواريخ أو أعمار المرضى بالخطأ كجرعات دوائية. يُصاغ التعبير النمطي ليلتقط الجرعة العددية ووحدتها في مجموعتين منفصلتين: r'(d*.?d+)s*(mg|g|ml|ملغ|سم)'. يضمن هذا النمط المحكم أن الرقم المستخرج هو حصراً الرقم المقترن بواحدة من وحدات القياس المعتمدة طبياً، متفادياً التشويش الناشئ عن الأرقام الترتيبية الأخرى الواردة في السجل الطبي.

عقب إتمام عملية الاستخراج والتحويل الرقمي، يتم تطبيق خوارزمية قياسية لتوحيد المقاييس (Standardization)؛ حيث تُحول كافة الجرعات إلى وحدة قياس موحدة (كتحويل الغرامات والمليغرامات إلى مقياس الغرام المشترك) بضرب الأرقام المستخرجة بمعاملات التحويل الرياضية استناداً إلى الوحدة الملتقطة في العمود المقترن. ينتج عن هذا المسار الهندسي متغيرات كمية معيارية تتيح للباحثين والكوادر الطبية إجراء الدراسات الوبائية، وتحليل استجابة المرضى، وتقييم السمية الدوائية بأعلى معايير الأمان العلمي.

10.3 قائمة التحقق المنهجية لضمان جودة استخراج البيانات الرقمية

لضمان أعلى معايير الجودة والاستقرار البرمجي في مشروعات تنقيب البيانات النصية، يتعين على فرق هندسة البيانات اعتماد قائمة تحقق منهجية (Methodological Checklist) واختبارات توكيد استباقية قبل اعتماد النتائج في البيئات الإنتاجية. تتضمن هذه القائمة مجموعة من الاختبارات الصارمة التي تكشف أي انحرافات أو أخطاء مستترة في خط الأنابيب:

• توكيد عدم تسرب النصوص: إجراء اختبارات توكيد برمجية (Assertions) مثل assert df['Extracted_Num'].dtype in [np.float64, np.int64, 'Int64'] للتأكد القاطع من أن العمود قد تم تحويله بالكامل إلى أنواع رقمية، وأنه لا يحتوي على أي مخلفات نصية كائنية تعيق العمليات الرياضية اللاحقة.
• فحص الحدود القصوى والمنطقية: التحقق من أن القيم العددية المستخرجة تقع داخل النطاقات الفيزيائية والمنطقية المعقولة للمتغير (مثل التأكد من أن درجات حرارة المرضى لا تقل عن 30 ولا تزيد عن 45 درجة مئوية)، وتحديد السجلات الخارجة عن هذه الحدود لفحص سياقها النصي والتأكد من عدم حدوث تداخل بين أرقام مختلفة داخل النص.
• بناء الاختبارات الأحادية للحالات الحافة: تطوير حزمة من الاختبارات الأحادية (Unit Tests) تخضع لها التعبيرات النمطية ضد قائمة معيارية من السلاسل النصية الشاذة، بما في ذلك السلاسل التي تبدأ بنقاط عشرية، والأرقام السالبة، والسلاسل الخالية من الأرقام، والمدخلات الفارغة، لضمان استقرار التعبير النمطي وقدرته على معالجة المفاجآت البيانية.
• التوثيق المعماري للتعبيرات النمطية: كتابة تعليقات توثيقية وافية تشرح التركيب الداخلي لكل جزء من أجزاء التعبير النمطي، مع الاستفادة من ميزة re.VERBOSE لتجزئة الأنماط المعقدة على أسطر متعددة مصحوبة بشروحات توضح الغرض التحليلي من كل مجموعة التقاط ومحدد تكرار، مما يسهل من مراجعة الشيفرة وصيانتها وتطويرها المستقبلي بواسطة فرق العمل المشتركة.

خاتمة

إن استخراج الأرقام من السلاسل النصية في بيئة مكتبة بانداز يتجاوز كونه مجرد حيلة برمجية أو استدعاء لدالة عابرة؛ بل هو تخصص هندسي محوري يربط بين عالمين تحليليين: عالم المعالجة اللغوية غير المهيكلة وعالم التحليل الرياضي والإحصائي الصارم. يرتكز النجاح في هذا المسار على الإلمام العميق بالبنية المعمارية لمكتبة بانداز، والتحكم الواعي في سلوك محركات التعبيرات النمطية، واليقظة المنهجية للفروق الهيكلية بين أدوات مثل str.extract وstr.extractall وstr.findall.

إن بناء خط أنابيب متين يبدأ بالصياغة الدقيقة للتعبيرات النمطية لاستيعاب كافة الحالات العددية المعقدة كالعلامات العشرية والإشارات السالبة، مروراً بالتحقق المسبق والتطهير النصي، ووصولاً إلى التحويل الآمن والرشيد للأنواع البيانية وإدارة القيم المفقودة. من خلال تطبيق أفضل الممارسات الموثقة في هذا الدليل، يمتلك المحلل والباحث القدرة على تحويل أضخم مجموعات البيانات النصية المشوشة إلى مصفوفات رقمية عالية النقاء والوثوقية، تشكل الأساس الصلب الذي تبنى عليه نماذج التعلم الآلي والقرارات التحليلية المتقدمة بثقة واقتدار.

المراجع

• Kleene, S. C. (1956). Representation of Events in Nerve Nets and Finite Automata. In C. E. Shannon & J. McCarthy (Eds.), Automata Studies (Annals of Mathematics Studies, No. 34), pp. 3–41. Princeton University Press.
• McKinney, W. (2010). Data Structures for Statistical Computing in Python. In S. van der Walt & J. Millman (Eds.), Proceedings of the 9th Python in Science Conference (SciPy 2010), pp. 56–61. https://doi.org/10.25080/Majora-92bf1922-00a
• Pandas Development Team. (2024). pandas.Series.str.extract — pandas 2.2 documentation. PyData. https://pandas.pydata.org/docs/reference/api/pandas.Series.str.extract.html
• Pandas Development Team. (2024). Working with text data — pandas 2.2 documentation. PyData. https://pandas.pydata.org/docs/user_guide/text.html
• Python Software Foundation. (2024). re — Regular expression operations. Python Documentation. https://docs.python.org/3/library/re.html