المعالجة المسبقة في Scikit-learn: إتقان مسارات تحويل البيانات للتعلم الآلي

في عالم التعلم الآلي، تؤثر جودة بياناتك بشكل مباشر على أداء نماذجك. غالبًا ما تحتوي البيانات الأولية على تناقضات وقيم مفقودة ومقاييس مختلفة، مما يجعلها غير مناسبة للاستخدام المباشر. توفر مكتبة Scikit-learn، وهي مكتبة Python قوية، مجموعة شاملة من تقنيات المعالجة المسبقة لتحويل بياناتك إلى تنسيق مناسب لخوارزميات التعلم الآلي. يتعمق هذا المقال في عالم المعالجة المسبقة في Scikit-learn، مع التركيز على إنشاء واستخدام مسارات تحويل البيانات لتبسيط سير عمل التعلم الآلي الخاص بك.

لماذا تعتبر المعالجة المسبقة للبيانات حاسمة

المعالجة المسبقة للبيانات هي عملية تنظيف وتحويل وتنظيم البيانات الأولية لجعلها أكثر ملاءمة لنماذج التعلم الآلي. إنها خطوة حيوية لأن خوارزميات التعلم الآلي حساسة لمقياس وتوزيع ميزات الإدخال. بدون معالجة مسبقة مناسبة، يمكن أن تؤدي النماذج أداءً ضعيفًا، مما يؤدي إلى تنبؤات غير دقيقة ونتائج غير موثوقة. فيما يلي بعض الأسباب الرئيسية التي تجعل المعالجة المسبقة للبيانات ضرورية:

• تحسين أداء النموذج: تُمكّن البيانات المعالجة مسبقًا النماذج من التعلم بشكل أكثر فعالية وتحقيق دقة أعلى.
• معالجة القيم المفقودة: تملأ تقنيات الاستيفاء نقاط البيانات المفقودة، مما يمنع الخوارزميات من الانهيار أو إنتاج نتائج متحيزة.
• توحيد مقاييس الميزات: تضمن طرق التحجيم أن تساهم جميع الميزات بالتساوي في النموذج، مما يمنع الميزات ذات القيم الأكبر من الهيمنة على عملية التعلم.
• ترميز المتغيرات الفئوية: تحول تقنيات الترميز البيانات الفئوية إلى تمثيلات عددية يمكن لخوارزميات التعلم الآلي فهمها.
• تقليل الضوضاء والقيم الشاذة: يمكن أن تساعد المعالجة المسبقة في التخفيف من تأثير القيم الشاذة والبيانات الصاخبة، مما يؤدي إلى نماذج أكثر قوة.

مقدمة إلى مسارات Scikit-learn

توفر مسارات Scikit-learn طريقة لربط خطوات تحويل البيانات المتعددة معًا في كائن واحد قابل لإعادة الاستخدام. يؤدي هذا إلى تبسيط التعليمات البرمجية الخاصة بك، وتحسين قابلية القراءة، ويمنع تسرب البيانات أثناء تقييم النموذج. المسار هو في الأساس تسلسل من تحويلات البيانات متبوعًا بتقدير نهائي (على سبيل المثال، مصنف أو منحدر). إليك سبب كون المسارات مفيدة للغاية:

• تنظيم التعليمات البرمجية: تغلف المسارات سير عمل المعالجة المسبقة للبيانات والنمذجة بأكمله في وحدة واحدة، مما يجعل التعليمات البرمجية الخاصة بك أكثر تنظيمًا وأسهل في الصيانة.
• منع تسرب البيانات: تضمن المسارات تطبيق تحويلات البيانات بشكل متسق على بيانات التدريب والاختبار، مما يمنع تسرب البيانات الذي يمكن أن يؤدي إلى التخصيص الزائد وضعف التعميم.
• تبسيط تقييم النموذج: تجعل المسارات من السهل تقييم أداء نموذجك باستخدام تقنيات مثل التحقق المتقاطع، حيث يتم تطبيق سير عمل المعالجة المسبقة والنمذجة بأكمله بشكل متسق على كل طية.
• النشر المبسّط: يمكن نشر المسارات بسهولة في بيئات الإنتاج، مما يضمن معالجة البيانات مسبقًا بنفس الطريقة التي تمت بها أثناء التدريب.

تقنيات المعالجة المسبقة للبيانات الشائعة في Scikit-learn

تقدم Scikit-learn مجموعة واسعة من تقنيات المعالجة المسبقة. فيما يلي بعض التقنيات الأكثر استخدامًا:

1. التحجيم والتطبيع

التحجيم والتطبيع هما تقنيتان تُستخدمان لتحويل الميزات الرقمية إلى نطاق قيم متشابه. هذا مهم لأن الميزات ذات المقاييس المختلفة يمكن أن تؤثر بشكل غير متناسب على عملية التعلم. توفر Scikit-learn العديد من طرق التحجيم والتطبيع:

• StandardScaler: يقوم بتوحيد الميزات عن طريق إزالة المتوسط ​​وتحجيمها إلى تباين الوحدة. هذه تقنية شائعة الاستخدام تفترض أن البيانات تتبع توزيعًا طبيعيًا.

  الصيغة: x_scaled = (x - mean) / standard_deviation

  مثال: لنفترض أن لديك أسعار منازل بالدولار الأمريكي ومساحة بالقدم المربع. يضمن تحجيم هذه الميزات ألا يولي النموذج أهمية غير مبررة للميزة ذات القيم الأكبر (على سبيل المثال، أسعار المنازل).

• MinMaxScaler: يقوم بتحجيم الميزات إلى نطاق محدد، عادةً ما بين 0 و 1. هذا مفيد عندما تريد الحفاظ على التوزيع الأصلي للبيانات.

  الصيغة: x_scaled = (x - min) / (max - min)

  مثال: غالبًا ما تستخدم معالجة الصور MinMaxScaler لتطبيع قيم البكسل إلى النطاق [0, 1].

• RobustScaler: يقوم بتحجيم الميزات باستخدام إحصائيات قوية تجاه القيم الشاذة، مثل الوسيط والمدى الربيعي (IQR). هذا خيار جيد عندما تحتوي بياناتك على قيم شاذة.

  الصيغة: x_scaled = (x - median) / IQR

  مثال: في مجموعات البيانات المالية، حيث تكون القيم الشاذة شائعة (مثل التقلبات الشديدة في سوق الأسهم)، يمكن أن يوفر RobustScaler نتائج أكثر استقرارًا.

• Normalizer: يقوم بتطبيع العينات بشكل فردي إلى معيار الوحدة. هذا مفيد عندما يكون حجم متجه الميزات أهم من قيم الميزات الفردية.

  الصيغة (معيار L2): x_scaled = x / ||x||

  مثال: في معالجة النصوص، يعد تطبيع متجهات تردد المصطلح-تردد المستند العكسي (TF-IDF) ممارسة شائعة.

2. ترميز المتغيرات الفئوية

تتطلب خوارزميات التعلم الآلي عادةً إدخالًا رقميًا، لذلك تحتاج المتغيرات الفئوية إلى التحويل إلى تمثيلات عددية. تقدم Scikit-learn العديد من تقنيات الترميز:

• OneHotEncoder: ينشئ أعمدة ثنائية لكل فئة في الميزة. هذا مناسب للميزات الفئوية الاسمية (الميزات التي ليس لها ترتيب متأصل).

  مثال: ترميز ميزة "البلد" بقيم مثل "الولايات المتحدة الأمريكية" و "كندا" و "المملكة المتحدة" سينشئ ثلاثة أعمدة جديدة: "country_USA" و "country_Canada" و "country_UK".

• OrdinalEncoder: يعين قيمة عددية صحيحة لكل فئة بناءً على ترتيبها. هذا مناسب للميزات الفئوية الترتيبية (الميزات ذات الترتيب الهادف).

  مثال: ترميز ميزة "المستوى التعليمي" بقيم مثل "المدرسة الثانوية" و "بكالوريوس" و "ماجستير" سيعين قيمًا عددية صحيحة مثل 0 و 1 و 2 على التوالي.

• LabelEncoder: يرمز تسميات الهدف بقيم تتراوح بين 0 و n_classes-1. استخدم هذا لترميز المتغير الهدف في مشاكل التصنيف.

  مثال: ترميز تسميات "بريد عشوائي" و "ليس بريد عشوائي" كـ 0 و 1 على التوالي.

• TargetEncoder (يتطلب مكتبة category_encoders): يرمز الميزات الفئوية بناءً على متوسط ​​المتغير الهدف لكل فئة. يمكن أن يؤدي إلى تسرب الهدف إذا لم يتم استخدامه بعناية ضمن إعداد التحقق المتقاطع.

3. معالجة القيم المفقودة

القيم المفقودة هي مشكلة شائعة في مجموعات البيانات الواقعية. توفر Scikit-learn تقنيات لاستيفاء (ملء) القيم المفقودة:

• SimpleImputer: يستوفي القيم المفقودة باستخدام قيمة ثابتة، أو المتوسط، أو الوسيط، أو القيمة الأكثر تكرارًا للميزة.
• KNNImputer: يستوفي القيم المفقودة باستخدام خوارزمية الجيران الأقرب (k-nearest neighbors). يجد الـ k عينة الأقرب للعينة التي تحتوي على قيم مفقودة ويستخدم متوسط ​​قيمة هؤلاء الجيران لاستيفاء القيمة المفقودة.
• IterativeImputer: يستوفي القيم المفقودة باستخدام نهج نمذجة تكراري. يتم نمذجة كل ميزة بقيم مفقودة كوظيفة للميزات الأخرى، ويتم التنبؤ بالقيم المفقودة بشكل تكراري.

4. تحويل الميزات

يتضمن تحويل الميزات إنشاء ميزات جديدة من الميزات الموجودة. يمكن أن يؤدي ذلك إلى تحسين أداء النموذج عن طريق التقاط العلاقات غير الخطية أو التفاعلات بين الميزات. تتضمن بعض التقنيات:

• PolynomialFeatures: ينشئ مجموعات متعددة الحدود من الميزات. على سبيل المثال، إذا كان لديك ميزتان x1 و x2، يمكن لـ PolynomialFeatures إنشاء ميزات جديدة مثل x1^2 و x2^2 و x1*x2.
• FunctionTransformer: يطبق دالة مخصصة على الميزات. يتيح لك ذلك إجراء تحويلات عشوائية، مثل التحويلات اللوغاريتمية أو التحويلات الأسية.
• PowerTransformer: يطبق تحويل القوة لجعل البيانات أكثر شبهاً بالتوزيع الغاوسي. يمكن أن يكون هذا مفيدًا للخوارزميات التي تفترض الحالة الطبيعية، مثل الانحدار الخطي. (يتضمن تحويلات Box-Cox و Yeo-Johnson)

بناء مسارات تحويل البيانات باستخدام Scikit-learn

الآن، دعنا نطبق تقنيات المعالجة المسبقة هذه عمليًا من خلال بناء مسارات تحويل البيانات. إليك دليل خطوة بخطوة:

1. استيراد المكتبات الضرورية

ابدأ باستيراد المكتبات المطلوبة من Scikit-learn:

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. تحميل وتجهيز بياناتك

حمّل مجموعة بياناتك باستخدام pandas أو أي طريقة أخرى مناسبة. حدد الميزات الرقمية والفئوية في مجموعة بياناتك. على سبيل المثال:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. تحديد خطوات المعالجة المسبقة

أنشئ مثيلات لمُحوّلات المعالجة المسبقة التي ترغب في استخدامها. على سبيل المثال، لمعالجة الميزات الرقمية، قد تستخدم StandardScaler و SimpleImputer. بالنسبة للميزات الفئوية، يمكنك استخدام OneHotEncoder. ضع في اعتبارك تضمين استراتيجيات لمعالجة القيم المفقودة قبل التحجيم أو الترميز.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. إنشاء ColumnTransformer

استخدم ColumnTransformer لتطبيق محوّلات مختلفة على أعمدة مختلفة من بياناتك. يتيح لك ذلك معالجة الميزات الرقمية والفئوية بشكل منفصل.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. بناء المسار

أنشئ كائن Pipeline يربط خطوات المعالجة المسبقة بنموذج التعلم الآلي. يضمن ذلك معالجة البيانات مسبقًا بشكل متسق قبل تغذيتها إلى النموذج.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. تدريب وتقييم النموذج

قسّم بياناتك إلى مجموعات تدريب واختبار. ثم، درب المسار على بيانات التدريب وقيّم أداءه على بيانات الاختبار.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

مثال للتعليمات البرمجية الكاملة

إليك التعليمات البرمجية الكاملة لبناء وتدريب مسار تحويل البيانات:

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # Sample Data data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # Define features numerical_features = ['age', 'salary'] categorical_features = ['country'] # Create transformers numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # Create preprocessor preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # Create pipeline pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # Split data X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Train model pipeline.fit(X_train, y_train) # Evaluate model score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

تقنيات المسار المتقدمة

بمجرد أن تكون مرتاحًا للأساسيات، يمكنك استكشاف تقنيات المسار الأكثر تقدمًا:

1. المحوّلات المخصصة

يمكنك إنشاء محوّلات مخصصة خاصة بك لإجراء تحويلات بيانات محددة غير متوفرة في Scikit-learn. لإنشاء محوّل مخصص، تحتاج إلى الوراثة من الفئتين TransformerMixin و BaseEstimator وتنفيذ طريقتي fit و transform. يمكن أن يكون هذا مفيدًا لهندسة الميزات أو التحويلات الخاصة بالمجال. تذكر تضمين سلاسل المستندات المناسبة لقابلية القراءة.

2. دمج الميزات (Feature Union)

تتيح لك FeatureUnion دمج مخرجات محوّلات متعددة في متجه ميزات واحد. يمكن أن يكون هذا مفيدًا عندما تريد تطبيق تحويلات مختلفة على نفس الميزات أو دمج الميزات التي تم تحويلها بطرق مختلفة. تُستخدم فئة FeatureUnion لدمج مخرجات المحوّلات المتعددة في متجه ميزات واحد.

3. البحث الشبكي باستخدام المسارات

يمكنك استخدام GridSearchCV لتحسين المعاملات الفائقة (hyperparameters) لمسارك، بما في ذلك المعاملات الفائقة لخطوات المعالجة المسبقة. يتيح لك هذا العثور تلقائيًا على أفضل مجموعة من تقنيات المعالجة المسبقة ومعلمات النموذج. كن حذرًا بشأن زيادة التكلفة الحسابية.

أفضل الممارسات لمسارات المعالجة المسبقة للبيانات

فيما يلي بعض أفضل الممارسات التي يجب وضعها في الاعتبار عند بناء مسارات المعالجة المسبقة للبيانات:

• فهم بياناتك: قبل تطبيق أي تقنيات معالجة مسبقة، خذ الوقت الكافي لفهم بياناتك. استكشف توزيعات ميزاتك، وحدد القيم المفقودة، وابحث عن القيم الشاذة.
• توثيق مسارك: أضف تعليقات إلى التعليمات البرمجية الخاصة بك لشرح كل خطوة من خطوات المسار. سيجعل هذا فهم التعليمات البرمجية وصيانتها أسهل.
• اختبار مسارك: اختبر مسارك بدقة للتأكد من أنه يعمل بشكل صحيح. استخدم اختبارات الوحدة للتحقق من أن كل خطوة من خطوات المسار تنتج المخرجات المتوقعة.
• تجنب تسرب البيانات: كن حذرًا لتجنب تسرب البيانات عند المعالجة المسبقة لبياناتك. تأكد من أنك تستخدم فقط المعلومات من بيانات التدريب لمعالجة بيانات التدريب مسبقًا. استخدم المسارات لضمان الاتساق بين بيانات التدريب والاختبار.
• مراقبة الأداء: راقب أداء نموذجك بمرور الوقت وأعد تدريبه حسب الحاجة. يمكن أن تتغير توزيعات البيانات بمرور الوقت، لذا من المهم إعادة تقييم مسارك بشكل دوري وإجراء التعديلات اللازمة.

أمثلة واقعية

دعنا نستكشف بعض الأمثلة الواقعية لكيفية استخدام مسارات تحويل البيانات في صناعات مختلفة:

• المالية: في نمذجة مخاطر الائتمان، يمكن استخدام المسارات لمعالجة بيانات العملاء مسبقًا، بما في ذلك الميزات الرقمية مثل الدخل ودرجة الائتمان، بالإضافة إلى الميزات الفئوية مثل حالة التوظيف والغرض من القرض. يمكن استيفاء القيم المفقودة باستخدام تقنيات مثل استيفاء المتوسط أو استيفاء أقرب الجيران. التحجيم أمر بالغ الأهمية لضمان عدم هيمنة الميزات ذات المقاييس المختلفة على النموذج.
• الرعاية الصحية: في التشخيص الطبي، يمكن استخدام المسارات لمعالجة بيانات المرضى مسبقًا، بما في ذلك الميزات الرقمية مثل العمر وضغط الدم ومستويات الكوليسترول، بالإضافة إلى الميزات الفئوية مثل الجنس والتاريخ الطبي. يمكن استخدام ترميز التشفير الأحادي (One-hot encoding) لتحويل الميزات الفئوية إلى تمثيلات رقمية.
• التجارة الإلكترونية: في أنظمة توصية المنتجات، يمكن استخدام المسارات لمعالجة بيانات العملاء والمنتجات مسبقًا، بما في ذلك الميزات الرقمية مثل تكرار الشراء وتقييمات المنتجات، بالإضافة إلى الميزات الفئوية مثل فئة المنتج والتركيبة السكانية للعملاء. يمكن أن تتضمن المسارات خطوات لمعالجة النصوص مسبقًا، مثل التجزئة والاشتقاق، لاستخراج الميزات من أوصاف المنتجات ومراجعات العملاء.
• التصنيع: في الصيانة التنبؤية، يمكن استخدام المسارات لمعالجة بيانات المستشعر من الآلات مسبقًا، بما في ذلك الميزات الرقمية مثل درجة الحرارة والضغط والاهتزاز، بالإضافة إلى الميزات الفئوية مثل نوع الآلة وظروف التشغيل. يمكن أن يكون RobustScaler مفيدًا بشكل خاص هنا بسبب احتمال وجود قراءات شاذة.

معالجة التحديات في مجموعات البيانات العالمية

عند العمل مع مجموعات البيانات العالمية، ستواجه غالبًا تحديات محددة تتطلب دراسة متأنية أثناء المعالجة المسبقة. فيما يلي بعض المشكلات الشائعة واستراتيجيات معالجتها:

• تنسيقات البيانات المتغيرة: يمكن أن تحتوي التواريخ والأرقام والعملات على تنسيقات مختلفة عبر المناطق. تأكد من التحليل والتنسيق المتسق. على سبيل المثال، قد تكون التواريخ بتنسيق DD/MM/YYYY أو MM/DD/YYYY. استخدم المكتبات المناسبة لمعالجة تحويلات التواريخ وتنسيقها.
• الاختلافات اللغوية: قد تكون البيانات النصية بلغات مختلفة، مما يتطلب الترجمة أو تقنيات معالجة مسبقة خاصة باللغة. فكر في استخدام مكتبات مثل Google Translate API (مع مراعاة الاستخدام والتكاليف المناسبة) للترجمة أو NLTK لمعالجة النصوص الخاصة باللغة.
• تحويل العملات: قد تكون البيانات المالية بعملات مختلفة. حول جميع القيم إلى عملة مشتركة باستخدام أسعار الصرف الحديثة. استخدم واجهات برمجة تطبيقات موثوقة للحصول على أسعار صرف دقيقة وفي الوقت الفعلي.
• المناطق الزمنية: قد يتم تسجيل بيانات السلاسل الزمنية في مناطق زمنية مختلفة. حول جميع الطوابع الزمنية إلى منطقة زمنية مشتركة (مثل التوقيت العالمي المنسق UTC) لضمان الاتساق. استخدم مكتبات مثل pytz لمعالجة تحويلات المناطق الزمنية.
• الاختلافات الثقافية: يمكن أن تؤثر الفروق الثقافية الدقيقة على تفسير البيانات. على سبيل المثال، قد يتم تفسير درجات رضا العملاء بشكل مختلف عبر الثقافات. كن على دراية بهذه الفروق الدقيقة وخذها في الاعتبار عند تصميم خطوات المعالجة المسبقة الخاصة بك.
• مشاكل جودة البيانات: يمكن أن تختلف جودة البيانات بشكل كبير عبر المصادر المختلفة. نفّذ إجراءات قوية للتحقق من صحة البيانات وتنظيفها لتحديد الأخطاء وتصحيحها.

الخاتمة

تعتبر المعالجة المسبقة للبيانات خطوة حاسمة في مسار عمل التعلم الآلي. باستخدام مسارات Scikit-learn، يمكنك تبسيط سير عملك، ومنع تسرب البيانات، وتحسين أداء نماذجك. سيُمكّنك إتقان هذه التقنيات من بناء حلول تعلم آلي أكثر قوة وموثوقية لمجموعة واسعة من التطبيقات. تذكر أن تقوم بتكييف خطوات المعالجة المسبقة مع الخصائص المحددة لبياناتك ومتطلبات نموذج التعلم الآلي الخاص بك. جرّب تقنيات مختلفة للعثور على المجموعة المثلى لمشكلتك الخاصة. من خلال استثمار الوقت في المعالجة المسبقة الصحيحة للبيانات، يمكنك إطلاق العنان للإمكانات الكاملة لخوارزميات التعلم الآلي الخاصة بك وتحقيق نتائج متفوقة.