إتقان Scikit-learn: دليل عالمي لاستراتيجيات التحقق المتقاطع القوية لاختيار النموذج

في المشهد الواسع والديناميكي لتعلم الآلة، يُعد بناء النماذج التنبؤية نصف المعركة فقط. النصف الآخر، والذي لا يقل أهمية، يتضمن تقييم هذه النماذج بدقة لضمان أدائها الموثوق به على البيانات غير المرئية. بدون التقييم الصحيح، يمكن أن تؤدي حتى الخوارزميات الأكثر تعقيدًا إلى استنتاجات مضللة وقرارات غير مثلى. هذا التحدي عالمي، ويؤثر على علماء البيانات ومهندسي تعلم الآلة في جميع الصناعات والمناطق الجغرافية.

يتناول هذا الدليل الشامل إحدى التقنيات الأساسية والقوية لتقييم واختيار النماذج بشكل قوي: التحقق المتقاطع، كما هو مطبق داخل مكتبة Scikit-learn الشهيرة في بايثون. سواء كنت محترفًا متمرسًا في لندن، أو محلل بيانات ناشئ في بنغالور، أو باحثًا في تعلم الآلة في ساو باولو، فإن فهم هذه الاستراتيجيات وتطبيقها أمر بالغ الأهمية لبناء أنظمة تعلم آلة موثوقة وفعالة.

سوف نستكشف تقنيات التحقق المتقاطع المختلفة، ونفهم فروقها الدقيقة، ونعرض تطبيقاتها العملية باستخدام تعليمات بايثون برمجية واضحة وقابلة للتنفيذ. هدفنا هو تزويدك بالمعرفة اللازمة لاختيار الاستراتيجية المثلى لمجموعة بياناتك وتحدي النمذجة الخاص بك، مما يضمن تعميم نماذجك بشكل جيد وتوفير أداء ثابت.

خطر الانحدار الزائد والانحدار الناقص: لماذا التقييم القوي مهم

قبل التعمق في التحقق المتقاطع، من الضروري فهم الخصمين التوأمين لتعلم الآلة: الانحدار الزائد والانحدار الناقص.

• الانحدار الزائد (Overfitting): يحدث هذا عندما يتعلم النموذج بيانات التدريب بشكل مفرط، ويلتقط الضوضاء والأنماط المحددة التي لا تعمم على بيانات جديدة وغير مرئية. سيؤدي النموذج المنحدر زائدًا أداءً جيدًا بشكل استثنائي على مجموعة التدريب ولكنه سيء على بيانات الاختبار. تخيل طالبًا يحفظ الإجابات لامتحان معين ولكنه يواجه صعوبة في أسئلة مختلفة قليلاً حول نفس الموضوع.
• الانحدار الناقص (Underfitting): على العكس من ذلك، يحدث الانحدار الناقص عندما يكون النموذج بسيطًا جدًا بحيث لا يستطيع التقاط الأنماط الأساسية في بيانات التدريب. يؤدي أداءً سيئًا على كل من بيانات التدريب والاختبار. هذا يشبه طالبًا لم يستوعب المفاهيم الأساسية وبالتالي يفشل في الإجابة حتى على الأسئلة البسيطة.

غالبًا ما يتضمن تقييم النموذج التقليدي تقسيمًا بسيطًا للتدريب/الاختبار. بينما يعتبر نقطة بداية جيدة، يمكن أن يكون التقسيم الفردي إشكاليًا:

• قد يعتمد الأداء بشكل كبير على التقسيم العشوائي المحدد. يمكن أن يجعل التقسيم "المحظوظ" نموذجًا سيئًا يبدو جيدًا، والعكس صحيح.
• إذا كانت مجموعة البيانات صغيرة، فإن التقسيم الفردي يعني بيانات أقل للتدريب أو بيانات أقل للاختبار، وكلاهما يمكن أن يؤدي إلى تقديرات أداء أقل موثوقية.
• لا يوفر تقديرًا مستقرًا لتقلب أداء النموذج.

هنا يأتي التحقق المتقاطع للإنقاذ، حيث يقدم طريقة أكثر قوة وصلاحية إحصائية لتقدير أداء النموذج.

ما هو التحقق المتقاطع؟ الفكرة الأساسية

في جوهره، التحقق المتقاطع هو إجراء إعادة أخذ عينات يستخدم لتقييم نماذج تعلم الآلة على عينة بيانات محدودة. يتضمن الإجراء تقسيم مجموعة البيانات إلى مجموعات فرعية متكاملة، وإجراء التحليل على مجموعة فرعية واحدة ("مجموعة التدريب")، والتحقق من صحة التحليل على المجموعة الفرعية الأخرى ("مجموعة الاختبار"). تتكرر هذه العملية عدة مرات، مع تبديل أدوار المجموعات الفرعية، ثم يتم دمج النتائج لإنتاج تقدير أكثر موثوقية لأداء النموذج.

تشمل الفوائد الرئيسية للتحقق المتقاطع:

• تقديرات أداء أكثر موثوقية: من خلال حساب متوسط النتائج عبر عمليات تقسيم تدريب-اختبار متعددة، فإنه يقلل من تباين تقدير الأداء، مما يوفر مقياسًا أكثر استقرارًا ودقة لكيفية تعميم النموذج.
• استخدام أفضل للبيانات: تُستخدم جميع نقاط البيانات في النهاية لكل من التدريب والاختبار عبر الطيات المختلفة، مما يجعل الاستفادة من مجموعات البيانات المحدودة فعالة.
• الكشف عن الانحدار الزائد/الناقص: قد يشير الأداء الضعيف المتسق عبر جميع الطيات إلى الانحدار الناقص، بينما يشير الأداء الممتاز للتدريب ولكن الأداء الضعيف للاختبار عبر الطيات إلى الانحدار الزائد.

أدوات Scikit-learn للتحقق المتقاطع

توفر Scikit-learn، وهي مكتبة أساسية لتعلم الآلة في بايثون، مجموعة غنية من الأدوات ضمن وحدة model_selection لتطبيق استراتيجيات تحقق متقاطع مختلفة. لنبدأ بالوظائف الأكثر استخدامًا.

cross_val_score: نظرة سريعة على أداء النموذج

ربما تكون الدالة cross_val_score هي أبسط طريقة لإجراء التحقق المتقاطع في Scikit-learn. إنها تقيم نتيجة عن طريق التحقق المتقاطع، وتعيد مصفوفة من النتائج، واحدة لكل طية.

المعاملات الرئيسية:

• estimator: كائن نموذج تعلم الآلة (على سبيل المثال، LogisticRegression()).
• X: الميزات (بيانات التدريب).
• y: المتغير المستهدف.
• cv: يحدد استراتيجية تقسيم التحقق المتقاطع. يمكن أن يكون عددًا صحيحًا (عدد الطيات)، أو كائن تقسيم CV (على سبيل المثال، KFold())، أو كائنًا قابلًا للتكرار.
• scoring: سلسلة نصية (على سبيل المثال، 'accuracy', 'f1', 'roc_auc') أو دالة قابلة للاستدعاء لتقييم التنبؤات على مجموعة الاختبار.

            
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris

# Load a sample dataset
iris = load_iris()
X, y = iris.data, iris.target

# Initialize a model
model = LogisticRegression(max_iter=200)

# Perform 5-fold cross-validation
scores = cross_val_score(model, X, y, cv=5, scoring='accuracy')

print(f"Cross-validation scores: {scores}")
print(f"Mean accuracy: {scores.mean():.4f}")
print(f"Standard deviation of accuracy: {scores.std():.4f}")

            

              
                Copy
              
            
          

يوفر هذا الإخراج مصفوفة من درجات الدقة، واحدة لكل طية. يمنحك المتوسط والانحراف المعياري نزعة مركزية وتباينًا في أداء النموذج.

cross_validate: مقاييس أكثر تفصيلاً

بينما تُرجع cross_val_score مقياسًا واحدًا فقط، توفر cross_validate تحكمًا أكثر تفصيلاً وتُرجع قاموسًا من المقاييس، بما في ذلك درجات التدريب، وأوقات الملاءمة، وأوقات التسجيل، لكل طية. هذا مفيد بشكل خاص عندما تحتاج إلى تتبع مقاييس تقييم متعددة أو توقيتات الأداء.

            
from sklearn.model_selection import cross_validate
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris

iris = load_iris()
X, y = iris.data, iris.target

model = LogisticRegression(max_iter=200)

# Perform 5-fold cross-validation with multiple scoring metrics
scoring = ['accuracy', 'precision_macro', 'recall_macro', 'f1_macro']
results = cross_validate(model, X, y, cv=5, scoring=scoring, return_train_score=True)

print("Cross-validation results:")
for metric_name, values in results.items():
    print(f"  {metric_name}: {values}")
    print(f"  Mean {metric_name}: {values.mean():.4f}")
    print(f"  Std {metric_name}: {values.std():.4f}")

            

              
                Copy
              
            
          

يُعد المعامل return_train_score=True حاسمًا للكشف عن الانحدار الزائد: إذا كانت train_score أعلى بكثير من test_score، فمن المحتمل أن يكون نموذجك يعاني من الانحدار الزائد.

استراتيجيات التحقق المتقاطع الرئيسية في Scikit-learn

تقدم Scikit-learn العديد من مكررات التحقق المتقاطع المتخصصة، كل منها مناسب لخصائص بيانات وسيناريوهات نمذجة مختلفة. يُعد اختيار الاستراتيجية الصحيحة أمرًا بالغ الأهمية للحصول على تقديرات أداء ذات مغزى وغير متحيزة.

1. التحقق المتقاطع K-Fold

الوصف: K-Fold هي استراتيجية التحقق المتقاطع الأكثر شيوعًا. تُقسم مجموعة البيانات إلى k طيات متساوية الحجم. في كل تكرار، تُستخدم طية واحدة كمجموعة اختبار، وتُستخدم الطيات المتبقية k-1 كمجموعة تدريب. تُكرر هذه العملية k مرة، حيث تعمل كل طية كمجموعة اختبار مرة واحدة بالضبط.

متى تستخدم: إنه خيار عام مناسب للعديد من مهام التصنيف والانحدار القياسية حيث تكون نقاط البيانات مستقلة وموزعة بشكل متماثل (i.i.d.).

اعتبارات:

• عادةً، يتم تعيين k على 5 أو 10. يؤدي k الأعلى إلى تقديرات أقل تحيزًا ولكنها أكثر تكلفة من الناحية الحسابية.
• يمكن أن يكون إشكاليًا لمجموعات البيانات غير المتوازنة، حيث قد تحتوي بعض الطيات على عدد قليل جدًا أو لا تحتوي على أي عينات من فئة الأقلية.

            
from sklearn.model_selection import KFold
import numpy as np

X = np.array([[1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4]])
y = np.array([0, 1, 0, 1, 0, 1])

kf = KFold(n_splits=3, shuffle=True, random_state=42)

print("K-Fold Cross-validation splits:")
for i, (train_index, test_index) in enumerate(kf.split(X)):
    print(f"  Fold {i+1}:")
    print(f"    TRAIN: {train_index}, TEST: {test_index}")
    print(f"    Train data X: {X[train_index]}, y: {y[train_index]}")
    print(f"    Test data X: {X[test_index]}, y: {y[test_index]}")

            

              
                Copy
              
            
          

يُعد المعامل shuffle=True مهمًا لخلط البيانات عشوائيًا قبل التقسيم، خاصة إذا كانت بياناتك تحتوي على ترتيب متأصل. يضمن random_state قابلية استنساخ الخلط.

2. التحقق المتقاطع الطبقي K-Fold

الوصف: هذا هو نوع من K-Fold مصمم خصيصًا لمهام التصنيف، خاصة مع مجموعات البيانات غير المتوازنة. يضمن أن تحتوي كل طية على نفس النسبة المئوية التقريبية لعينات كل فئة مستهدفة كما هي في المجموعة الكاملة. هذا يمنع الطيات من أن تكون خالية تمامًا من عينات فئة الأقلية، مما قد يؤدي إلى تدريب أو اختبار نموذج سيء.

متى تستخدم: ضروري لمشكلات التصنيف، خاصة عند التعامل مع توزيعات الفئات غير المتوازنة، الشائعة في التشخيصات الطبية (مثل اكتشاف الأمراض النادرة)، اكتشاف الاحتيال، أو اكتشاف الحالات الشاذة.

            
from sklearn.model_selection import StratifiedKFold

X = np.array([[1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4], [5,6], [7,8], [9,10], [11,12]])
y_imbalanced = np.array([0, 0, 0, 0, 0, 0, 1, 1, 1, 1]) # 60% class 0, 40% class 1

skf = StratifiedKFold(n_splits=3, shuffle=True, random_state=42)

print("Stratified K-Fold Cross-validation splits:")
for i, (train_index, test_index) in enumerate(skf.split(X, y_imbalanced)):
    print(f"  Fold {i+1}:")
    print(f"    TRAIN: {train_index}, TEST: {test_index}")
    print(f"    Train y distribution: {np.bincount(y_imbalanced[train_index])}")
    print(f"    Test y distribution: {np.bincount(y_imbalanced[test_index])}")

            

              
                Copy
              
            
          

لاحظ كيف تُظهر np.bincount أن كلاً من مجموعات التدريب والاختبار في كل طية تحافظ على نسبة مماثلة من الفئات (على سبيل المثال، تقسيم 60/40 أو أقرب ما يمكن بالنظر إلى n_splits).

3. التحقق المتقاطع بالاستبعاد الفردي (LOOCV)

الوصف: LOOCV هي حالة قصوى من K-Fold حيث k يساوي عدد العينات (n). لكل طية، تُستخدم عينة واحدة كمجموعة اختبار، وتُستخدم العينات المتبقية n-1 للتدريب. هذا يعني أن النموذج يُدرب ويُقيّم n مرة.

متى تستخدم:

• مناسب لمجموعات البيانات الصغيرة جدًا حيث يكون من الضروري زيادة بيانات التدريب إلى أقصى حد لكل تكرار.
• يوفر تقديرًا شبه غير متحيز لأداء النموذج.

اعتبارات:

• مكلفة حسابيًا للغاية لمجموعات البيانات الكبيرة، حيث تتطلب تدريب النموذج n مرة.
• تباين عالٍ في تقديرات الأداء عبر التكرارات لأن مجموعة الاختبار صغيرة جدًا.

            
from sklearn.model_selection import LeaveOneOut

X = np.array([[1, 2], [3, 4], [5, 6], [7, 8]])
y = np.array([0, 1, 0, 1])

loo = LeaveOneOut()

print("Leave-One-Out Cross-validation splits:")
for i, (train_index, test_index) in enumerate(loo.split(X)):
    print(f"  Iteration {i+1}: TRAIN: {train_index}, TEST: {test_index}")

            

              
                Copy
              
            
          

4. ShuffleSplit و StratifiedShuffleSplit

الوصف: على عكس K-Fold، الذي يضمن ظهور كل عينة في مجموعة الاختبار مرة واحدة بالضبط، يقوم ShuffleSplit بسحب n_splits من التقسيمات العشوائية للتدريب/الاختبار. لكل تقسيم، تُختار نسبة من البيانات عشوائيًا للتدريب، ونسبة أخرى (منفصلة) للاختبار. يسمح هذا بإعادة أخذ العينات العشوائية المتكررة.

متى تستخدم:

• عندما يكون عدد الطيات (k) في K-Fold مقيدًا، ولكنك لا تزال ترغب في تقسيمات مستقلة متعددة.
• مفيد لمجموعات البيانات الأكبر حيث قد يكون K-Fold مكلفًا حسابيًا، أو عندما تريد مزيدًا من التحكم في حجم مجموعة الاختبار بما يتجاوز مجرد 1/k.
• يُعد StratifiedShuffleSplit الخيار المفضل للتصنيف باستخدام البيانات غير المتوازنة، حيث يحافظ على توزيع الفئات في كل تقسيم.

اعتبارات: ليس من المضمون أن تكون جميع العينات في مجموعة الاختبار، أو مجموعة التدريب، لتقسيم واحد على الأقل، على الرغم من أن هذا يصبح أقل احتمالًا لعدد كبير من التقسيمات.

            
from sklearn.model_selection import ShuffleSplit, StratifiedShuffleSplit

X = np.array([[1, 2], [3, 4], [1, 2], [3, 4], [1, 2], [3, 4], [5,6], [7,8], [9,10], [11,12]])
y = np.array([0, 0, 0, 0, 0, 1, 1, 1, 1, 1]) # Imbalanced data for StratifiedShuffleSplit

# ShuffleSplit example
ss = ShuffleSplit(n_splits=5, test_size=0.3, random_state=42)
print("ShuffleSplit Cross-validation splits:")
for i, (train_index, test_index) in enumerate(ss.split(X)):
    print(f"  Split {i+1}: TRAIN: {train_index}, TEST: {test_index}")

# StratifiedShuffleSplit example
sss = StratifiedShuffleSplit(n_splits=5, test_size=0.3, random_state=42)
print("\nStratifiedShuffleSplit Cross-validation splits (y distribution maintained):")
for i, (train_index, test_index) in enumerate(sss.split(X, y)):
    print(f"  Split {i+1}:")
    print(f"    TRAIN: {train_index}, TEST: {test_index}")
    print(f"    Train y distribution: {np.bincount(y[train_index])}")
    print(f"    Test y distribution: {np.bincount(y[test_index])}")

            

              
                Copy
              
            
          

5. التحقق المتقاطع للسلاسل الزمنية (TimeSeriesSplit)

الوصف: تفترض طرق التحقق المتقاطع القياسية أن نقاط البيانات مستقلة. ومع ذلك، في بيانات السلاسل الزمنية، تكون الملاحظات مرتبة وغالبًا ما تُظهر تبعيات زمنية. سيؤدي خلط بيانات السلاسل الزمنية أو تقسيمها عشوائيًا إلى تسرب البيانات، حيث يتدرب النموذج على بيانات مستقبلية للتنبؤ ببيانات ماضية، مما ينتج عنه تقدير أداء مفرط في التفاؤل وغير واقعي.

تعالج TimeSeriesSplit هذه المشكلة من خلال توفير تقسيمات تدريب/اختبار حيث تأتي مجموعة الاختبار دائمًا بعد مجموعة التدريب. تعمل عن طريق تقسيم البيانات إلى مجموعة تدريب ومجموعة اختبار لاحقة، ثم توسيع مجموعة التدريب تدريجيًا وتحريك مجموعة الاختبار إلى الأمام في الوقت.

متى تستخدم: حصريًا لتوقعات السلاسل الزمنية أو أي بيانات متسلسلة يجب فيها الحفاظ على الترتيب الزمني للملاحظات.

اعتبارات: تنمو مجموعات التدريب بشكل أكبر مع كل تقسيم، مما قد يؤدي إلى أداء متباين، ويمكن أن تكون مجموعات التدريب الأولية صغيرة جدًا.

            
from sklearn.model_selection import TimeSeriesSplit
import pandas as pd

# Simulate time series data
dates = pd.to_datetime(pd.date_range(start='2023-01-01', periods=100, freq='D'))
X_ts = np.arange(100).reshape(-1, 1)
y_ts = np.sin(np.arange(100) / 10) + np.random.randn(100) * 0.1 # Some time-dependent target

tscv = TimeSeriesSplit(n_splits=5)

print("Time Series Cross-validation splits:")
for i, (train_index, test_index) in enumerate(tscv.split(X_ts)):
    print(f"  Fold {i+1}:")
    print(f"    TRAIN indices: {train_index[0]} to {train_index[-1]}")
    print(f"    TEST indices: {test_index[0]} to {test_index[-1]}")
    # Verify that test_index always starts after train_index ends
    assert train_index[-1] < test_index[0]

            

              
                Copy
              
            
          

تضمن هذه الطريقة أن يتم تقييم نموذجك دائمًا على البيانات المستقبلية بالنسبة لما تم تدريبه عليه، محاكيةً سيناريوهات النشر في العالم الحقيقي للمشكلات التي تعتمد على الوقت.

6. التحقق المتقاطع للمجموعات (GroupKFold, LeaveOneGroupOut)

الوصف: في بعض مجموعات البيانات، لا تكون العينات مستقلة تمامًا؛ قد تنتمي إلى مجموعات محددة. على سبيل المثال، قياسات طبية متعددة من نفس المريض، ملاحظات متعددة من نفس المستشعر، أو معاملات مالية متعددة من نفس العميل. إذا تم تقسيم هذه المجموعات عبر مجموعات التدريب والاختبار، فقد يتعلم النموذج أنماطًا خاصة بالمجموعة ويفشل في التعميم على مجموعات جديدة غير مرئية. هذا شكل من أشكال تسرب البيانات.

تضمن استراتيجيات التحقق المتقاطع للمجموعات أن جميع نقاط البيانات من مجموعة واحدة تظهر إما بالكامل في مجموعة التدريب أو بالكامل في مجموعة الاختبار، ولا تظهر في كليهما أبدًا.

متى تستخدم: كلما كانت بياناتك تحتوي على مجموعات متأصلة يمكن أن تُدخل تحيزًا إذا تم تقسيمها عبر الطيات، مثل الدراسات الطولية، بيانات المستشعر من أجهزة متعددة، أو نمذجة سلوك العميل المحدد.

اعتبارات: يتطلب تمرير مصفوفة 'groups' إلى طريقة .split()، لتحديد هوية المجموعة لكل عينة.

            
from sklearn.model_selection import GroupKFold

X = np.array([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10], [11, 12], [13, 14], [15, 16]])
y = np.array([0, 1, 0, 1, 0, 1, 0, 1])
# Two groups: samples 0-3 belong to Group A, samples 4-7 belong to Group B
groups = np.array(['A', 'A', 'A', 'A', 'B', 'B', 'B', 'B'])

gkf = GroupKFold(n_splits=2) # We'll use 2 splits to clearly separate groups

print("Group K-Fold Cross-validation splits:")
for i, (train_index, test_index) in enumerate(gkf.split(X, y, groups)):
    print(f"  Fold {i+1}:")
    print(f"    TRAIN indices: {train_index}, GROUPS: {groups[train_index]}")
    print(f"    TEST indices: {test_index}, GROUPS: {groups[test_index]}")
    # Verify that no group appears in both train and test sets for a single fold
    assert len(set(groups[train_index]).intersection(set(groups[test_index]))) == 0

            

              
                Copy
              
            
          

تشمل الاستراتيجيات الأخرى الواعية بالمجموعات LeaveOneGroupOut (تشكل كل مجموعة فريدة مجموعة اختبار مرة واحدة) و LeavePGroupsOut (تُترك مجموعات P للاختبار).

اختيار النموذج المتقدم بالتحقق المتقاطع

التحقق المتقاطع ليس فقط لتقييم نموذج واحد؛ إنه مبدأ أساسي لبناء نماذج تعلم آلة موثوقة وجديرة بالثقة. توفر Scikit-learn مجموعة أدوات واسعة ومرنة لتطبيق استراتيجيات تحقق متقاطع مختلفة، مما يمكّن علماء البيانات حول العالم من تقييم نماذجهم بدقة واتخاذ قرارات مستنيرة.

ضبط المعاملات الفائقة باستخدام GridSearchCV و RandomizedSearchCV

غالبًا ما تحتوي نماذج تعلم الآلة على معاملات فائقة لا تُتعلم من البيانات ولكن يجب تعيينها قبل التدريب. عادةً ما تكون القيم المثلى لهذه المعاملات الفائقة معتمدة على مجموعة البيانات. تستفيد GridSearchCV و RandomizedSearchCV من Scikit-learn من التحقق المتقاطع للبحث منهجيًا عن أفضل تركيبة من المعاملات الفائقة.

• GridSearchCV: تبحث بشكل شامل عبر شبكة معلمات محددة، وتقيّم كل تركيبة ممكنة باستخدام التحقق المتقاطع. تضمن العثور على أفضل تركيبة داخل الشبكة ولكنها قد تكون مكلفة حسابيًا للشبكات الكبيرة.
• RandomizedSearchCV: تأخذ عينات من عدد ثابت من إعدادات المعلمات من توزيعات محددة. إنها أكثر كفاءة من GridSearchCV لمساحات البحث الكبيرة، حيث لا تجرب كل تركيبة، وغالبًا ما تجد حلاً جيدًا في وقت أقل.

            
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_breast_cancer

# Load a sample dataset
cancer = load_breast_cancer()
X, y = cancer.data, cancer.target

# Define the model and parameter grid
model = SVC()
param_grid = {
    'C': [0.1, 1, 10],
    'kernel': ['linear', 'rbf']
}

# Perform GridSearchCV with 5-fold cross-validation
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1)
grid_search.fit(X, y)

print(f"Best parameters: {grid_search.best_params_}")
print(f"Best cross-validation accuracy: {grid_search.best_score_:.4f}")

            

              
                Copy
              
            
          

تقبل كل من GridSearchCV و RandomizedSearchCV معلمة cv، مما يتيح لك تحديد أي من مكررات التحقق المتقاطع التي نوقشت سابقًا (على سبيل المثال، StratifiedKFold لمهام التصنيف غير المتوازنة).

التحقق المتقاطع المتداخل: منع التقديرات المتفائلة بشكل مفرط

عندما تستخدم التحقق المتقاطع لضبط المعاملات الفائقة (على سبيل المثال، مع GridSearchCV)، ثم تستخدم أفضل المعاملات التي تم العثور عليها لتقييم نموذجك على مجموعة اختبار خارجية، قد لا تزال تحصل على تقدير متفائل بشكل مفرط لأداء نموذجك. هذا لأن اختيار المعاملات الفائقة بحد ذاته يُدخل شكلاً من أشكال تسرب البيانات: تم تحسين المعاملات الفائقة بناءً على بيانات التدريب بأكملها (بما في ذلك طيات التحقق من الحلقة الداخلية)، مما يجعل النموذج "واعيًا" قليلاً بخصائص مجموعة الاختبار.

يُعد التحقق المتقاطع المتداخل نهجًا أكثر صرامة يعالج هذه المشكلة. يتضمن طبقتين من التحقق المتقاطع:

• الحلقة الخارجية: تقسم مجموعة البيانات إلى K طيات لتقييم النموذج العام.
• الحلقة الداخلية: لكل طية تدريب من الحلقة الخارجية، تُجرى جولة أخرى من التحقق المتقاطع (على سبيل المثال، باستخدام GridSearchCV) للعثور على أفضل المعاملات الفائقة. ثم يُدرب النموذج على طية التدريب الخارجية هذه باستخدام هذه المعاملات الفائقة المثلى.
• التقييم: ثم يُقيّم النموذج المدرب (بأفضل المعاملات الفائقة للحلقة الداخلية) على طية الاختبار الخارجية المقابلة.

بهذه الطريقة، تُحسّن المعاملات الفائقة بشكل مستقل لكل طية خارجية، مما يوفر تقديرًا غير متحيز حقًا لأداء تعميم النموذج على البيانات غير المرئية. على الرغم من كونها أكثر كثافة حسابيًا، إلا أن التحقق المتقاطع المتداخل هو المعيار الذهبي لاختيار النموذج القوي عندما يتضمن ضبط المعاملات الفائقة.

أفضل الممارسات والاعتبارات للجمهور العالمي

يتطلب تطبيق التحقق المتقاطع بفعالية دراسة متأنية، خاصة عند العمل مع مجموعات بيانات متنوعة من سياقات عالمية مختلفة.

• اختر الاستراتيجية الصحيحة: ضع دائمًا في اعتبارك الخصائص المتأصلة لبياناتك. هل هي تعتمد على الوقت؟ هل تحتوي على ملاحظات مجمعة؟ هل تصنيفات الفئات غير متوازنة؟ هذا هو القرار الأكثر أهمية بلا شك. يمكن أن يؤدي الاختيار غير الصحيح (مثل K-Fold على السلاسل الزمنية) إلى نتائج غير صالحة، بغض النظر عن موقعك الجغرافي أو أصل مجموعة البيانات.
• حجم مجموعة البيانات والتكلفة الحسابية: تتطلب مجموعات البيانات الأكبر غالبًا عددًا أقل من الطيات (على سبيل المثال، 5 طيات بدلاً من 10 طيات أو LOOCV) أو طرقًا مثل ShuffleSplit لإدارة الموارد الحسابية. تُعد منصات الحوسبة الموزعة والخدمات السحابية (مثل AWS, Azure, Google Cloud) متاحة عالميًا ويمكن أن تساعد في التعامل مع مهام التحقق المتقاطع المكثفة.
• قابلية الاستنساخ: قم دائمًا بتعيين random_state في مقسمات التحقق المتقاطع الخاصة بك (على سبيل المثال، KFold(..., random_state=42)). يضمن هذا إمكانية استنساخ نتائجك من قبل الآخرين، مما يعزز الشفافية والتعاون بين الفرق الدولية.
• تفسير النتائج: انظر إلى ما هو أبعد من مجرد متوسط الدرجة. يشير الانحراف المعياري لدرجات التحقق المتقاطع إلى تباين أداء نموذجك. قد يشير الانحراف المعياري العالي إلى أن أداء نموذجك حساس لتقسيمات البيانات المحددة، وهو ما قد يكون مصدر قلق.
• المعرفة بالمجال هي الأهم: فهم أصل البيانات وخصائصها أمر بالغ الأهمية. على سبيل المثال، معرفة أن بيانات العملاء تأتي من مناطق جغرافية مختلفة قد تشير إلى الحاجة إلى تحقق متقاطع قائم على المجموعات إذا كانت الأنماط الإقليمية قوية. يعد التعاون العالمي في فهم البيانات أمرًا أساسيًا هنا.
• الاعتبارات الأخلاقية والتحيز: حتى مع التحقق المتقاطع المثالي، إذا كانت بياناتك الأولية تحتوي على تحيزات (مثل نقص تمثيل مجموعات ديموغرافية أو مناطق معينة)، فمن المرجح أن يديم نموذجك تلك التحيزات. يساعد التحقق المتقاطع في قياس التعميم ولكنه لا يصحح تحيزات البيانات المتأصلة. تتطلب معالجة هذه الأمور جمع البيانات ومعالجتها المسبقة بعناية، غالبًا بمساهمة من وجهات نظر ثقافية واجتماعية متنوعة.
• قابلية التوسع: لمجموعات البيانات الكبيرة جدًا، قد يكون التحقق المتقاطع الكامل غير ممكن. ضع في اعتبارك تقنيات مثل أخذ العينات الفرعية لتطوير النموذج الأولي أو استخدام أطر تعلم الآلة الموزعة المتخصصة التي تدمج التحقق المتقاطع بكفاءة.

الخلاصة

التحقق المتقاطع ليس مجرد تقنية؛ إنه مبدأ أساسي لبناء نماذج تعلم آلة موثوقة وجديرة بالثقة. توفر Scikit-learn مجموعة أدوات واسعة ومرنة لتطبيق استراتيجيات تحقق متقاطع مختلفة، مما يمكّن علماء البيانات حول العالم من تقييم نماذجهم بدقة واتخاذ قرارات مستنيرة.

من خلال فهم الاختلافات بين K-Fold، و Stratified K-Fold، و Time Series Split، و GroupKFold، والدور الحاسم لهذه التقنيات في ضبط المعاملات الفائقة والتقييم القوي، فإنك مجهز بشكل أفضل للتعامل مع تعقيدات اختيار النموذج. قم دائمًا بمواءمة استراتيجية التحقق المتقاطع الخاصة بك مع الخصائص الفريدة لبياناتك والأهداف المحددة لمشروع تعلم الآلة الخاص بك.

تبنى هذه الاستراتيجيات لتتجاوز مجرد التنبؤ نحو بناء نماذج قابلة للتعميم حقًا، وقوية، ومؤثرة في أي سياق عالمي. رحلتك لإتقان اختيار النموذج باستخدام Scikit-learn قد بدأت للتو!