محرك التوصية في بايثون: شرح تفصيلي لتجزئة المصفوفات

في عالم اليوم القائم على البيانات، أصبحت محركات التوصية منتشرة في كل مكان. من اقتراح المنتجات على منصات التجارة الإلكترونية مثل أمازون وعلي بابا، إلى التوصية بالأفلام على نتفليكس أو الأغاني على سبوتيفاي، تعمل هذه الأنظمة على تخصيص تجارب المستخدمين وزيادة التفاعل. يقدم هذا المقال دليلاً شاملاً لبناء محرك توصية باستخدام بايثون وتقنية قوية تسمى تجزئة المصفوفات.

ما هو محرك التوصية؟

محرك التوصية هو نوع من أنظمة تصفية المعلومات التي تتنبأ بتفضيلات المستخدم وتقترح عناصر أو محتوى قد يجدها المستخدمون مثيرة للاهتمام. الفكرة الأساسية هي فهم سلوك المستخدم السابق (مثل المشتريات، التقييمات، سجل التصفح) واستخدام تلك المعلومات للتنبؤ بتفضيلاته المستقبلية.

أنواع محركات التوصية:

• الترشيح القائم على المحتوى: يوصي بعناصر مشابهة لتلك التي أعجب بها المستخدم في الماضي. على سبيل المثال، إذا كان المستخدم يستمتع بمشاهدة الأفلام الوثائقية عن التاريخ، فقد يوصي النظام بأفلام وثائقية تاريخية أخرى.
• الترشيح التعاوني: يوصي بالعناصر بناءً على تفضيلات المستخدمين ذوي الأذواق المماثلة. إذا قام مستخدمان بتقييم عناصر متشابهة بشكل إيجابي، وأعجب أحد المستخدمين بعنصر جديد، فقد يوصي النظام بهذا العنصر للمستخدم الآخر.
• الأساليب الهجينة: تجمع بين الترشيح القائم على المحتوى والترشيح التعاوني للاستفادة من نقاط القوة في كليهما.

تجزئة المصفوفات: تقنية ترشيح تعاوني قوية

تجزئة المصفوفات هي تقنية ترشيح تعاوني قوية تُستخدم لاكتشاف الميزات الكامنة التي تفسر التقييمات المرصودة. الفكرة الأساسية هي تفكيك مصفوفة تفاعل المستخدم-العنصر إلى مصفوفتين منخفضتي الأبعاد: مصفوفة مستخدم ومصفوفة عنصر. تلتقط هاتان المصفوفتان العلاقات الأساسية بين المستخدمين والعناصر.

فهم الرياضيات وراء تجزئة المصفوفات

لندل على مصفوفة تفاعل المستخدم-العنصر بالرمز R، حيث يمثل R_ui التقييم الذي قدمه المستخدم u للعنصر i. هدف تجزئة المصفوفات هو تقريب R كحاصل ضرب مصفوفتين:

R ≈ P x Q^T

• P هي مصفوفة المستخدم، حيث يمثل كل صف مستخدمًا ويمثل كل عمود ميزة كامنة.
• Q هي مصفوفة العنصر، حيث يمثل كل صف عنصرًا ويمثل كل عمود ميزة كامنة.
• Q^T هو منقول مصفوفة العنصر.

الضرب النقطي لصف في P (يمثل مستخدمًا) وصف في Q (يمثل عنصرًا) يقرب التقييم الذي سيقدمه هذا المستخدم لذلك العنصر. الهدف هو تعلم المصفوفتين P و Q بحيث يتم تقليل الفرق بين التقييمات المتوقعة (P x Q^T) والتقييمات الفعلية (R) إلى الحد الأدنى.

خوارزميات تجزئة المصفوفات الشائعة

• تحليل القيمة المفردة (SVD): تقنية تجزئة مصفوفات كلاسيكية تفكك مصفوفة إلى ثلاث مصفوفات: U، Σ، و V^T. في سياق محركات التوصية، يمكن استخدام SVD لتجزئة مصفوفة تقييم المستخدم-العنصر. ومع ذلك، يتطلب SVD أن تكون المصفوفة كثيفة (أي لا توجد قيم مفقودة). لذلك، غالبًا ما تستخدم تقنيات مثل الإسناد لملء التقييمات المفقودة.
• تجزئة المصفوفات غير السالبة (NMF): تقنية تجزئة مصفوفات حيث يتم تقييد المصفوفتين P و Q لتكونا غير سالبتين. تعتبر NMF مفيدة بشكل خاص عند التعامل مع البيانات التي لا تكون فيها القيم السالبة ذات معنى (مثل نمذجة موضوعات المستندات).
• تجزئة المصفوفات الاحتمالية (PMF): نهج احتمالي لتجزئة المصفوفات يفترض أن متجهات المستخدم والعنصر الكامنة مستمدة من توزيعات غاوسية. يوفر PMF طريقة مبدئية للتعامل مع عدم اليقين ويمكن توسيعه ليشمل معلومات إضافية (مثل سمات المستخدم، ميزات العنصر).

بناء محرك توصية باستخدام بايثون: مثال عملي

لنتعمق في مثال عملي لبناء محرك توصية باستخدام بايثون ومكتبة Surprise. Surprise هي مكتبة scikit لبايثون لبناء وتحليل أنظمة التوصية. توفر خوارزميات ترشيح تعاوني متنوعة، بما في ذلك SVD و NMF و PMF.

تثبيت مكتبة Surprise

أولاً، تحتاج إلى تثبيت مكتبة Surprise. يمكنك القيام بذلك باستخدام pip:

            pip install scikit-surprise
            

              
                Copy
              
            
          

تحميل وإعداد البيانات

لهذا المثال، سنستخدم مجموعة بيانات MovieLens، وهي مجموعة بيانات شائعة لتقييم خوارزميات التوصية. توفر مكتبة Surprise دعمًا مدمجًا لتحميل مجموعة بيانات MovieLens.

            
from surprise import Dataset
from surprise import Reader

# Load the MovieLens 100K dataset
data = Dataset.load_builtin('ml-100k')

            

              
                Copy
              
            
          

إذا كانت لديك بياناتك الخاصة، يمكنك تحميلها باستخدام فئة Reader. تسمح لك فئة Reader بتحديد تنسيق ملف بياناتك.

            
from surprise import Dataset
from surprise import Reader

# Define the format of your data file
reader = Reader(line_format='user item rating', sep=',', rating_scale=(1, 5))

# Load your data file
data = Dataset.load_from_file('path/to/your/data.csv', reader=reader)

            

              
                Copy
              
            
          

تدريب النموذج

الآن بعد أن قمنا بتحميل وإعداد البيانات، يمكننا تدريب النموذج. سنستخدم خوارزمية SVD في هذا المثال.

            
from surprise import SVD
from surprise.model_selection import train_test_split

# Split the data into training and testing sets
trainset, testset = train_test_split(data, test_size=0.25)

# Initialize the SVD algorithm
algo = SVD()

# Train the algorithm on the training set
algo.fit(trainset)

            

              
                Copy
              
            
          

إجراء التنبؤات

بعد تدريب النموذج، يمكننا إجراء تنبؤات على مجموعة الاختبار.

            
# Make predictions on the testing set
predictions = algo.test(testset)

# Print the predictions
for prediction in predictions:
    print(prediction)

            

              
                Copy
              
            
          

يحتوي كل كائن تنبؤ على معرف المستخدم ومعرف العنصر والتقييم الفعلي والتقييم المتوقع.

تقييم النموذج

لتقييم أداء النموذج، يمكننا استخدام مقاييس مثل جذر متوسط مربع الخطأ (RMSE) ومتوسط الخطأ المطلق (MAE).

            
from surprise import accuracy

# Compute RMSE and MAE
accuracy.rmse(predictions)
accuracy.mae(predictions)

            

              
                Copy
              
            
          

تقديم توصيات لمستخدم معين

لتقديم توصيات لمستخدم معين، يمكننا استخدام طريقة algo.predict().

            
# Get the user ID
user_id = '196'

# Get the item ID
item_id = '302'

# Predict the rating
prediction = algo.predict(user_id, item_id)

# Print the predicted rating
print(prediction.est)

            

              
                Copy
              
            
          

سيؤدي هذا إلى التنبؤ بالتقييم الذي سيمنحه المستخدم '196' للعنصر '302'.

للتوصية بأفضل N عناصر لمستخدم، يمكنك المرور عبر جميع العناصر التي لم يقيمها المستخدم بعد والتنبؤ بالتقييمات. بعد ذلك، يمكنك فرز العناصر حسب التقييمات المتوقعة واختيار أفضل N عناصر.

            
from collections import defaultdict


def get_top_n_recommendations(predictions, n=10):
    """Return the top N recommendations for each user from a set of predictions."""

    # First map the predictions to each user.
    top_n = defaultdict(list)
    for uid, iid, true_r, est, _ in predictions:
        top_n[uid].append((iid, est))

    # Then sort the predictions for each user and retrieve the k highest ones.
    for uid, user_ratings in top_n.items():
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n


top_n = get_top_n_recommendations(predictions, n=10)

# Print the recommended items for each user
for uid, user_ratings in top_n.items():
    print(uid, [iid for (iid, _) in user_ratings])

            

              
                Copy
              
            
          

تحسين محرك التوصية

هناك عدة طرق لتحسين أداء محرك التوصية:

ضبط المعلمات الفائقة

تحتوي معظم خوارزميات تجزئة المصفوفات على معلمات فائقة يمكن ضبطها لتحسين الأداء. على سبيل المثال، تحتوي خوارزمية SVD على معلمات فائقة مثل عدد العوامل (n_factors) ومعدل التعلم (lr_all). يمكنك استخدام تقنيات مثل البحث الشبكي أو البحث العشوائي للعثور على المعلمات الفائقة المثلى.

            
from surprise.model_selection import GridSearchCV

# Define the parameters to tune
param_grid = {
    'n_factors': [50, 100, 150],
    'lr_all': [0.002, 0.005, 0.01],
    'reg_all': [0.02, 0.05, 0.1]
}

# Perform grid search
gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3)
gs.fit(data)

# Print the best parameters
print(gs.best_params['rmse'])

# Print the best score
print(gs.best_score['rmse'])

            

              
                Copy
              
            
          

التنظيم (Regularization)

التنظيم هو تقنية تستخدم لمنع فرط التخصيص (overfitting). يحدث فرط التخصيص عندما يتعلم النموذج بيانات التدريب جيدًا جدًا ويؤدي بشكل سيء على البيانات غير المرئية. تشمل تقنيات التنظيم الشائعة تنظيم L1 وتنظيم L2. توفر مكتبة Surprise دعمًا مدمجًا للتنظيم.

معالجة مشكلة البداية الباردة (Cold Start)

تحدث مشكلة البداية الباردة عندما يكون لدى النظام معلومات محدودة أو معدومة حول المستخدمين الجدد أو العناصر الجديدة. هذا يمكن أن يجعل من الصعب تقديم توصيات دقيقة. هناك العديد من التقنيات لمعالجة مشكلة البداية الباردة:

• الترشيح القائم على المحتوى: استخدم الترشيح القائم على المحتوى للتوصية بالعناصر بناءً على ميزاتها، حتى لو لم يتفاعل المستخدم معها من قبل.
• الأساليب الهجينة: اجمع بين الترشيح التعاوني والترشيح القائم على المحتوى للاستفادة من نقاط القوة في كليهما.
• التوصية القائمة على المعرفة: استخدم المعرفة الصريحة حول المستخدمين والعناصر لتقديم توصيات.
• التوصية القائمة على الشعبية: أوصِ بالعناصر الأكثر شيوعًا للمستخدمين الجدد.

قابلية التوسع

بالنسبة لمجموعات البيانات الكبيرة، يمكن أن تكون تجزئة المصفوفات مكلفة من الناحية الحسابية. هناك العديد من التقنيات لتحسين قابلية التوسع لتجزئة المصفوفات:

• الحوسبة الموزعة: استخدم أطر الحوسبة الموزعة مثل Apache Spark لتوازي الحساب.
• أخذ العينات: استخدم تقنيات أخذ العينات لتقليل حجم مجموعة البيانات.
• الخوارزميات التقريبية: استخدم الخوارزميات التقريبية لتقليل التعقيد الحسابي.

التطبيقات في العالم الحقيقي والاعتبارات العالمية

تُستخدم محركات التوصية القائمة على تجزئة المصفوفات في مجموعة واسعة من الصناعات والتطبيقات. إليك بعض الأمثلة:

• التجارة الإلكترونية: التوصية بالمنتجات للمستخدمين بناءً على مشترياتهم السابقة وسجل التصفح. على سبيل المثال، قد يُوصى لمستخدم في ألمانيا يشتري معدات تنزه بالملابس المناسبة، أو خرائط للمسارات المحلية، أو كتب ذات صلة.
• الإعلام والترفيه: التوصية بالأفلام والبرامج التلفزيونية والموسيقى للمستخدمين بناءً على عادات المشاهدة والاستماع الخاصة بهم. قد يُوصى لمستخدم في اليابان يستمتع بالأنمي بسلاسل جديدة، أو أنواع مشابهة، أو بضائع ذات صلة.
• وسائل التواصل الاجتماعي: التوصية بالأصدقاء والمجموعات والمحتوى للمستخدمين بناءً على اهتماماتهم وصلاتهم الاجتماعية. قد يُوصى لمستخدم في البرازيل مهتم بكرة القدم بأندية كرة قدم محلية، أو مقالات إخبارية ذات صلة، أو مجموعات من المشجعين.
• التعليم: التوصية بالدورات والمواد التعليمية للطلاب بناءً على أهدافهم التعليمية وأدائهم الأكاديمي. قد يُوصى لطالب في الهند يدرس علوم الكمبيوتر بدورات عبر الإنترنت، أو كتب مدرسية، أو أوراق بحثية.
• السفر والسياحة: التوصية بالوجهات والفنادق والأنشطة للمسافرين بناءً على تفضيلاتهم وتاريخ سفرهم. قد يُوصى لسائح من الولايات المتحدة يخطط لرحلة إلى إيطاليا بمعالم شهيرة، أو مطاعم، أو فعاليات محلية.

الاعتبارات العالمية

عند بناء محركات توصية لجمهور عالمي، من المهم مراعاة العوامل التالية:

• الاختلافات الثقافية: يمكن أن تختلف تفضيلات المستخدمين بشكل كبير عبر الثقافات المختلفة. من المهم فهم هذه الاختلافات وتخصيص التوصيات وفقًا لذلك. على سبيل المثال، قد تختلف التوصيات الغذائية لمستخدم في الولايات المتحدة عن تلك الخاصة بمستخدم في الصين.
• دعم اللغة: يجب أن يدعم محرك التوصية لغات متعددة لتلبية احتياجات المستخدمين من خلفيات لغوية مختلفة.
• خصوصية البيانات: من المهم الامتثال للوائح خصوصية البيانات في مختلف البلدان. على سبيل المثال، تتطلب اللائحة العامة لحماية البيانات (GDPR) في الاتحاد الأوروبي من المنظمات الحصول على موافقة صريحة من المستخدمين قبل جمع ومعالجة بياناتهم الشخصية.
• المناطق الزمنية: ضع في اعتبارك المناطق الزمنية المختلفة عند جدولة التوصيات وإرسال الإشعارات.
• إمكانية الوصول: تأكد من أن محرك التوصية متاح للمستخدمين ذوي الإعاقة.

الخاتمة

تجزئة المصفوفات هي تقنية قوية لبناء محركات التوصية. من خلال فهم المبادئ الأساسية واستخدام مكتبات بايثون مثل Surprise، يمكنك بناء أنظمة توصية فعالة تخصص تجارب المستخدم وتزيد من التفاعل. تذكر أن تضع في اعتبارك عوامل مثل ضبط المعلمات الفائقة، والتنظيم، ومعالجة مشاكل البداية الباردة، وقابلية التوسع لتحسين أداء محرك التوصية الخاص بك. بالنسبة للتطبيقات العالمية، انتبه إلى الاختلافات الثقافية، ودعم اللغة، وخصوصية البيانات، والمناطق الزمنية، وإمكانية الوصول لضمان تجربة مستخدم إيجابية للجميع.

استكشاف إضافي

• توثيق مكتبة Surprise: http://surpriselib.com/
• مجموعة بيانات MovieLens: https://grouplens.org/datasets/movielens/
• تقنيات تجزئة المصفوفات: ابحث عن أشكال مختلفة وتحسينات لتجزئة المصفوفات للترشيح التعاوني.