Python Ajánló Motor: A Mátrix Faktorizáció Magyarázata

A mai adatvezérelt világban az ajánló motorok mindenütt jelen vannak. Az Amazon és az Alibaba e-kereskedelmi platformjain a termékek javaslatától kezdve a Netflixen a filmek, vagy a Spotify-on a dalok ajánlásáig ezek a rendszerek személyre szabják a felhasználói élményeket és növelik az elkötelezettséget. Ez a cikk átfogó útmutatót nyújt egy ajánló motor építéséhez Python használatával és egy hatékony technikával, amelyet Mátrix Faktorizációnak neveznek.

Mi az az Ajánló Motor?

Az ajánló motor egy olyan információ szűrő rendszer, amely megjósolja a felhasználói preferenciákat, és olyan elemeket vagy tartalmakat javasol, amelyeket a felhasználók érdekesnek találhatnak. Az alapötlet az, hogy megértsük a felhasználó múltbeli viselkedését (pl. vásárlások, értékelések, böngészési előzmények), és ezeket az információkat felhasználjuk jövőbeli preferenciáik előrejelzésére.

Az Ajánló Motorok Típusai:

• Tartalom Alapú Szűrés: Hasonló elemeket ajánl, mint amelyeket a felhasználó a múltban kedvelt. Például, ha egy felhasználó szereti a történelemről szóló dokumentumfilmeket nézni, a rendszer más történelmi dokumentumfilmeket is ajánlhat.
• Kollaboratív Szűrés: Hasonló ízlésű felhasználók preferenciái alapján ajánl elemeket. Ha két felhasználó hasonlóan magasra értékelt elemeket, és az egyik felhasználó kedvel egy új elemet, a rendszer ezt az elemet a másik felhasználónak is ajánlhatja.
• Hibrid Megközelítések: Kombinálja a tartalom alapú és a kollaboratív szűrést, hogy kihasználja mindkettő erősségeit.

Mátrix Faktorizáció: Egy Hatékony Kollaboratív Szűrési Technika

A Mátrix Faktorizáció egy hatékony kollaboratív szűrési technika, amelyet a megfigyelt értékeléseket magyarázó látens jellemzők felfedezésére használnak. Az alapvető ötlet az, hogy egy felhasználó-elem interakciós mátrixot két alacsonyabb dimenziós mátrixra bontunk: egy felhasználói mátrixra és egy elem mátrixra. Ezek a mátrixok rögzítik a felhasználók és az elemek közötti mögöttes kapcsolatokat.

A Mátrix Faktorizáció Mögötti Matematika Megértése

Jelöljük a felhasználó-elem interakciós mátrixot R-ként, ahol R_ui az u felhasználó által az i elemnek adott értékelést jelenti. A mátrix faktorizáció célja az, hogy az R mátrixot két mátrix szorzataként közelítsük:

R ≈ P x Q^T

• P a felhasználói mátrix, ahol minden sor egy felhasználót, minden oszlop pedig egy látens jellemzőt képvisel.
• Q az elem mátrix, ahol minden sor egy elemet, minden oszlop pedig egy látens jellemzőt képvisel.
• Q^T az elem mátrix transzponáltja.

A P (egy felhasználót képviselő) sor és a Q (egy elemet képviselő) sor skalárszorzata megközelíti azt az értékelést, amelyet a felhasználó adna az adott elemnek. A cél a P és Q mátrixok megtanulása oly módon, hogy a becsült értékelések (P x Q^T) és a tényleges értékelések (R) közötti különbség minimalizálódjon.

Gyakori Mátrix Faktorizációs Algoritmusok

• Szinguláris Értékfelbontás (SVD): Egy klasszikus mátrix faktorizációs technika, amely egy mátrixot három mátrixra bont: U, Σ és V^T. Az ajánló motorok kontextusában az SVD felhasználható a felhasználó-elem értékelési mátrix faktorizálására. Az SVD azonban megköveteli, hogy a mátrix sűrű legyen (azaz ne legyenek hiányzó értékek). Ezért gyakran használnak olyan technikákat, mint az imputálás a hiányzó értékelések kitöltésére.
• Nemnegatív Mátrix Faktorizáció (NMF): Egy mátrix faktorizációs technika, ahol a P és Q mátrixok nemnegatívak. Az NMF különösen hasznos, ha olyan adatokkal foglalkozunk, ahol a negatív értékek nem értelmesek (pl. dokumentum téma modellezés).
• Valószínűségi Mátrix Faktorizáció (PMF): A mátrix faktorizáció valószínűségi megközelítése, amely feltételezi, hogy a felhasználói és elem látens vektorok Gauss eloszlásokból származnak. A PMF elvi módot kínál a bizonytalanság kezelésére, és kiterjeszthető további információk beépítésére (pl. felhasználói attribútumok, elem jellemzők).

Ajánló Motor Építése Pythonnal: Egy Gyakorlati Példa

Merüljünk el egy gyakorlati példában egy ajánló motor építésére Python és a Surprise könyvtár használatával. A Surprise egy Python scikit ajánló rendszerek építésére és elemzésére. Különféle kollaboratív szűrési algoritmusokat kínál, beleértve az SVD-t, az NMF-et és a PMF-et.

A Surprise Könyvtár Telepítése

Először telepítenie kell a Surprise könyvtárat. Ezt a pip használatával teheti meg:

            pip install scikit-surprise
            

              
                Copy
              
            
          

Adatok Betöltése és Előkészítése

Ebben a példában a MovieLens adatkészletet fogjuk használni, amely egy népszerű adatkészlet az ajánló algoritmusok értékeléséhez. A Surprise könyvtár beépített támogatást nyújt a MovieLens adatkészlet betöltéséhez.

            
from surprise import Dataset
from surprise import Reader

# Load the MovieLens 100K dataset
data = Dataset.load_builtin('ml-100k')

            

              
                Copy
              
            
          

Ha saját adataid vannak, a Reader osztály használatával töltheted be őket. A Reader osztály lehetővé teszi az adatok fájlformátumának megadását.

            
from surprise import Dataset
from surprise import Reader

# Define the format of your data file
reader = Reader(line_format='user item rating', sep=',', rating_scale=(1, 5))

# Load your data file
data = Dataset.load_from_file('path/to/your/data.csv', reader=reader)

            

              
                Copy
              
            
          

A Modell Betanítása

Most, hogy betöltöttük és előkészítettük az adatokat, betaníthatjuk a modellt. Ebben a példában az SVD algoritmust fogjuk használni.

            
from surprise import SVD
from surprise.model_selection import train_test_split

# Split the data into training and testing sets
trainset, testset = train_test_split(data, test_size=0.25)

# Initialize the SVD algorithm
algo = SVD()

# Train the algorithm on the training set
algo.fit(trainset)

            

              
                Copy
              
            
          

Előrejelzések Készítése

A modell betanítása után előrejelzéseket készíthetünk a teszt adatkészleten.

            
# Make predictions on the testing set
predictions = algo.test(testset)

# Print the predictions
for prediction in predictions:
    print(prediction)

            

              
                Copy
              
            
          

Minden előrejelzési objektum tartalmazza a felhasználói azonosítót, az elem azonosítóját, a tényleges értékelést és a becsült értékelést.

A Modell Értékelése

A modell teljesítményének értékeléséhez olyan metrikákat használhatunk, mint a Root Mean Squared Error (RMSE) és a Mean Absolute Error (MAE).

            
from surprise import accuracy

# Compute RMSE and MAE
accuracy.rmse(predictions)
accuracy.mae(predictions)

            

              
                Copy
              
            
          

Ajánlások Készítése Egy Konkrét Felhasználó Számára

Ahhoz, hogy ajánlásokat készítsünk egy konkrét felhasználó számára, használhatjuk az algo.predict() metódust.

            
# Get the user ID
user_id = '196'

# Get the item ID
item_id = '302'

# Predict the rating
prediction = algo.predict(user_id, item_id)

# Print the predicted rating
print(prediction.est)

            

              
                Copy
              
            
          

Ez megjósolja, hogy a '196' felhasználó milyen értékelést adna a '302' elemnek.

Ahhoz, hogy a felhasználó számára a legjobb N elemet ajánlja, végigiterálhat azokon az elemeken, amelyeket a felhasználó még nem értékelt, és megjósolhatja az értékeléseket. Ezután az elemeket a becsült értékelések alapján rendezheti, és kiválaszthatja a legjobb N elemet.

            
from collections import defaultdict


def get_top_n_recommendations(predictions, n=10):
    """Return the top N recommendations for each user from a set of predictions."""

    # First map the predictions to each user.
    top_n = defaultdict(list)
    for uid, iid, true_r, est, _ in predictions:
        top_n[uid].append((iid, est))

    # Then sort the predictions for each user and retrieve the k highest ones.
    for uid, user_ratings in top_n.items():
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n


top_n = get_top_n_recommendations(predictions, n=10)

# Print the recommended items for each user
for uid, user_ratings in top_n.items():
    print(uid, [iid for (iid, _) in user_ratings])

            

              
                Copy
              
            
          

Az Ajánló Motor Optimalizálása

Számos módja van az ajánló motor teljesítményének optimalizálására:

Hiperparaméter Hangolás

A legtöbb mátrix faktorizációs algoritmusnak vannak olyan hiperparaméterei, amelyek hangolhatók a teljesítmény javítása érdekében. Például az SVD algoritmusnak vannak olyan hiperparaméterei, mint a tényezők száma (n_factors) és a tanulási ráta (lr_all). Használhat olyan technikákat, mint a rácskeresés vagy a véletlenszerű keresés az optimális hiperparaméterek megtalálásához.

            
from surprise.model_selection import GridSearchCV

# Define the parameters to tune
param_grid = {
    'n_factors': [50, 100, 150],
    'lr_all': [0.002, 0.005, 0.01],
    'reg_all': [0.02, 0.05, 0.1]
}

# Perform grid search
gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3)
gs.fit(data)

# Print the best parameters
print(gs.best_params['rmse'])

# Print the best score
print(gs.best_score['rmse'])

            

              
                Copy
              
            
          

Regularizáció

A regularizáció egy olyan technika, amelyet a túltanulás megakadályozására használnak. A túltanulás akkor következik be, amikor a modell túl jól tanulja meg a betanítási adatokat, és rosszul teljesít a nem látott adatokon. A gyakori regularizációs technikák közé tartozik az L1 regularizáció és az L2 regularizáció. A Surprise könyvtár beépített támogatást nyújt a regularizációhoz.

Hideg Indítási Probléma Kezelése

A hideg indítási probléma akkor fordul elő, amikor a rendszer korlátozott vagy nincs információval az új felhasználókról vagy az új elemekről. Ez megnehezítheti a pontos ajánlások nyújtását. Számos technika létezik a hideg indítási probléma kezelésére:

• Tartalom Alapú Szűrés: Használjon tartalom alapú szűrést az elemek jellemzői alapján történő ajánlására, még akkor is, ha a felhasználó korábban nem lépett velük kapcsolatba.
• Hibrid Megközelítések: Kombinálja a kollaboratív szűrést a tartalom alapú szűréssel, hogy kihasználja mindkettő erősségeit.
• Tudás Alapú Ajánlás: Használjon explicit tudást a felhasználókról és az elemekről az ajánlások készítéséhez.
• Népszerűség Alapú Ajánlás: Ajánlja a legnépszerűbb elemeket az új felhasználóknak.

Skálázhatóság

Nagy adatkészletek esetén a mátrix faktorizáció számításigényes lehet. Számos technika létezik a mátrix faktorizáció skálázhatóságának javítására:

• Elosztott Számítástechnika: Használjon elosztott számítástechnikai keretrendszereket, mint például az Apache Spark a számítás párhuzamosításához.
• Mintavételezés: Használjon mintavételezési technikákat az adatkészlet méretének csökkentésére.
• Közelítő Algoritmusok: Használjon közelítő algoritmusokat a számítási komplexitás csökkentésére.

Valós Alkalmazások és Globális Megfontolások

• E-kereskedelem: Termékek ajánlása a felhasználóknak a múltbeli vásárlásaik és böngészési előzményeik alapján. Például egy németországi felhasználónak, aki túrafelszerelést vásárol, megfelelő ruházatot, a helyi ösvények térképeit vagy releváns könyveket ajánlhatnak.
• Média és Szórakozás: Filmek, tévéműsorok és zenék ajánlása a felhasználóknak a megtekintési és hallgatási szokásaik alapján. Egy japán felhasználónak, aki szereti az animét, új sorozatokat, hasonló műfajokat vagy kapcsolódó árucikkeket ajánlhatnak.
• Közösségi Média: Barátok, csoportok és tartalmak ajánlása a felhasználóknak az érdeklődési köreik és a társadalmi kapcsolataik alapján. Egy brazil felhasználónak, aki érdeklődik a labdarúgás iránt, helyi futballklubokat, kapcsolódó hírcikkeket vagy rajongói csoportokat ajánlhatnak.
• Oktatás: Tanfolyamok és tananyagok ajánlása a hallgatóknak a tanulási céljaik és a tanulmányi teljesítményük alapján. Egy indiai felhasználónak, aki számítástechnikát tanul, online tanfolyamokat, tankönyveket vagy kutatási cikkeket ajánlhatnak.
• Utazás és Turizmus: Úti célok, szállodák és tevékenységek ajánlása az utazóknak a preferenciáik és az utazási előzményeik alapján. Egy amerikai turistának, aki olaszországi utazást tervez, népszerű nevezetességeket, éttermeket vagy helyi eseményeket ajánlhatnak.

Globális Megfontolások

Amikor globális közönség számára építünk ajánló motorokat, fontos figyelembe venni a következő tényezőket:

• Kulturális Különbségek: A felhasználói preferenciák jelentősen eltérhetnek a különböző kultúrákban. Fontos megérteni ezeket a különbségeket és ennek megfelelően testre szabni az ajánlásokat. Például egy amerikai felhasználó számára adott étrendi ajánlások eltérhetnek egy kínai felhasználó számára adottaktól.
• Nyelvi Támogatás: Az ajánló motornak több nyelvet is támogatnia kell a különböző nyelvi hátterű felhasználók kiszolgálása érdekében.
• Adatvédelem: Fontos betartani a különböző országok adatvédelmi szabályait. Például az Európai Unió általános adatvédelmi rendelete (GDPR) megköveteli a szervezetektől, hogy kifejezett hozzájárulást kérjenek a felhasználóktól a személyes adataik gyűjtése és feldolgozása előtt.
• Időzónák: Vegye figyelembe a különböző időzónákat az ajánlások ütemezésekor és az értesítések küldésekor.
• Akadálymentesség: Biztosítsa, hogy az ajánló motor hozzáférhető legyen a fogyatékkal élők számára.

Következtetés

További Felfedezés

• Surprise Könyvtár Dokumentáció: http://surpriselib.com/
• MovieLens Adatkészlet: https://grouplens.org/datasets/movielens/
• Mátrix Faktorizációs Technikák: Kutasson különböző variációkat és optimalizálásokat a Mátrix Faktorizációhoz a kollaboratív szűréshez.