Python Rekommendationsmotor: Matrisfaktorisering Förklarad

I dagens datadrivna värld är rekommendationsmotorer allestädes närvarande. Från att föreslå produkter på e-handelsplattformar som Amazon och Alibaba, till att rekommendera filmer på Netflix eller låtar på Spotify, dessa system anpassar användarupplevelser och driver engagemang. Den här artikeln ger en omfattande guide till att bygga en rekommendationsmotor med Python och en kraftfull teknik som kallas Matrisfaktorisering.

Vad är en rekommendationsmotor?

En rekommendationsmotor är en typ av informationsfiltreringssystem som förutsäger användarpreferenser och föreslår objekt eller innehåll som användare kan tycka är intressant. Huvudidén är att förstå användarens tidigare beteende (t.ex. köp, betyg, webbhistorik) och använda den informationen för att förutsäga deras framtida preferenser.

Typer av rekommendationsmotorer:

• Innehållsbaserad filtrering: Rekommenderar objekt som liknar dem som en användare har gillat tidigare. Till exempel, om en användare gillar att titta på dokumentärer om historia, kan systemet rekommendera andra historiska dokumentärer.
• Samarbetsfilter: Rekommenderar objekt baserat på preferenserna hos användare med liknande smak. Om två användare har betygsatt liknande objekt högt, och en användare gillar ett nytt objekt, kan systemet rekommendera det objektet till den andra användaren.
• Hybridmetoder: Kombinerar innehållsbaserad och samarbetsbaserad filtrering för att utnyttja styrkorna hos båda.

Matrisfaktorisering: En kraftfull samarbetsfiltreringsteknik

Matrisfaktorisering är en kraftfull samarbetsfiltreringsteknik som används för att upptäcka latenta funktioner som förklarar de observerade betygen. Grundidén är att sönderdela en användar-objekt interaktionsmatris i två matriser med lägre dimensioner: en användarmatris och en objektmatris. Dessa matriser fångar de underliggande relationerna mellan användare och objekt.

Förstå matematiken bakom matrisfaktorisering

Låt oss beteckna användar-objekt interaktionsmatrisen som R, där R_ui representerar betyget som ges av användare u till objekt i. Målet med matrisfaktorisering är att approximera R som produkten av två matriser:

R ≈ P x Q^T

• P är användarmatrisen, där varje rad representerar en användare och varje kolumn representerar en latent funktion.
• Q är objektmatrisen, där varje rad representerar ett objekt och varje kolumn representerar en latent funktion.
• Q^T är transponatet av objektmatrisen.

Punktprodukten av en rad i P (som representerar en användare) och en rad i Q (som representerar ett objekt) approximerar det betyg som användaren skulle ge till det objektet. Målet är att lära sig matriserna P och Q så att skillnaden mellan de förutsagda betygen (P x Q^T) och de faktiska betygen (R) minimeras.

Vanliga matrisfaktoriseringalgoritmer

• Singulärvärdesdekomposition (SVD): En klassisk matrisfaktoriseringsteknik som sönderdelar en matris i tre matriser: U, Σ och V^T. I samband med rekommendationsmotorer kan SVD användas för att faktorisera användar-objekt betygmatrisen. SVD kräver dock att matrisen är tät (dvs. inga saknade värden). Därför används ofta tekniker som imputering för att fylla i saknade betyg.
• Icke-negativ matrisfaktorisering (NMF): En matrisfaktoriseringsteknik där matriserna P och Q är begränsade till att vara icke-negativa. NMF är särskilt användbart när man hanterar data där negativa värden inte är meningsfulla (t.ex. dokumentämnesmodellering).
• Probabilistisk matrisfaktorisering (PMF): En probabilistisk metod för matrisfaktorisering som antar att användar- och objekt-latenta vektorer dras från Gaussfördelningar. PMF ger ett principstyrt sätt att hantera osäkerhet och kan utökas för att införliva ytterligare information (t.ex. användarattribut, objektfunktioner).

Bygga en rekommendationsmotor med Python: Ett praktiskt exempel

Låt oss dyka in i ett praktiskt exempel på att bygga en rekommendationsmotor med Python och Surprise-biblioteket. Surprise är ett Python scikit för att bygga och analysera rekommendationssystem. Det erbjuder olika samarbetsfiltreringsalgoritmer, inklusive SVD, NMF och PMF.

Installera Surprise-biblioteket

Först måste du installera Surprise-biblioteket. Du kan göra detta med hjälp av pip:

            pip install scikit-surprise
            

              
                Copy
              
            
          

Ladda och förbereda data

I det här exemplet använder vi MovieLens-datasettet, som är ett populärt dataset för att utvärdera rekommendationsalgoritmer. Surprise-biblioteket erbjuder inbyggt stöd för att ladda MovieLens-datasettet.

            
from surprise import Dataset
from surprise import Reader

# Ladda MovieLens 100K-datasettet
data = Dataset.load_builtin('ml-100k')

            

              
                Copy
              
            
          

Om du har dina egna data kan du ladda det med hjälp av Reader-klassen. Reader-klassen låter dig ange formatet på din datafil.

            
from surprise import Dataset
from surprise import Reader

# Definiera formatet på din datafil
reader = Reader(line_format='user item rating', sep=',', rating_scale=(1, 5))

# Ladda din datafil
data = Dataset.load_from_file('path/to/your/data.csv', reader=reader)

            

              
                Copy
              
            
          

Träna modellen

Nu när vi har laddat och förberett data kan vi träna modellen. Vi använder SVD-algoritmen i detta exempel.

            
from surprise import SVD
from surprise.model_selection import train_test_split

# Dela upp data i tränings- och testuppsättningar
trainset, testset = train_test_split(data, test_size=0.25)

# Initiera SVD-algoritmen
algo = SVD()

# Träna algoritmen på träningsuppsättningen
algo.fit(trainset)

            

              
                Copy
              
            
          

Göra förutsägelser

Efter att ha tränat modellen kan vi göra förutsägelser på testuppsättningen.

            
# Gör förutsägelser på testuppsättningen
predictions = algo.test(testset)

# Skriv ut förutsägelserna
for prediction in predictions:
    print(prediction)

            

              
                Copy
              
            
          

Varje förutsägelseobjekt innehåller användar-ID, objekt-ID, faktiskt betyg och förutsagt betyg.

Utvärdera modellen

För att utvärdera modellens prestanda kan vi använda mätvärden som Root Mean Squared Error (RMSE) och Mean Absolute Error (MAE).

            
from surprise import accuracy

# Beräkna RMSE och MAE
accuracy.rmse(predictions)
accuracy.mae(predictions)

            

              
                Copy
              
            
          

Göra rekommendationer för en specifik användare

För att göra rekommendationer för en specifik användare kan vi använda metoden algo.predict().

            
# Hämta användar-ID
user_id = '196'

# Hämta objekt-ID
item_id = '302'

# Förutsäg betyget
prediction = algo.predict(user_id, item_id)

# Skriv ut det förutsagda betyget
print(prediction.est)

            

              
                Copy
              
            
          

Detta kommer att förutsäga det betyg som användare '196' skulle ge till objekt '302'.

För att rekommendera de bästa N objekten för en användare kan du iterera igenom alla objekt som användaren ännu inte har betygsatt och förutsäga betygen. Sedan kan du sortera objekten efter de förutsagda betygen och välja de bästa N objekten.

            
from collections import defaultdict


def get_top_n_recommendations(predictions, n=10):
    """Returnera de bästa N rekommendationerna för varje användare från en uppsättning förutsägelser."""

    # Först mappar förutsägelserna till varje användare.
    top_n = defaultdict(list)
    for uid, iid, true_r, est, _ in predictions:
        top_n[uid].append((iid, est))

    # Sortera sedan förutsägelserna för varje användare och hämta de k högsta.
    for uid, user_ratings in top_n.items:
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n


top_n = get_top_n_recommendations(predictions, n=10)

# Skriv ut de rekommenderade objekten för varje användare
for uid, user_ratings in top_n.items:
    print(uid, [iid for (iid, _) in user_ratings])

            

              
                Copy
              
            
          

Optimera rekommendationsmotorn

Det finns flera sätt att optimera prestandan för rekommendationsmotorn:

Hyperparameterjustering

De flesta matrisfaktoriseringalgoritmer har hyperparametrar som kan justeras för att förbättra prestandan. Till exempel har SVD-algoritmen hyperparametrar som antalet faktorer (n_factors) och inlärningshastigheten (lr_all). Du kan använda tekniker som rutnätsökning eller slumpmässig sökning för att hitta de optimala hyperparametrarna.

            
from surprise.model_selection import GridSearchCV

# Definiera parametrarna som ska justeras
param_grid = {
    'n_factors': [50, 100, 150],
    'lr_all': [0.002, 0.005, 0.01],
    'reg_all': [0.02, 0.05, 0.1]
}

# Utför rutnätsökning
gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3)
gs.fit(data)

# Skriv ut de bästa parametrarna
print(gs.best_params['rmse'])

# Skriv ut det bästa resultatet
print(gs.best_score['rmse'])

            

              
                Copy
              
            
          

Regularisering

Regularisering är en teknik som används för att förhindra överanpassning. Överanpassning uppstår när modellen lär sig träningsdata för väl och presterar dåligt på osedda data. Vanliga regulariseringstekniker inkluderar L1-regularisering och L2-regularisering. Surprise-biblioteket erbjuder inbyggt stöd för regularisering.

Hantering av Cold Start-problem

Cold start-problemet uppstår när systemet har begränsad eller ingen information om nya användare eller nya objekt. Detta kan göra det svårt att tillhandahålla korrekta rekommendationer. Det finns flera tekniker för att åtgärda cold start-problemet:

• Innehållsbaserad filtrering: Använd innehållsbaserad filtrering för att rekommendera objekt baserat på deras funktioner, även om användaren inte har interagerat med dem tidigare.
• Hybridmetoder: Kombinera samarbetsfiltrering med innehållsbaserad filtrering för att utnyttja styrkorna hos båda.
• Kunskapsbaserad rekommendation: Använd explicit kunskap om användarna och objekten för att göra rekommendationer.
• Popularitetsbaserad rekommendation: Rekommendera de mest populära objekten till nya användare.

Skalbarhet

För stora datasätt kan matrisfaktorisering vara beräkningsmässigt dyrt. Det finns flera tekniker för att förbättra skalbarheten för matrisfaktorisering:

• Distribuerad databehandling: Använd distribuerade databehandlingsramverk som Apache Spark för att parallellisera beräkningen.
• Provtagning: Använd provtagningstekniker för att minska storleken på datasettet.
• Approximationsalgoritmer: Använd approximationsalgoritmer för att minska beräkningskomplexiteten.

Verkliga tillämpningar och globala överväganden

Rekommendationsmotorer för matrisfaktorisering används i en mängd olika branscher och tillämpningar. Här är några exempel:

• E-handel: Rekommendera produkter till användare baserat på deras tidigare köp och webbhistorik. Till exempel kan en användare i Tyskland som köper vandringsutrustning rekommenderas lämpliga kläder, kartor över lokala leder eller relevanta böcker.
• Media och underhållning: Rekommendera filmer, tv-program och musik till användare baserat på deras visnings- och lyssningsvanor. En användare i Japan som gillar anime kan rekommenderas nya serier, liknande genrer eller relaterade varor.
• Sociala medier: Rekommendera vänner, grupper och innehåll till användare baserat på deras intressen och sociala kontakter. En användare i Brasilien som är intresserad av fotboll kan rekommenderas lokala fotbollsklubbar, relaterade nyhetsartiklar eller grupper av fans.
• Utbildning: Rekommendera kurser och läromedel till studenter baserat på deras inlärningsmål och akademiska prestationer. En student i Indien som studerar datavetenskap kan rekommenderas onlinekurser, läroböcker eller forskningsartiklar.
• Resor och turism: Rekommendera destinationer, hotell och aktiviteter till resenärer baserat på deras preferenser och resehistorik. En turist från USA som planerar en resa till Italien kan rekommenderas populära landmärken, restauranger eller lokala evenemang.

Globala överväganden

När du bygger rekommendationsmotorer för globala målgrupper är det viktigt att överväga följande faktorer:

• Kulturella skillnader: Användarpreferenser kan variera avsevärt mellan olika kulturer. Det är viktigt att förstå dessa skillnader och anpassa rekommendationerna därefter. Till exempel kan kostrekommendationer för en användare i USA skilja sig från dem för en användare i Kina.
• Språkstöd: Rekommendationsmotorn bör stödja flera språk för att tillgodose användare från olika språkliga bakgrunder.
• Datasekretess: Det är viktigt att följa dataskyddsförordningar i olika länder. Till exempel kräver den allmänna dataskyddsförordningen (GDPR) i Europeiska unionen att organisationer inhämtar uttryckligt samtycke från användarna innan de samlar in och behandlar deras personuppgifter.
• Tidszoner: Tänk på olika tidszoner när du schemalägger rekommendationer och skickar aviseringar.
• Tillgänglighet: Se till att rekommendationsmotorn är tillgänglig för användare med funktionsnedsättningar.

Slutsats

Matrisfaktorisering är en kraftfull teknik för att bygga rekommendationsmotorer. Genom att förstå de underliggande principerna och använda Python-bibliotek som Surprise kan du bygga effektiva rekommendationssystem som anpassar användarupplevelser och driver engagemang. Kom ihåg att beakta faktorer som hyperparameterjustering, regularisering, hantering av cold start-problem och skalbarhet för att optimera prestandan för din rekommendationsmotor. För globala tillämpningar, var uppmärksam på kulturella skillnader, språkstöd, datasekretess, tidszoner och tillgänglighet för att säkerställa en positiv användarupplevelse för alla.

Vidare utforskning

• Surprise Library Dokumentation: http://surpriselib.com/
• MovieLens Dataset: https://grouplens.org/datasets/movielens/
• Matrisfaktoriseringstekniker: Undersök olika variationer och optimeringar av matrisfaktorisering för samarbetsfiltrering.