Mesin Rekomendasi Python: Penjelasan Faktorisasi Matriks

Di dunia yang didorong oleh data saat ini, mesin rekomendasi sangat umum. Mulai dari menyarankan produk di platform e-commerce seperti Amazon dan Alibaba, hingga merekomendasikan film di Netflix atau lagu di Spotify, sistem ini mempersonalisasi pengalaman pengguna dan mendorong keterlibatan. Artikel ini memberikan panduan komprehensif untuk membangun mesin rekomendasi menggunakan Python dan teknik ampuh yang disebut Faktorisasi Matriks.

Apa itu Mesin Rekomendasi?

Mesin rekomendasi adalah jenis sistem penyaringan informasi yang memprediksi preferensi pengguna dan menyarankan item atau konten yang mungkin menarik bagi pengguna. Ide intinya adalah untuk memahami perilaku pengguna di masa lalu (mis., pembelian, peringkat, riwayat penjelajahan) dan menggunakan informasi tersebut untuk memprediksi preferensi mereka di masa depan.

Jenis Mesin Rekomendasi:

• Penyaringan Berbasis Konten: Merekomendasikan item yang mirip dengan yang disukai pengguna di masa lalu. Misalnya, jika pengguna menikmati menonton film dokumenter tentang sejarah, sistem dapat merekomendasikan film dokumenter sejarah lainnya.
• Penyaringan Kolaboratif: Merekomendasikan item berdasarkan preferensi pengguna dengan selera yang sama. Jika dua pengguna telah memberi peringkat tinggi pada item yang serupa, dan satu pengguna menyukai item baru, sistem dapat merekomendasikan item tersebut kepada pengguna lain.
• Pendekatan Hibrida: Menggabungkan penyaringan berbasis konten dan kolaboratif untuk memanfaatkan kekuatan keduanya.

Faktorisasi Matriks: Teknik Penyaringan Kolaboratif yang Ampuh

Faktorisasi Matriks adalah teknik penyaringan kolaboratif yang ampuh yang digunakan untuk menemukan fitur laten yang menjelaskan peringkat yang diamati. Ide dasarnya adalah untuk menguraikan matriks interaksi pengguna-item menjadi dua matriks berdimensi lebih rendah: matriks pengguna dan matriks item. Matriks ini menangkap hubungan mendasar antara pengguna dan item.

Memahami Matematika di Balik Faktorisasi Matriks

Mari kita tunjukkan matriks interaksi pengguna-item sebagai R, di mana R_ui mewakili peringkat yang diberikan oleh pengguna u ke item i. Tujuan faktorisasi matriks adalah untuk mendekati R sebagai hasil kali dua matriks:

R ≈ P x Q^T

• P adalah matriks pengguna, di mana setiap baris mewakili pengguna dan setiap kolom mewakili fitur laten.
• Q adalah matriks item, di mana setiap baris mewakili item dan setiap kolom mewakili fitur laten.
• Q^T adalah transpose dari matriks item.

Produk titik dari sebuah baris di P (mewakili seorang pengguna) dan sebuah baris di Q (mewakili sebuah item) memperkirakan peringkat yang akan diberikan pengguna tersebut ke item itu. Tujuannya adalah untuk mempelajari matriks P dan Q sedemikian rupa sehingga perbedaan antara peringkat yang diprediksi (P x Q^T) dan peringkat aktual (R) diminimalkan.

Algoritma Faktorisasi Matriks Umum

• Dekomposisi Nilai Singular (SVD): Teknik faktorisasi matriks klasik yang menguraikan matriks menjadi tiga matriks: U, Σ, dan V^T. Dalam konteks mesin rekomendasi, SVD dapat digunakan untuk memfaktorkan matriks peringkat pengguna-item. Namun, SVD membutuhkan matriks menjadi padat (yaitu, tidak ada nilai yang hilang). Oleh karena itu, teknik seperti imputasi sering digunakan untuk mengisi peringkat yang hilang.
• Faktorisasi Matriks Non-negatif (NMF): Teknik faktorisasi matriks di mana matriks P dan Q dibatasi menjadi non-negatif. NMF sangat berguna ketika berhadapan dengan data di mana nilai negatif tidak bermakna (mis., pemodelan topik dokumen).
• Faktorisasi Matriks Probabilistik (PMF): Pendekatan probabilistik untuk faktorisasi matriks yang mengasumsikan vektor laten pengguna dan item diambil dari distribusi Gaussian. PMF menyediakan cara berprinsip untuk menangani ketidakpastian dan dapat diperluas untuk memasukkan informasi tambahan (mis., atribut pengguna, fitur item).

Membangun Mesin Rekomendasi dengan Python: Contoh Praktis

Mari selami contoh praktis membangun mesin rekomendasi menggunakan Python dan pustaka Surprise. Surprise adalah scikit Python untuk membangun dan menganalisis sistem rekomendasi. Ini menyediakan berbagai algoritma penyaringan kolaboratif, termasuk SVD, NMF, dan PMF.

Memasang Pustaka Surprise

Pertama, Anda perlu menginstal pustaka Surprise. Anda dapat melakukan ini menggunakan pip:

            pip install scikit-surprise
            

              
                Copy
              
            
          

Memuat dan Mempersiapkan Data

Untuk contoh ini, kita akan menggunakan dataset MovieLens, yang merupakan dataset populer untuk mengevaluasi algoritma rekomendasi. Pustaka Surprise menyediakan dukungan bawaan untuk memuat dataset MovieLens.

            
from surprise import Dataset
from surprise import Reader

# Muat dataset MovieLens 100K
data = Dataset.load_builtin('ml-100k')

            

              
                Copy
              
            
          

Jika Anda memiliki data sendiri, Anda dapat memuatnya menggunakan kelas Reader. Kelas Reader memungkinkan Anda untuk menentukan format file data Anda.

            
from surprise import Dataset
from surprise import Reader

# Tentukan format file data Anda
reader = Reader(line_format='user item rating', sep=',', rating_scale=(1, 5))

# Muat file data Anda
data = Dataset.load_from_file('path/to/your/data.csv', reader=reader)

            

              
                Copy
              
            
          

Melatih Model

Sekarang kita telah memuat dan menyiapkan data, kita dapat melatih model. Kita akan menggunakan algoritma SVD dalam contoh ini.

            
from surprise import SVD
from surprise.model_selection import train_test_split

# Pisahkan data ke dalam set pelatihan dan pengujian
trainset, testset = train_test_split(data, test_size=0.25)

# Inisialisasi algoritma SVD
algo = SVD()

# Latih algoritma pada set pelatihan
algo.fit(trainset)

            

              
                Copy
              
            
          

Membuat Prediksi

Setelah melatih model, kita dapat membuat prediksi pada set pengujian.

            
# Buat prediksi pada set pengujian
predictions = algo.test(testset)

# Cetak prediksi
for prediction in predictions:
    print(prediction)

            

              
                Copy
              
            
          

Setiap objek prediksi berisi ID pengguna, ID item, peringkat aktual, dan peringkat yang diprediksi.

Mengevaluasi Model

Untuk mengevaluasi kinerja model, kita dapat menggunakan metrik seperti Root Mean Squared Error (RMSE) dan Mean Absolute Error (MAE).

            
from surprise import accuracy

# Hitung RMSE dan MAE
accuracy.rmse(predictions)
accuracy.mae(predictions)

            

              
                Copy
              
            
          

Membuat Rekomendasi untuk Pengguna Tertentu

Untuk membuat rekomendasi untuk pengguna tertentu, kita dapat menggunakan metode algo.predict().

            
# Dapatkan ID pengguna
user_id = '196'

# Dapatkan ID item
item_id = '302'

# Prediksi peringkat
prediction = algo.predict(user_id, item_id)

# Cetak peringkat yang diprediksi
print(prediction.est)

            

              
                Copy
              
            
          

Ini akan memprediksi peringkat yang akan diberikan pengguna '196' ke item '302'.

Untuk merekomendasikan N item teratas untuk pengguna, Anda dapat melakukan iterasi melalui semua item yang belum diberi peringkat oleh pengguna dan memprediksi peringkatnya. Kemudian, Anda dapat mengurutkan item berdasarkan peringkat yang diprediksi dan memilih N item teratas.

            
from collections import defaultdict


def get_top_n_recommendations(predictions, n=10):
    """Kembalikan N rekomendasi teratas untuk setiap pengguna dari satu set prediksi."""

    # Pertama petakan prediksi ke setiap pengguna.
    top_n = defaultdict(list)
    for uid, iid, true_r, est, _ in predictions:
        top_n[uid].append((iid, est))

    # Kemudian urutkan prediksi untuk setiap pengguna dan ambil k yang tertinggi.
    for uid, user_ratings in top_n.items():
        user_ratings.sort(key=lambda x: x[1], reverse=True)
        top_n[uid] = user_ratings[:n]

    return top_n


top_n = get_top_n_recommendations(predictions, n=10)

# Cetak item yang direkomendasikan untuk setiap pengguna
for uid, user_ratings in top_n.items():
    print(uid, [iid for (iid, _) in user_ratings])

            

              
                Copy
              
            
          

Mengoptimalkan Mesin Rekomendasi

Ada beberapa cara untuk mengoptimalkan kinerja mesin rekomendasi:

Penyetelan Hyperparameter

Sebagian besar algoritma faktorisasi matriks memiliki hyperparameter yang dapat disetel untuk meningkatkan kinerja. Misalnya, algoritma SVD memiliki hyperparameter seperti jumlah faktor (n_factors) dan tingkat pembelajaran (lr_all). Anda dapat menggunakan teknik seperti pencarian grid atau pencarian acak untuk menemukan hyperparameter yang optimal.

            
from surprise.model_selection import GridSearchCV

# Tentukan parameter yang akan disetel
param_grid = {
    'n_factors': [50, 100, 150],
    'lr_all': [0.002, 0.005, 0.01],
    'reg_all': [0.02, 0.05, 0.1]
}

# Lakukan pencarian grid
gs = GridSearchCV(SVD, param_grid, measures=['rmse', 'mae'], cv=3)
gs.fit(data)

# Cetak parameter terbaik
print(gs.best_params['rmse'])

# Cetak skor terbaik
print(gs.best_score['rmse'])

            

              
                Copy
              
            
          

Regularisasi

Regularisasi adalah teknik yang digunakan untuk mencegah overfitting. Overfitting terjadi ketika model mempelajari data pelatihan terlalu baik dan berkinerja buruk pada data yang tidak terlihat. Teknik regularisasi umum termasuk regularisasi L1 dan regularisasi L2. Pustaka Surprise menyediakan dukungan bawaan untuk regularisasi.

Menangani Masalah Cold Start

Masalah cold start terjadi ketika sistem memiliki informasi terbatas atau tidak ada tentang pengguna baru atau item baru. Ini dapat mempersulit pemberian rekomendasi yang akurat. Ada beberapa teknik untuk mengatasi masalah cold start:

• Penyaringan Berbasis Konten: Gunakan penyaringan berbasis konten untuk merekomendasikan item berdasarkan fiturnya, bahkan jika pengguna belum berinteraksi dengannya sebelumnya.
• Pendekatan Hibrida: Gabungkan penyaringan kolaboratif dengan penyaringan berbasis konten untuk memanfaatkan kekuatan keduanya.
• Rekomendasi Berbasis Pengetahuan: Gunakan pengetahuan eksplisit tentang pengguna dan item untuk membuat rekomendasi.
• Rekomendasi Berbasis Popularitas: Rekomendasikan item yang paling populer kepada pengguna baru.

Skalabilitas

Untuk dataset besar, faktorisasi matriks dapat menjadi mahal secara komputasi. Ada beberapa teknik untuk meningkatkan skalabilitas faktorisasi matriks:

• Komputasi Terdistribusi: Gunakan kerangka kerja komputasi terdistribusi seperti Apache Spark untuk memparalelkan komputasi.
• Sampling: Gunakan teknik sampling untuk mengurangi ukuran dataset.
• Algoritma Aproksimasi: Gunakan algoritma aproksimasi untuk mengurangi kompleksitas komputasi.

Aplikasi Dunia Nyata dan Pertimbangan Global

Mesin rekomendasi faktorisasi matriks digunakan dalam berbagai industri dan aplikasi. Berikut adalah beberapa contoh:

• E-commerce: Merekomendasikan produk kepada pengguna berdasarkan pembelian dan riwayat penjelajahan mereka di masa lalu. Misalnya, seorang pengguna di Jerman yang membeli peralatan hiking mungkin direkomendasikan pakaian yang sesuai, peta jalur lokal, atau buku yang relevan.
• Media dan Hiburan: Merekomendasikan film, acara TV, dan musik kepada pengguna berdasarkan kebiasaan menonton dan mendengarkan mereka. Seorang pengguna di Jepang yang menikmati anime mungkin direkomendasikan seri baru, genre serupa, atau merchandise terkait.
• Media Sosial: Merekomendasikan teman, grup, dan konten kepada pengguna berdasarkan minat dan koneksi sosial mereka. Seorang pengguna di Brasil yang tertarik dengan sepak bola mungkin direkomendasikan klub sepak bola lokal, artikel berita terkait, atau grup penggemar.
• Pendidikan: Merekomendasikan kursus dan materi pembelajaran kepada siswa berdasarkan tujuan pembelajaran dan kinerja akademik mereka. Seorang siswa di India yang belajar ilmu komputer mungkin direkomendasikan kursus online, buku teks, atau makalah penelitian.
• Perjalanan dan Pariwisata: Merekomendasikan tujuan, hotel, dan aktivitas kepada wisatawan berdasarkan preferensi dan riwayat perjalanan mereka. Seorang turis dari AS yang merencanakan perjalanan ke Italia mungkin direkomendasikan landmark populer, restoran, atau acara lokal.

Pertimbangan Global

Saat membangun mesin rekomendasi untuk audiens global, penting untuk mempertimbangkan faktor-faktor berikut:

• Perbedaan Budaya: Preferensi pengguna dapat sangat bervariasi di berbagai budaya. Penting untuk memahami perbedaan ini dan menyesuaikan rekomendasi yang sesuai. Misalnya, rekomendasi diet untuk pengguna di AS mungkin berbeda dari rekomendasi untuk pengguna di Tiongkok.
• Dukungan Bahasa: Mesin rekomendasi harus mendukung banyak bahasa untuk melayani pengguna dari berbagai latar belakang linguistik.
• Privasi Data: Penting untuk mematuhi peraturan privasi data di berbagai negara. Misalnya, Peraturan Perlindungan Data Umum (GDPR) di Uni Eropa mengharuskan organisasi untuk mendapatkan persetujuan eksplisit dari pengguna sebelum mengumpulkan dan memproses data pribadi mereka.
• Zona Waktu: Pertimbangkan zona waktu yang berbeda saat menjadwalkan rekomendasi dan mengirim pemberitahuan.
• Aksesibilitas: Pastikan bahwa mesin rekomendasi dapat diakses oleh pengguna dengan disabilitas.

Kesimpulan

Faktorisasi Matriks adalah teknik ampuh untuk membangun mesin rekomendasi. Dengan memahami prinsip-prinsip yang mendasari dan menggunakan pustaka Python seperti Surprise, Anda dapat membangun sistem rekomendasi yang efektif yang mempersonalisasi pengalaman pengguna dan mendorong keterlibatan. Ingatlah untuk mempertimbangkan faktor-faktor seperti penyetelan hyperparameter, regularisasi, penanganan masalah cold start, dan skalabilitas untuk mengoptimalkan kinerja mesin rekomendasi Anda. Untuk aplikasi global, perhatikan perbedaan budaya, dukungan bahasa, privasi data, zona waktu, dan aksesibilitas untuk memastikan pengalaman pengguna yang positif bagi semua.

Eksplorasi Lebih Lanjut

• Dokumentasi Pustaka Surprise: http://surpriselib.com/
• Dataset MovieLens: https://grouplens.org/datasets/movielens/
• Teknik Faktorisasi Matriks: Teliti berbagai variasi dan optimasi Faktorisasi Matriks untuk penyaringan kolaboratif.