Penyesuaian Hiperparameter: Menguasai Optimisasi Bayesian

Dalam ranah pembelajaran mesin, performa sebuah model sering kali sangat dipengaruhi oleh hiperparameternya. Berbeda dengan parameter model yang dipelajari selama pelatihan, hiperparameter ditetapkan sebelum proses pelatihan dimulai. Menemukan konfigurasi hiperparameter yang optimal bisa menjadi tugas yang menantang dan memakan waktu. Di sinilah teknik penyesuaian hiperparameter berperan, dan di antaranya, Optimisasi Bayesian menonjol sebagai pendekatan yang kuat dan efisien. Artikel ini menyediakan panduan komprehensif untuk Optimisasi Bayesian, mencakup prinsip-prinsipnya, keunggulan, implementasi praktis, dan teknik-teknik canggih.

Apa itu Hiperparameter?

Hiperparameter adalah parameter yang tidak dipelajari dari data selama proses pelatihan. Mereka mengontrol proses pembelajaran itu sendiri, memengaruhi kompleksitas model, tingkat pembelajaran, dan perilaku secara keseluruhan. Contoh hiperparameter meliputi:

• Tingkat Pembelajaran (Learning Rate): Mengontrol ukuran langkah selama penurunan gradien (gradient descent) dalam jaringan saraf.
• Jumlah Lapisan/Neuron: Mendefinisikan arsitektur jaringan saraf.
• Kekuatan Regularisasi: Mengontrol kompleksitas model untuk mencegah overfitting.
• Parameter Kernel: Mendefinisikan fungsi kernel dalam Support Vector Machines (SVMs).
• Jumlah Pohon (Trees): Menentukan jumlah pohon keputusan dalam Random Forest.

Menemukan kombinasi hiperparameter yang tepat dapat secara signifikan meningkatkan performa model, yang mengarah pada akurasi, generalisasi, dan efisiensi yang lebih baik.

Tantangan dalam Penyesuaian Hiperparameter

Mengoptimalkan hiperparameter bukanlah tugas yang sepele karena beberapa tantangan:

• Ruang Pencarian Berdimensi Tinggi: Ruang kombinasi hiperparameter yang mungkin bisa sangat luas, terutama untuk model dengan banyak hiperparameter.
• Optimisasi Non-Cembung (Non-Convex): Hubungan antara hiperparameter dan performa model seringkali non-cembung, sehingga sulit untuk menemukan optimum global.
• Evaluasi yang Mahal: Mengevaluasi sebuah konfigurasi hiperparameter memerlukan pelatihan dan validasi model, yang bisa sangat mahal secara komputasi, terutama untuk model yang kompleks dan dataset yang besar.
• Evaluasi yang Bising (Noisy): Performa model dapat dipengaruhi oleh faktor acak seperti pengambilan sampel data dan inisialisasi, yang mengarah pada evaluasi konfigurasi hiperparameter yang bising.

Metode tradisional seperti Grid Search dan Random Search seringkali tidak efisien dan memakan waktu, terutama saat berhadapan dengan ruang pencarian berdimensi tinggi dan evaluasi yang mahal.

Pengenalan Optimisasi Bayesian

Optimisasi Bayesian adalah teknik optimisasi berbasis model probabilistik yang bertujuan untuk secara efisien menemukan optimum global dari suatu fungsi objektif, bahkan ketika fungsi tersebut non-cembung, bising, dan mahal untuk dievaluasi. Teknik ini memanfaatkan teorema Bayes untuk memperbarui keyakinan awal (prior) tentang fungsi objektif dengan data yang diamati, menciptakan distribusi posterior yang digunakan untuk memandu pencarian konfigurasi hiperparameter yang optimal.

Konsep-Konsep Kunci

• Model Surogat: Model probabilistik (biasanya Proses Gaussian) yang mendekati fungsi objektif. Model ini menyediakan distribusi atas nilai-nilai fungsi yang mungkin di setiap titik dalam ruang pencarian, memungkinkan kita untuk mengukur ketidakpastian tentang perilaku fungsi.
• Fungsi Akuisisi: Fungsi yang memandu pencarian untuk konfigurasi hiperparameter berikutnya yang akan dievaluasi. Fungsi ini menyeimbangkan eksplorasi (mencari di wilayah ruang pencarian yang belum dijelajahi) dan eksploitasi (berfokus pada wilayah dengan potensi tinggi).
• Teorema Bayes: Digunakan untuk memperbarui model surogat dengan data yang diamati. Teorema ini menggabungkan keyakinan awal tentang fungsi objektif dengan informasi kemungkinan (likelihood) dari data untuk menghasilkan distribusi posterior.

Proses Optimisasi Bayesian

Proses Optimisasi Bayesian dapat diringkas sebagai berikut:

1. Inisialisasi: Evaluasi fungsi objektif pada beberapa konfigurasi hiperparameter yang dipilih secara acak.
2. Bangun Model Surogat: Sesuaikan model surogat (misalnya, Proses Gaussian) dengan data yang diamati.
3. Optimalkan Fungsi Akuisisi: Gunakan model surogat untuk mengoptimalkan fungsi akuisisi, yang menyarankan konfigurasi hiperparameter berikutnya untuk dievaluasi.
4. Evaluasi Fungsi Objektif: Evaluasi fungsi objektif pada konfigurasi hiperparameter yang disarankan.
5. Perbarui Model Surogat: Perbarui model surogat dengan pengamatan baru.
6. Ulangi: Ulangi langkah 3-5 hingga kriteria penghentian terpenuhi (misalnya, jumlah iterasi maksimum, target performa tercapai).

Memahami Proses Gaussian (GP)

Proses Gaussian adalah alat yang kuat untuk memodelkan fungsi dan mengukur ketidakpastian. Mereka sering digunakan sebagai model surogat dalam Optimisasi Bayesian karena kemampuannya untuk menyediakan distribusi atas nilai-nilai fungsi yang mungkin di setiap titik dalam ruang pencarian.

Properti Kunci dari Proses Gaussian

• Distribusi atas Fungsi: Sebuah Proses Gaussian mendefinisikan distribusi probabilitas atas fungsi-fungsi yang mungkin.
• Didefinisikan oleh Rata-Rata dan Kovariansi: Sebuah Proses Gaussian sepenuhnya ditentukan oleh fungsi rata-rata m(x) dan fungsi kovariansi k(x, x'). Fungsi rata-rata merepresentasikan nilai yang diharapkan dari fungsi di setiap titik, sementara fungsi kovariansi menggambarkan korelasi antara nilai-nilai fungsi di titik-titik yang berbeda.
• Fungsi Kernel: Fungsi kovariansi, juga dikenal sebagai fungsi kernel, menentukan kehalusan dan bentuk fungsi yang diambil sampelnya dari Proses Gaussian. Fungsi kernel yang umum termasuk kernel Radial Basis Function (RBF), kernel Matérn, dan kernel Linear.
• Inferensi Posterior: Dengan data yang diamati, sebuah Proses Gaussian dapat diperbarui menggunakan teorema Bayes untuk mendapatkan distribusi posterior atas fungsi. Distribusi posterior ini merepresentasikan keyakinan kita yang diperbarui tentang perilaku fungsi setelah mengamati data.

Bagaimana Proses Gaussian Digunakan dalam Optimisasi Bayesian

Dalam Optimisasi Bayesian, Proses Gaussian digunakan untuk memodelkan fungsi objektif. GP menyediakan distribusi atas nilai-nilai fungsi yang mungkin di setiap konfigurasi hiperparameter, memungkinkan kita untuk mengukur ketidakpastian kita tentang perilaku fungsi. Ketidakpastian ini kemudian digunakan oleh fungsi akuisisi untuk memandu pencarian konfigurasi hiperparameter yang optimal.

Sebagai contoh, bayangkan Anda sedang menyesuaikan tingkat pembelajaran (learning rate) dari sebuah jaringan saraf. Proses Gaussian akan memodelkan hubungan antara tingkat pembelajaran dan akurasi validasi jaringan. Ini akan menyediakan distribusi atas akurasi validasi yang mungkin untuk setiap tingkat pembelajaran, memungkinkan Anda untuk menilai potensi dari tingkat pembelajaran yang berbeda dan memandu pencarian Anda untuk nilai yang optimal.

Fungsi Akuisisi: Menyeimbangkan Eksplorasi dan Eksploitasi

Fungsi akuisisi memainkan peran penting dalam Optimisasi Bayesian dengan memandu pencarian untuk konfigurasi hiperparameter berikutnya yang akan dievaluasi. Fungsi ini menyeimbangkan eksplorasi (mencari di wilayah ruang pencarian yang belum dijelajahi) dan eksploitasi (berfokus pada wilayah dengan potensi tinggi). Beberapa fungsi akuisisi yang umum digunakan dalam Optimisasi Bayesian adalah:

• Probabilitas Peningkatan (Probability of Improvement - PI): Probabilitas bahwa nilai fungsi objektif pada konfigurasi hiperparameter tertentu lebih baik daripada nilai terbaik yang diamati sejauh ini. PI lebih menyukai eksploitasi dengan berfokus pada wilayah dengan potensi tinggi.
• Peningkatan yang Diharapkan (Expected Improvement - EI): Jumlah yang diharapkan dari peningkatan nilai fungsi objektif pada konfigurasi hiperparameter tertentu dibandingkan dengan nilai terbaik yang diamati sejauh ini. EI memberikan pendekatan yang lebih seimbang antara eksplorasi dan eksploitasi dibandingkan dengan PI.
• Batas Kepercayaan Atas (Upper Confidence Bound - UCB): Fungsi akuisisi yang menggabungkan rata-rata prediksi dari fungsi objektif dengan batas kepercayaan atas berdasarkan ketidakpastian dari model surogat. UCB lebih menyukai eksplorasi dengan memprioritaskan wilayah dengan ketidakpastian tinggi.

Memilih Fungsi Akuisisi yang Tepat

Pilihan fungsi akuisisi tergantung pada masalah spesifik dan keseimbangan yang diinginkan antara eksplorasi dan eksploitasi. Jika fungsi objektif relatif mulus dan berperilaku baik, fungsi akuisisi yang lebih menyukai eksploitasi (misalnya, PI) mungkin cocok. Namun, jika fungsi objektif sangat non-cembung atau bising, fungsi akuisisi yang lebih menyukai eksplorasi (misalnya, UCB) mungkin lebih efektif.

Contoh: Bayangkan Anda sedang mengoptimalkan hiperparameter model deep learning untuk klasifikasi gambar. Jika Anda memiliki perkiraan awal yang baik tentang konfigurasi hiperparameter yang optimal, Anda mungkin memilih fungsi akuisisi seperti Peningkatan yang Diharapkan (EI) untuk menyempurnakan model dan mencapai performa terbaik. Di sisi lain, jika Anda tidak yakin tentang konfigurasi yang optimal, Anda mungkin memilih fungsi akuisisi seperti Batas Kepercayaan Atas (UCB) untuk menjelajahi berbagai wilayah ruang hiperparameter dan menemukan solusi yang berpotensi lebih baik.

Implementasi Praktis Optimisasi Bayesian

Beberapa pustaka dan kerangka kerja tersedia untuk mengimplementasikan Optimisasi Bayesian dengan Python, termasuk:

• Scikit-optimize (skopt): Pustaka Python populer yang menyediakan berbagai macam algoritma Optimisasi Bayesian dan fungsi akuisisi. Pustaka ini kompatibel dengan Scikit-learn dan pustaka pembelajaran mesin lainnya.
• GPyOpt: Pustaka Optimisasi Bayesian yang berfokus pada model Proses Gaussian dan menawarkan fitur-fitur canggih seperti optimisasi multi-objektif dan optimisasi dengan kendala.
• BayesianOptimization: Pustaka Optimisasi Bayesian yang sederhana dan mudah digunakan, cocok untuk pemula.

Contoh menggunakan Scikit-optimize (skopt)

Berikut adalah contoh cara menggunakan Scikit-optimize untuk mengoptimalkan hiperparameter dari sebuah pengklasifikasi Support Vector Machine (SVM):

```python from skopt import BayesSearchCV from sklearn.svm import SVC from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # Muat dataset Iris iris = load_iris() X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42) # Definisikan ruang pencarian hiperparameter param_space = { 'C': (1e-6, 1e+6, 'log-uniform'), 'gamma': (1e-6, 1e+1, 'log-uniform'), 'kernel': ['rbf'] } # Definisikan model model = SVC() # Definisikan pencarian Optimisasi Bayesian opt = BayesSearchCV( model, param_space, n_iter=50, # Jumlah iterasi cv=3 # Lipatan validasi silang ) # Jalankan optimisasi opt.fit(X_train, y_train) # Cetak parameter dan skor terbaik print("Parameter terbaik: %s" % opt.best_params_) print("Skor terbaik: %s" % opt.best_score_) # Evaluasi model pada set pengujian accuracy = opt.score(X_test, y_test) print("Akurasi pengujian: %s" % accuracy) ```

Contoh ini menunjukkan cara menggunakan Scikit-optimize untuk mendefinisikan ruang pencarian hiperparameter, mendefinisikan model, dan menjalankan pencarian Optimisasi Bayesian. Kelas `BayesSearchCV` secara otomatis menangani pemodelan Proses Gaussian dan optimisasi fungsi akuisisi. Kode ini menggunakan distribusi log-uniform untuk parameter `C` dan `gamma`, yang sering kali cocok untuk parameter yang dapat bervariasi dalam beberapa urutan besarnya. Parameter `n_iter` mengontrol jumlah iterasi, yang menentukan jumlah eksplorasi yang dilakukan. Parameter `cv` menentukan jumlah lipatan validasi silang yang digunakan untuk mengevaluasi setiap konfigurasi hiperparameter.

Teknik-Teknik Lanjutan dalam Optimisasi Bayesian

Beberapa teknik canggih dapat lebih meningkatkan performa Optimisasi Bayesian:

• Optimisasi Multi-Objektif: Mengoptimalkan beberapa tujuan secara bersamaan (misalnya, akurasi dan waktu pelatihan).
• Optimisasi dengan Kendala: Mengoptimalkan fungsi objektif dengan tunduk pada kendala pada hiperparameter (misalnya, kendala anggaran, kendala keamanan).
• Optimisasi Bayesian Paralel: Mengevaluasi beberapa konfigurasi hiperparameter secara paralel untuk mempercepat proses optimisasi.
• Transfer Learning: Memanfaatkan pengetahuan dari proses optimisasi sebelumnya untuk mempercepat proses optimisasi untuk masalah baru.
• Optimisasi Berbasis Bandit: Menggabungkan Optimisasi Bayesian dengan algoritma bandit untuk menjelajahi ruang hiperparameter secara efisien.

Contoh: Optimisasi Bayesian Paralel

Optimisasi Bayesian Paralel dapat secara signifikan mengurangi waktu yang dibutuhkan untuk penyesuaian hiperparameter, terutama ketika evaluasi konfigurasi hiperparameter mahal secara komputasi. Banyak pustaka menawarkan dukungan bawaan untuk paralelisasi, atau Anda dapat mengimplementasikannya secara manual menggunakan pustaka seperti `concurrent.futures` di Python.

Ide kuncinya adalah untuk mengevaluasi beberapa konfigurasi hiperparameter yang disarankan oleh fungsi akuisisi secara bersamaan. Hal ini memerlukan manajemen yang cermat dari model surogat dan fungsi akuisisi untuk memastikan bahwa evaluasi paralel digabungkan dengan benar ke dalam proses optimisasi.

Contoh: Optimisasi Bayesian dengan Kendala

Dalam banyak skenario dunia nyata, penyesuaian hiperparameter tunduk pada kendala. Misalnya, Anda mungkin memiliki anggaran terbatas untuk melatih model, atau Anda mungkin perlu memastikan bahwa model memenuhi persyaratan keamanan tertentu.

Teknik Optimisasi Bayesian dengan kendala dapat digunakan untuk mengoptimalkan fungsi objektif sambil memenuhi kendala-kendala ini. Teknik-teknik ini biasanya melibatkan penggabungan kendala ke dalam fungsi akuisisi atau model surogat.

Kelebihan dan Kekurangan Optimisasi Bayesian

Kelebihan

• Efisiensi: Optimisasi Bayesian biasanya memerlukan lebih sedikit evaluasi fungsi objektif dibandingkan dengan metode tradisional seperti Grid Search dan Random Search, membuatnya lebih efisien untuk mengoptimalkan fungsi yang mahal.
• Menangani Non-Cembung: Optimisasi Bayesian dapat menangani fungsi objektif non-cembung, yang umum dalam pembelajaran mesin.
• Mengukur Ketidakpastian: Optimisasi Bayesian memberikan ukuran ketidakpastian tentang fungsi objektif, yang dapat berguna untuk memahami proses optimisasi dan membuat keputusan yang terinformasi.
• Adaptif: Optimisasi Bayesian beradaptasi dengan bentuk fungsi objektif, berfokus pada wilayah yang menjanjikan dari ruang pencarian.

Kekurangan

• Kompleksitas: Optimisasi Bayesian bisa lebih kompleks untuk diimplementasikan dan dipahami dibandingkan dengan metode yang lebih sederhana seperti Grid Search dan Random Search.
• Biaya Komputasi: Biaya komputasi untuk membangun dan memperbarui model surogat bisa signifikan, terutama untuk ruang pencarian berdimensi tinggi.
• Sensitivitas terhadap Prior: Pilihan distribusi prior untuk model surogat dapat memengaruhi performa Optimisasi Bayesian.
• Skalabilitas: Optimisasi Bayesian bisa menjadi tantangan untuk diskalakan ke ruang pencarian yang berdimensi sangat tinggi.

Kapan Menggunakan Optimisasi Bayesian

Optimisasi Bayesian sangat cocok untuk skenario berikut:

• Evaluasi yang Mahal: Ketika mengevaluasi fungsi objektif mahal secara komputasi (misalnya, melatih model deep learning).
• Fungsi Objektif Non-Cembung: Ketika hubungan antara hiperparameter dan performa model bersifat non-cembung.
• Anggaran Terbatas: Ketika jumlah evaluasi terbatas karena kendala waktu atau sumber daya.
• Ruang Pencarian Berdimensi Tinggi: Ketika ruang pencarian berdimensi tinggi, dan metode tradisional seperti Grid Search dan Random Search tidak efisien.

Sebagai contoh, Optimisasi Bayesian sering digunakan untuk menyesuaikan hiperparameter model deep learning, seperti convolutional neural networks (CNNs) dan recurrent neural networks (RNNs), karena melatih model-model ini bisa sangat mahal secara komputasi dan ruang hiperparameternya bisa sangat luas.

Melampaui Penyesuaian Hiperparameter Tradisional: AutoML

Optimisasi Bayesian adalah komponen inti dari banyak sistem Automated Machine Learning (AutoML). AutoML bertujuan untuk mengotomatiskan seluruh alur kerja pembelajaran mesin, termasuk pra-pemrosesan data, rekayasa fitur, pemilihan model, dan penyesuaian hiperparameter. Dengan mengintegrasikan Optimisasi Bayesian dengan teknik lain, sistem AutoML dapat secara otomatis membangun dan mengoptimalkan model pembelajaran mesin untuk berbagai macam tugas.

Beberapa kerangka kerja AutoML yang tersedia, termasuk:

• Auto-sklearn: Kerangka kerja AutoML yang menggunakan Optimisasi Bayesian untuk mengoptimalkan seluruh alur kerja pembelajaran mesin, termasuk pemilihan model dan penyesuaian hiperparameter.
• TPOT: Kerangka kerja AutoML yang menggunakan pemrograman genetik untuk menemukan alur kerja pembelajaran mesin yang optimal.
• H2O AutoML: Platform AutoML yang menyediakan berbagai macam algoritma dan fitur untuk mengotomatiskan proses pembelajaran mesin.

Contoh dan Pertimbangan Global

Prinsip dan teknik Optimisasi Bayesian dapat diterapkan secara universal di berbagai wilayah dan industri. Namun, saat menerapkan Optimisasi Bayesian dalam konteks global, penting untuk mempertimbangkan faktor-faktor berikut:

• Keanekaragaman Data: Pastikan bahwa data yang digunakan untuk melatih dan memvalidasi model mewakili populasi global. Ini mungkin memerlukan pengumpulan data dari berbagai wilayah dan budaya.
• Pertimbangan Budaya: Waspadai perbedaan budaya saat menafsirkan hasil proses optimisasi. Misalnya, konfigurasi hiperparameter yang optimal dapat bervariasi tergantung pada konteks budaya.
• Kepatuhan terhadap Peraturan: Pastikan bahwa model mematuhi semua peraturan yang berlaku di berbagai wilayah. Misalnya, beberapa wilayah mungkin memiliki peraturan ketat mengenai privasi dan keamanan data.
• Infrastruktur Komputasi: Ketersediaan sumber daya komputasi dapat bervariasi di berbagai wilayah. Pertimbangkan untuk menggunakan platform berbasis cloud untuk menyediakan akses ke daya komputasi yang cukup untuk Optimisasi Bayesian.

Contoh: Sebuah perusahaan yang mengembangkan sistem deteksi penipuan global mungkin menggunakan Optimisasi Bayesian untuk menyesuaikan hiperparameter dari model pembelajaran mesin. Untuk memastikan bahwa model berkinerja baik di berbagai wilayah, perusahaan perlu mengumpulkan data dari berbagai negara dan budaya. Mereka juga perlu mempertimbangkan perbedaan budaya dalam pola pengeluaran dan perilaku penipuan. Lebih jauh lagi, mereka perlu mematuhi peraturan privasi data di setiap wilayah.

Kesimpulan

Optimisasi Bayesian adalah teknik yang kuat dan efisien untuk penyesuaian hiperparameter. Teknik ini menawarkan beberapa keunggulan dibandingkan metode tradisional seperti Grid Search dan Random Search, termasuk efisiensi, kemampuan untuk menangani non-cembung, dan kuantifikasi ketidakpastian. Dengan memahami prinsip dan teknik Optimisasi Bayesian, Anda dapat secara signifikan meningkatkan performa model pembelajaran mesin Anda dan mencapai hasil yang lebih baik dalam berbagai aplikasi. Bereksperimenlah dengan berbagai pustaka, fungsi akuisisi, dan teknik canggih untuk menemukan pendekatan terbaik untuk masalah spesifik Anda. Seiring dengan terus berkembangnya AutoML, Optimisasi Bayesian akan memainkan peran yang semakin penting dalam mengotomatiskan proses pembelajaran mesin dan membuatnya lebih mudah diakses oleh audiens yang lebih luas. Pertimbangkan implikasi global dari model Anda dan pastikan keandalan serta keadilannya di berbagai populasi dengan memasukkan data yang representatif dan mengatasi potensi bias.