Data, fitur, dan overfitting
Bagian 2 · Fondasi machine learning
| Istilah | Arti |
|---|---|
| underfitting | Kondisi ketika model terlalu sederhana sehingga gagal menangkap pola dasar data dan berkinerja buruk di data latih maupun data uji. |
| overfitting | Kondisi ketika model menghafal data latih beserta noise-nya sehingga sangat bagus di data latih tetapi buruk di data uji. |
| generalization | Kemampuan model memberi prediksi yang baik pada data baru yang belum pernah dilihat, bukan hanya pada data latih. |
| features | Variabel masukan yang dipakai model untuk memprediksi target, digambarkan di video pada sumbu x grafik. |
| training data | Data yang dipakai untuk melatih model, tempat model overfit tampak sempurna tetapi menyesatkan. |
| test data | Data terpisah yang tidak dipakai saat pelatihan, untuk menguji seberapa baik model bekerja pada contoh baru. |
| training error | Besarnya kesalahan prediksi model pada data latih, yang tinggi saat underfitting dan sangat rendah saat overfitting. |
| validation error | Besarnya kesalahan model pada data validasi, yang tinggi baik saat underfitting maupun overfitting. |
| bias | Kesalahan akibat model terlalu sederhana untuk menangkap pola sebenarnya, tinggi pada kondisi underfitting. |
| variance | Kepekaan model terhadap perubahan kecil pada data latih, tinggi pada kondisi overfitting sehingga hasilnya tidak stabil. |
| regularization | Teknik memberi batasan pada model, misalnya L1, L2, atau elastic net, agar tidak mempelajari noise pada data latih. |
| cross validation | Cara menguji model dengan membagi data ke beberapa lipatan bergantian, misalnya lima lipatan, agar perkiraan kinerjanya lebih andal. |
| early stopping | Teknik menghentikan pelatihan ketika kinerja pada data validasi mulai memburuk, untuk mencegah overfitting. |
| feature selection | Proses membuang fitur yang tidak relevan atau berisik agar model tidak ikut mempelajari noise, misalnya memakai SelectKBest. |
| learning curves | Grafik yang memperlihatkan perubahan training error dan validation error seiring bertambahnya jumlah data latih, untuk mendiagnosis masalah model. |
Video dari Codelucky ini menjelaskan dua masalah generalisasi model dalam machine learning, yaitu underfitting dan overfitting. Underfitting terjadi ketika model terlalu sederhana sehingga gagal menangkap pola dasar data, ditandai bias tinggi dan variansi rendah, serta berkinerja buruk di data latih maupun data uji. Overfitting terjadi ketika model mempelajari data latih terlalu baik, termasuk noise dan fluktuasi acak, sehingga bias rendah, variansi tinggi, dan sempurna di data latih tetapi buruk di data uji. Dengan kata lain, model menghafal alih-alih belajar menggeneralisasi. Topik ini penting karena tujuan utama membangun model adalah memberi prediksi yang andal pada data baru, bukan sekadar cocok dengan data yang sudah dilihat.
Video memakai grafik dengan fitur di sumbu x dan target di sumbu y, garis hijau sebagai pola sebenarnya, garis merah sebagai model underfit, dan garis kuning sebagai model overfit. Cara mendeteksinya: underfitting punya training error dan validation error yang sama-sama tinggi dengan selisih kecil, sedangkan overfitting punya training error sangat rendah tetapi validation error tinggi. Learning curves membantu melihat kedua kondisi ini. Solusi underfitting meliputi menambah kompleksitas lewat fitur polinomial berderajat dua, feature engineering, mengurangi regularization seperti Ridge dengan alpha 0,01, dan beralih ke random forest. Solusi overfitting meliputi regularisasi L1, L2, atau elastic net, cross validation lima lipatan, feature selection dengan SelectKBest, dan early stopping. Pesan penutupnya adalah mulai dari model sederhana dan tambah kompleksitas secara bertahap.
Kata kunci
- underfitting
- overfitting
- regularization
- cross validation
- Membedakan underfitting (model terlalu sederhana, error tinggi di data latih dan data uji) dari overfitting (model menghafal noise sehingga bagus di data latih tetapi buruk di data uji).
- Mendeteksi masalah dengan membandingkan training error dan validation error serta membaca learning curves.
- Menerapkan solusi: menambah fitur atau kompleksitas untuk underfitting, serta regularization, cross validation, early stopping, dan feature selection untuk overfitting.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.