Discriminative vs generative

Video ini menjelaskan dua cara berbeda untuk mengklasifikasikan titik data baru ke dalam salah satu dari dua kelas. Cara pertama mempelajari seperti apa bentuk setiap kelas secara utuh, sampai bisa menggambar titik baru yang tampak berasal dari kelas itu. Cara kedua mengabaikan semua itu dan hanya mencari letak garis pemisah di antara kelas. Pendekatan pertama disebut generative karena memodelkan seluruh dunia data, sedangkan pendekatan kedua disebut discriminative karena hanya menggambar batas. Keduanya sama-sama bisa mengklasifikasi, tetapi di baliknya mereka memecahkan masalah yang sangat berbeda, dan perbedaan itu menentukan perilaku masing-masing. Pemahaman ini penting bagi pembelajar machine learning karena membantu memilih model yang tepat sesuai jumlah data dan tujuan, misalnya apakah kita juga ingin menghasilkan data baru atau cukup memisahkan kelas dengan akurat.

Secara matematis, model discriminative mempelajari peluang bersyarat label terhadap fitur, sedangkan model generative mempelajari peluang gabungan fitur dan label. Dari peluang gabungan, peluang bersyarat bisa diperoleh dengan membaginya terhadap peluang fitur, dan model generative juga bisa membuat sampel data baru. Caranya adalah memodelkan sebaran setiap kelas beserta prior seberapa sering kelas itu muncul, lalu memakai aturan Bayes untuk memilih kelas dengan skor tertinggi; naive Bayes adalah contohnya. Di sisi lain, logistic regression memasukkan skor linear ke fungsi sigmoid dan menggeser batas sampai titik berlabel berada di sisi yang benar, tanpa pernah memodelkan bentuk kelas. Saat data sedikit, model generative unggul karena asumsinya kuat, tetapi errornya berhenti di level lebih tinggi. Dengan data cukup banyak, model discriminative menyusul dan bertahan di depan. Video menutup dengan catatan bahwa naive Bayes dan logistic regression menghasilkan bentuk logistik yang sama, jadi pilihannya soal filosofi.