| Istilah | Arti |
|---|---|
| SFT | Supervised fine-tuning, yaitu melatih model dengan contoh jawaban benar agar ia meniru pola yang diinginkan. |
| distillation | Melatih model kecil dengan jejak penalaran dari model besar, yang oleh pembicara dipakai sebagai pemanasan sebelum RL. |
| rollouts | Satu percobaan lengkap ketika model menjalankan sebuah tugas dari awal sampai akhir, yang hasilnya dinilai untuk melatih model. |
| catastrophic forgetting | Kondisi ketika model melupakan pengetahuan lama setelah dilatih ulang dengan data baru, yang menjadi masalah utama pada continual learning. |
| continual learning | Pembaruan bobot model secara terus-menerus dari data pemakaian, bukan hanya sekali latih, yang menjadi pokok bahasan video ini. |
| Qwen3 | Nama model kecil yang dipakai pembicara sebagai contoh untuk menjelaskan bagaimana SFT dan RL mengubah perilaku sebuah model. |
| post-training | Tahap pelatihan lanjutan setelah pre-training yang mencakup SFT dan RL, dan menentukan perilaku akhir sebuah model. |
| traces | Catatan langkah dan penalaran agen saat mengerjakan tugas, yang dikumpulkan untuk menemukan kesalahan dan membuat data latih. |
| reward | Skor yang diberikan pada hasil kerja model dalam RL, sehingga model tahu mana jawaban yang baik dan mana yang buruk. |
| self distillation | Teknik ketika model belajar dari versinya sendiri yang diberi petunjuk tambahan, dan pembicara menyebutnya sulit dibuat stabil. |
| penalty | Hukuman tambahan dalam RL, misalnya penalti efisiensi, yang menurut pembicara tidak cukup membuat model mengingat fakta baru. |
| environments | Lingkungan tempat model dilatih dengan RL untuk menyelesaikan tugas, biasanya dilengkapi fungsi reward untuk menilai hasilnya. |
Video LangChain ini membahas mengapa continual learning, yaitu memperbarui bobot model terus-menerus dari data pemakaian, belum benar-benar terpecahkan. Pembicara menggambarkan sebuah loop: agen menjalankan tugas, traces dikumpulkan, hasilnya dinilai lewat eval atau environment dengan reward, lalu model dilatih dan dirilis. Menurutnya, bagian melatih ulang itu masih sangat sulit dan selalu punya trade-off. Inti argumennya, SFT tidak cukup jika diulang terus karena model melupakan pengetahuan lama, dan RL juga tidak cukup karena model hanya bisa belajar dari hal yang sudah mungkin ia hasilkan. Ia menambahkan bahwa perusahaan besar sudah menjalankan loop yang sama, hanya dengan ritme yang lebih lambat, sehingga pertanyaan bagi tim post-training adalah seberapa besar porsi SFT atau distillation dibanding RL.
Bagian konkretnya menjelaskan SFT sebagai proses off-policy dengan sinyal yang padat, karena model belajar dari jawaban model lain, sedangkan RL bersifat on-policy dan hanya memperbaiki hal yang bisa diambil sampelnya oleh model. Pembicara memakai contoh Qwen3 4B yang bisa dilatih meniru model besar, tetapi akan kesulitan saat menemui kesalahan yang tidak pernah ada di data latihnya. Ia meyakini lab open source memakai distillation sebagai pemanasan sebelum RL, tetapi hasil percobaan timnya menunjukkan model yang hanya didistillation bisa berhenti di performa lebih rendah daripada model yang di-RL sejak awal, terutama pada tugas matematika. Pada pelatihan berulang, SFT menyebabkan catastrophic forgetting dan penurunan kemampuan umum, sedangkan RL lebih stabil karena punya implicit KL penalty. Kelemahannya, RL sulit menanamkan fakta baru. Usulan self distillation yang dicoba ECHO dan Cursor Composer juga sulit dibuat stabil karena memperkenalkan bias.
Kata kunci
- SFT
- distillation
- continual learning
- catastrophic forgetting
- Memahami loop continual learning untuk memiliki intelligence sendiri dengan memperbarui bobot model lewat post-training.
- Membandingkan SFT, distillation, dan RL, termasuk kegagalan SFT saat model tidak pernah melihat cara kembali ke jalur penalaran yang benar.
- Mengenali catastrophic forgetting dan pentingnya menentukan rasio SFT/distillation terhadap RL untuk tugas LLM atau agen.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.