| Istilah | Arti |
|---|---|
| continual learning | Pembelajaran berkelanjutan, yaitu model AI terus diperbarui dari pengalaman baru tanpa harus dilatih ulang dari nol. |
| eval | Evaluasi terukur untuk menilai apakah model atau agen bekerja benar, yang menurut Will harus menggantikan vibe check. |
| distillation | Teknik melatih model kecil agar meniru perilaku model yang lebih besar, sehingga hasilnya lebih murah dan lebih cepat. |
| vibe check | Pengecekan berdasarkan perasaan, yaitu mencoba model lalu menilai hasilnya tanpa ukuran yang jelas dan bisa diulang. |
| life cycle | Siklus hidup, yaitu tahapan dari spesifikasi, pelatihan, rilis, pemantauan, sampai perbaikan berulang pada model atau perangkat lunak. |
| prompt optimization | Proses memperbaiki instruksi atau prompt secara sistematis dengan mengukur hasilnya terhadap evaluasi yang sudah disepakati. |
| RL environment | Lingkungan simulasi tempat model belajar lewat reinforcement learning, dan menurut Will idealnya dibuat mirip kondisi produksi. |
| cost latency | Biaya dan waktu respons, dua faktor yang harus diseimbangkan bersama performa saat memilih model atau merancang agen. |
| teacher | Model besar yang dipakai sebagai contoh untuk melatih model kecil dalam proses distilasi, dan sering disebut model guru. |
| metrics | Ukuran angka yang dipantau untuk menilai kinerja sistem, seperti tingkat keberhasilan, waktu respons, atau tingkat pengulangan. |
| GitHub actions | Layanan otomasi bawaan GitHub untuk menjalankan alur kerja seperti pengujian dan rilis setiap ada perubahan kode, yang menurut Will kadang lambat. |
| pre-training | Tahap awal melatih model dari data yang sangat besar untuk membangun kemampuan umum sebelum penyempurnaan lanjutan. |
Video ini memuat ceramah Will Brown, yang memimpin riset terapan di Prime Intellect, dengan argumen bahwa versi continual learning yang membosankan justru akan menjadi masa depan. Maksudnya, pembelajaran berkelanjutan pada model AI akan menjadi hal yang biasa, seperti perangkat lunak yang kini murah dan rutin diperbarui, bukan gambaran dramatis tentang AI yang melatih dirinya sendiri tanpa manusia. Will menyoroti cara orang memakai agen AI di terminal, yang sering dinilai hanya dengan vibe check, yaitu perasaan puas atau kesal saat mencobanya. Ia berpendapat bahwa produk agen yang serius harus memakai evaluasi, versi, rilis, dan rollback seperti perangkat lunak biasa, agar regresi bisa terdeteksi sebelum pengguna mengeluh.
Bagian konkret video ini membahas pilihan teknik. Will menyebut SFT, distilasi on-policy dari model guru yang satu keluarga, dan context distillation secara offline sebagai cara yang ia sarankan sebelum mencoba OPSD, karena OPSD sering tidak bekerja seperti yang dibayangkan. Untuk model yang bergantung pada retrieval dan tool, ia menilai RL sebagai cara paling andal, misalnya untuk pemilihan model atau penyesuaian harness. Ia juga menggambarkan perusahaan sebagai lingkungan RL dengan dev dan prod yang terpisah. Soal membeli, memakai open source, atau membuat model sendiri, ia membandingkannya dengan quantitative finance, yang disebutnya memiliki jutaan model. Penutupnya, siklus hidup model sama dengan siklus pengembangan perangkat lunak, dan post-training masih terasa sulit seperti CI/CD manual di awal.
Kata kunci
- continual learning
- vibe check
- prompt optimization
- distillation
- Memahami argumen bahwa continual learning akan terasa membosankan karena ia menjadi siklus hidup pengembangan perangkat lunak untuk model.
- Menelusuri kematangan penggunaan model: dari vibe check ke eval, prompt optimization, memikirkan cost dan latency, sampai mengubah data produk menjadi RL environment.
- Mengenali teknik distillation dan pre-training dalam siklus itu.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.