Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Stanford CS329A Self-Improving AI Agents | Part 2 | Test-Time Compute Scaling
| Istilah | Arti |
|---|---|
| inference scaling | Cara menaikkan kualitas jawaban model saat dipakai dengan menambah komputasi di tahap inferensi, tanpa mengubah parameter atau melakukan fine-tuning. |
| repeated sampling | Teknik meminta model menjawab soal yang sama berkali-kali, lalu memilih jawaban terbaik dari kumpulan hasil tersebut. |
| majority voting | Cara memilih jawaban yang paling sering muncul di antara banyak sampel, dan di video ini hasilnya mendatar setelah sekitar 10 sampai 50 sampel. |
| coverage | Persentase soal yang setidaknya satu dari banyak jawaban model sudah benar, dipakai untuk mengukur potensi model sebelum jawaban dipilih. |
| verifier | Pemeriksa yang menilai apakah sebuah jawaban benar, misalnya unit test, bukti formal, atau pembanding output, sehingga jawaban terbaik bisa dipilih otomatis. |
| process reward | Cara menilai kualitas solusi per langkah, bukan hanya hasil akhirnya, sehingga cabang penalaran yang keliru bisa dipangkas lebih awal. |
| PRM | Singkatan dari process reward model, yaitu model penilai yang memberi skor pada setiap langkah solusi dan dipakai untuk membimbing beam search di video ini. |
| unit test | Serangkaian pengujian kecil yang memeriksa apakah kode menghasilkan output yang benar, dan di video ini dipakai sebagai verifier untuk soal coding. |
| test time scaling | Istilah lain untuk inference scaling, yaitu menambah komputasi saat model menjawab agar hasilnya lebih baik tanpa melatih ulang model. |
| pre-training | Tahap awal melatih model dari data yang sangat besar, memakan banyak GPU dan waktu berbulan-bulan, dan dibandingkan dengan biaya inferensi di video ini. |
| fine-tuning | Tahap melatih lanjutan model yang sudah jadi dengan data yang jauh lebih kecil untuk menyesuaikan perilakunya pada tugas tertentu. |
| reward models | Model yang dilatih untuk memberi skor kualitas pada jawaban, dan dipakai sebagai alat seleksi dalam berbagai metode test-time scaling yang dibahas. |
Video ini adalah bagian kedua kuliah Stanford CS329A tentang agen AI yang memperbaiki dirinya sendiri, dan fokusnya adalah test-time compute scaling, atau inference scaling. Pertanyaan utamanya: setelah model selesai dilatih, bisakah kualitas jawabannya naik hanya dengan menambah komputasi saat model dipakai, tanpa mengubah parameter dan tanpa fine-tuning? Dosen menjawab bisa. Ini penting bagi penonton karena pelatihan awal model besar bisa memakan waktu berbulan-bulan dengan banyak GPU, sedangkan tahap inferensi bisa dijalankan terus-menerus untuk setiap masalah. Artinya, model yang lebih kecil atau terbuka pun bisa menjadi kuat jika cara memilih jawabannya tepat.
Isi konkretnya dimulai dari paper Large Language Monkeys. Model diminta menjawab soal yang sama berkali-kali, lalu sebuah verifier memilih jawaban yang benar. Menurut grafik di kuliah, DeepSeek-V3 dengan 1.000 sampel bisa menyelesaikan lebih banyak soal coding dan SWE-bench dibanding Claude 3.5 dan o1-preview. Hubungan jumlah sampel dan cakupan soal mengikuti power law, karena ada ekor panjang soal sulit yang jarang terpecahkan. Verifier paling mudah ada pada bukti formal matematika, unit test untuk coding, dan perbandingan output CUDA dengan PyTorch. Jika tidak ada verifier, majority voting mendatar setelah 10 sampai 50 sampel dan jauh di bawah cakupan ideal. Untuk itu, process reward model atau PRM menilai tiap langkah, misalnya beam search dengan 4 sampel per langkah dan dua kandidat teratas dipertahankan. Di bagian akhir, Archon mencari kombinasi generasi, fusi, kritik, peringkat, dan unit test memakai Bayesian optimization. Menurut pembicara, hasilnya rata-rata sekitar 14,1 persen lebih tinggi dari GPT-4o dan Claude 3.5 Sonnet pada pass@1.
Kata kunci
- inference scaling
- majority voting
- verifier
- process reward
- Mengikuti kuliah tentang inference scaling: tiga tahap pengembangan LLM (pre-training, fine-tuning, inference) dan cara memakai lebih banyak compute saat inferensi.
- Membandingkan repeated sampling, majority voting, coverage, verifier, dan process reward model (PRM), serta unit test sebagai verifikasi.
- Melihat sistem yang memadukan banyak teknik dalam anggaran panggilan inferensi dan hasil lebih baik pada tugas instruksi, penalaran, matematika, dan coding.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.