Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Stanford CS329A Self-Improving AI Agents | Part 1 | Course Overview
| Istilah | Arti |
|---|---|
| self-improving AI agents | Agen AI yang bisa memperbaiki dirinya sendiri lewat umpan balik dan data hasil kerjanya, menjadi tema utama kursus ini. |
| reasoning models | Model AI yang berpikir panjang sebelum menjawab, seperti o1, dan lebih unggul pada tugas matematika serta pemrograman. |
| reward model | Model penilai yang meniru preferensi manusia untuk memberi skor pada jawaban, lalu dipakai membimbing pelatihan model utama. |
| verifiers | Pemeriksa otomatis yang memastikan jawaban benar, misalnya unit test untuk kode atau pengecekan hasil pada soal matematika. |
| fine tuning | Melatih ulang model yang sudah dilatih sebelumnya dengan data berkualitas lebih tinggi agar perilakunya lebih sesuai tujuan. |
| instruction tuning | Pelatihan memakai pasangan instruksi dan jawaban agar model belajar mengikuti perintah manusia, bukan sekadar melanjutkan teks. |
| traces | Jejak langkah berpikir model yang ditulis berurutan, yang bisa dipakai untuk melatih atau menilai proses penalarannya. |
| scaling | Peningkatan kemampuan model ketika jumlah parameter, data, atau daya komputasi ditambah, termasuk saat inferensi. |
| emergent | Kemampuan baru yang muncul tiba-tiba pada model berukuran besar dan sulit diprediksi dari model yang lebih kecil. |
| tools | Alat eksternal seperti pencarian web, terminal, atau kalkulator yang dipanggil agen untuk menyelesaikan tugasnya. |
| feedback | Masukan dari lingkungan, pengguna, atau penilai yang dipakai agen untuk memperbaiki langkah-langkahnya. |
| project | Tugas riset kelompok dua sampai empat orang yang harus memuat hipotesis, eksperimen, dan laporan akhir. |
Video ini adalah sesi pembuka kursus CS329A dari Stanford tentang agen AI yang bisa memperbaiki dirinya sendiri, dibawakan oleh Akansha dan Azalia Mirhoseini. Kuliah dimulai dengan tren skala model bahasa besar: semakin banyak parameter, data, dan komputasi, semakin rendah loss-nya, dan muncul kemampuan baru seperti few-shot learning serta chain of thought yang tidak bisa diprediksi sebelumnya. Pembicara juga menjelaskan tahapan pembentukan ChatGPT, mulai dari pretraining, fine tuning, instruction tuning, hingga RLHF. Intinya, model yang hanya menjawab sekali belum cukup untuk tugas nyata. Penonton perlu memahami hal ini karena kursus bergerak dari chatbot menuju agen yang menyelesaikan pekerjaan dari awal sampai akhir.
Bagian yang paling konkret adalah penelitian Large Language Monkeys. Dengan mengambil 10.000 sampel jawaban per soal dan memakai verifier untuk memilih jawaban yang benar, model kecil berukuran sekitar 7 miliar parameter bisa mengungguli GPT-4o yang hanya menjawab sekali. Model reasoning seperti o1 memperlihatkan pola serupa saat inferensi, dan agen seperti Claude Code serta Deep Research memanfaatkan tool dan alur kerja seperti prompt chaining, routing, paralelisasi, serta orchestrator. Untuk logistik, kursus ini memiliki tiga tugas yang menyumbang 50 persen nilai dan proyek tim dua sampai empat orang yang menyumbang 50 persen. Proposal proyek sekitar awal Oktober, progres harus terlihat dua minggu kemudian, dan poster dipresentasikan pada 12 Desember pukul 16.00 sampai 18.00. Kredit API disediakan untuk proyek.
Kata kunci
- self-improving AI agents
- reasoning models
- reward model
- verifiers
- Mengikuti kuliah pembuka CS 329A tentang self-improving AI agents di Stanford.
- Menelusuri alur dari pre-trained model ke fine-tuning, instruction tuning, reward model dan umpan balik manusia, hingga thinking models dan reasoning models.
- Melihat gambaran agen yang memakai tools eksternal (contoh layanan pelanggan) serta pengaturan kelas: proyek, homework, dan late days.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.