Modul 29

Post-training I

Bagian 4 · Di balik Frontier Lab

AdvanceEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
post training	Tahap latihan lanjutan setelah pre-training yang mengubah model dasar menjadi asisten yang bisa menjawab dan mengikuti instruksi.
base model	Model bahasa hasil pre-training yang hanya memprediksi kata berikutnya, sehingga belum bisa menjawab pertanyaan seperti asisten chat.
SFT	Supervised fine-tuning, yaitu melatih model dengan contoh jawaban bagus yang ditulis manusia agar ia belajar format dan cara menjawab.
RLHF	Reinforcement learning dari umpan balik manusia, yaitu melatih model dengan skor dari reward model yang belajar dari pilihan orang.
reward model	Model yang belajar memberi skor pada sebuah jawaban, dilatih agar jawaban pilihan manusia mendapat skor lebih tinggi dari jawaban yang ditolak.
DPO	Direct preference optimization, yaitu cara melatih model langsung dari pasangan jawaban pilihan dan tolakan tanpa model hadiah dan loop RL terpisah.
PPO	Proximal policy optimization, algoritma RL yang mendorong jawaban berskor bagus naik sambil membatasi perubahan agar training tetap stabil.
GRPO	Group relative policy optimization, metode RL yang membandingkan tiap percobaan dengan rata-rata kelompoknya sendiri sehingga tidak butuh model kritik.
KL penalty	Penalti yang mengukur seberapa jauh model menyimpang dari model referensi SFT, sehingga model tidak asal memanipulasi skor penilai.
advantage	Selisih antara skor sebuah jawaban dan tebakan skor rata-ratanya, yang menunjukkan apakah jawaban itu lebih baik atau lebih buruk dari biasanya.
RLVR	Reinforcement learning with verifiable rewards, yaitu RL yang memberi hadiah dari program pemeriksa jawaban, seperti kunci jawaban matematika atau tes kode.
distillation	Cara model kecil belajar dengan meniru jawaban yang sudah diperiksa dari model besar, sehingga ia mendapat contoh yang tidak mungkin ditemukan sendiri.

Video ini membahas post-training, yaitu tahap latihan tambahan yang mengubah model bahasa dasar menjadi asisten yang bisa menjawab dan mengikuti instruksi. Model dasar hanya memprediksi kata berikutnya. Karena itu, ketika diminta menulis email untuk meminta libur hari Jumat kepada bos, ia tidak menjawab, melainkan terus menulis permintaan itu seolah-olah sebuah postingan forum. Pembicara menjelaskan bahwa delapan metode post-training yang dibahas menjawab lima pertanyaan: bagaimana model belajar menjawab, bagaimana ia belajar apa yang disukai orang, bagaimana ia belajar menjadi benar, bagaimana model kecil belajar dari model besar, dan bagaimana ia belajar bertindak. Video ini penting bagi penonton karena deretan akronim seperti SFT, RLHF, PPO, dan DPO sering membingungkan pemula. Padahal, menurut video, setiap metode lahir untuk memperbaiki masalah yang belum bisa diatasi metode sebelumnya, sehingga semuanya bisa dipahami sebagai satu cerita yang berurutan.

Metode pertama adalah SFT, atau supervised fine-tuning, yaitu melatih model dengan contoh jawaban bagus yang ditulis manusia. Contohnya, permintaan kalimat tiga kata yang setiap katanya berawalan huruf A. Agar model tahu siapa yang bicara, contoh dibungkus templat chat dengan token khusus untuk user dan assistant. Model dilatih dengan menghitung biaya tiap token jawaban, yaitu minus log probabilitasnya, lalu merata-ratakannya menjadi loss. Contoh tadi turun dari 1,5 menjadi 0,8 setelah satu langkah. Metode berikutnya, RLHF, memakai pilihan manusia antara dua jawaban dan melatih reward model agar jawaban yang dipilih mendapat skor lebih tinggi. Model utama lalu dilatih dengan PPO, dengan penalti KL agar tidak menyimpang terlalu jauh dari model SFT. DPO menyederhanakannya menjadi satu loss tanpa reward model terpisah. Untuk soal yang punya jawaban pasti, RLVR memakai program pemeriksa, sedangkan GRPO membandingkan beberapa percobaan dalam satu kelompok. Distilasi membuat model kecil belajar dari jawaban yang sudah diperiksa model besar. Video ini ditutup dengan tool use dan agent, yaitu model yang memanggil alat dan bekerja berulang sampai tugas selesai.

Kata kunci

post training
SFT
RLHF
DPO

Istilah

Arti

post training

Tahap latihan lanjutan setelah pre-training yang mengubah model dasar menjadi asisten yang bisa menjawab dan mengikuti instruksi.

base model

Model bahasa hasil pre-training yang hanya memprediksi kata berikutnya, sehingga belum bisa menjawab pertanyaan seperti asisten chat.

SFT

Supervised fine-tuning, yaitu melatih model dengan contoh jawaban bagus yang ditulis manusia agar ia belajar format dan cara menjawab.

RLHF

Reinforcement learning dari umpan balik manusia, yaitu melatih model dengan skor dari reward model yang belajar dari pilihan orang.

reward model

Model yang belajar memberi skor pada sebuah jawaban, dilatih agar jawaban pilihan manusia mendapat skor lebih tinggi dari jawaban yang ditolak.

DPO

Direct preference optimization, yaitu cara melatih model langsung dari pasangan jawaban pilihan dan tolakan tanpa model hadiah dan loop RL terpisah.

PPO

Proximal policy optimization, algoritma RL yang mendorong jawaban berskor bagus naik sambil membatasi perubahan agar training tetap stabil.

GRPO

Group relative policy optimization, metode RL yang membandingkan tiap percobaan dengan rata-rata kelompoknya sendiri sehingga tidak butuh model kritik.

KL penalty

Penalti yang mengukur seberapa jauh model menyimpang dari model referensi SFT, sehingga model tidak asal memanipulasi skor penilai.

advantage

Selisih antara skor sebuah jawaban dan tebakan skor rata-ratanya, yang menunjukkan apakah jawaban itu lebih baik atau lebih buruk dari biasanya.

RLVR

Reinforcement learning with verifiable rewards, yaitu RL yang memberi hadiah dari program pemeriksa jawaban, seperti kunci jawaban matematika atau tes kode.

distillation

Cara model kecil belajar dengan meniru jawaban yang sudah diperiksa dari model besar, sehingga ia mendapat contoh yang tidak mungkin ditemukan sendiri.