Reasoning model dan test-time compute
Bagian 4 · Di balik Frontier Lab
| Istilah | Arti |
|---|---|
| test time compute | Daya komputasi tambahan yang dipakai saat model menjawab pertanyaan, sehingga model bisa berpikir lebih lama sebelum memberi jawaban akhir. |
| train time compute | Daya komputasi yang dihabiskan saat melatih model, berupa biaya tetap berbulan-bulan dan jutaan dolar sebelum bobot model dibekukan. |
| reasoning models | Kelompok model bahasa yang dilatih dengan reinforcement learning agar otomatis menalar langkah demi langkah sebelum menjawab. |
| chain of thought | Cara model menguraikan masalah menjadi langkah-langkah penalaran berurutan, bisa dipicu dengan meminta model berpikir langkah demi langkah. |
| thinking tokens | Token penalaran antara yang dihasilkan model sebelum jawaban akhir, berfungsi seperti coretan kerja dan tetap dihitung sebagai biaya keluaran. |
| reinforcement learning | Metode pelatihan yang memberi hadiah pada perilaku yang diinginkan, dipakai di video untuk menanamkan kebiasaan menalar ke dalam model. |
| self-consistency | Teknik menjalankan soal yang sama berkali-kali dengan jalur penalaran berbeda lalu memilih jawaban yang paling sering muncul. |
| verifier | Model penilai yang memberi skor pada cabang-cabang penalaran agar model tahu cabang mana yang paling layak dilanjutkan saat pencarian pohon. |
| majority vote | Pemilihan jawaban akhir berdasarkan suara terbanyak dari beberapa jalur penalaran, misalnya 7 dari 10 jawaban yang sama. |
| inference | Tahap ketika model yang sudah dilatih dijalankan untuk menjawab permintaan pengguna, tempat anggaran test time compute dibelanjakan. |
| scaling laws | Pola yang menunjukkan kemampuan model naik secara teratur ketika skala komputasi, data, atau parameter ditambah. |
| forward pass | Satu kali aliran data melewati jaringan model untuk menghasilkan token berikutnya, yang terus bergerak maju tanpa bisa meninjau ulang. |
Video ini menjelaskan apa yang sebenarnya terjadi ketika chatbot menampilkan tulisan sedang berpikir. Selama bertahun-tahun, cara membuat LLM lebih pintar adalah memperbesar skala saat pelatihan, yaitu menambah parameter, data, dan daya hitung, yang disebut train time compute dan bersifat biaya tetap. Setelah dilatih, model menjawab dengan satu forward pass per token dan tidak bisa menarik kembali token yang sudah dipilih, sehingga awal yang salah bisa berujung halusinasi yang meyakinkan. Test time compute menawarkan pendekatan lain, yaitu memberi model anggaran komputasi saat inferensi agar bisa berpikir lebih lama. Riset terbaru menunjukkan ini bisa sama pentingnya dengan ukuran model sebagai sumbu peningkatan kemampuan AI, sehingga penting dipahami siapa pun yang memakai chatbot modern.
Video menguraikan tiga mekanisme. Pertama, chain of thought, yang pada reasoning models ditanamkan lewat reinforcement learning sehingga model menghasilkan thinking tokens sebagai coretan kerja sebelum menjawab. Kedua, pencarian bercabang seperti pohon, dengan verifier yang menilai cabang paling menjanjikan. Ketiga, self-consistency, yaitu menjalankan soal yang sama berkali-kali pada temperature tinggi lalu mengambil majority vote, misalnya 7 dari 10 jawaban sama. Makalah Google DeepMind tahun 2024 menemukan bahwa test time compute punya hukum skalanya sendiri, dan model 3 miliar parameter bisa mengalahkan model 70 miliar parameter pada soal matematika sulit. Kekurangannya adalah latensi lebih lama, biaya token lebih besar, dan overthinking pada soal sederhana. Dari sisi ekonomi, pelatihan adalah CAPEX sedangkan test time compute adalah OPEX, sehingga pendekatan terbaik bersifat adaptif, seperti ChatGPT yang memakai picker untuk mengarahkan pertanyaan ke model penalaran atau model biasa.
Kata kunci
- test time compute
- reasoning models
- chain of thought
- self-consistency
- Menjelaskan perbedaan train-time compute dan test-time compute pada LLM.
- Mengenali mekanisme reasoning: chain of thought, thinking tokens, pencarian dengan verifier, dan self-consistency (majority vote).
- Menilai trade-off biaya (CAPEX versus OPEX) dan kapan model kecil dengan test-time compute mengalahkan model besar.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.