10: Generative AI – Adapting LLMs with Parameter-Efficient Fine-Tuning

IntermediateEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
next word prediction	Cara melatih model bahasa dengan menebak kata berikutnya dari teks sebelumnya, metode dasar GPT-3 yang ternyata belum cukup untuk membuatnya patuh pada instruksi.
instruction tuning	Proses melatih ulang model dengan data instruksi dan jawaban berkualitas lalu umpan balik manusia, langkah yang mengubah GPT-3 menjadi InstructGPT dan akhirnya ChatGPT.
fine tuning	Melatih lanjut model yang sudah jadi dengan contoh khusus sehingga bobotnya berubah, misalnya beberapa ratus contoh ulasan produk agar tulisannya terdengar seperti ulasan asli.
context window	Batas jumlah token yang bisa ditampung model untuk input dan output sekaligus, alasan seluruh basis data FAQ tidak bisa langsung dimasukkan ke dalam prompt.
embedding	Deretan angka yang mewakili makna sebuah teks, dipakai di video untuk mencari potongan artikel Wikipedia yang paling mirip dengan pertanyaan lewat cosine similarity.
prompt	Teks perintah atau pertanyaan yang dikirim ke model bahasa, yang di video terbukti sangat memengaruhi jawaban bahkan bila kata-katanya hanya diubah sedikit.
training cutoff	Batas tanggal data latih sebuah model, misalnya September 2021 untuk GPT-3 turbo, sehingga model tidak tahu peristiwa sesudahnya seperti Olimpiade Musim Dingin 2022.
Olympics	Pesta olahraga internasional yang dipakai sebagai contoh demo RAG, ketika model ditanya pemenang medali emas curling Olimpiade Musim Dingin 2022 di luar data latihnya.
ranking	Kegiatan manusia mengurutkan beberapa jawaban model dari yang paling berguna sampai paling tidak berguna, bahan untuk melatih reward model dalam RLHF.
GPU	Chip pengolah grafis yang dipakai untuk melatih model, dan di video dihitung bahwa fine-tuning penuh Llama 2 berukuran 70 miliar parameter butuh banyak GPU mahal.
instruction	Perintah atau permintaan yang diberikan pengguna kepada model, yang dipasangkan dengan jawaban yang baik untuk melatih model agar benar-benar mengikuti permintaan.
answers	Tanggapan yang dihasilkan model atau ditulis manusia, yang di video dikumpulkan, dibandingkan, dan diberi peringkat untuk melatih model menjawab lebih baik.

Dalam kuliah MIT OpenCourseWare ini, Rama Ramakrishnan melanjutkan pembahasan model bahasa besar dengan pertanyaan utama: bagaimana GPT-3, yang hanya dilatih menebak kata berikutnya, bisa berubah menjadi ChatGPT yang patuh pada instruksi, lalu bagaimana model seperti itu disesuaikan untuk kebutuhan bisnis tertentu. Ia menjelaskan bahwa GPT-3 sangat lancar melanjutkan teks, tetapi sering gagal memahami permintaan karena data latihnya penuh daftar, sehingga pertanyaan malah dijawab dengan pertanyaan lain. Solusinya adalah instruction tuning, yang terdiri atas supervised fine-tuning dan reinforcement learning with human feedback. Bagian kedua kuliah membahas tangga adaptasi model: zero-shot prompting, few-shot prompting, retrieval-augmented generation (RAG), dan fine-tuning. Materi ini penting karena menjelaskan dari mana kemampuan chatbot modern berasal, sekaligus memberi pilihan praktis bagi siapa pun yang ingin memakai model bahasa untuk data dan kasus pakainya sendiri, misalnya layanan pelanggan, bidang medis, atau hukum.

OpenAI menulis sekitar 12.500 pasangan tanya jawab untuk supervised fine-tuning, lalu meminta manusia memberi peringkat jawaban GPT-3 untuk 33.000 instruksi. Data peringkat itu melatih reward model yang menilai jawaban, dan nilainya dipakai lewat reinforcement learning pada 31.000 pertanyaan hingga lahir InstructGPT; ChatGPT lalu dilatih dengan data percakapan. Di Colab, Rama menunjukkan GPT-3.5-turbo salah menjawab peraih emas curling Olimpiade 2022 karena batas data latihnya September 2021, lalu menjawab benar setelah diberi artikel Wikipedia. Ia membangun RAG dengan embedding OpenAI berukuran 1536, cosine similarity, dan tiktoken untuk menjaga anggaran 3.700 token, serta mengingatkan kasus chatbot Air Canada yang memberi saran keliru. Untuk fine-tuning, beberapa ratus contoh cukup mengubah gaya ulasan produk. Melatih Llama 2 berukuran 70 miliar parameter dari nol bisa menelan sekitar 4 juta dolar, sedangkan gradient checkpointing dan LoRA, yang hanya memperbarui dua matriks tipis sekitar 0,02 persen parameter, memungkinkan fine-tuning dengan satu atau dua GPU.

Kata kunci

next word prediction
instruction tuning
fine tuning
context window

Istilah

Arti

next word prediction

Cara melatih model bahasa dengan menebak kata berikutnya dari teks sebelumnya, metode dasar GPT-3 yang ternyata belum cukup untuk membuatnya patuh pada instruksi.

instruction tuning

Proses melatih ulang model dengan data instruksi dan jawaban berkualitas lalu umpan balik manusia, langkah yang mengubah GPT-3 menjadi InstructGPT dan akhirnya ChatGPT.

fine tuning

Melatih lanjut model yang sudah jadi dengan contoh khusus sehingga bobotnya berubah, misalnya beberapa ratus contoh ulasan produk agar tulisannya terdengar seperti ulasan asli.

context window

Batas jumlah token yang bisa ditampung model untuk input dan output sekaligus, alasan seluruh basis data FAQ tidak bisa langsung dimasukkan ke dalam prompt.

embedding

Deretan angka yang mewakili makna sebuah teks, dipakai di video untuk mencari potongan artikel Wikipedia yang paling mirip dengan pertanyaan lewat cosine similarity.

prompt

Teks perintah atau pertanyaan yang dikirim ke model bahasa, yang di video terbukti sangat memengaruhi jawaban bahkan bila kata-katanya hanya diubah sedikit.

training cutoff

Batas tanggal data latih sebuah model, misalnya September 2021 untuk GPT-3 turbo, sehingga model tidak tahu peristiwa sesudahnya seperti Olimpiade Musim Dingin 2022.

Olympics

Pesta olahraga internasional yang dipakai sebagai contoh demo RAG, ketika model ditanya pemenang medali emas curling Olimpiade Musim Dingin 2022 di luar data latihnya.

ranking

Kegiatan manusia mengurutkan beberapa jawaban model dari yang paling berguna sampai paling tidak berguna, bahan untuk melatih reward model dalam RLHF.

GPU

Chip pengolah grafis yang dipakai untuk melatih model, dan di video dihitung bahwa fine-tuning penuh Llama 2 berukuran 70 miliar parameter butuh banyak GPU mahal.

instruction

Perintah atau permintaan yang diberikan pengguna kepada model, yang dipasangkan dengan jawaban yang baik untuk melatih model agar benar-benar mengikuti permintaan.

answers

Tanggapan yang dihasilkan model atau ditulis manusia, yang di video dikumpulkan, dibandingkan, dan diberi peringkat untuk melatih model menjawab lebih baik.