MIT 6.S087: Foundation Models & Generative AI. CHAT-GPT & LLMs

Video ini adalah kuliah ketiga MIT 6.S087 tentang foundation model dan AI generatif yang membedah cara kerja ChatGPT. Rickard Brüel Gabrielsson memecah nama GPT menjadi tiga bagian, yaitu generative pre-trained, Transformer, dan chat, lalu menjelaskan bahwa hampir seluruh komputasi OpenAI dihabiskan untuk tahap pre-training. Ia menekankan bahwa ide dasarnya sangat sederhana, yaitu memprediksi kata berikutnya dari kata-kata sebelumnya, tetapi keberhasilannya lahir dari taruhan berani OpenAI untuk melatih model itu pada skala data dan parameter yang belum pernah ada. Bagi penonton, kuliah ini memberi gambaran tingkat tinggi tentang mengapa ChatGPT bisa mengerjakan beragam tugas bahasa, tanpa masuk ke detail rekayasa yang menurut pembicara justru sangat sulit di dunia nyata. Ia juga membuka dengan kutipan seorang jenderal abad ke-18 untuk menegaskan bahwa AI baru ini kuat karena tidak memaksa dunia mengikuti aturan sederhana.

Pada tahap pre-training, model memberi skor probabilitas untuk setiap kata dalam kosakata bahasa Inggris, lalu backpropagation menaikkan skor kata yang benar. Versi awal disebut memakai 175 miliar parameter dengan biaya pelatihan model final sekitar 5 juta dolar. Transformer dibandingkan dengan recurrent neural network dan LSTM: semua langkahnya bisa dijalankan paralel di GPU, urutan kata diberikan lewat positional encoding, dan informasi jarak jauh lebih mudah ditangkap. Tahap chat dimulai dengan fine-tuning pada data dialog manusia, lalu reinforcement learning from human feedback. Model membuat empat jawaban untuk sekitar satu juta prompt, manusia memeringkatnya, dan sebuah model penilai yang disebut robot belajar meniru penilaian itu. Reinforcement learning dengan umpan balik tertunda serta keseimbangan eksplorasi dan eksploitasi membuat model tidak terlalu rakus dan lebih tahan, dan siklus ini diulang dua atau tiga kali. Sesi tanya jawab membahas pengaruh prompt, masked language modeling, kaitan dengan neurosains, serta tantangan seperti bias, halusinasi, perencanaan agent, dan multimodality.