What is Retrieval-Augmented Generation (RAG)?

Dalam video IBM Technology ini, Marina Danilevsky, Senior Research Scientist di IBM Research, menjelaskan Retrieval-Augmented Generation atau RAG, sebuah kerangka kerja yang membuat large language model lebih akurat dan lebih mutakhir. Ia membuka dengan anekdot saat anak-anaknya bertanya planet mana di tata surya yang punya bulan paling banyak. Ia menjawab dengan yakin Jupiter dengan 88 bulan berdasarkan artikel yang pernah dibacanya, padahal jawaban itu punya dua masalah: tidak ada sumber yang mendukung, dan informasinya sudah usang. Dua masalah ini, menurutnya, juga sering terjadi pada LLM, yang menjawab dengan percaya diri hanya berdasarkan apa yang dipelajarinya saat pelatihan. Seandainya ia mengecek sumber tepercaya seperti NASA, jawabannya adalah Saturnus dengan 146 bulan, dan angka itu pun terus berubah. Video ini penting bagi siapa pun yang memakai AI karena menjelaskan kenapa chatbot bisa salah dan bagaimana RAG membantu mengatasinya.

Dalam RAG, LLM tidak hanya mengandalkan pengetahuannya sendiri, tetapi terlebih dahulu mengambil informasi relevan dari content store, yang bisa terbuka seperti internet atau tertutup seperti kumpulan dokumen dan kebijakan. Prompt kemudian berisi tiga bagian: instruksi, konten hasil pengambilan, dan pertanyaan pengguna, sehingga model bisa memberi jawaban beserta buktinya. Untuk masalah informasi usang, kita cukup memperbarui data store tanpa melatih ulang model. Untuk masalah sumber, model diarahkan memperhatikan data sumber utama, sehingga lebih kecil kemungkinan berhalusinasi atau membocorkan data. RAG juga memungkinkan model berkata tidak tahu bila jawabannya tidak ada di data store. Namun bila retriever kurang baik, pertanyaan yang sebenarnya bisa dijawab malah tidak terjawab. Karena itu, IBM dan banyak peneliti lain bekerja di dua sisi sekaligus: memperbaiki retriever agar grounding datanya berkualitas, dan memperbaiki bagian generatif agar jawaban akhirnya sebaik mungkin.