| Istilah | Arti |
|---|---|
| retrieval augmented generation | Teknik yang mencari potongan informasi relevan dari kumpulan data lalu memasukkannya ke konteks model bahasa sebelum model menyusun jawaban. |
| RAG | Singkatan dari retrieval augmented generation, sistem yang di video ini dipakai agar chatbot klinik gigi menjawab berdasarkan dokumen klinik tanpa mengarang. |
| embedding model | Model yang mengubah teks, gambar, atau audio menjadi vektor angka yang menyimpan maknanya, misalnya text embedding 3 dari OpenAI untuk paragraf teks. |
| vector store | Basis data khusus untuk menyimpan embedding beserta metadatanya sehingga dokumen bisa dicari berdasarkan kemiripan makna dengan pertanyaan. |
| user question | Pertanyaan yang diketik pengguna, yang di-embed dengan model yang sama untuk mencari dokumen paling cocok lalu disertakan ke konteks model. |
| context window | Batas jumlah token yang bisa dibaca model sekaligus saat menyusun jawaban, sehingga memasukkan semua data perusahaan ke prompt menjadi tidak efisien. |
| similarity | Ukuran seberapa mirip makna dua vektor embedding, biasanya dihitung dengan cosine similarity, yang dipakai untuk memilih dokumen paling relevan. |
| hallucination | Keadaan ketika model bahasa memberi informasi yang salah atau dikarang, terutama bila dokumen yang diambil tidak tepat untuk pertanyaan pengguna. |
| base model | Model bahasa yang baru dilatih dengan sangat banyak teks sehingga pandai melengkapi kalimat, tetapi belum dilatih khusus untuk mengikuti instruksi. |
| instruction | Arahan tertulis seperti system prompt yang memberi tahu model cara bersikap dan menjawab, yang diikuti dengan baik oleh instruction tuned model. |
| reflection node | Langkah tambahan dalam alur RAG yang lebih maju untuk memeriksa apakah dokumen yang diambil benar-benar cocok sebelum diteruskan ke tahap pembuatan jawaban. |
| dental assistant chatbot | Contoh praktik di video ini berupa chatbot klinik gigi yang menjawab pertanyaan pasien tentang layanan, janji temu, kontak, dan jam buka. |
Video dari kanal Under The Hood ini menjelaskan retrieval augmented generation atau RAG untuk pemula, yaitu sistem yang dibuat untuk mengatasi keterbatasan utama large language model. Pembicara memulai dari konsep dasar: base model yang dilatih dengan banyak teks untuk melengkapi kalimat, instruction tuned model yang dilatih lagi agar mengikuti instruksi dan system prompt, serta chat model yang mampu menangani percakapan panjang. Ketiganya punya keterbatasan, yaitu context window yang bisa penuh, pengetahuan yang berhenti pada saat pelatihan, dan tidak adanya pengetahuan tentang data pribadi atau domain tertentu. RAG membantu dengan memberi AI konteks yang relevan sebelum menjawab, sehingga model bisa menjawab pertanyaan tentang data yang belum pernah dilihatnya dan mengurangi halusinasi. Topik ini penting bagi siapa pun yang ingin membangun aplikasi AI di atas data sendiri.
Sebagai contoh, video membangun dental assistant chatbot dengan dokumen berisi info klinik, layanan, janji temu, kontak, dan jam buka. Cara pertama memasukkan semua data ke prompt, tetapi cara ini tidak efisien karena data nyata bisa mencapai jutaan token, sementara context window model terbaru sekitar 100.000 token. Alur RAG yang dijelaskan adalah memecah data menjadi chunk per paragraf, mengubahnya menjadi vektor dengan embedding model seperti text embedding 3 dari OpenAI, lalu menyimpannya di vector store. Pertanyaan pengguna di-embed dengan model yang sama, dokumen paling mirip dicari dengan cosine similarity dan algoritma seperti HNSW, lalu dimasukkan ke konteks. Tantangannya mencakup strategi chunking yang berbeda untuk tiap jenis data, pilihan embedding model sesuai bahasa, serta retrieval yang tidak selalu tepat sehingga perlu mengambil beberapa dokumen teratas. RAG yang lebih maju memakai alur agentic, seperti memperbaiki pertanyaan, router node, dan reflection node.
Kata kunci
- RAG
- embedding model
- vector store
- reflection node
- Menjelaskan retrieval augmented generation (RAG) sebagai solusi keterbatasan LLM, dengan konsep dasar model pretrained (base model) dan model yang disesuaikan dengan instruksi.
- Menguraikan mengapa konteks perlu dijaga tidak berlebihan walau context window mencapai 100.000 token, lalu alur RAG untuk chatbot asisten dokter gigi: dokumen diubah menjadi embedding oleh embedding model, disimpan di vector store, dicari berdasarkan kemiripan dengan pertanyaan pengguna, dan disisipkan ke prompt.
- Menyebut variasi seperti reflection node yang memverifikasi hasil pengambilan sebelum generasi.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.