| Istilah | Arti |
|---|---|
| RAG | Singkatan dari retrieval augmented generation, yaitu cara mengambil potongan dokumen yang relevan dari database lalu menyisipkannya ke prompt sebelum model menjawab. |
| long context | Pendekatan memasukkan seluruh dokumen langsung ke context window tanpa database dan embedding, lalu membiarkan model sendiri mencari jawabannya. |
| context window | Batas jumlah teks yang bisa dibaca model dalam satu permintaan, yang dulu sekitar 4 ribu token dan kini ada yang melebihi satu juta token. |
| silent failure | Kegagalan diam-diam ketika jawaban sebenarnya ada di data tetapi tidak pernah dilihat model karena tahap retrieval tidak menemukannya. |
| semantic search | Pencarian berdasarkan kemiripan makna dengan membandingkan vektor, bukan sekadar mencocokkan kata, dan sifatnya probabilistik sehingga bisa meleset. |
| vector database | Database khusus untuk menyimpan vektor hasil embedding dokumen, yang menurut video tetap diperlukan untuk data perusahaan berukuran sangat besar. |
| chunks | Potongan-potongan kecil hasil memecah dokumen seperti PDF, file kode, atau buku sebelum diubah menjadi vektor dalam sistem RAG. |
| embedding model | Model yang mengubah potongan teks menjadi vektor berupa deretan angka panjang agar maknanya bisa dibandingkan secara matematis. |
| prompt caching | Penyimpanan hasil pemrosesan prompt agar tidak perlu dihitung ulang, yang menurut video hanya membantu sebagian untuk data yang jarang berubah. |
| retrieval | Tahap mengambil potongan dokumen paling relevan dari database saat pengguna bertanya, yang menjadi titik rawan kegagalan dalam RAG. |
| context injection | Masalah bagaimana memasukkan data yang tepat, seperti data pribadi atau informasi terbaru, ke dalam model pada saat yang tepat. |
| tokens | Satuan potongan teks yang diproses model, dan satu juta token kira-kira setara dengan 700 ribu kata menurut video. |
Video dari IBM Technology ini membandingkan dua cara memasukkan data baru atau data pribadi ke dalam LLM, yaitu RAG dan long context. Titik tolaknya adalah kenyataan bahwa LLM membeku pada tanggal batas pelatihannya, sehingga tidak tahu kejadian lima menit lalu, apalagi wiki internal atau codebase milik perusahaan. Masalah ini disebut context injection, yakni bagaimana memasukkan data yang tepat ke model pada saat yang tepat. RAG adalah pendekatan rekayasa: dokumen dipotong menjadi chunks, diubah menjadi vektor oleh embedding model, disimpan di vector database, lalu diambil lewat semantic search saat pengguna bertanya. Long context adalah pendekatan brute force yang memasukkan seluruh dokumen langsung ke context window dan membiarkan mekanisme attention model mencari jawabannya. Karena context window kini bisa melebihi satu juta token, video ini mempertanyakan apakah RAG sudah menjadi lapisan kerumitan yang tidak perlu, pertanyaan penting bagi siapa pun yang merancang sistem AI.
Ada tiga alasan memilih long context. Pertama, infrastruktur jauh lebih sederhana karena tidak perlu strategi chunking, embedding model, vector database, reranker, dan sinkronisasi vektor. Kedua, tidak ada risiko silent failure, yaitu jawaban sebenarnya ada di data tetapi tidak pernah terlihat model karena retrieval gagal. Ketiga, masalah seluruh buku: untuk menanyakan persyaratan keamanan apa yang terlewat di catatan rilis, model perlu melihat kedua dokumen secara utuh. Sebaliknya, ada tiga alasan RAG tetap berguna. Manual 500 halaman setara sekitar 250 ribu token harus diproses ulang di setiap permintaan, dan prompt caching hanya membantu untuk data statis. Lalu ada masalah jarum dalam tumpukan jerami, saat attention model melemah di konteks ratusan ribu token sehingga detail di tengah dokumen 2.000 halaman terlewat atau dihalusinasi, sedangkan RAG hanya menyodorkan misalnya lima chunk teratas. Terakhir, data perusahaan berukuran terabyte hingga petabyte. Kesimpulannya, long context cocok untuk data terbatas yang butuh penalaran menyeluruh seperti kontrak hukum, sedangkan vector database tetap diperlukan untuk pengetahuan perusahaan yang sangat besar.
Kata kunci
- RAG
- long context
- silent failure
- vector database
- Menjelaskan masalah context injection karena LLM membeku di waktu pelatihan dan tidak tahu data privat, lalu membandingkan dua pendekatan: RAG (pendekatan rekayasa) dan long context.
- Membahas kelemahan RAG seperti semantic search yang probabilistik dan silent failure saat dokumen relevan tidak ditemukan, serta kebutuhan chunks dan embedding model; sedangkan long context kini mencapai jutaan token tetapi biaya pemrosesan manual tiap kali bisa dikurangi sebagian dengan prompt caching.
- Menyimpulkan long context menyederhanakan stack dan memperbaiki penalaran, sedangkan vector database tetap diperlukan untuk pengetahuan enterprise yang sangat besar.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.