| Istilah | Arti |
|---|---|
| context rot | Gejala menurunnya keandalan model AI saat context window makin penuh, sehingga makin banyak token justru membuat tiap informasi dipakai kurang baik. |
| context window | Batas jumlah teks atau token yang bisa dilihat model sekaligus, berisi instruksi, riwayat langkah, dan hasil tool milik agent. |
| poisoning | Kegagalan saat kesimpulan keliru masuk ke konteks lalu dianggap fakta oleh agent, seperti catatan salah tentang retry yang membuat kode berguna dihapus. |
| distraction | Kegagalan saat riwayat langkah yang sangat panjang lebih memengaruhi agent daripada kebutuhan tugas, sehingga agent terus mengulang pekerjaan lama. |
| confusion | Kegagalan saat terlalu banyak definisi tool di konteks membuat agent sulit memilih tool yang tepat untuk tugasnya. |
| clash | Kegagalan saat konteks berisi informasi yang saling bertentangan, misalnya catatan lama yang salah dan koreksinya tersimpan bersamaan. |
| validate | Langkah memeriksa kesimpulan terhadap kenyataan, misalnya menjalankan uji koneksi, sebelum kesimpulan itu dicatat ke konteks agent. |
| prune | Langkah menghapus informasi lama yang sudah digantikan versi baru agar konteks tidak berisi data yang saling bertentangan. |
| context engineering | Praktik mengatur apa saja yang dimasukkan ke context window pada setiap langkah kerja agent agar hasilnya tetap andal. |
| message history | Catatan berjalan semua langkah yang sudah diambil agent, yang bisa menjadi sangat besar setelah agent bekerja selama sekitar satu jam. |
| retry code | Kode yang mencoba ulang koneksi database yang gagal, yang di contoh video keliru dihapus agent karena catatan yang salah. |
| frontier models | Model AI paling canggih saat ini, dan studi di video menemukan 18 model jenis ini makin tidak andal saat konteksnya membesar. |
Video dari IBM Technology ini membahas context engineering, yaitu memutuskan apa saja yang masuk ke context window pada setiap langkah kerja AI agent. Context window kini sudah tumbuh dari beberapa ribu token menjadi sejuta token atau lebih, sehingga orang mengira agent akan makin andal untuk tugas panjang. Kenyataannya, sebuah studi terhadap 18 frontier models menemukan semuanya justru makin tidak andal saat isi jendela bertambah, gejala yang disebut context rot. Penyebabnya, model tidak mencari informasi seperti database mencari baris data; setiap token bersaing memperebutkan anggaran perhatian yang terbatas. Pembicara lalu menjelaskan empat mode kegagalan konteks beserta perbaikannya, dan menariknya semua perbaikan itu bekerja dengan sengaja membuang informasi. Kesimpulan ini penting bagi siapa pun yang membangun agent untuk pekerjaan panjang.
Contohnya adalah agent yang memigrasikan basis kode lama ke driver database baru. Isi jendelanya terdiri atas system prompt, tugas singkat, instruksi proyek seperti agents.md, definisi tool, message history yang terus membesar, dan hasil tool seperti isi berkas dan log galat. Poisoning terjadi saat agent salah membaca dokumentasi lalu mencatat bahwa driver baru sudah mengulang koneksi otomatis, sehingga ia menghapus retry code yang sebenarnya masih dibutuhkan. Distraction terjadi saat riwayat panjang mendorong agent mengulang pola lamanya. Confusion muncul karena terlalu banyak tool; dalam satu benchmark, model gagal dengan 46 tool tetapi berhasil dengan 19 tool. Clash terjadi saat catatan lama dan koreksinya saling bertentangan. Perbaikannya adalah validate dengan uji koneksi sebelum mencatat kesimpulan, compact riwayat menjadi ringkasan dan memindahkan detail ke berkas permanen, curate tool seperlunya, serta prune versi lama atau memulai jendela baru.
Kata kunci
- context rot
- poisoning
- distraction
- clash
- Menjelaskan context rot: studi atas 18 model frontier menunjukkan semuanya menjadi kurang andal saat context window membesar, padahal konteks lebih banyak seharusnya membantu agen pada tugas panjang.
- Mengurai empat kegagalan konteks: poisoning (catatan agen sendiri diperlakukan sebagai fakta), distraction, confusion, dan clash, dengan contoh agen yang menghapus kode retry yang baik.
- Memberi perbaikan seperti validate (cek terhadap sesuatu yang nyata sebelum menulis kesimpulan) dan prune; agen bisa lebih baik dengan menyimpan lebih sedikit.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.