Context window
Bagian 6 · Menggunakan model
| Istilah | Arti |
|---|---|
| context window | Batas jumlah token yang bisa diperhatikan model sekaligus, ibarat memori kerja yang menentukan seberapa panjang percakapan bisa diingat. |
| tokens | Satuan bahasa terkecil bagi model AI, bisa berupa huruf, potongan kata, satu kata, atau frasa pendek, dan menjadi ukuran context window. |
| tokenizer | Alat yang memecah teks menjadi token, dan secara kasar mengubah satu kata bahasa Inggris menjadi sekitar 1,5 token. |
| working memory | Ingatan jangka pendek yang dipakai saat bekerja, perumpamaan untuk context window yang menampung isi percakapan yang masih diingat model. |
| large language models | Model AI berukuran besar yang dilatih pada banyak teks untuk memahami dan menghasilkan bahasa, misalnya chatbot seperti ChatGPT. |
| retrieval augmented generation | Teknik mengambil informasi tambahan dari sumber data luar lalu memasukkannya ke context window agar jawaban model lebih akurat. |
| RAG | Singkatan dari retrieval augmented generation, yang datanya ikut memakan ruang di context window saat model menjawab. |
| self attention | Mekanisme pada model transformer yang menghitung seberapa relevan setiap token terhadap token lain dalam satu rangkaian input. |
| inference | Tahap ketika model yang sudah dilatih dipakai untuk menghasilkan jawaban dari input yang diberikan pengguna. |
| long context | Jendela konteks yang sangat panjang, yang membawa tantangan berupa komputasi lebih berat, kinerja menurun, dan risiko keamanan lebih besar. |
| input context | Seluruh teks yang dimasukkan ke model, dan menurut makalah 2023 model bekerja terbaik bila informasi penting ada di awal atau akhirnya. |
| performance | Kinerja atau kualitas jawaban model, yang bisa menurun ketika model harus memperhatikan informasi di tengah konteks yang panjang. |
Video ini menjelaskan apa itu context window pada large language models, yaitu padanan working memory yang menentukan seberapa panjang percakapan bisa berlangsung sebelum model melupakan detail awal. Pembicara memakai satuan bercanda bernama international blah units untuk menggambarkan prompt dan jawaban yang saling bergantian. Selama seluruh percakapan muat di dalam jendela, model bisa melihat semua prompt dan jawaban sebelumnya. Namun bila percakapan lebih panjang dari jendelanya, bagian awal tidak lagi tersedia, sehingga model hanya bisa menebak isinya dan berisiko berhalusinasi. Karena itu, memahami cara kerja context window penting agar pengguna mendapat hasil terbaik dari LLM. Video lalu membahas tiga hal: cara teks diukur dalam tokens, berapa besar ukuran jendela yang dibutuhkan, dan tantangan yang muncul ketika jendela konteks dibuat sangat panjang.
Token adalah satuan bahasa terkecil bagi model AI, bisa berupa huruf, bagian kata, satu kata, atau frasa pendek. Contohnya, huruf a pada kalimat Martin drove a car menjadi token tersendiri, pada kata amoral dipecah menjadi dua token, sedangkan pada kata cat tidak menjadi token terpisah. Alat pemecahnya disebut tokenizer, dan secara kasar satu kata bahasa Inggris setara sekitar 1,5 token. Model transformer memakai self attention untuk menghitung keterkaitan antartoken, dan ukuran jendela menentukan berapa token yang bisa diperhatikan sekaligus. Ukurannya melonjak dari sekitar 2.000 token menjadi 128.000 token pada IBM Granite 3. Isinya bukan hanya percakapan, tetapi juga system prompt, dokumen, kode sumber, dan data retrieval augmented generation atau RAG selama inference. Tantangan long context mencakup komputasi yang naik empat kali saat jumlah token berlipat dua, performance yang turun bila informasi penting berada di tengah input context menurut makalah 2023, dan celah jailbreaking yang lebih besar.
Kata kunci
- context window
- tokens
- tokenizer
- long context
- Menjelaskan context window sebagai memori kerja LLM dan apa yang terjadi saat percakapan melebihi batasnya.
- Memahami token, tokenizer, dan perkiraan token per kata, serta bagaimana ukuran konteks naik dari sekitar 2.000 sampai 128.000 token.
- Mengenali tantangan konteks panjang: biaya, performa menurun untuk informasi di tengah, dan risiko keamanan.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.