Prompt caching dan latency

Video ini menjelaskan prompt caching, yaitu teknik mempercepat dan menghemat biaya large language model dengan menyimpan hasil komputasi dari bagian input yang berulang. Pembicara lebih dulu membedakannya dari output caching, yakni menyimpan jawaban akhir sehingga LLM tidak perlu dipanggil lagi. Prompt caching justru menyimpan hasil antara dari input, berupa pasangan KV yang dihitung model di setiap transformer layer untuk setiap token. Tahap menghitung pasangan KV ini disebut prefill, dan tahap inilah yang memakan waktu serta biaya sebelum model menghasilkan token pertama. Penonton perlu memahami hal ini karena banyak aplikasi, seperti chatbot dan asisten dokumen, terus mengirim prompt awal yang sama berulang kali, sehingga penghematannya nyata bila dipakai di kasus yang tepat.

Isi konkret video dimulai dari contoh dokumen 50 halaman yang diringkas. Pada permintaan berikutnya dengan dokumen yang sama tetapi pertanyaan berbeda, sistem mengenali bagian awal yang sama dan hanya memproses pertanyaan baru di akhir. Yang paling sering di-cache adalah system prompt, lalu dokumen panjang, contoh few-shot, definisi tool dan fungsi, serta riwayat percakapan. Pencocokan dilakukan dari awal prompt token demi token, sehingga urutan prompt penting: konten statis ditaruh di depan dan pertanyaan dinamis di belakang. Jika pertanyaan diletakkan di awal, cache gagal sejak token itu dan seluruh prompt harus diproses ulang. Pembicara juga menyebut batas praktisnya: umumnya minimal 1024 token agar caching berguna, cache biasanya bertahan 5 sampai 10 menit, meski ada yang bertahan hingga 24 jam. Sebagian penyedia melakukannya otomatis, sementara yang lain mengharuskan pengembang menandai bagian prompt secara eksplisit lewat panggilan API.