| Istilah | Arti |
|---|---|
| KV cache | Tempat penyimpanan key dan value yang sudah dihitung untuk token sebelumnya, sehingga model tidak perlu menghitung ulang dan bisa menghasilkan teks lebih cepat. |
| attention | Mekanisme dalam transformer yang menangkap makna sebuah kata dengan mempertimbangkan semua kata di sekitarnya, dan menjadi bagian komputasi terberat saat membuat teks. |
| token | Potongan kecil teks yang diproses model, di mana model seperti GPT menghasilkan jawabannya satu token demi satu token. |
| inference | Tahap ketika model yang sudah dilatih dipakai untuk menghasilkan jawaban, satu-satunya tahap tempat KV cache digunakan. |
| query | Vektor yang mewakili apa yang sedang dicari sebuah token dalam attention, dan dengan KV cache hanya dihitung untuk token terbaru. |
| key | Vektor yang dicocokkan dengan query untuk menghitung skor attention, yang disimpan di KV cache agar tidak dihitung ulang. |
| value | Vektor berisi informasi tiap token yang dikalikan dengan skor attention untuk membentuk embedding kontekstual baru, dan ikut disimpan di KV cache. |
| decoder | Bagian arsitektur transformer yang dipakai model penghasil teks seperti GPT untuk membuat keluaran secara bertahap token demi token. |
| latency | Waktu tunggu yang dibutuhkan model untuk menghasilkan token, yang menjadi jauh lebih singkat berkat penggunaan KV cache. |
| GPU memory | Memori pada kartu grafis tempat KV cache disimpan, yang kebutuhannya bisa mencapai ratusan gigabyte untuk model besar dengan konteks panjang. |
| latest token | Token yang paling baru dihasilkan, satu-satunya token yang perlu diproses penuh saat memakai KV cache. |
| embedding | Representasi angka berupa vektor untuk sebuah token, yang menjadi langkah awal sebelum model menghitung query, key, dan value. |
Video dari kanal Under The Hood ini menjelaskan KV cache, salah satu konsep penting yang membuat large language model bisa menghasilkan teks lebih cepat. Model seperti GPT hanya memakai bagian decoder dari arsitektur transformer dan menghasilkan teks secara autoregresif, yaitu satu token demi satu token. Untuk setiap token baru, model menghitung ulang attention atas seluruh konteks, padahal sebagian besar perhitungan itu sudah pernah dilakukan pada langkah sebelumnya. Karena komputasi attention tumbuh secara kuadratik seiring panjang konteks, pengulangan ini membuat pembuatan ribuan token menjadi sangat lambat. KV cache hadir untuk menghilangkan pemborosan tersebut. Video ini penting bagi siapa saja yang ingin memahami mengapa chatbot bisa merespons cepat dan mengapa model besar membutuhkan begitu banyak memori GPU.
Video memberi contoh dengan satu attention head dan satu blok decoder. Untuk token pertama, model menghitung embedding, lalu query, key, dan value, kemudian menyimpan key dan value ke cache. Pada token berikutnya, model hanya memproses token terbaru, menggabungkan key dan value barunya dengan yang tersimpan, lalu mengalikan query token terbaru dengan matriks key seluruh token. Query tidak perlu disimpan karena saat inference hanya logits token terbaru yang dipakai untuk memilih token berikutnya, sedangkan saat training semua nilai tetap dihitung. KV cache hanya dipakai saat inference dan membuat komputasi attention per token tumbuh linear, sehingga latency jauh lebih rendah. Kekurangannya adalah memori: GPT-2 kecil butuh sekitar 36 MB, model tiga kali lebih besar sekitar 500 MB, dan model 60 lapis dengan konteks sekitar 100.000 token bisa mencapai hampir 400 GB hanya untuk cache.
Kata kunci
- KV cache
- inference
- latest token
- GPU memory
- Menjelaskan KV cache, konsep penting LLM modern: model transformer decoder-only menghasilkan teks token demi token secara autoregresif.
- Memahami bahwa KV cache hanya dipakai saat inferensi, menyimpan key dan value yang sudah dihitung agar dipakai ulang, sehingga hanya query token terbaru yang dihitung dan latensi turun.
- Membahas biaya memori GPU yang naik dengan ukuran konteks, dan perbandingan inferensi dengan dan tanpa KV cache.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.