Kenapa Kredit AI Lo cepat habis? Jawabannya di Sini - (Penjelasan lengkap Token & Context Window AI)
| Istilah | Arti |
|---|---|
| token | Potongan kecil teks, bisa berupa kata atau bagian kata, yang menjadi satuan dasar bagi AI untuk membaca dan menghitung isi prompt. |
| konteks window | Batas jumlah token yang bisa diproses AI sekaligus dalam satu percakapan, diibaratkan baskom atau kapasitas otak yang bila penuh membuat AI melupakan sebagian isi. |
| memori | Tempat menyimpan informasi untuk jangka panjang di luar proses yang sedang berjalan, yang di video ini dibedakan dari context window sebagai otak untuk menyimpan. |
| memory | Fitur di ChatGPT berupa daftar catatan yang selalu diingat AI di setiap percakapan, dan bisa penuh terpisah dari context window. |
| konteks | Seluruh informasi yang diberikan kepada AI, seperti prompt, file, dan riwayat chat, yang menjadi dasar AI dalam menyusun jawabannya. |
| model | Versi otak AI buatan sebuah perusahaan, misalnya GPT-5, Claude Opus, atau Gemini, yang masing-masing punya cara memecah token dan kapasitas berbeda. |
| kapasitas | Seberapa banyak token yang mampu ditampung dan diproses sebuah model sekaligus, yang menentukan seberapa banyak data bisa dimasukkan dalam satu percakapan. |
| ChatGPT | Aplikasi chatbot AI buatan OpenAI yang menjadi contoh utama di video ini untuk menjelaskan cara kerja token, context window, dan fitur memory. |
| mesin pencari | Layanan pencarian informasi seperti Google, yang menurut video ini sering menjadi cara keliru orang memakai AI karena hanya sekadar bertanya. |
| file | Dokumen seperti PDF, Word, atau kode yang diunggah ke AI dan ikut memakan token, sehingga sebaiknya hanya bagian yang relevan saja yang dimasukkan. |
| Advanced | Menu di aplikasi AI yang diperlihatkan di video sebagai tempat menambahkan file ke percakapan sebelum mengetik prompt. |
| masukin | Bahasa gaul untuk memasukkan, yaitu menaruh teks, file, atau data ke dalam percakapan AI sehingga ikut dihitung sebagai token. |
Dalam podcast AI Creator Labs ini, Ruangsepri (CMO) dan Techpreneurboi (CTO) membahas kenapa banyak orang belum memakai AI dengan benar. Menurut mereka, kebanyakan pengguna hanya memperlakukan ChatGPT seperti mesin pencari dan mengira prompt yang panjang dan detail sudah cukup untuk mendapat hasil bagus. Padahal ada dua hal yang jarang dibahas, yaitu token dan context window. Tanpa memahami keduanya, sebagus dan sepanjang apa pun prompt yang ditulis, hasil AI akan sulit konsisten, bisa salah, bahkan berhalusinasi. Video ini dibagi menjadi tiga bagian: memahami cara kerja AI di balik layar, mengubah pemahaman itu menjadi praktik context engineering, lalu melihat bagaimana cara pakai yang benar membuat pekerjaan penonton jauh lebih produktif.
Techpreneurboi memperagakan situs GPT Tokenizer, yang menunjukkan bahwa kalimat seperti "lo adalah seorang entrepreneur" dipecah menjadi empat token pada GPT-5, sementara model lain memecah kata seperti "mengeksplor" dengan cara berbeda. Lewat situs Artificial Analysis, ia menunjukkan bahwa context window setiap model diukur dalam token, misalnya 400 ribu atau 200 ribu, dan model sebaiknya dipilih sesuai tujuan pembuatannya: Gemini untuk kerja kreatif, GPT untuk kebutuhan sehari-hari, Claude untuk matematika dan coding. Context window diibaratkan baskom atau RAM untuk memproses, berbeda dengan fitur memory ChatGPT yang menyimpan catatan jangka panjang. Tips praktisnya adalah memperkirakan jumlah token, hanya memasukkan halaman file yang relevan, menyalin teks alih-alih mengunggah dokumen utuh, merangkum kuitansi ke Excel, serta meminta rangkuman saat context window hampir penuh lalu memulai ulang.
Kata kunci
- token
- konteks window
- memori
- mesin pencari
- Memahami bahwa prompt dipecah menjadi token dan setiap model punya batas konteks window.
- Mengenali dampak konteks window yang penuh dan cara memakai memory eksternal untuk menyimpan informasi di luar konteks.
- Mengatur cara memakai AI agar hasilnya konsisten dan tidak sekadar dipakai sebagai mesin pencari.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.