Modul 55

Context engineering

Bagian 6 · Menggunakan model

IntermediateEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
prompt engineering	Keterampilan merangkai teks perintah untuk model bahasa, termasuk instruksi, contoh, dan petunjuk format, agar perilaku dan jawabannya sesuai keinginan.
context engineering	Disiplin tingkat sistem untuk menyusun secara terprogram semua yang dilihat model, seperti prompt, dokumen, memory, dan tools, agar model mampu menyelesaikan tugasnya.
agentic AI	Sistem AI yang bertindak sebagai agen untuk menjalankan tugas bertahap secara mandiri, seperti Agent Graeme yang memesan hotel dan perjalanan di video ini.
memory	Kemampuan agen menyimpan dan memanggil kembali informasi dari percakapan atau interaksi sebelumnya, yang di video ini dibagi menjadi memori jangka pendek dan jangka panjang.
short-term memory	Memori jangka pendek agen, misalnya dengan meringkas percakapan panjang agar tetap muat dalam context window sehingga isi pembicaraan sebelumnya tidak terlupa.
long-term memory	Memori jangka panjang agen yang memakai vector database untuk mengambil hal seperti preferensi pengguna, perjalanan sebelumnya, dan pola yang sudah dipelajari.
RAG	Singkatan retrieval augmented generation, teknik menghubungkan agen ke sumber pengetahuan dan hanya mengambil bagian dokumen yang relevan, misalnya potongan kebijakan perjalanan perusahaan.
hybrid search	Cara pencarian yang menggabungkan pencocokan makna secara semantik dengan pencocokan kata kunci, dipakai RAG untuk menemukan bagian dokumen yang paling relevan.
vector databases	Basis data yang menyimpan informasi dalam bentuk vektor angka sehingga bisa dicari berdasarkan kemiripan makna, dipakai untuk memori jangka panjang agen.
context windows	Batas jumlah teks yang dapat dibaca model dalam satu waktu, sehingga percakapan panjang perlu diringkas agar tetap muat.
chain of thought	Teknik prompt yang meminta model menunjukkan langkah berpikirnya, misalnya dengan kalimat mari berpikir langkah demi langkah, agar tidak langsung melompat ke kesimpulan.
tools	Fungsi tambahan yang memungkinkan agen bertindak di dunia nyata, seperti mengakses database SQL, mengambil harga terkini, atau menjalankan kode, yang tidak bisa dilakukan model sendirian.

Video ini membandingkan dua istilah yang sering tertukar, yaitu prompt engineering dan context engineering. Prompt engineering adalah seni merangkai teks masukan untuk large language model, termasuk instruksi, contoh, dan petunjuk format. Context engineering lebih luas, yaitu disiplin tingkat sistem untuk menyusun secara terprogram semua hal yang dilihat model saat inference, mulai dari prompt, dokumen yang diambil, memory, hingga tools. Untuk memperjelas perbedaannya, pembicara memperkenalkan agen pemesan perjalanan bernama Agent Graeme. Saat diminta memesan hotel di Paris untuk konferensi DevOps, Graeme malah memesan hotel di Paris, Kentucky, lalu memesan Ritz seharga 900 euro per malam karena tidak mengetahui kebijakan perjalanan perusahaan. Kegagalan ini bisa dianggap kesalahan prompt yang kurang spesifik, tetapi juga kesalahan konteks karena agen tidak diberi akses ke kalender, informasi konferensi, atau aturan biaya. Pesannya, hasil yang akurat bergantung pada sistem yang menyediakan informasi tepat bagi model, bukan hanya pada kalimat perintah.

Untuk prompt engineering, video ini menyebut empat teknik yang banyak dipakai. Role assignment memberi model peran tertentu, misalnya pengembang Python senior yang meninjau celah keamanan kode. Few-shot examples memberikan dua atau tiga pasangan contoh masukan dan keluaran, misalnya format JSON dengan nama kolom tertentu. Chain of thought meminta model berpikir langkah demi langkah, teknik yang populer sebelum ada model penalaran hasil reinforcement learning. Constraint setting menetapkan batas, seperti jawaban maksimal 100 kata atau hanya memakai konteks yang diberikan. Untuk context engineering, komponennya meliputi memory jangka pendek yang meringkas percakapan agar muat dalam context window, memory jangka panjang berbasis vector database, state management untuk melacak langkah dalam proses bertahap seperti status pemesanan penerbangan, RAG dengan hybrid search yang hanya mengambil bagian relevan dari kebijakan perjalanan, serta tools beserta deskripsinya untuk mengakses database, harga terkini, atau infrastruktur. Prompt pun menjadi bagian sistem ini, karena prompt dasar dapat diisi konteks saat runtime hingga sekitar 80 persen isinya dinamis dan 20 persen instruksi tetap. Kesimpulannya, prompt engineering menghasilkan pertanyaan yang lebih baik, sedangkan context engineering menghasilkan sistem yang lebih baik.

Kata kunci

context engineering
prompt engineering
RAG
agentic AI

Istilah

Arti

prompt engineering

Keterampilan merangkai teks perintah untuk model bahasa, termasuk instruksi, contoh, dan petunjuk format, agar perilaku dan jawabannya sesuai keinginan.

context engineering

Disiplin tingkat sistem untuk menyusun secara terprogram semua yang dilihat model, seperti prompt, dokumen, memory, dan tools, agar model mampu menyelesaikan tugasnya.

agentic AI

Sistem AI yang bertindak sebagai agen untuk menjalankan tugas bertahap secara mandiri, seperti Agent Graeme yang memesan hotel dan perjalanan di video ini.

memory

Kemampuan agen menyimpan dan memanggil kembali informasi dari percakapan atau interaksi sebelumnya, yang di video ini dibagi menjadi memori jangka pendek dan jangka panjang.

short-term memory

Memori jangka pendek agen, misalnya dengan meringkas percakapan panjang agar tetap muat dalam context window sehingga isi pembicaraan sebelumnya tidak terlupa.

long-term memory

Memori jangka panjang agen yang memakai vector database untuk mengambil hal seperti preferensi pengguna, perjalanan sebelumnya, dan pola yang sudah dipelajari.

RAG

Singkatan retrieval augmented generation, teknik menghubungkan agen ke sumber pengetahuan dan hanya mengambil bagian dokumen yang relevan, misalnya potongan kebijakan perjalanan perusahaan.

hybrid search

Cara pencarian yang menggabungkan pencocokan makna secara semantik dengan pencocokan kata kunci, dipakai RAG untuk menemukan bagian dokumen yang paling relevan.

vector databases

Basis data yang menyimpan informasi dalam bentuk vektor angka sehingga bisa dicari berdasarkan kemiripan makna, dipakai untuk memori jangka panjang agen.

context windows

Batas jumlah teks yang dapat dibaca model dalam satu waktu, sehingga percakapan panjang perlu diringkas agar tetap muat.

chain of thought

Teknik prompt yang meminta model menunjukkan langkah berpikirnya, misalnya dengan kalimat mari berpikir langkah demi langkah, agar tidak langsung melompat ke kesimpulan.

tools

Fungsi tambahan yang memungkinkan agen bertindak di dunia nyata, seperti mengakses database SQL, mengambil harga terkini, atau menjalankan kode, yang tidak bisa dilakukan model sendirian.