Three Questions Every Agent Engineer Should Be Able To Answer

Dalam presentasi di kantor baru LangChain ini, pembicara membahas arti owning your own intelligence dari sudut pandang praktisi yang membangun agent. Ia merumuskan tiga pertanyaan yang wajib bisa dijawab setiap agent engineer. Pertama, di mana dan mengapa agent gagal. Kedua, bagaimana membuat kegagalan itu bisa terulang secara andal. Ketiga, apa yang harus diubah agar agent berhenti gagal di masa depan. Menurutnya, siapa pun yang mampu menjawab ketiganya dengan baik benar-benar menguasai kecerdasan produknya sendiri, baik harness maupun bobot modelnya. Topik ini penting karena agent di production bisa berjalan ribuan sampai jutaan kali sehari, sehingga kegagalan sulit dilacak tanpa metode yang jelas. Ia juga menegaskan bahwa evaluasi yang hanya memeriksa input dan output sederhana tidak cukup. Perilaku agent dipengaruhi lingkungannya, misalnya isi database, izin akses, skema data, dan tindakan yang sudah diambil sebelumnya.

Untuk pertanyaan pertama, LangChain menambang agent traces dari production. Karena memakai LLM-as-judge kelas frontier mahal dalam skala besar, mereka melakukan fine-tuning sebuah judge khusus untuk menilai apakah pengguna puas atau frustrasi dan untuk mengelompokkan failure mode. Untuk pertanyaan kedua, mereka memakai spesifikasi yang mendefinisikan dunia agent dan tasks di dalamnya. Contohnya GTM agent internal yang terhubung ke Gong, Salesforce, Calendly, dan Google Calendar, dengan task meriset transkrip Gong seorang pelanggan lalu menyusun draf pesan lanjutan. Tasks harus cukup sulit dan tidak mudah di-reward hack. Pembicara mencontohkan Google yang menawarkan 10 juta dolar kepada Spirit Airlines demi memo Slack dan dokumen internalnya, lalu menyebut pengembang aplikasi tetap unggul karena melihat pola penggunaan nyata. Untuk pertanyaan ketiga, perbaikan dilakukan di level harness, misalnya prompt, skema tool, dan cara konteks disisipkan, atau di level model lewat post-training. Lingkungan yang robust memudahkan pengujian ulang saat model dan interaction patterns berubah.