How to Build Agents That Improve Over Time: Model, Harness, Context | Interrupt London
| Istilah | Arti |
|---|---|
| agent | Sistem AI yang memakai model untuk memutuskan langkah, dan dirangkai dengan harness serta context agar bisa bekerja sendiri. |
| traces | Catatan lengkap setiap langkah agen, mulai dari input, output, sampai urutan kejadian, yang dipakai untuk memperbaiki agen. |
| evals | Pengujian yang mendefinisikan jawaban baik dan buruk, dan oleh pembicara disebut sebagai PRD baru untuk agen AI. |
| harness | Sistem di sekitar model yang mengatur apa yang dilihat model, menjalankan aksi, memeriksa hasil, dan menyimpan data. |
| loop | Siklus berulang yang terdiri dari menjalankan agen, mengumpulkan umpan balik, memperbaiki, lalu menguji ulang. |
| LangSmith | Platform dari LangChain untuk melihat traces, menjalankan evals, dan melakukan fine-tuning agen, yang dibahas dalam video ini. |
| model | Model bahasa yang menjadi pusat penalaran agen, dan bobotnya bisa diperbarui lewat fine-tuning atau RL. |
| judge | Penilai, baik manusia maupun model AI, yang memberi nilai pada jawaban agen, dan pembicara mengakui belum ada penilai kebenaran universal. |
| North Star | Tujuan jangka panjang berupa agen yang memperbaiki diri sepenuhnya secara otomatis, yang oleh pembicara dianggap belum tercapai. |
| fine tuning | Melatih ulang model dengan contoh tertentu, misalnya dari traces yang berhasil, agar model lebih baik untuk tugas tertentu. |
| context | Teks, markdown, file, dan pengetahuan yang diberikan kepada agen, dan bagian ini paling mudah diperbarui dibanding model atau harness. |
| improvement loop | Siklus perbaikan agen yang mencakup menjalankan agen, memeriksa traces, menambah evals, lalu mengubah model, harness, atau context. |
Video ini berisi ceramah dari tim LangChain tentang cara membangun agen AI yang terus membaik seiring waktu. Pembicara memulai dengan menjelaskan bahwa agen terdiri dari tiga bagian, yaitu model sebagai otak, harness sebagai sistem di sekitarnya, dan context berupa teks serta pengetahuan yang diberikan. Perbaikan bisa dilakukan pada ketiganya, dengan cara manual, dengan manusia yang menyetujui, atau sepenuhnya otomatis, dan yang terakhir disebut sebagai tujuan jangka panjang yang belum tercapai. Pesannya penting bagi pembuat agen, karena agen tidak bisa diperbaiki jika belum jelas apa yang sebenarnya dibangun. Pembicara juga menegaskan bahwa traces dan evals adalah fondasi bersama dari siklus perbaikan ini.
Bagian konkretnya membahas tiga cara memperbaiki agen. Model biasanya diperbarui lewat supervised fine-tuning untuk tugas sederhana seperti klasifikasi, atau lewat RL untuk agen yang lebih kompleks, dan LangSmith Fine-Tuning dengan CLI bernama smithtune disebut membantu proses SFT. Harness diperbaiki dengan meninjau traces, mencari masalah, lalu mengubah kode, prompt, atau tools, dan LangSmith Engine disebut sebagai agen latar belakang yang mengelompokkan masalah serta mengusulkan perbaikan. Context paling mudah diubah karena berupa teks, dan contohnya adalah Hex dan Profound yang memperbarui konteks di tingkat pengguna atau organisasi, serta proyek open source OpenWiki. Traces mencatat input, output, dan urutan kejadian secara lengkap, sementara evals menentukan apa yang dianggap baik lewat exact match, kriteria, dan lingkungan simulasi. Alur akhirnya adalah menjalankan agen, memberi umpan balik, menambah eval, lalu mengusulkan perubahan.
Kata kunci
- traces
- evals
- harness
- improvement loop
- Memahami bagian-bagian agen dan cara agen bisa membaik seiring waktu, yang disebut LangChain sebagai North Star.
- Memakai traces produksi dan evals untuk mendefinisikan seperti apa hasil yang baik, lalu memperbaiki agen lewat loop peningkatan.
- Mengenali cara memperbarui model (supervised fine-tuning dari traces yang berhasil) dan memperbaiki harness atau konteks, dengan LangSmith sebagai alat bantu.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.