| Istilah | Arti |
|---|---|
| Engine | Produk LangChain yang berfungsi sebagai agent untuk memperbaiki agent AI lain lewat temuan, perbaikan, dan eval. |
| traces | Catatan langkah demi langkah dari eksekusi agent, termasuk panggilan model dan alat, yang dipakai untuk menemukan masalah. |
| benchmarks | Kumpulan tes standar yang dipakai untuk mengukur seberapa baik Engine menjalankan tugas tertentu. |
| IssueBench | Benchmark utama LangChain untuk mengukur kemampuan Engine mengidentifikasi issue. |
| root cause | Penyebab utama dari sebuah masalah, yang dicari Engine dengan membandingkan trace dengan kode agent. |
| fixes | Perbaikan kode yang diusulkan Engine untuk menyelesaikan issue yang telah ditemukan. |
| evals | Pengujian terstruktur untuk memeriksa apakah agent berperilaku sesuai harapan setelah perubahan dilakukan. |
| validated fixes | Fitur Engine v2 yang memverifikasi issue dan perbaikan dengan input produksi sebelum perbaikan dianggap aman. |
| tool calls | Panggilan yang dilakukan agent ke alat atau sumber data eksternal selama menjalankan tugas. |
| issues | Masalah yang ditemukan Engine dari trace, beserta deskripsi yang bisa dibaca manusia. |
| LangSmith | Platform LangChain untuk melihat trace, dataset, dan eksperimen agent. |
| production | Lingkungan nyata tempat agent melayani pengguna, yang dijadikan acuan untuk menguji perbaikan. |
Video ini dibawakan oleh Ben, product manager LangChain, yang menjelaskan Engine sebagai agent untuk agent engineering. Engine dirancang untuk menangani seluruh proses memperbaiki agent AI, mulai dari menemukan trace bermasalah, mengelompokkannya berdasarkan root cause, membuat perbaikan, hingga menulis eval untuk memastikan perbaikan tidak merusak fungsi lain. Pembicara menyebut Engine telah memindai lebih dari 70 juta trace dan membuat lebih dari 21.000 issue sejak diluncurkan di Mei. Topik ini penting karena proses membangun agent sangat sulit dan memakan waktu jika dilakukan secara manual.
Pembicara menjelaskan bahwa tim membuat benchmark terpisah untuk setiap tugas Engine, seperti benchmark IssueBench untuk identifikasi masalah. Engine juga dipakai untuk memantau agent internal LangChain, termasuk agent go to market dan coding, serta satu instance meta engine yang memantau Engine itu sendiri. Pembicara menyebut hasil error identification dua kali lebih baik di IssueBench. Fitur baru Engine v2 adalah validated fixes, yang memverifikasi issue dengan input produksi, menjalankan fix di preview deployment, lalu menguji regresi memakai dataset di LangSmith. Fitur red teaming juga disebut untuk menguji agent sebelum menyentuh pengguna. Keduanya masih dalam private beta.
Kata kunci
- Engine
- traces
- IssueBench
- root cause
- Mengenal Engine, agen LangChain untuk agent engineering yang mengidentifikasi error dari traces, mengelompokkan masalah, dan menyusun perbaikan.
- Memahami benchmark seperti IssueBench, hasil identifikasi error dua kali lebih baik, dan kemampuan mendeteksi jalur yang tidak efisien.
- Melihat bahwa masalah yang ditangkap sekarang adalah yang sudah mencapai produksi, serta rencana ke Engine V3.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.