Modul 43

Mengevaluasi aplikasi LLM

Bagian 5 · Dunia AI Engineer · LangChain

EngineerPerishable

Istilah sulit di video ini dan artinya
Istilah	Arti
Claygent	Agent riset go-to-market buatan Clay sejak 2023 yang mencari informasi perusahaan di web dan berjalan lebih dari 300 juta kali per bulan.
Sculptor	Agent buatan Clay untuk membangun alur kerja go-to-market, menganalisis data, dan mencari prospek, dengan lebih dari 100 ribu pesan per minggu.
evals	Rangkaian pengujian untuk mengukur kualitas output agent AI secara berulang, yang menurut tim Clay kini menjadi kewajiban.
eval harness	Kerangka siap pakai untuk menjalankan eval, yang di Clay bisa dipakai lintas produk dengan evaluator milik masing-masing tim.
goldens	Contoh input beserta jawaban acuan yang sudah pasti benar, berguna untuk kasus sederhana tetapi terlalu kaku untuk kueri rumit.
traces	Catatan langkah demi langkah dari setiap kali agent berjalan, yang jumlahnya di Clay terlalu banyak untuk diperiksa satu per satu.
deterministic	Sifat pengujian yang selalu memberi hasil sama untuk input yang sama, misalnya percakapan dengan giliran pengguna yang ditulis tetap.
drift	Pergeseran ketika data produksi atau penilaian judge tidak lagi sesuai dengan yang diuji tim, masalah yang menurut video belum terpecahkan.
evaluators	Penilai otomatis atau manusia yang memberi skor pada output agent, misalnya LLM judge atau skor kepuasan pengguna.
latency	Lama waktu yang dibutuhkan agent untuk merespons, salah satu metrik objektif yang dipantau Clay selain biaya.
customer support tickets	Laporan keluhan pelanggan ke tim dukungan, dipakai Clay sebagai sinyal kuat untuk menambah contoh eval dari kasus nyata.
flywheel	Siklus perbaikan yang saling menguatkan, ketika kegagalan alat yang dipakai agent internal dan eksternal menjadi masukan untuk memperbaiki alat itu.

Video ini adalah presentasi tim Clay di acara LangChain tentang cara mereka mengevaluasi agent AI dalam skala besar. Clay memiliki dua agent utama. Claygent, diluncurkan tahun 2023, adalah agent riset go-to-market yang mencari di web, menelusuri data internal pengguna, dan berjalan lebih dari 300 juta kali per bulan. Sculptor, diluncurkan sekitar setahun lalu, adalah agent untuk membangun alur kerja go-to-market dan menganalisis data, kini menerima lebih dari 100.000 pesan per minggu, termasuk kemampuan mencari prospek dari database perusahaan dan kontak milik Clay. Dengan volume sebesar itu, tim tidak mungkin memeriksa setiap trace atau berbicara dengan setiap pelanggan. Pembicara mengakui eval mereka awalnya kurang baik, tetapi kini menjadi hal yang wajib. Dengan rangkaian eval yang baik, agent coding seperti Claude, Codex, atau Devin bisa mengubah prompt tanpa risiko merusak produksi.

Prinsip eval Clay meliputi eval lokal yang murah dan cepat lewat command line, eval di CI atau staging yang semirip mungkin dengan produksi, hasil yang tersimpan dan berversi, serta eval harness yang bisa dipakai lintas produk dengan evaluator masing-masing. Cakupannya dibagi ke beberapa kotak: goldens dan pemeriksaan jalur alat untuk yang deterministic dan offline, LLM as a judge serta simulasi pengguna multi-turn, metrik objektif seperti latensi, biaya, dan pengguna yang kesal, serta evaluator online seperti skor kepuasan dan deteksi pengguna yang mengoreksi agent. Goldens ternyata terlalu kaku sehingga diganti pemeriksaan terstruktur, dan percakapan multi-turn dengan giliran pengguna yang ditulis tetap ternyata paling berguna. Tantangan terbesarnya adalah drift data dan drift judge, yang diatasi dengan customer support tickets, goldens berlabel manusia, dan pengklasifikasi use case. Ke depan, Clay dibuka lewat CLI dan API dengan alat yang sama bagi agent internal maupun eksternal sehingga tercipta flywheel perbaikan. Tim juga pindah ke arsitektur data lake yang menyatukan data dari Snowflake, Postgres, ClickHouse, dan trace, dibantu model Fable yang mampu menganalisis 10.000 contoh sekaligus.

Kata kunci

evals
eval harness
traces
goldens

Istilah

Arti

Claygent

Agent riset go-to-market buatan Clay sejak 2023 yang mencari informasi perusahaan di web dan berjalan lebih dari 300 juta kali per bulan.

Sculptor

Agent buatan Clay untuk membangun alur kerja go-to-market, menganalisis data, dan mencari prospek, dengan lebih dari 100 ribu pesan per minggu.

evals

Rangkaian pengujian untuk mengukur kualitas output agent AI secara berulang, yang menurut tim Clay kini menjadi kewajiban.

eval harness

Kerangka siap pakai untuk menjalankan eval, yang di Clay bisa dipakai lintas produk dengan evaluator milik masing-masing tim.

goldens

Contoh input beserta jawaban acuan yang sudah pasti benar, berguna untuk kasus sederhana tetapi terlalu kaku untuk kueri rumit.

traces

Catatan langkah demi langkah dari setiap kali agent berjalan, yang jumlahnya di Clay terlalu banyak untuk diperiksa satu per satu.

deterministic

Sifat pengujian yang selalu memberi hasil sama untuk input yang sama, misalnya percakapan dengan giliran pengguna yang ditulis tetap.

drift

Pergeseran ketika data produksi atau penilaian judge tidak lagi sesuai dengan yang diuji tim, masalah yang menurut video belum terpecahkan.

evaluators

Penilai otomatis atau manusia yang memberi skor pada output agent, misalnya LLM judge atau skor kepuasan pengguna.

latency

Lama waktu yang dibutuhkan agent untuk merespons, salah satu metrik objektif yang dipantau Clay selain biaya.

customer support tickets

Laporan keluhan pelanggan ke tim dukungan, dipakai Clay sebagai sinyal kuat untuk menambah contoh eval dari kasus nyata.

flywheel

Siklus perbaikan yang saling menguatkan, ketika kegagalan alat yang dipakai agent internal dan eksternal menjadi masukan untuk memperbaiki alat itu.