LLM & AI Agent Benchmarks vs Reality: Why AI Applications Break

IntermediateEvergreenJuga di kurikulum: Modul 33

Istilah sulit di video ini dan artinya
Istilah	Arti
leaderboard	Papan peringkat yang mengurutkan model AI berdasarkan skor benchmark, yang menurut video hanya titik awal dan bukan ukuran kinerja nyata.
benchmark	Pengujian standar untuk mengukur kemampuan model atau kinerja sistem, dipakai untuk mengetahui posisi aplikasi di segitiga akurasi, performa, dan biaya.
model evaluation	Evaluasi seberapa pintar dan akurat model menjawab soal di domain tertentu, misalnya lewat MMLU atau LLM as a judge.
system evaluation	Evaluasi kinerja aplikasi AI secara keseluruhan, mencakup kecepatan respons, kemampuan melayani banyak pengguna, dan biaya per permintaan.
accuracy	Ketepatan jawaban model, salah satu sudut segitiga yang harus diseimbangkan dengan performa dan biaya.
latency	Lama waktu pengguna menunggu jawaban, diukur antara lain sebagai time to first token dan latensi total permintaan.
throughput	Jumlah permintaan yang bisa dilayani sistem pada saat bersamaan, misalnya lima atau seribu permintaan sekaligus.
inference	Proses ketika model menerima input lalu menghasilkan output, yang terdiri dari fase prefill dan decode dengan hambatan berbeda.
execution-based benchmark	Benchmark yang menilai model dengan menjalankan hasil kerjanya, misalnya memperbaiki bug lalu menjalankan tes seperti di SWE-bench.
hallucinations	Jawaban AI yang mengarang detail palsu, yang dicek lewat LLM as a judge dan dikurangi dengan grounding pada data nyata.
capacity planning	Perencanaan jumlah beban yang sanggup dilayani sistem, ditentukan dari titik ketika latensi mulai melonjak saat lalu lintas naik.
tokens	Potongan kecil teks yang diproses model, jumlah token masuk dan keluar menentukan bentuk beban kerja saat benchmark.

Video dari IBM Technology ini membahas jurang antara skor tinggi sebuah LLM di leaderboard dan kinerjanya di dunia nyata, ketika pengguna menunggu lama atau separuh jawaban ternyata salah. Leaderboard hanya menguji satu hal, sedangkan lingkungan produksi menguji semuanya. Apa pun yang dibangun, baik chatbot layanan pelanggan, RAG atas dokumen PDF, asisten coding, maupun agent, kita selalu menyeimbangkan tiga hal yang digambarkan sebagai segitiga: akurasi, performa, dan biaya. Biasanya hanya dua yang bisa dioptimalkan, sementara yang ketiga akan dikorbankan, misalnya model besar dan akurat yang dijalankan cepat untuk ribuan pengguna akan mahal. Benchmark dan evaluasi adalah cara mengetahui posisi sistem kita di segitiga itu sebelum pengguna yang menemukannya. Video membagi pembahasan menjadi dua jenis: model evaluation untuk mengukur seberapa pintar model, dan system evaluation untuk mengukur kecepatan, skala, dan biaya per permintaan.

Untuk model evaluation, video menyebut MMLU dan MMMU sebagai tes standar berbasis jawaban acuan, serta SWE-bench dan terminal bench sebagai execution-based benchmark, ketika model mendapat tiket bug, menjelajahi kode, memperbaikinya, lalu tes dijalankan. Untuk pertanyaan tanpa satu jawaban benar, dipakai LLM as a judge dengan rubrik, didampingi pakar manusia yang melabeli data. Untuk system evaluation, metrik inference yang diukur adalah time to first token, latensi antartoken, latensi permintaan, dan throughput. Inference punya dua fase, prefill yang berat komputasi dan decode yang berat memori, sehingga bentuk beban kerja sangat berpengaruh: chat sekitar 128 token masuk, RAG sekitar 4.000 token masuk dengan 512 token keluar, dan agent sekitar 512 token masuk dan keluar. Tim perlu menetapkan SLO, misalnya 99 persen permintaan di bawah 300 milidetik, membedakan inference offline dan online, lalu mencari titik belok latensi untuk capacity planning. Agent dievaluasi di setiap langkah lewat piramida: performa sistem, format, keamanan dan bias, akurasi faktual, lalu evaluasi khusus domain. Kesimpulannya, skor leaderboard hanyalah titik awal.

Kata kunci

benchmark
leaderboard
latency
throughput

LLM & AI Agent Benchmarks vs Reality: Why AI Applications Break

IBM Technology

IntermediateEvergreenJuga di kurikulum: Modul 33

Istilah sulit di video ini dan artinya
Istilah	Arti
leaderboard	Papan peringkat yang mengurutkan model AI berdasarkan skor benchmark, yang menurut video hanya titik awal dan bukan ukuran kinerja nyata.
benchmark	Pengujian standar untuk mengukur kemampuan model atau kinerja sistem, dipakai untuk mengetahui posisi aplikasi di segitiga akurasi, performa, dan biaya.
model evaluation	Evaluasi seberapa pintar dan akurat model menjawab soal di domain tertentu, misalnya lewat MMLU atau LLM as a judge.
system evaluation	Evaluasi kinerja aplikasi AI secara keseluruhan, mencakup kecepatan respons, kemampuan melayani banyak pengguna, dan biaya per permintaan.
accuracy	Ketepatan jawaban model, salah satu sudut segitiga yang harus diseimbangkan dengan performa dan biaya.
latency	Lama waktu pengguna menunggu jawaban, diukur antara lain sebagai time to first token dan latensi total permintaan.
throughput	Jumlah permintaan yang bisa dilayani sistem pada saat bersamaan, misalnya lima atau seribu permintaan sekaligus.
inference	Proses ketika model menerima input lalu menghasilkan output, yang terdiri dari fase prefill dan decode dengan hambatan berbeda.
execution-based benchmark	Benchmark yang menilai model dengan menjalankan hasil kerjanya, misalnya memperbaiki bug lalu menjalankan tes seperti di SWE-bench.
hallucinations	Jawaban AI yang mengarang detail palsu, yang dicek lewat LLM as a judge dan dikurangi dengan grounding pada data nyata.
capacity planning	Perencanaan jumlah beban yang sanggup dilayani sistem, ditentukan dari titik ketika latensi mulai melonjak saat lalu lintas naik.
tokens	Potongan kecil teks yang diproses model, jumlah token masuk dan keluar menentukan bentuk beban kerja saat benchmark.

Kata kunci

benchmark
leaderboard
latency
throughput