Modul 56

Hallucination dan verifikasi

Bagian 6 · Menggunakan model

BeginnerEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
hallucination	Kondisi ketika AI dengan penuh keyakinan memberikan informasi yang salah atau dikarang, masalah utama yang dibahas di video ini.
agents	Sistem AI yang bisa merencanakan, bernalar, memakai alat, dan mengambil tindakan sendiri, sehingga kesalahannya berdampak lebih besar daripada chatbot.
grounded	Keadaan ketika jawaban AI berpijak pada data atau sumber nyata, bukan tebakan, cara utama mengurangi halusinasi menurut video ini.
tools	Alat bantu yang bisa dipanggil agent, misalnya mesin pencari, kalkulator, konektor data, atau API, untuk memeriksa fakta sebelum menjawab.
RAG	Retrieval-augmented generation, teknik mengambil dokumen relevan lalu menyertakannya ke prompt agar jawaban AI berdasar data, disebut sebagai pola alat yang umum.
retrieval	Proses mencari dan mengambil informasi dari sumber data sebelum AI menyusun jawaban, bagian penting dari sistem seperti RAG.
confidence	Tingkat keyakinan yang terdengar dalam jawaban AI, yang menurut video sering tinggi justru saat jawabannya salah.
scope	Batas tugas dan wewenang agent, mencakup apa yang boleh dikerjakan dan dari mana datanya, yang makin sempit makin kecil peluang halusinasi.
live data	Data terkini yang diambil langsung dari sistem atau API saat dibutuhkan, diibaratkan GPS dengan info lalu lintas waktu nyata.
human reviews	Peninjauan hasil kerja AI oleh manusia sebelum dipakai, langkah keempat yang dianjurkan untuk keputusan penting.
final approval	Persetujuan akhir oleh manusia sebelum usulan agent dijalankan, sehingga penilaian dan tanggung jawab tetap ada pada orang.
system design	Cara sebuah sistem AI dirancang, termasuk sumber data, alat, batasan, dan peran manusia, yang menurut video menentukan seberapa sering halusinasi lolos.

Video ini membuka dengan kisah pengemudi yang begitu percaya pada GPS hingga mobilnya masuk ke danau, lalu menyamakannya dengan cara kita sering menerima jawaban AI yang terdengar sangat yakin. Saat AI dengan percaya diri memberi informasi yang salah, itulah yang disebut hallucination. Pertanyaan utamanya, apakah agents membuat masalah ini lebih baik atau lebih buruk. Kabar baiknya, agents yang grounded dengan tools seperti mesin pencari, konektor data, sumber pengetahuan perusahaan, API, dan RAG jauh lebih jarang berhalusinasi karena bisa memeriksa, bukan menebak. Kabar buruknya, penalaran bertahap membuka lebih banyak peluang salah, sebagian model berpikir justru menunjukkan tingkat halusinasi lebih tinggi, dan agents tidak hanya menjawab tetapi juga bertindak, misalnya membuat tiket, memperbarui data, atau menjadwalkan rapat. Kesalahan yang dilakukan dengan penuh keyakinan pun menjadi lebih berbahaya bagi bisnis.

Video menjelaskan tiga penyebab halusinasi: model memprediksi jawaban yang terdengar benar alih-alih memeriksanya, model dilatih untuk terdengar yakin karena keraguan dihukum dan kelancaran dihargai, serta model mengisi celah saat data kosong. Contohnya, agent tim pengadaan yang tidak menemukan tanggal kontrak vendor bisa mengarang tanggal seperti 12-12-2026, lalu tim bekerja berdasarkan tenggat yang tidak pernah ada. Ada empat solusi. Pertama, hubungkan agent ke sumber kebenaran seperti SharePoint, sistem CRM, repositori kontrak, dan API, layaknya GPS dengan data langsung, bukan peta lima tahun lalu. Kedua, gunakan penalaran berbasis alat seperti kalkulator dan API, sama seperti kita ingin rekan menghitung burn rate kuartalan di spreadsheet, bukan dari ingatan. Ketiga, batasi scope dengan menegaskan apa yang boleh dan tidak boleh dilakukan agent, dari mana datanya, dan alur mana yang perlu persetujuan. Keempat, libatkan manusia: agent mengusulkan, manusia meninjau dan memberi final approval, seperti cruise control yang tetap butuh pengemudi. Kesimpulannya, halusinasi adalah soal system design, bukan semata soal model.

Kata kunci

hallucination
agent hallucination
grounded
scope

Istilah

Arti

hallucination

Kondisi ketika AI dengan penuh keyakinan memberikan informasi yang salah atau dikarang, masalah utama yang dibahas di video ini.

agents

Sistem AI yang bisa merencanakan, bernalar, memakai alat, dan mengambil tindakan sendiri, sehingga kesalahannya berdampak lebih besar daripada chatbot.

grounded

Keadaan ketika jawaban AI berpijak pada data atau sumber nyata, bukan tebakan, cara utama mengurangi halusinasi menurut video ini.

tools

Alat bantu yang bisa dipanggil agent, misalnya mesin pencari, kalkulator, konektor data, atau API, untuk memeriksa fakta sebelum menjawab.

RAG

Retrieval-augmented generation, teknik mengambil dokumen relevan lalu menyertakannya ke prompt agar jawaban AI berdasar data, disebut sebagai pola alat yang umum.

retrieval

Proses mencari dan mengambil informasi dari sumber data sebelum AI menyusun jawaban, bagian penting dari sistem seperti RAG.

confidence

Tingkat keyakinan yang terdengar dalam jawaban AI, yang menurut video sering tinggi justru saat jawabannya salah.

scope

Batas tugas dan wewenang agent, mencakup apa yang boleh dikerjakan dan dari mana datanya, yang makin sempit makin kecil peluang halusinasi.

live data

Data terkini yang diambil langsung dari sistem atau API saat dibutuhkan, diibaratkan GPS dengan info lalu lintas waktu nyata.

human reviews

Peninjauan hasil kerja AI oleh manusia sebelum dipakai, langkah keempat yang dianjurkan untuk keputusan penting.

final approval

Persetujuan akhir oleh manusia sebelum usulan agent dijalankan, sehingga penilaian dan tanggung jawab tetap ada pada orang.

system design

Cara sebuah sistem AI dirancang, termasuk sumber data, alat, batasan, dan peran manusia, yang menurut video menentukan seberapa sering halusinasi lolos.