Tool use dan function calling
Bagian 6 · Menggunakan model
| Istilah | Arti |
|---|---|
| tool calling | Teknik yang memungkinkan LLM meminta aplikasi menjalankan alat seperti API atau database untuk mengambil data real time sebelum menjawab. |
| tool definition | Keterangan tentang sebuah tool yang dikirim ke LLM, berisi nama, deskripsi cara dan waktu pemakaiannya, serta input parameters yang dibutuhkan. |
| LLM | Large language model, yaitu model AI bahasa yang dalam video ini membaca pesan dan daftar tool lalu merekomendasikan tool yang perlu dipanggil. |
| client application | Aplikasi milik pengembang yang mengirim pesan dan daftar tool ke LLM, lalu menjalankan tool yang direkomendasikan pada tool calling tradisional. |
| input parameters | Data masukan yang wajib disertakan saat memanggil sebuah tool, misalnya nama kota untuk mencari informasi cuaca. |
| APIs | Application programming interface, yaitu pintu bagi program untuk meminta data atau layanan dari sistem lain, salah satu jenis tool yang bisa dipanggil LLM. |
| databases | Kumpulan data tersimpan yang tertata dan bisa dijadikan tool agar LLM mendapat informasi terkini atau spesifik saat menjawab. |
| code interpreter | Alat yang menjalankan kode program secara langsung, disebut di video sebagai salah satu bentuk tool yang bisa dipakai LLM. |
| weather API | Layanan data cuaca yang dipakai sebagai contoh tool di video untuk mengetahui suhu di Miami, yang hasilnya 71 derajat. |
| embedded tool calling | Cara tool calling yang memakai library atau framework di antara aplikasi dan LLM untuk menyimpan definisi, menjalankan tool, dan mengulang panggilan bila perlu. |
| hallucinate | Kondisi ketika LLM mengarang jawaban atau membuat pemanggilan tool yang salah, kelemahan tool calling tradisional yang ingin dikurangi embedded tool calling. |
| final answer | Jawaban akhir yang diberikan LLM kepada pengguna setelah membaca hasil tool, misalnya bahwa cuaca di Miami cukup bagus dengan suhu 71 derajat. |
Video ini menjelaskan tool calling, yaitu teknik yang membuat LLM sadar konteks dan bisa memakai data real time dari sumber seperti database atau API, biasanya lewat antarmuka chat. Dalam pola dasarnya ada dua pihak, yaitu client application di satu sisi dan LLM di sisi lain. Aplikasi mengirim pesan pengguna bersama daftar tool, lalu LLM membaca keduanya dan merekomendasikan tool yang perlu dipanggil. Aplikasi menjalankan tool tersebut, mengirim hasilnya kembali ke LLM, dan LLM lalu menentukan tool berikutnya atau memberikan jawaban akhir. Topik ini penting bagi siapa pun yang ingin membangun aplikasi AI yang bisa bekerja dengan data nyata, karena tanpa tool, LLM hanya mengandalkan pengetahuan yang sudah dimilikinya.
Aplikasi bertanggung jawab membuat tool definition yang berisi nama setiap tool, deskripsi tentang cara dan kapan tool dipakai, serta input parameters yang dibutuhkan untuk memanggilnya. Tool bisa berupa API, database, atau kode yang dijalankan lewat code interpreter. Contohnya, pengguna bertanya suhu di Miami, LLM melihat weather API dalam daftar tool dan menyusun cara memanggilnya, aplikasi memanggil API dan mendapat 71 derajat, lalu LLM menjawab bahwa cuaca di Miami cukup bagus. Kelemahan cara tradisional ini adalah LLM bisa berhalusinasi atau membuat pemanggilan tool yang salah. Sebagai solusinya, video memperkenalkan embedded tool calling, yaitu memakai library atau framework di antara aplikasi dan LLM yang menyimpan tool definition sekaligus menjalankan tool, mengulang pemanggilan bila perlu, dan langsung memberikan jawaban akhir sehingga risiko halusinasi berkurang.
Kata kunci
- tool calling
- tool definition
- embedded tool calling
- client application
- Menjelaskan tool calling: aplikasi klien mengirim pesan dan tool definition ke LLM, lalu LLM merekomendasikan tool yang dipanggil.
- Menulis tool definition berisi nama, deskripsi, dan parameter input, lalu mengembalikan hasil tool ke LLM.
- Membandingkan tool calling tradisional dengan embedded tool calling yang dikelola library untuk mengurangi kesalahan dan halusinasi.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.