What is Temperature in LLM

IntermediateEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
temperature	Angka pengatur tingkat keacakan jawaban model, di mana nilai rendah membuat jawaban lebih pasti dan nilai tinggi membuatnya lebih kreatif namun berisiko.
sampling	Proses memilih token berikutnya dari distribusi probabilitas yang dihasilkan model, dan caranya sangat memengaruhi hasil teks.
logits	Skor mentah yang dihasilkan model untuk setiap kemungkinan token berikutnya sebelum diubah menjadi probabilitas.
softmax	Fungsi matematika yang mengubah logits mentah menjadi nilai probabilitas untuk semua token yang jumlah totalnya satu.
top K	Cara sampling yang hanya menyisakan sejumlah tetap token dengan probabilitas tertinggi, misalnya lima token, sebelum token berikutnya dipilih.
top P	Cara sampling yang disebut juga nucleus sampling, yaitu mengambil token teratas sampai jumlah probabilitasnya mencapai ambang tertentu seperti 0,9.
cumulative probability	Jumlah probabilitas token yang dihitung berurutan dari yang terbesar, dipakai top P untuk menentukan kapan berhenti mengambil kandidat.
greedy sampling	Cara paling sederhana memilih token yang selalu mengambil token berprobabilitas tertinggi, sehingga jawaban selalu sama namun sering membosankan.
probability distribution	Sebaran nilai peluang untuk setiap kemungkinan token berikutnya, yang menjadi dasar model memilih kata selanjutnya.
tokens	Potongan kecil teks seperti kata atau bagian kata yang diprediksi model satu per satu untuk menyusun jawaban.
text generation	Proses model bahasa menyusun jawaban dengan terus memprediksi token berikutnya dari prompt yang diberikan hingga jawaban selesai.
temperature scaling	Langkah membagi logits dengan nilai temperature sebelum softmax, sehingga distribusi probabilitas menjadi lebih tajam atau lebih rata.

Video dari kanal Under The Hood ini menjawab pertanyaan yang sering muncul saat memakai chatbot AI: mengapa pertanyaan yang sama bisa menghasilkan jawaban berbeda setiap kali diulang. Penyebabnya terletak pada cara model memilih token berikutnya. Saat membuat teks, large language model menerima prompt, menghasilkan logits mentah untuk token terakhir, lalu mengubahnya menjadi distribusi probabilitas lewat fungsi softmax. Dari distribusi inilah token berikutnya diambil, dan proses itu diulang sampai jawaban lengkap. Menurut video, cara pengambilan sampel ini merupakan salah satu faktor kunci yang menentukan hasil setelah model selesai dilatih. Video ini penting bagi siapa pun yang memakai atau membangun aplikasi LLM, karena menjelaskan dengan contoh angka bagaimana pengaturan temperature, top K, dan top P mengendalikan keseimbangan antara jawaban yang kreatif dan alami dengan jawaban yang fokus, akurat, dan aman.

Teknik paling sederhana adalah greedy sampling, yang selalu memilih token dengan probabilitas tertinggi sehingga jawaban selalu sama, tetapi cenderung membosankan dan berulang, sehingga jarang dipakai untuk chatbot. Temperature scaling membagi logits dengan nilai temperature sebelum softmax; nilai bawaannya satu, nilai mendekati nol membuat token teratas mendominasi, sedangkan nilai tinggi meratakan distribusi hingga hampir seragam. Temperature agak tinggi cocok untuk menulis cerita atau esai, temperature rendah untuk tulisan faktual, dan kebanyakan penyedia LLM membatasinya antara nol dan dua. Top K menyaring kandidat menjadi sejumlah token teratas, misalnya lima, lalu menormalkan ulang probabilitasnya. Top P atau nucleus sampling mengurutkan token dan mengambil token sampai cumulative probability mencapai ambang, misalnya 0,9; nilai nol setara greedy sampling dan nilai satu setara pengambilan acak dari semua token. Dalam contoh gabungan, temperature 0,8, top K lima, dan top P 0,9 menyaring sepuluh token menjadi hanya empat token sebelum sampel diambil.

Kata kunci

temperature
top K
top P
logits

What is Temperature in LLM

Under The Hood

IntermediateEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
temperature	Angka pengatur tingkat keacakan jawaban model, di mana nilai rendah membuat jawaban lebih pasti dan nilai tinggi membuatnya lebih kreatif namun berisiko.
sampling	Proses memilih token berikutnya dari distribusi probabilitas yang dihasilkan model, dan caranya sangat memengaruhi hasil teks.
logits	Skor mentah yang dihasilkan model untuk setiap kemungkinan token berikutnya sebelum diubah menjadi probabilitas.
softmax	Fungsi matematika yang mengubah logits mentah menjadi nilai probabilitas untuk semua token yang jumlah totalnya satu.
top K	Cara sampling yang hanya menyisakan sejumlah tetap token dengan probabilitas tertinggi, misalnya lima token, sebelum token berikutnya dipilih.
top P	Cara sampling yang disebut juga nucleus sampling, yaitu mengambil token teratas sampai jumlah probabilitasnya mencapai ambang tertentu seperti 0,9.
cumulative probability	Jumlah probabilitas token yang dihitung berurutan dari yang terbesar, dipakai top P untuk menentukan kapan berhenti mengambil kandidat.
greedy sampling	Cara paling sederhana memilih token yang selalu mengambil token berprobabilitas tertinggi, sehingga jawaban selalu sama namun sering membosankan.
probability distribution	Sebaran nilai peluang untuk setiap kemungkinan token berikutnya, yang menjadi dasar model memilih kata selanjutnya.
tokens	Potongan kecil teks seperti kata atau bagian kata yang diprediksi model satu per satu untuk menyusun jawaban.
text generation	Proses model bahasa menyusun jawaban dengan terus memprediksi token berikutnya dari prompt yang diberikan hingga jawaban selesai.
temperature scaling	Langkah membagi logits dengan nilai temperature sebelum softmax, sehingga distribusi probabilitas menjadi lebih tajam atau lebih rata.

Kata kunci

temperature
top K
top P
logits