| Istilah | Arti |
|---|---|
| bits | Satuan terkecil data digital yang bernilai 0 atau 1, dipakai di video ini untuk mengukur panjang sebuah kode. |
| compression | Proses memperkecil ukuran data tanpa kehilangan isinya, yang menjadi pusat pertanyaan video ini tentang batas efisiensi teks. |
| entropy | Rata-rata informasi per simbol dari sebuah sumber, yang menjadi batas bawah jumlah bit untuk kompresi. |
| Shannon | Claude Shannon, peneliti yang pada tahun 1948 memulai teori informasi dan merumuskan teorema pengkodean tanpa derau. |
| probability | Peluang kemunculan sebuah simbol atau pesan, yang menentukan seberapa banyak informasi yang dibawanya. |
| prefix | Sifat kode saat tidak ada kode yang menjadi awalan kode lain, sehingga penerima bisa memisahkan bit tanpa salah baca. |
| code word | Urutan bit yang dipakai untuk mewakili satu simbol atau instruksi dalam sebuah kode. |
| information theory | Bidang ilmu yang mempelajari cara mengukur, memampatkan, dan mengirim informasi, dimulai oleh karya Shannon. |
| negative log | Negatif logaritma basis 2 dari peluang sebuah kejadian, yang memberi jumlah bit informasi kejadian tersebut. |
| encoding | Proses mengubah simbol atau pesan menjadi rangkaian bit, misalnya menerjemahkan instruksi naik menjadi bit 0. |
| perfect compression | Kompresi ideal saat jumlah bit setiap pesan sama dengan informasinya, sehingga hasilnya tampak seperti acak. |
| random noise | Data acak yang setiap bitnya bernilai 0 atau 1 dengan peluang sama dan saling bebas, dipakai sebagai patokan kompresi sempurna. |
Video dari kanal 3Blue1Brown ini adalah bagian pertama dari seri tentang hubungan antara kompresi dan kecerdasan buatan. Pertanyaan utamanya sederhana, yaitu seberapa jauh teks bisa dikompresi tanpa kehilangan isinya, dan apakah ada batas pasti untuk itu. Pembicara menjelaskan bahwa pelatihan model bahasa besar biasanya dibicarakan sebagai prediksi kata berikutnya, padahal prediksi dan kompresi secara matematis setara. Ia mengajak penonton menemukan kembali definisi informasi dan entropi dari masalah yang konkret, bukan langsung dari rumus. Penonton perlu memahami ini karena istilah cross-entropy yang dipakai dalam pelatihan model berakar dari teori informasi yang dimulai oleh Claude Shannon sejak 1940-an dan dirumuskan dalam makalah 1948.
Sebagai pemanasan, video ini memakai robot di bulan yang menerima instruksi naik, turun, kiri, dan kanan dengan peluang setengah, seperempat, seperdelapan, dan seperdelapan. Pengkodean dua bit untuk setiap instruksi memang sederhana, tetapi murid kedua yang cerdas menyusun kode 0, 10, 110, dan 111 yang rata-rata 1,75 bit per instruksi. Kode ini tidak ambigu karena bersifat prefix-free, artinya tidak ada kode yang menjadi awalan kode lain. Pembicara lalu menunjukkan bahwa kode yang sempurna menghasilkan bit yang tampak seperti acak, dan jumlah bit sebuah pesan sama dengan informasinya, yaitu negatif log basis 2 dari peluangnya. Rata-rata informasi per simbol disebut entropi, dan menurut teorema pengkodean tanpa derau dari Shannon, tidak ada kode yang bisa lebih efisien dari batas ini. Untuk bahasa Inggris, Shannon memperkirakan sekitar satu bit per karakter berdasarkan eksperimen tebak huruf dengan manusia. Video ini belum membahas algoritma kompresi praktis, yang akan dibahas pada bagian ketiga.
Kata kunci
- entropy
- Shannon
- code word
- information theory
- Menjelaskan batas fundamental kompresi teks: dari encoding ASCII 8 bit sampai kode yang memberi bit lebih pendek untuk karakter yang umum.
- Memahami syarat kode prefix, informasi per simbol, entropy Shannon sebagai rata-rata negative log probabilitas, dan information theory.
- Melihat bagaimana Shannon menganalisis bahasa dengan menebak huruf berikutnya untuk menyelidiki model bahasa yang mendasarinya.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.