| Istilah | Arti |
|---|---|
| low dimensional | Sifat data yang sebenarnya hanya menempati ruang dengan sedikit derajat kebebasan, seperti garis atau bidang, walaupun tampak berada di ruang berdimensi sangat tinggi seperti gambar. |
| distribution | Gambaran tentang nilai data mana yang mungkin muncul dan seberapa sering, yang menurut Yi Ma menjadi objek utama yang sebenarnya dipelajari sistem cerdas. |
| compression | Proses meringkas data agar memakan ruang atau kode sesedikit mungkin, yang di video ini dipakai sebagai ukuran seberapa banyak pengetahuan yang diperoleh tentang dunia. |
| entropy | Ukuran ketidakpastian atau keacakan sebuah distribusi dari teori informasi Claude Shannon, yang di video ini dianggap sebagai volume data dan diturunkan lewat proses belajar. |
| codebook | Kumpulan kode terbatas yang dipakai untuk mewakili data sampai tingkat ketelitian tertentu, sehingga ukuran codebook yang mengecil menandakan bertambahnya pengetahuan tentang data. |
| denoising | Proses membersihkan derau dari data yang teramati agar kembali mendekati struktur aslinya, yang menurut video ini menurunkan entropi dan menjadi inti model difusi. |
| convolution | Operasi yang menerapkan filter yang sama di setiap posisi data, yang di video ini muncul dengan sendirinya ketika fungsi tujuan dipaksa tidak berubah terhadap pergeseran objek. |
| deep networks | Jaringan saraf tiruan berlapis banyak yang sukses dalam praktik namun sering menjadi kotak hitam, dan di video ini dijelaskan ulang sebagai langkah-langkah optimisasi kompresi. |
| world model | Memori internal tentang cara dunia bekerja yang dipakai untuk memprediksi apa yang akan terjadi berikutnya, yang menurut Yi Ma dibangun lewat umpan balik lingkar tertutup. |
| intelligence | Menurut definisi Yi Ma, kemampuan sebuah sistem untuk memperoleh, mengoreksi, dan memperbaiki pengetahuannya sendiri, berbeda dari pengetahuan yang hanya merupakan hasil kecerdasan. |
| self-improving | Kemampuan sistem untuk terus memperbaiki pengetahuannya sendiri tanpa bantuan dari luar, yang di video ini disebut ciri utama kecerdasan sejati. |
| gradient | Arah perubahan yang paling cepat menaikkan atau menurunkan nilai sebuah fungsi, yang di video ini diturunkan dari fungsi tujuan kompresi hingga menghasilkan arsitektur jaringan. |
Dalam kolokium UC Berkeley EECS ini, Profesor Yi Ma, yang diperkenalkan oleh Jitendra Malik, mengajak penonton berhenti memperlakukan deep networks sebagai kotak hitam yang dikembangkan lewat coba-coba. Ia bercerita bahwa sejak sekitar 2019 kelompoknya berhenti menulis makalah yang sekadar menjelaskan trik baru dari praktisi, lalu kembali ke pertanyaan dasar: apa yang sebenarnya dipelajari oleh sistem cerdas dan bagaimana cara mempelajarinya. Yi Ma menelusuri sejarah kecerdasan, dari DNA yang ia ibaratkan model besar pertama, munculnya otak dan mata, bahasa, sampai matematika Yunani dan cybernetics Norbert Wiener pada 1940-an. Jawaban utamanya adalah bahwa kecerdasan mempelajari hal yang dapat diprediksi dari dunia, dan informasi itu berbentuk distribusi berdimensi rendah di dalam ruang data berdimensi sangat tinggi. Menurutnya, pemahaman berbasis prinsip pertama ini penting agar AI dapat dijelaskan, dijamin, dan dikembangkan dengan biaya lebih murah, bukan ditafsirkan sembarangan oleh pihak yang ingin menakut-nakuti publik.
Secara konkret, Yi Ma menjelaskan bahwa struktur berdimensi rendah memungkinkan pelengkapan, denoising, dan inferensi yang tangguh, misalnya mengenali dan memulihkan wajah yang 30 sampai 70 persen pikselnya dirusak. Ukuran pengetahuan adalah kompresi: entropi dan laju pengodean dengan codebook terbatas menunjukkan seberapa kecil volume data dibanding seluruh ruang. Proses denoising pada model difusi terbukti menurunkan entropi, dan bila gradien fungsi tujuan rate reduction diturunkan, muncul operator yang mirip attention head, ResNet, dan mixture of experts, sedangkan konvolusi muncul sendiri dari syarat invariansi terhadap pergeseran. Jaringan white box hasil turunan ini lebih sederhana, setiap head-nya mengelompokkan bagian objek seperti kaki dan kepala, dan versi DINO yang disederhanakan dua mahasiswa Berkeley justru berkinerja lebih baik. Ia juga menekankan autoencoding dalam lingkar tertutup, otak yang hanya memakai sekitar 18 watt, serta definisi kecerdasan sebagai mekanisme untuk mengoreksi dan memperbaiki pengetahuan sendiri, sehingga GPT disebutnya hanya punya pengetahuan. Sesi tanya jawab membahas konvolusi di domain frekuensi yang menurunkan kompleksitas dari kuadratik ke linear.
Kata kunci
- low dimensional
- compression
- codebook
- denoising
- Mengikuti ETS Colloquium di Berkeley tentang apa itu kecerdasan dan bagaimana mesin mempelajarinya.
- Memahami gagasan bahwa data nyata berada pada distribusi berdimensi rendah, sehingga belajar berarti kompresi, dengan konsep entropy, codebook, dan denoising.
- Menghubungkannya ke deep networks, operator konvolusi, world model, dan definisi sistem cerdas yang memperbaiki pengetahuannya sendiri.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.