Jon Kleinberg - Formal Models of Language Generation

AdvanceEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
language generation	Tugas menghasilkan kalimat atau string baru yang benar dalam suatu bahasa setelah melihat contoh-contohnya, yang di video ini dirumuskan secara matematis tanpa probabilitas.
algorithm	Langkah-langkah pasti yang dijalankan komputer untuk menyelesaikan masalah, di video ini berperan sebagai pihak yang belajar dari contoh lalu menghasilkan string.
true language	Bahasa rahasia yang sebenarnya dipilih oleh adversary dan harus ditiru oleh algoritma, walaupun algoritma tidak pernah tahu pasti bahasa mana itu.
Gold	Mark Gold, peneliti yang pada tahun 1967 membuat model identifikasi bahasa dan membuktikan bahwa menebak bahasa secara tepat dari contoh positif saja umumnya mustahil.
adversary	Pihak lawan dalam permainan teoretis yang memilih bahasa rahasia lalu menyebutkan string-stringnya satu per satu untuk menguji algoritma.
theorem	Pernyataan matematika yang sudah dibuktikan kebenarannya, misalnya teorema di video ini bahwa language generation selalu mungkin untuk setiap kumpulan bahasa.
density	Ukuran seberapa besar bagian bahasa yang benar-benar dihasilkan algoritma, dihitung sebagai pecahan dari string-string awal bahasa tersebut.
breadth	Keluasan atau keragaman keluaran sebuah model, yang bila gagal dijaga membuat model terjebak pada sedikit pola yang terus diulang atau mode collapse.
critical languages	Bahasa kandidat yang konsisten dengan contoh yang sudah terlihat dan menjadi subset dari semua kandidat konsisten sebelumnya, yang menjadi kunci algoritma di video ini.
subset	Himpunan yang seluruh anggotanya juga termasuk dalam himpunan lain, sehingga menghasilkan string dari subset bahasa yang benar selalu aman.
infinitely	Tanpa batas atau terus berlangsung selamanya, misalnya algoritma dinyatakan kalah bila membuat kesalahan secara tak terhingga sering.
strings	Urutan simbol dari suatu alfabet, misalnya deretan angka biner atau sebuah paragraf, yang menjadi satuan dasar penyusun bahasa dalam model ini.

Dalam kuliah di UC Berkeley EECS ini, Jon Kleinberg mengajak penonton memikirkan ulang pertanyaan dasar tentang large language model, yaitu masalah apa sebenarnya yang sedang dipecahkan oleh pembuatan bahasa. Bersama Sendhil Mullainathan, dan belakangan Fan Wei, ia sengaja meninggalkan sudut pandang probabilitas dan arsitektur transformer, lalu merumuskan masalahnya secara abstrak: sebuah algoritma mengamati string dari bahasa yang tidak diketahui, lalu suatu saat harus mulai menghasilkan string baru yang valid dalam bahasa itu. Rumusan ini mirip dengan model klasik Mark Gold tahun 1967 tentang identifikasi bahasa, yang terbukti mustahil dipecahkan. Kleinberg menunjukkan bahwa menghasilkan bahasa ternyata berbeda dari mengenali bahasa, sama seperti manusia yang fasih berbicara tanpa pernah tahu semua aturan tata bahasanya. Hasil ini penting karena tetap berlaku walaupun transformer kelak diganti model generasi berikutnya, dan memberi bahasa formal untuk membicarakan tarik-menarik antara validitas, yang gagal berupa halusinasi, dan keluasan atau breadth, yang gagal berupa mode collapse seperti gaya tulisan AI yang kaku dan seragam.

Kleinberg menjelaskan permainan antara adversary yang menyebutkan string dari bahasa rahasia dan algoritma yang hanya melihat contoh positif tanpa umpan balik, seperti bayi berusia enam bulan. Hasil utamanya mengejutkan: ada algoritma yang menang untuk setiap kumpulan bahasa yang dapat dihitung. Ia memperlihatkan satu jalan buntu, yaitu menebak L1, L2, dan seterusnya sampai terbukti salah, yang gagal karena bisa tersangkut pada bahasa yang terlalu besar. Kuncinya adalah definisi critical language, yakni bahasa yang konsisten dan merupakan subset dari semua bahasa konsisten sebelumnya, sehingga algoritma cukup menghasilkan string dari critical language terakhir. Cara ini aman tetapi menghasilkan density nol, mirip pendatang di subreddit yang awalnya keliru, lalu fasih, lalu kaku. Bersama Fan Wei, ia membuktikan bahwa density positif bisa dicapai hingga setengah dengan algoritma yang zigzag kembali ke bahasa yang benar. Sesi tanya jawab membahas adversary yang hanya menyebut subset, contoh anak bilingual Inggris dan Hindi, serta kaitannya dengan PAC learning.

Kata kunci

language generation
true language
adversary
breadth

Istilah

Arti

language generation

Tugas menghasilkan kalimat atau string baru yang benar dalam suatu bahasa setelah melihat contoh-contohnya, yang di video ini dirumuskan secara matematis tanpa probabilitas.

algorithm

Langkah-langkah pasti yang dijalankan komputer untuk menyelesaikan masalah, di video ini berperan sebagai pihak yang belajar dari contoh lalu menghasilkan string.

true language

Bahasa rahasia yang sebenarnya dipilih oleh adversary dan harus ditiru oleh algoritma, walaupun algoritma tidak pernah tahu pasti bahasa mana itu.

Gold

Mark Gold, peneliti yang pada tahun 1967 membuat model identifikasi bahasa dan membuktikan bahwa menebak bahasa secara tepat dari contoh positif saja umumnya mustahil.

adversary

Pihak lawan dalam permainan teoretis yang memilih bahasa rahasia lalu menyebutkan string-stringnya satu per satu untuk menguji algoritma.

theorem

Pernyataan matematika yang sudah dibuktikan kebenarannya, misalnya teorema di video ini bahwa language generation selalu mungkin untuk setiap kumpulan bahasa.

density

Ukuran seberapa besar bagian bahasa yang benar-benar dihasilkan algoritma, dihitung sebagai pecahan dari string-string awal bahasa tersebut.

breadth

Keluasan atau keragaman keluaran sebuah model, yang bila gagal dijaga membuat model terjebak pada sedikit pola yang terus diulang atau mode collapse.

critical languages

Bahasa kandidat yang konsisten dengan contoh yang sudah terlihat dan menjadi subset dari semua kandidat konsisten sebelumnya, yang menjadi kunci algoritma di video ini.

subset

Himpunan yang seluruh anggotanya juga termasuk dalam himpunan lain, sehingga menghasilkan string dari subset bahasa yang benar selalu aman.

infinitely

Tanpa batas atau terus berlangsung selamanya, misalnya algoritma dinyatakan kalah bila membuat kesalahan secara tak terhingga sering.

strings

Urutan simbol dari suatu alfabet, misalnya deretan angka biner atau sebuah paragraf, yang menjadi satuan dasar penyusun bahasa dalam model ini.