Sara Hooker - Beyond Brute Force: The Era of Adaptive Intelligence

AdvancePerishable

Istilah sulit di video ini dan artinya
Istilah	Arti
scaling	Strategi meningkatkan kemampuan AI dengan memperbesar ukuran model, data, dan daya komputasi, yang menurut Sara Hooker kini mulai memberi hasil yang makin menurun.
compute	Daya komputasi seperti GPU dan jumlah operasi hitung yang dipakai melatih model, yang menurut video ini kini menentukan siapa yang bisa ikut meneliti AI.
capacity	Kemampuan model menyimpan dan mewakili pola, biasanya diukur dari jumlah parameternya, yang hubungannya dengan generalisasi menurut pembicara masih kurang dipahami.
verifiable	Sifat tugas yang jawabannya bisa dicek benar atau salah, misalnya kode atau matematika, berbeda dengan tugas seperti menulis email sulit yang tidak punya satu jawaban benar.
rewards	Sinyal nilai dalam reinforcement learning yang memberi tahu model apakah tindakannya baik, yang menurut video ini sulit dirancang untuk tugas tanpa jawaban pasti.
data space	Ruang seluruh data latih yang kini bisa dibentuk dan dioptimalkan secara sengaja, misalnya dengan memangkas data atau menargetkan bagian langka, sehingga model kecil tetap kuat.
coherent gradients	Judul makalah yang menjelaskan bahwa pembaruan bobot didominasi gradien dari fitur umum yang saling sejalan, sehingga contoh langka dan ekor panjang data dipelajari paling akhir.
adversary	Lawan atau penyerang yang sengaja mencari kelemahan model, termasuk lewat input dari bahasa langka seperti Gaelik, dan dalam video juga berarti pesaing yang memicu peningkatan performa.
robustness	Ketahanan model tetap berkinerja baik saat diberi input yang diubah atau serangan adversarial, yang menurut pembicara menurun ketika model dipangkas terlalu banyak.
parameters	Angka-angka yang dipelajari model selama pelatihan dan menjadi ukuran besarnya, misalnya model terbuka terbesar yang disebut mencapai satu triliun parameter.
weights	Nilai koneksi di dalam jaringan saraf yang membentuk sebagian besar parameter, yang menurut riset pembicara bisa dibuang hingga 95 persen setelah pelatihan selesai.
paper	Makalah ilmiah yang menjadi rujukan pembicara, misalnya tulisan Sara Hooker tentang kematian perlahan scaling dan makalah hardware lottery yang disebut dalam pengantar.

Video ini merekam kolokium departemen EECS UC Berkeley yang dibuka oleh Sara Hooker, CEO Adaption dan mantan kepala Cohere Labs. Ia membahas tulisannya tentang "kematian perlahan scaling" dan mengajukan pertanyaan yang menurutnya menjadi inti bidang AI selama dua dekade: apakah model yang lebih besar selalu lebih baik. Pertanyaan ini penting karena kepercayaan pada compute besar telah menentukan siapa yang bisa ikut meneliti, menjadikan perolehan compute prioritas nasional, membuat EU AI Act memakai jumlah FLOP sebagai tanda risiko, dan memusatkan AI di tangan segelintir penyedia. Hooker mengakui bukti empiris, bitter lesson dari Rich Sutton, dan scaling law memang mendukung scaling, tetapi ia berpendapat hubungan antara jumlah parameter dan kemampuan generalisasi masih kurang dipahami. Menurutnya kita kini memasuki masa hasil yang makin menurun, sehingga bidang ini justru siap untuk revolusi dan menjadi menarik lagi.

Hooker mengajak audiens menebak mengapa model di bawah 13 miliar parameter di leaderboard Hugging Face bisa menyaingi model besar, lalu menyebut arsitektur, kualitas data, dan distilasi sebagai jawabannya. Ia menunjukkan bahwa hingga 95 persen bobot bisa dibuang setelah pelatihan, sehingga kapasitas besar tampaknya lebih dibutuhkan untuk menstabilkan pelatihan. Menurut makalah coherent gradients, fitur umum dipelajari lebih dulu dan lebih dari 90 persen pelatihan habis untuk ekor panjang data yang langka. Teknik saat inferensi seperti tool use, chain of thought, dan best-of-n sampling sering lebih murah dan efektif. Sebagai arah berikutnya ia menyebut optimasi ruang data, pembelajaran tanpa gradien dari interaksi, dan desain antarmuka yang memberi umpan balik untuk tugas yang tidak bisa diverifikasi. Sesi tanya jawab membahas kecerdasan kolektif manusia, cara mengevaluasi tugas tanpa jawaban benar, sparsity yang membuat model lebih rentan serangan adversarial seperti lewat bahasa Gaelik, serta arti kemajuan AI yang menurutnya bersifat relatif, bukan biner.

Kata kunci

scaling
compute
coherent gradients
robustness

Istilah

Arti

scaling

Strategi meningkatkan kemampuan AI dengan memperbesar ukuran model, data, dan daya komputasi, yang menurut Sara Hooker kini mulai memberi hasil yang makin menurun.

compute

Daya komputasi seperti GPU dan jumlah operasi hitung yang dipakai melatih model, yang menurut video ini kini menentukan siapa yang bisa ikut meneliti AI.

capacity

Kemampuan model menyimpan dan mewakili pola, biasanya diukur dari jumlah parameternya, yang hubungannya dengan generalisasi menurut pembicara masih kurang dipahami.

verifiable

Sifat tugas yang jawabannya bisa dicek benar atau salah, misalnya kode atau matematika, berbeda dengan tugas seperti menulis email sulit yang tidak punya satu jawaban benar.

rewards

Sinyal nilai dalam reinforcement learning yang memberi tahu model apakah tindakannya baik, yang menurut video ini sulit dirancang untuk tugas tanpa jawaban pasti.

data space

Ruang seluruh data latih yang kini bisa dibentuk dan dioptimalkan secara sengaja, misalnya dengan memangkas data atau menargetkan bagian langka, sehingga model kecil tetap kuat.

coherent gradients

Judul makalah yang menjelaskan bahwa pembaruan bobot didominasi gradien dari fitur umum yang saling sejalan, sehingga contoh langka dan ekor panjang data dipelajari paling akhir.

adversary

Lawan atau penyerang yang sengaja mencari kelemahan model, termasuk lewat input dari bahasa langka seperti Gaelik, dan dalam video juga berarti pesaing yang memicu peningkatan performa.

robustness

Ketahanan model tetap berkinerja baik saat diberi input yang diubah atau serangan adversarial, yang menurut pembicara menurun ketika model dipangkas terlalu banyak.

parameters

Angka-angka yang dipelajari model selama pelatihan dan menjadi ukuran besarnya, misalnya model terbuka terbesar yang disebut mencapai satu triliun parameter.

weights

Nilai koneksi di dalam jaringan saraf yang membentuk sebagian besar parameter, yang menurut riset pembicara bisa dibuang hingga 95 persen setelah pelatihan selesai.

paper

Makalah ilmiah yang menjadi rujukan pembicara, misalnya tulisan Sara Hooker tentang kematian perlahan scaling dan makalah hardware lottery yang disebut dalam pengantar.