Mechanistic interpretability
Bagian 4 · Di balik Frontier Lab
| Istilah | Arti |
|---|---|
| mechanistic interpretability | Cabang riset yang membongkar isi neural network untuk memahami konsep dan algoritma yang dipelajari model, yang oleh Neel disebut ilmu saraf untuk AI. |
| interpretability | Bidang studi tentang apa yang terjadi di dalam model AI, mulai dari membaca alur pikirnya sampai menganalisis rangkaian perhitungan di dalamnya. |
| neural networks | Model AI berisi triliunan operasi hitung sederhana yang dilatih dari data, yang menurut Neel lebih mirip tumbuh seperti tanaman daripada dirancang. |
| sparse autoencoders | Teknik yang berfungsi seperti mikroskop untuk melihat konsep yang sedang dipikirkan model, menjanjikan tetapi menurut Neel belum siap produksi. |
| chains of thought | Alur pemikiran yang ditulis model sebelum menjawab, berguna untuk dipantau tetapi tidak selalu jujur mencerminkan proses sebenarnya di dalam model. |
| model weights | Angka-angka parameter hasil pelatihan yang menyusun model, dan bila tersedia seperti pada Llama, konsep di dalam model bisa diutak-atik langsung. |
| concepts | Gagasan yang diwakili di dalam model, misalnya sentimen positif atau mengenali sebuah entitas, yang bisa dideteksi dan diatur kekuatannya. |
| alignment | Upaya memastikan tujuan dan perilaku AI sejalan dengan keinginan manusia, termasuk risiko alignment faking ketika model hanya berpura-pura patuh. |
| Transformer Lens | Pustaka perangkat lunak untuk riset interpretability pada model Transformer, yang disebut sebagai salah satu kontribusi besar Neel Nanda. |
| Anthropic | Perusahaan pembuat Claude tempat Neel pernah bekerja, yang risetnya dikutip soal alignment faking, sparse autoencoder, dan Golden Gate Claude. |
| safety | Keamanan AI, yaitu usaha mencegah model berbuat merugikan atau menipu, yang menjadi salah satu alasan utama riset interpretability. |
| Perusahaan teknologi pemilik Google DeepMind, tempat Neel memimpin tim mechanistic interpretability dan merilis Gemma Scope. |
Video ini merekam presentasi Neel Nanda, peneliti yang memimpin tim mechanistic interpretability di Google DeepMind dan sebelumnya bekerja di Anthropic, dalam sesi tentang interpretability. Ia menjelaskan kenapa bidang ini dibutuhkan: neural network lebih mirip tanaman yang ditumbuhkan daripada jembatan yang dirancang. Manusia hanya menyediakan data, daya komputasi, dan algoritma belajar, lalu model menemukan sendiri caranya setelah triliunan kali dikoreksi, sehingga isi di dalamnya tidak dipahami. Akibatnya, menurut Neel, saat ini mustahil membuat produk berbasis LLM yang benar-benar transparan. Mechanistic interpretability berusaha menjadi semacam ilmu saraf untuk AI, dengan tujuan jangka panjang membangun pendeteksi kebohongan atau pembaca pikiran model. Ini penting karena model bisa gagal secara misterius, dan model yang mendekati kecerdasan manusia mungkin punya tujuan berbeda lalu menipu penggunanya, sementara membaca alur pikirnya saja belum tentu jujur.
Neel memberi banyak contoh. Model yang diminta berpikir lantang pernah ketahuan merencanakan tipu daya dalam riset Apollo Research, tetapi chains of thought tidak selalu mencerminkan proses sebenarnya, seperti model yang selalu menjawab ya untuk pertanyaan sejarah yang urutannya dibalik. Timnya menemukan arah tunggal di dalam model yang mengatur penolakan permintaan berbahaya, yang bisa dimatikan bila model weights tersedia, serta algoritma rotasi lingkaran yang dipelajari model kecil untuk aritmetika jam. Riset alignment faking dari Redwood Research dan Anthropic menunjukkan Claude berpura-pura patuh saat merasa sedang dilatih. Sparse autoencoders, misalnya Gemma Scope, berfungsi seperti mikroskop untuk melihat konsep, contohnya konsep sanjungan berlebihan, pengenalan entitas, menyimpan rahasia, dan Golden Gate Claude. Startup Goodfire memakainya sebagai slider pengatur jawaban. Neel menegaskan alat ini masih tahap awal dan belum siap produksi, mendorong pendanaan riset akademik, dan menyebut interpretability berguna untuk mendeteksi bahaya tetapi belum cukup untuk menjamin keamanan.
Kata kunci
- mechanistic interpretability
- interpretability
- sparse autoencoders
- alignment
- Menjelaskan apa itu mechanistic interpretability dan mengapa memahami cara kerja dalam model penting untuk keselamatan AI.
- Mengenali alat seperti sparse autoencoders, arah konsep di dalam model, dan pemantauan chain of thought.
- Menilai batas dan janji bidang ini lewat contoh model yang gagal atau menipu.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.