Why Frontier AI Labs Fight to Hide Chain of Thought — Ilia Shumailov & Alexander Panfilov
| Istilah | Arti |
|---|---|
| reasoning traces | Catatan proses berpikir yang ditulis model sebelum memberi jawaban akhir, dan dalam video ini dibahas sebagai target serangan. |
| reasoning blobs | Bentuk terenkripsi dari reasoning trace yang dikembalikan API kepada pengguna, sehingga isinya tidak bisa langsung dibaca. |
| encrypted | Disandikan dengan kunci sehingga hanya server yang bisa membaca isinya, seperti segel pada amplop tertutup. |
| prefill | Teknik menyisipkan teks awal ke dalam jawaban model agar lanjutan generasinya mengikuti arah teks tersebut. |
| jailbreaking | Upaya membujuk model AI agar melanggar aturan keamanannya, misalnya membuatnya membocorkan informasi yang seharusnya ditolak. |
| mitigations | Langkah pengamanan untuk mengurangi risiko, misalnya tidak mengirim reasoning ke pengguna atau mendeteksi kebocoran secara otomatis. |
| vulnerability | Celah keamanan yang bisa dimanfaatkan penyerang, dalam video ini berupa blob reasoning yang bisa diputar ulang di konteks lain. |
| user sessions | Riwayat percakapan seorang pengguna dengan model, yang bisa memuat data pribadi seperti kata sandi atau kunci API. |
| replay | Memutar ulang potongan percakapan atau reasoning ke dalam konteks baru agar model membacanya seolah berasal dari dirinya sendiri. |
| uplift | Seberapa besar tambahan kemampuan yang didapat seseorang berkat suatu informasi dibanding tanpa informasi tersebut. |
| proprietary | Milik perusahaan dan tidak dibuka ke publik, seperti model atau API komersial yang kodenya dan bobotnya tertutup. |
| attacks | Upaya terarah untuk merusak, mencuri, atau memaksa sistem AI melakukan hal yang tidak seharusnya dilakukannya. |
Video ini berisi wawancara podcast Machine Learning Street Talk dengan dua peneliti, Ilia Shumailov dan Alexander Panfilov, tentang kerentanan pada model AI yang menyembunyikan proses berpikirnya. Model reasoning modern memang berpikir sebelum menjawab, dan hasil pikiran itu dikembalikan kepada pengguna dalam bentuk blob terenkripsi yang seharusnya tidak bisa dibaca. Menurut mereka, segel enkripsi itu lemah. Dengan model kecil dari keluarga yang sama, reasoning model yang lebih besar bisa di-decode, diputar ulang ke sesi lain, dan dipakai untuk serangan seperti prompt injection maupun jailbreak. Hal ini penting bagi penonton karena menyangkut privasi percakapan, keamanan sistem, dan kemampuan untuk memantau apa yang sebenarnya dipikirkan model.
Pembahasan paling konkret ada pada hasil penelitian mereka. Tim mengumpulkan reasoning blob dari Anthropic, OpenAI, dan Google, lalu menguji bahwa pikiran dari model yang lebih besar bisa diputar ulang pada model yang lebih kecil. Dalam pemindaian awal, mereka menemukan sekitar 350.000 blob di GitHub dan Hugging Face, lalu memakai classifier untuk mencari informasi privasi. Hasilnya beragam: sebagian berupa data benchmark sintetis, tetapi ada juga kunci API, email, dan alamat IP internal dari sesi pengguna asli. Eksperimen prefill juga menarik. Ketika beberapa token awal dari reasoning Claude disisipkan ke model Kimi, gaya jawaban akhir Kimi terlihat mirip Claude dan panjang reasoning-nya ikut berubah. Mereka menegaskan ini baru observasi kecil, bukan bukti bahwa model tertentu dilatih dari model lain. Para lab sudah menerima laporan melalui responsible disclosure. Langkah mitigasi yang disebut antara lain tidak mengirim reasoning ke pengguna, membuat enkripsi bergantung pada langkah sebelumnya, dan mendeteksi kebocoran dengan classifier.
Kata kunci
- reasoning traces
- reasoning blobs
- jailbreaking
- prefill
- Mengikuti diskusi dengan penulis paper tentang mencuri reasoning traces dari API model proprietary.
- Memahami reasoning blobs terenkripsi, prefill, jailbreaking untuk mendekode pemikiran model, dan replay user sessions.
- Menimbang responsible disclosure ke lab AI, mitigasi, serta risiko jangka panjang.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.