| Istilah | Arti |
|---|---|
| self supervised | Cara melatih model tanpa label buatan manusia dengan membuat tugas latihan dari data itu sendiri, sebagai jalan tengah antara supervised dan unsupervised learning. |
| contrastive learning | Keluarga metode self-supervised yang mendekatkan representasi data yang mirip dan menjauhkan representasi data yang berbeda di dalam ruang laten model. |
| triplet loss | Fungsi loss yang memakai tiga data sekaligus, yaitu anchor, contoh positif, dan contoh negatif, dipopulerkan oleh makalah FaceNet untuk pengenalan wajah. |
| anchor | Data acuan dalam triplet loss yang menjadi titik pembanding, sehingga contoh positif harus lebih dekat dengannya daripada contoh negatif. |
| margin | Jarak aman minimal, ditulis m, yang harus dicapai antara data yang berbeda sebelum loss berhenti mendorong keduanya menjauh. |
| negative pairs | Pasangan dua data yang berbeda isinya, misalnya kucing dan anjing, yang representasinya didorong saling menjauh saat pelatihan. |
| positive pair | Pasangan dua data yang mewakili objek yang sama, misalnya dua potongan dari satu foto, yang representasinya didekatkan saat pelatihan. |
| SimCLR | Kerangka contrastive learning sederhana buatan tim Google pimpinan Geoffrey Hinton pada 2020 yang hasilnya mendekati model supervised tanpa memakai label. |
| representations | Bentuk angka yang dipelajari model untuk menggambarkan isi sebuah data, yang idealnya berdekatan untuk objek serupa dan berjauhan untuk objek berbeda. |
| batch | Sekelompok data yang diproses model bersamaan dalam satu langkah pelatihan, yang di SimCLR sekaligus menjadi sumber contoh negatif sehingga ukurannya harus besar. |
| labels | Keterangan jawaban yang benar untuk setiap data, misalnya tulisan anjing pada foto anjing, yang mahal dibuat manual dan tidak dibutuhkan self-supervised learning. |
| InfoNCE | Fungsi loss berbasis probabilitas yang dipakai SimCLR, membandingkan satu pasangan positif dengan banyak pasangan negatif sekaligus sehingga mengurangi kebutuhan hard example mining. |
Video dari kanal Deepia ini berangkat dari pertanyaan sederhana: internet penuh gambar, tetapi kenapa tidak semuanya dipakai untuk melatih model? Jawabannya, pelatihan deep learning biasanya membutuhkan label, dan membuat dataset berlabel secara manual sangat mahal. Video ini menjelaskan self-supervised learning sebagai jalan tengah antara supervised dan unsupervised learning, yaitu model dilatih pada tugas buatan dari data itu sendiri tanpa label tambahan. Tujuannya adalah mendapatkan representasi yang serbaguna, sehingga model bisa dipakai untuk berbagai tugas lanjutan dan cukup di-fine-tuning bila perlu. Fokus utamanya adalah contrastive learning, keluarga metode yang mendekatkan representasi gambar yang mirip dan menjauhkan gambar yang berbeda, lalu penerapannya dalam SimCLR. Video ini juga disponsori Brilliant.
Pembahasan dimulai dari contrastive loss klasik, yang memakai pasangan data dan parameter margin: pasangan positif didekatkan, sedangkan pasangan negatif didorong menjauh sampai jaraknya mencapai margin. Berikutnya triplet loss dari makalah FaceNet, yang memakai anchor, contoh positif, dan contoh negatif, serta disebut menurunkan galat pengenalan wajah sekitar 30 persen. Karena loss bernilai nol untuk contoh yang mudah, dibutuhkan hard example mining. SimCLR, diperkenalkan tim Google yang dipimpin Geoffrey Hinton pada 2020, memakai loss InfoNCE dengan satu pasangan positif dan banyak pasangan negatif. Pasangan positif dibuat lewat augmentasi berupa potongan acak dan distorsi warna, sedangkan negatif diambil dari gambar lain dalam batch, sehingga butuh batch 4.096 sampai 8.192 gambar. Hasilnya akurasi top-1 76 persen di ImageNet, mendekati ResNet-50 supervised, dan 86 persen top-5 dengan hanya 1 persen label.
Kata kunci
- self supervised
- contrastive learning
- triplet loss
- anchor
- Menjelaskan mengapa kita memakai self-supervised learning: gambar di internet sangat banyak tetapi tidak berlabel, sehingga model dilatih langsung dari gambar tanpa deskripsi.
- Membahas contrastive learning dengan anchor, pasangan positif dan negatif, triplet loss dengan margin, dan InfoNCE loss yang memakai satu pasangan positif dan banyak negatif, termasuk SimCLR.
- Menyebut bahwa representasi umum yang dipelajari cocok untuk tugas hilir, dan bagian berikutnya tentang Bootstrap Your Own Latent tanpa pasangan negatif.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.