Modul 15

Visualisasi latent space

Bagian 3 · Deep generative model

AdvanceEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
latent space	Ruang representasi internal berdimensi banyak yang dipelajari jaringan saraf, misalnya autoencoder, dan ingin divisualisasikan dalam dua atau tiga dimensi di video ini.
dimensionality reduction	Proses memampatkan data dari banyak dimensi menjadi sedikit dimensi sambil berusaha menjaga struktur pentingnya, dengan PCA, t-SNE, dan UMAP sebagai contoh di video ini.
PCA	Principal Component Analysis, metode linear yang memproyeksikan data ke arah variasi terbesarnya, sangat cepat dan mudah ditafsirkan tetapi lemah pada data non-linear.
principal components	Arah-arah utama tempat data paling banyak bervariasi, diperoleh dari eigenvector dengan eigenvalue terbesar dan menjadi sumbu proyeksi dalam PCA.
covariance matrix	Matriks yang menggambarkan bagaimana setiap pasangan variabel berubah bersama, dihitung dari data yang sudah dipusatkan sebagai langkah pertama PCA.
t-SNE	Metode reduksi dimensi non-linear dari tahun 2008 yang menjaga titik bertetangga tetap berdekatan, menghasilkan cluster yang jelas tetapi berjalan lambat.
perplexity	Hyperparameter t-SNE yang mengatur lebar Gaussian sehingga menentukan berapa banyak tetangga yang diperhitungkan, dan sangat sensitif terhadap perubahan kecil.
UMAP	Uniform Manifold Approximation and Projection, metode tahun 2018 berbasis graf tetangga terdekat yang lebih cepat dari t-SNE dan lebih baik menjaga struktur global.
Gaussian	Distribusi berbentuk kurva lonceng yang dipakai SNE dan t-SNE untuk mengubah jarak antartitik menjadi peluang sebuah titik menjadi tetangga titik lain.
manifold	Permukaan atau bentuk berdimensi rendah tempat data berdimensi tinggi diasumsikan berada, menjadi dasar nama dan landasan matematika UMAP.
high-dimensional	Sifat data yang memiliki sangat banyak fitur atau dimensi, misalnya 50 dimensi, sehingga tidak bisa langsung digambar tanpa direduksi terlebih dahulu.
clusters	Kelompok titik data yang saling berdekatan dan biasanya mewakili kelas yang sama, dan keberhasilan setiap metode dinilai dari kemampuannya memisahkan kelompok ini.

Video ini menjelaskan bagaimana gambar latent space dari jaringan saraf dalam dibuat, yaitu dengan memampatkan data berdimensi tinggi, misalnya 50 dimensi, menjadi hanya dua atau tiga dimensi. Masalahnya, pengurangan dimensi seperti ini tidak sederhana, karena struktur penting data bisa hilang atau beberapa kelompok bisa tercampur. Untuk itu video membahas tiga teknik dimensionality reduction yang terkenal, yaitu PCA, t-SNE, dan UMAP, mulai dari cara kerja masing-masing sampai jenis data yang cocok untuk tiap metode. Penonton diajak memahami kelebihan dan kelemahan setiap teknik, seperti kecepatan, kemampuan menangani data non-linear, kemudahan mengatur hyperparameter, dan kemampuan menjaga struktur global data. Pemahaman ini penting bagi siapa pun yang ingin membaca atau membuat visualisasi latent space dengan benar, misalnya saat meneliti autoencoder, karena pilihan metode sangat memengaruhi gambar yang dihasilkan dan kesimpulan yang bisa ditarik darinya. Di akhir, video juga memberi panduan praktis kapan sebaiknya memakai masing-masing metode.

PCA dijelaskan lewat contoh berat dan tinggi badan serta data tekanan darah dan kolesterol yang membentuk tiga cluster: proyeksi ke sumbu biasa menggabungkan dua kelompok, sedangkan proyeksi ke principal component mempertahankan ketiganya. Langkahnya adalah memusatkan data, menghitung covariance matrix, mencari eigenvector, lalu mengurutkannya berdasarkan eigenvalue. PCA cepat dan mudah ditafsirkan, tetapi gagal pada data non-linear seperti spiral. t-SNE, dikembangkan tahun 2008 oleh Laurens van der Maaten dan Geoffrey Hinton dari SNE tahun 2002, mengubah jarak antartitik menjadi distribusi Gaussian, lalu meminimalkan Kullback-Leibler divergence antara ruang tinggi dan rendah. Hyperparameter perplexity sangat sensitif, karena perubahan dari 30 ke 31 saja dapat mengubah banyak cluster, dan prosesnya lambat, hampir 90 detik untuk 10 ribu sampel MNIST. UMAP dari tahun 2018 memakai graf k tetangga terdekat dan cross-entropy, menghasilkan visualisasi MNIST dalam 5 detik dibanding 40 detik untuk t-SNE, serta menjaga struktur global contoh mamut. Kesimpulannya, PCA cocok untuk visualisasi cepat, sedangkan UMAP dinilai pilihan terbaik secara umum.

Kata kunci

latent space
PCA
t-SNE
UMAP

Istilah

Arti

latent space

Ruang representasi internal berdimensi banyak yang dipelajari jaringan saraf, misalnya autoencoder, dan ingin divisualisasikan dalam dua atau tiga dimensi di video ini.

dimensionality reduction

Proses memampatkan data dari banyak dimensi menjadi sedikit dimensi sambil berusaha menjaga struktur pentingnya, dengan PCA, t-SNE, dan UMAP sebagai contoh di video ini.

PCA

Principal Component Analysis, metode linear yang memproyeksikan data ke arah variasi terbesarnya, sangat cepat dan mudah ditafsirkan tetapi lemah pada data non-linear.

principal components

Arah-arah utama tempat data paling banyak bervariasi, diperoleh dari eigenvector dengan eigenvalue terbesar dan menjadi sumbu proyeksi dalam PCA.

covariance matrix

Matriks yang menggambarkan bagaimana setiap pasangan variabel berubah bersama, dihitung dari data yang sudah dipusatkan sebagai langkah pertama PCA.

t-SNE

Metode reduksi dimensi non-linear dari tahun 2008 yang menjaga titik bertetangga tetap berdekatan, menghasilkan cluster yang jelas tetapi berjalan lambat.

perplexity

Hyperparameter t-SNE yang mengatur lebar Gaussian sehingga menentukan berapa banyak tetangga yang diperhitungkan, dan sangat sensitif terhadap perubahan kecil.

UMAP

Uniform Manifold Approximation and Projection, metode tahun 2018 berbasis graf tetangga terdekat yang lebih cepat dari t-SNE dan lebih baik menjaga struktur global.

Gaussian

Distribusi berbentuk kurva lonceng yang dipakai SNE dan t-SNE untuk mengubah jarak antartitik menjadi peluang sebuah titik menjadi tetangga titik lain.

manifold

Permukaan atau bentuk berdimensi rendah tempat data berdimensi tinggi diasumsikan berada, menjadi dasar nama dan landasan matematika UMAP.

high-dimensional

Sifat data yang memiliki sangat banyak fitur atau dimensi, misalnya 50 dimensi, sehingga tidak bisa langsung digambar tanpa direduksi terlebih dahulu.

clusters

Kelompok titik data yang saling berdekatan dan biasanya mewakili kelas yang sama, dan keberhasilan setiap metode dinilai dari kemampuannya memisahkan kelompok ini.