Definisi Umum

Data sparsity adalah kondisi pada suatu dataset di mana sebagian besar nilai data tidak tersedia, bernilai nol, atau tidak terobservasi, sehingga hanya sebagian kecil dari ruang data yang benar-benar terisi informasi. Dengan kata lain, kepadatan data (data density) sangat rendah dibandingkan ukuran total data yang mungkin.

Secara konseptual, data disebut sparse jika:

$$\text{Jumlah nilai non-nol}\ll \text{Jumlah total kemungkinan nilai}$$

Perspektif Matematis

Misalkan terdapat matriks data:

X∈Rm×nX \in \mathbb{R}^{m \times n}X∈Rm×n

dengan:

• $m$ = jumlah entitas (misalnya pengguna)

• $n$ = jumlah fitur atau item

Matriks tersebut bersifat sparse jika:

jumlah elemen non-nolm×n≈0\frac{\text{jumlah elemen non-nol}}{m \times n} \approx 0m×njumlah elemen non-nol​≈0

Contoh:

• 1 juta pengguna × 100 ribu item = 100 miliar kemungkinan interaksi

• Interaksi nyata hanya 0,01% → matriks sangat sparse

Bentuk Data Sparsity

1. Structural Sparsity
   Terjadi secara alami karena struktur data
   Contoh:

   • One-hot encoding pada kategori besar

   • Matriks user-item dalam sistem rekomendasi

2. Observational Sparsity
   Disebabkan oleh keterbatasan pengamatan
   Contoh:

   • Data survei dengan banyak pertanyaan tak terjawab

   • Sensor jarang aktif

3. Temporal Sparsity
   Data jarang muncul dalam dimensi waktu
   Contoh:

   • Transaksi pelanggan yang tidak rutin

   • Event log dengan frekuensi rendah

Perbedaan Data Sparse vs Data Dense

Aspek	Data Sparse	Data Dense
Nilai kosong / nol	Dominan	Minim
Informasi per fitur	Rendah	Tinggi
Penyimpanan	Tidak efisien jika naïf	Lebih efisien
Kompleksitas model	Lebih sulit dipelajari	Lebih mudah

Data Sparsity ≠ Missing Data (Perbedaan Penting)
Walaupun terlihat mirip, keduanya berbeda secara konseptual:

• Data sparsity
  → Ketidakadaan nilai adalah bagian alami dari struktur data
  Contoh: pengguna belum pernah menonton film tertentu

• Missing data
  → Nilai seharusnya ada, tetapi hilang karena kesalahan atau gangguan
  Contoh: nilai sensor tidak tercatat karena error

Mengapa Data Sparsity Menjadi Masalah?

• Minimnya sinyal pembelajaran
  Model sulit menemukan pola yang stabil

• Curse of dimensionality
  Ruang fitur besar, data efektif sangat sedikit

• Generalization buruk
  Model tidak mampu memprediksi kasus baru dengan baik

• Cold-start problem
  Entitas baru tidak punya riwayat data

Contoh Nyata

• Sistem rekomendasi
  Sebagian besar pengguna hanya memberi rating pada <1% item

• NLP
  Dokumen hanya mengandung sebagian kecil kata dari seluruh kosakata

• Bioinformatika
  Ekspresi gen banyak bernilai nol

Inti Konseptual Secara sederhana:

Data sparsity adalah kondisi ketika ruang kemungkinan data sangat besar, tetapi observasi aktual sangat sedikit. Ini bukan sekadar masalah ukuran data, melainkan masalah representasi, distribusi, dan informasi.

Penyebab Utama Data Sparsity

1. Dimensi data sangat besar
   Jumlah fitur meningkat jauh lebih cepat dibanding jumlah observasi.

2. Keterbatasan interaksi atau observasi
   Tidak semua kombinasi entitas mungkin atau relevan.

3. Representasi data yang tidak efisien
   Misalnya one-hot encoding pada kategori dengan banyak nilai unik.

4. Perilaku pengguna yang selektif
   Pengguna hanya berinteraksi dengan sebagian kecil dari keseluruhan sistem.

Dampak Data Sparsity

• Penurunan performa model
  Model sulit mempelajari pola karena minimnya sinyal data.

• Masalah cold start
  Entitas baru (user/item) tidak memiliki cukup data historis.

• Overfitting
  Model kompleks mudah menyesuaikan diri pada noise.

• Inefisiensi komputasi dan penyimpanan
  Matriks besar tetapi berisi sedikit informasi bermakna.

Tantangan Khusus pada Skala Besar

• Tidak semua metode dapat diskalakan secara komputasi.

• Operasi matriks berdimensi tinggi menjadi mahal.

• Distribusi data sering tidak seimbang (long-tail distribution).

Pendekatan dan Solusi Umum

a. Reduksi Dimensi

• PCA, Truncated SVD

• Autoencoder
  Mengurangi jumlah fitur sambil mempertahankan informasi penting.

b. Matrix Factorization

• Collaborative Filtering (ALS, SVD++)

• Mengubah matriks sparse menjadi representasi laten yang lebih padat (dense).

c. Regularisasi

• L1/L2 regularization

• Mengurangi overfitting akibat data minim.

d. Embedding-based Methods

• Word embeddings (Word2Vec, GloVe)

• User/item embeddings dalam sistem rekomendasi

e. Pemanfaatan Informasi Tambahan

• Side information (metadata, profil pengguna, konten item)

• Pendekatan hybrid (collaborative + content-based)

f. Struktur Data Sparse

• CSR / CSC matrix

• Menghemat memori dan mempercepat komputasi

Relevansi dalam AI & Machine Learning Modern

Dalam big data, masalahnya bukan kekurangan data secara total, tetapi kurangnya data relevan per entitas. Oleh karena itu:

• Model berbasis representasi laten dan embedding menjadi dominan

• Deep learning sering digunakan untuk “mengisi” kekosongan pola

• Penanganan sparsity menjadi kunci performa sistem skala industri