Pengertian Overfitting

Overfitting adalah kondisi ketika model machine learning, termasuk neural network, belajar terlalu baik dari data pelatihan (training data) — sampai-sampai model menangkap noise, kesalahan acak, atau pola spesifik yang tidak mewakili karakteristik umum data sebenarnya.

Ilustrasi sederhana:

• Model dengan banyak parameter mampu menyesuaikan setiap titik data latih (error kecil di training set).

• Namun, ketika diuji pada data baru → prediksi meleset (generalization error besar).

Ciri khas overfitting:

• Training loss: sangat kecil

• Validation/test loss: tinggi atau meningkat setelah beberapa epoch

• Akurasi training jauh lebih tinggi dibanding akurasi validasi

Penyebab Utama Overfitting

1. Model terlalu kompleks
   → Jumlah parameter besar dibandingkan ukuran data.
   (contoh: deep network dengan banyak layer pada dataset kecil)

2. Data latih terbatas atau tidak representatif
   → Model “hapal” pola sempit yang tidak berlaku umum.

3. Kurangnya regularisasi
   → Tidak ada mekanisme pembatasan parameter (bebas belajar terlalu dalam).

4. Pelatihan terlalu lama (epoch berlebih)
   → Model terus menyesuaikan noise pada data latih.

Konsep Regularisasi

Regularisasi adalah kumpulan teknik yang digunakan untuk mengontrol kompleksitas model, agar dapat menggeneralisasi lebih baik.

Tujuan:

Meminimalkan training loss + penalti kompleksitas model.

Secara matematis, fungsi loss termodifikasi menjadi:

Ltotal=Ldata+λ⋅Ω(w)L_{total} = L_{data} + \lambda \cdot \Omega(w)Ltotal​=Ldata​+λ⋅Ω(w)

di mana:

• LdataL_{data}Ldata​ = loss utama (misal MSE atau cross-entropy)

• $\Omega (w)$ = fungsi penalti terhadap parameter $w$

• $\lambda$ = koefisien regularisasi (mengontrol kekuatan penalti)

Jenis-Jenis Regularisasi pada Neural Network

A. L1 dan L2 Regularization

1. L1 (Lasso)
   Penalti: Ω(w)=∑∣wi∣\Omega(w) = \sum |w_i|Ω(w)=∑∣wi​∣
   → Mendorong beberapa bobot menjadi nol → model lebih sederhana & sparse.

2. L2 (Ridge)
   Penalti: Ω(w)=∑wi2\Omega(w) = \sum w_i^2Ω(w)=∑wi2​
   → Mengecilkan bobot besar → stabil & mencegah pembelajaran berlebihan.

Dalam framework seperti TensorFlow atau PyTorch, digunakan melalui parameter seperti kernel_regularizer=l2(λ).

B. Dropout

• Secara acak menonaktifkan sebagian neuron selama training (misal 20–50%).

• Mencegah neuron saling bergantung terlalu kuat (co-adaptation).

• Contoh: Dropout(0.5) berarti 50% neuron di-nonaktifkan tiap iterasi.

Efeknya:

• Membuat model lebih “robust”.

• Meniru prinsip ensemble averaging (karena model berbeda tiap batch).

C. Early Stopping

• Hentikan training ketika validation loss mulai naik meskipun training loss masih turun.

• Mencegah model belajar noise dari data latih.

Biasanya digunakan dengan callback monitoring (misal di Keras: EarlyStopping(monitor='val_loss', patience=5)).

D. Data Augmentation

• Menambah variasi data latih secara artifisial (rotasi, flipping, cropping, noise, dsb).

• Membantu model belajar lebih banyak pola tanpa benar-benar menambah data baru.

Khusus efektif di Computer Vision dan NLP.

E. Batch Normalization

• Menormalkan output layer antar-batch → stabilisasi training & kontrol distribusi fitur.

• Secara tidak langsung juga berfungsi sebagai regularizer.

F. Weight Constraint / Max-Norm

• Membatasi norma bobot maksimal (misalnya ||w|| ≤ c).

• Mencegah bobot tumbuh terlalu besar.

Deteksi dan Evaluasi Overfitting

Solusi: kurangi kompleksitas model, tambahkan data, atau tingkatkan regularisasi.

Strategi Praktis Mengatasi Overfitting