Gradient Boosting Model (GBM) adalah algoritma ensemble learning yang membangun model prediksi secara bertahap (sekuensial) dengan tujuan meminimalkan error menggunakan pendekatan gradient descent. GBM mengkombinasikan banyak weak learner (biasanya decision tree kecil) secara berurutan, di mana setiap model baru dilatih untuk memperbaiki kesalahan model sebelumnya. Proses ini dilakukan dengan mempelajari residual error atau negative gradient dari fungsi loss.

Konsep Utama GBM

1) Boosting

• Teknik ensemble yang menggabungkan banyak model sederhana menjadi satu model kuat.

• Berbeda dengan bagging (misalnya Random Forest), boosting fokus pada belajar dari kesalahan model sebelumnya.

2) Weak Learner

• Biasanya decision tree dengan kedalaman kecil (shallow tree).

• Lebih sederhana namun ketika digabungkan bertahap → menjadi model kuat.

3) Loss Function

• Digunakan untuk mengukur seberapa besar error

• Contoh:

  • Regression → MSE (Mean Squared Error)

  • Classification → Log-loss

4) Gradient Descent

• Digunakan untuk memperbaiki model secara bertahap

• GBM mencari arah penurunan error paling cepat → negative gradient

Cara Kerja GBM (Proses secara detail)

Misalkan ingin memprediksi harga rumah:

1. Inisialisasi model awal

   • Biasanya menggunakan rata-rata target (harga rumah rata-rata)

   • F0(x)=mean(y)F_0(x) = \text{mean}(y)F0​(x)=mean(y)

2. Hitung residual (error)

   • ri=yi−F(xi)r_i = y_i – F(x_i)ri​=yi​−F(xi​)

   • Residual = selisih antara nilai aktual dan prediksi

3. Bangun model baru untuk memprediksi residual

   • Train decision tree untuk memprediksi rir_iri​

4. Update model

   • Gabungkan model baru dengan model lama:

   Fm(x)=Fm−1(x)+η⋅hm(x)F_{m}(x) = F_{m-1}(x) + \eta \cdot h_m(x)Fm​(x)=Fm−1​(x)+η⋅hm​(x)

   di mana:

   • $\eta$ = learning rate (0.01–0.1 biasanya)

   • hm(x)h_m(x)hm​(x) = model pada iterasi ke-m

5. Ulangi hingga jumlah iterasi terpenuhi

   • Tambah model hingga mencapai jumlah boosting rounds atau error minimum

Inti: GBM = mengurangi error sedikit demi sedikit sampai model sangat akurat.

Kelebihan GBM

Kekurangan GBM

Tujuan GBM

Tahap 2 — Iterasi Boosting

Untuk $m=1,2,\dots ,M$ lakukan:

1) Hitung Residual (Negative Gradient)

rim=−[∂L(yi,F(xi))∂F(xi)]F(x)=Fm−1(x)r_{im} = – \left[ \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} \right]_{F(x) = F_{m-1}(x)}rim​=−[∂F(xi​)∂L(yi​,F(xi​))​]F(x)=Fm−1​(x)​

Untuk regresi MSE:

rim=yi−Fm−1(xi)r_{im} = y_i – F_{m-1}(x_i)rim​=yi​−Fm−1​(xi​)

2) Fit Weak Learner

Latih decision tree hm(x)h_m(x)hm​(x) untuk memprediksi residual:

hm(x)≈rimh_m(x) \approx r_{im}hm​(x)≈rim​

3) Hitung Koefisien (Line Search)

Cari koefisien optimal γm\gamma_mγm​:

γm=arg⁡min⁡γ∑i=1nL(yi,Fm−1(xi)+γhm(xi))\gamma_m = \arg \min_{\gamma} \sum_{i=1}^{n} L(y_i, F_{m-1}(x_i) + \gamma h_m(x_i))γm​=argγmin​i=1∑n​L(yi​,Fm−1​(xi​)+γhm​(xi​))

Untuk regresi MSE:

γm=∑i=1nrimhm(xi)∑i=1nhm2(xi)\gamma_m = \frac{\sum_{i=1}^{n} r_{im} h_m(x_i)}{\sum_{i=1}^{n} h_m^2(x_i)}γm​=∑i=1n​hm2​(xi​)∑i=1n​rim​hm​(xi​)​

4) Update Model

Fm(x)=Fm−1(x)+ηγmhm(x)F_m(x) = F_{m-1}(x) + \eta \gamma_m h_m(x)Fm​(x)=Fm−1​(x)+ηγm​hm​(x)

di mana:

• $\eta$ = learning rate (0 < η ≤ 1)

Model Akhir

FM(x)=F0(x)+∑m=1Mηγmhm(x)F_M(x) = F_0(x) + \sum_{m=1}^{M} \eta \gamma_m h_m(x)FM​(x)=F0​(x)+m=1∑M​ηγm​hm​(x)

Contoh Rumus Untuk Kasus Regresi Sederhana

Loss: Mean Squared Error (MSE)

L(y,F(x))=12(y−F(x))2L(y, F(x)) = \frac{1}{2}(y – F(x))^2L(y,F(x))=21​(y−F(x))2

Gradient:

rim=yi−Fm−1(xi)r_{im} = y_i – F_{m-1}(x_i)rim​=yi​−Fm−1​(xi​)

Update rule sederhana:

Fm(x)=Fm−1(x)+η⋅hm(x)F_m(x) = F_{m-1}(x) + \eta \cdot h_m(x)Fm​(x)=Fm−1​(x)+η⋅hm​(x)

Interpretasi Rumus