Debugging Soft 404 di Website Bisnis: Audit, Perbaikan, dan Pencegahan

TL;DR: Soft 404 adalah halaman yang tampak error ke pengguna tetapi mengembalikan HTTP 200 ke crawler, sehingga Google membuangnya dari indeks dan memboroskan crawl budget. Untuk website bisnis dengan ratusan SKU, audit soft 404 rutin tiap kuartal dapat menaikkan rasio halaman ter-indeks 5-15%.

Saat membantu sebuah toko online parfum (Nalesha) memetakan kenapa traffic organik mereka stagnan padahal jumlah produk bertambah, audit Coverage Report di Google Search Console menemukan 312 URL berstatus "Soft 404". Ternyata sebagian besar adalah halaman produk out-of-stock yang dialihkan ke template "produk tidak tersedia" tanpa mengubah status HTTP. Dampaknya, halaman varian baru telat di-index selama 4-6 minggu karena bot Google sibuk mengulang crawl URL hampa.

Tulisan ini mendokumentasikan workflow audit dan perbaikan soft 404 yang dapat dipakai marketer non-developer maupun tim engineering kecil.

Mengapa Soft 404 Berbahaya

Crawl budget Google bukan tak terbatas. Untuk website bisnis di tier menengah (1.000-10.000 URL), bot biasanya mengunjungi 200-800 URL per hari. Ketika 20% di antaranya adalah soft 404, halaman penting (produk baru, artikel kampanye) ikut antri dan baru di-update mingguan. Akibatnya:

• Promosi produk baru kehilangan momentum karena belum ter-index saat campaign berjalan
• Sinyal kualitas situs turun karena rasio URL hampa tinggi
• Crawl depth halaman dalam ikut bertambah karena anggaran habis di lapis atas

Empat Pola Soft 404 Paling Sering

Workflow Audit (45 Menit)

Langkah 1: Ekstrak daftar soft 404 dari GSC

Buka Google Search Console > Pages > klik filter "Soft 404". Export ke CSV. Untuk akun dengan banyak URL, gunakan API Search Console karena UI hanya menampilkan 1.000 baris.

Langkah 2: Klasifikasi dengan spreadsheet

Tambahkan kolom: pola (sesuai tabel di atas), status_seharusnya (404, 410, noindex, redirect 301), prioritas (tinggi jika trafik historis ada).

Langkah 3: Verifikasi server response

Pakai curl -I https://example.com/url-soft-404 atau tool seperti Screaming Frog untuk konfirmasi status HTTP aktual. Banyak template framework modern (Next.js, Nuxt) butuh setting eksplisit notFound: true agar status berubah.

Langkah 4: Implementasi perbaikan

Pisahkan deploy menjadi batch agar mudah rollback. Mulai dari pola berdampak besar (produk out-of-stock di toko online).

Langkah 5: Re-submit di GSC

Setelah deploy, klik "Validate Fix" di laporan Coverage. Google akan re-crawl sample URL. Hasil divalidasi dalam 5-15 hari.

Studi Kasus Nalesha: Hasil 30 Hari

Setelah audit dan perbaikan 312 URL soft 404 di toko parfum Nalesha:

• Halaman ter-indeks valid naik dari 1.847 ke 2.103 (sekitar +14%)
• Crawl rate harian (Search Console > Crawl Stats) naik dari 612 ke 894 URL/hari
• Halaman produk baru ter-index rata-rata 8 hari (sebelumnya 23 hari)
• Traffic organik halaman kategori naik 18% di bulan kedua

Angka di atas spesifik untuk konteks toko Nalesha (e-commerce single-brand, sekitar 200 SKU aktif). Magnitude akan berbeda untuk marketplace besar atau situs konten.

Pencegahan: Standar Status HTTP Tim

Tim engineering perlu konvensi jelas. Berikut standar yang dipakai sebagai panduan internal di beberapa proyek klien:

• Produk dihapus permanen: HTTP 410 (Gone)
• Produk sementara out-of-stock: HTTP 200 + tetap tampilkan info + canonical ke kategori
• Halaman search/filter kosong: HTTP 200 + noindex
• URL salah ketik atau invalid: HTTP 404
• URL pindah lokasi: HTTP 301 ke halaman setara, bukan ke homepage

Lihat panduan Google Search Central tentang HTTP status codes untuk acuan lengkap.

Pertanyaan Umum

Apakah soft 404 langsung menurunkan ranking?

Tidak langsung. Yang terjadi adalah halaman tersebut keluar dari indeks dan crawl budget terbuang. Dampak ranking baru terasa kalau jumlahnya signifikan (di atas 15% total URL situs).

Apakah aman menggunakan 410 alih-alih 404?

Aman dan bahkan lebih cepat. HTTP 410 secara eksplisit memberi tahu Google bahwa halaman dihapus permanen, sehingga crawler menghapusnya dari indeks lebih cepat dibanding 404.

Bagaimana cara cek tanpa Google Search Console?

Pakai Screaming Frog atau Sitebulb untuk crawl situs sendiri. Filter URL berstatus 200 dengan word count rendah (di bawah 100 kata) atau yang konten body-nya mengandung frasa "tidak ditemukan", "out of stock", "tidak tersedia".

Berapa sering audit soft 404 perlu dilakukan?

Untuk e-commerce dengan inventory dinamis, idealnya bulanan. Untuk situs konten yang URL-nya stabil, kuartalan cukup.

Apakah noindex sudah cukup untuk halaman kosong?

Cukup untuk mencegah masuk indeks, tetapi crawl budget masih terpakai. Untuk halaman yang benar-benar tidak perlu di-crawl, kombinasikan noindex dengan blok di [robots.txt](/glosarium/robots-txt) atau hapus dari sitemap.

Penutup

Soft 404 adalah pajak teknis yang tumbuh diam-diam saat website bisnis bertambah besar. Audit rutin 45 menit per kuartal lebih murah daripada kehilangan momentum kampanye karena halaman baru telat ter-index. Mulai dari Coverage Report, klasifikasikan, perbaiki batch demi batch, lalu pasang konvensi status HTTP yang jelas di tim agar tidak terulang.