HTTP Semantics, Redirect, Error, dan Crawl Budget

Crawler membaca protokol sebelum desain. Status HTTP harus mencerminkan keadaan resource secara jujur.

Status	Makna	Penggunaan
200	Tersedia	Halaman normal
301/308	Pindah permanen	Migrasi URL
302/307	Pindah sementara	Maintenance singkat
404	Tidak ditemukan	URL salah atau hilang
410	Dihapus permanen	Penghapusan disengaja
429	Terlalu banyak request	Rate limit + Retry-After
500	Error aplikasi	Kegagalan tak terduga
503	Sementara tak tersedia	Maintenance + Retry-After

Soft 404 terjadi saat halaman error mengembalikan 200. Halaman tanpa hasil valid harus mengembalikan 404.

Redirect decision tree

Memuat diagram…

Batasi redirect menjadi satu hop. Chain memperlambat crawl dan menambah failure point.

Crawl budget praktis

Hilangkan URL duplikat dan kalender tak terbatas.
Perbaiki respons lambat dan 5xx.
Jangan menautkan parameter tanpa nilai pencarian.
Jaga sitemap hanya berisi URL 200, canonical, dan indexable.
Gunakan caching serta conditional request dengan benar.

Caching dan availability

Gunakan CDN untuk resource yang aman di-cache. Tetapkan Cache-Control, ETag, atau Last-Modified sesuai karakter resource. Jangan cache respons personal sebagai publik. Saat maintenance, gunakan 503 dan Retry-After, bukan 200 dengan halaman kosong.

Observability minimum

Log teknis sebaiknya memuat timestamp, path, status, latency, kategori user-agent, cache status, dan request ID tanpa data pribadi yang tidak diperlukan. Pantau distribusi status, p95 latency crawler, URL paling sering di-crawl, dan tren 5xx.