Robots.txt, Meta Robots, Canonical, dan Sitemap XML

Keempat mekanisme ini berbeda. Menggabungkannya tanpa model mental yang benar dapat membuat halaman tetap terindeks tetapi tidak dapat di-crawl.

Mekanisme	Crawl	Index	URL utama
robots.txt	Ya	Tidak langsung	Tidak
meta robots	Tidak	Ya	Tidak
X-Robots-Tag	Tidak	Ya	Tidak
canonical	Tidak	Sinyal konsolidasi	Ya
sitemap	Discovery	Tidak	Sinyal URL pilihan

Robots.txt

Code

User-agent: *
Disallow: /admin/
Disallow: /internal-search

Sitemap: https://example.com/sitemap.xml

Jangan memblokir CSS atau JavaScript untuk render. Robots.txt bukan perlindungan data rahasia; gunakan autentikasi dan otorisasi.

Meta robots dan X-Robots-Tag

Code

<meta name="robots" content="noindex,follow">

Untuk PDF atau resource non-HTML gunakan header X-Robots-Tag: noindex. Crawler harus dapat mengambil resource agar membaca directive; jangan menggabungkan Disallow dan noindex pada URL yang sama.

Canonical

Canonical adalah hint kuat, bukan perintah absolut. Gunakan URL absolut, satu canonical per halaman, dan target 200 yang indexable.

Memuat diagram…

Sitemap XML

Hanya masukkan URL canonical, 200, indexable, dan memang ingin ditemukan. lastmod harus menunjukkan perubahan substansial, bukan waktu request.

Audit konflik

URL ada di sitemap tetapi noindex.
Canonical menuju 404 atau redirect.
Halaman diblokir robots.txt tetapi diharapkan membaca noindex.
Hreflang menuju URL noncanonical.
Internal link dominan menuju variasi noncanonical.