DAFTAR TAMPILAN

Memblokir atau menghapus laman menggunakan file robots.txt

Pembuatan alat robots.txt sedang dalam proses. Anda dapat membuat file robots.txt secara manual, atau menggunakan salah satu alat pembuat robots.txt yang banyak tersedia di web.

File robots.txt membatasi akses ke situs Anda dengan robot mesin telusur yang merayapi web tersebut. Bot bekerja secara otomatis, dan sebelum mengakses laman situs, bot memeriksa apakah file robots.txt ada yang mencegahnya mengakses laman tertentu. (Semua robot akan mengikuti perintah dalam file robots.txt, meskipun beberapa robot mungkin mengartikannya secara berbeda. Namun, robots.txt tidak dapat dipaksakan dan beberapa pelaku spam serta pencari masalah lainnya bisa jadi mengabaikannya. Karenanya, sebaiknya gunakan kata sandi untuk melindungi informasi rahasia).
Untuk melihat URL yang telah diblokir dari perayapan Google, kunjungi laman URL yang Diblokir dari bagian Perayapan Alat Webmaster.
Anda hanya memerlukan file robots.txt jika situs menyertakan konten yang tidak ingin disertakan dalam pengindeksan mesin telusur. Jka Anda ingin mesin telusur mengideks semuanya dalam situs Anda, maka Anda tidak memerlukan file robots.txt (bahkan file yang kosong).
Meskipun Google tidak merayapi atau mengindeks konten laman yang diblokir robots.txt, kami mungkin masih mengindeks URL jika kami menemukannya di laman lain di web. Oleh karena itu, URL laman dan, kemungkinan, informasi yang tersedia secara umum lainnya seperti teks tautan di tautan ke situs, atau judul dari Proyek Direktori Terbuka (www.dmoz.org), dapat muncul di hasil penelusuran Google.
Untuk menggunakan file robots.txt, Anda membutuhkan akses ke root domain Anda (jika tidak yakin, hubungi hoster web Anda). Jika tidak memiliki akses ke akar domain, Anda dapat membatasi akses menggunakan meta tag robot.

Untuk benar-benar mencegah konten laman dicantumkan di indeks web Google meskipun situs lain menautkannya, gunakan meta tag noindex atau x-robots-tag. Selama Googlebot mengambil laman tersebut, Googlebot akan melihat tag meta noindex tersebut dan mencegah laman tersebut ditampilkan di indeks web. Header HTTP x-robots-tag berguna terutama jika Anda ingin membatasi pengindeksan file non-HTML seperti grafik atau jenis dokumen lain.