Cara Memasang File Robot.txt di Hosting Anda

Apa itu file robot.txt?? File ini adalah file yang digunakan untuk mengatur kerja robot mesin pencari di situs kita. File ini yang mengontrol apa saja yang boleh diindeks oleh mesin pencari dan mana yang tidak boleh diindeks. Memang file robot.txt ini tidak terlalu penting dan sifatnya hanya opsional saja. Tetapi adanya file ini menjadi penting agar data/file penting Anda di hosting tidak tersebar luas.

Jadi robot.txt ini akan mengatur mana yang bisa dilihat/diakses oleh mesin pencari dan mana yang tidak. Karena dalam sebuah situs tentu ada yang boleh diakses ada pula yang tidak. File ini pun berupa file teks biasa yang harus diberi nama robot.txt.

Apa isinya?? sebentar dulu, sabar… ?

Katakanlah di hosting Anda ada beberapa folder misalnya \gambar, \rahasia\penting, dan \download yang semuanya berada pada root direktori. Dan Anda misalnya tidak ingin folder \gambar dan folder \rahasia\penting diindeks oleh mesin pencari.

Nah, buat sebuah file dengan nama robot.txt, letakkan di root direktori dan isi sebagai berikut:

"User-agent: *""Disallow: /gambar/""Disallow: /rahasia/penting/"

Dengan begitu, search engine tidak akan mengindeks atau membaca file-file yang berada dalam kedua folder tersebut. OK, Anda bisa melakukan penambahan atau pengurangan dari kode di atas.

Semoga ada manfaatnya… ?

Sumber gambar: madamvia.web.id