Cara mengaktifkan Custom robots.txt yang baik. Mungkin kamu semua sudah tidak asing lagi dengan yang namanya Custom robots.txt, dengan mensetting Custom robots.txt maka hal tersebut bertujuan agar blog kita mudah diketahui oleh Robot search engine, kalau mudah diketahui maka mudah di-crawl alias dirayapi, yang nantinya akan membantu blog kita ter-index di search engine/mesin pencari dengan baik.
Perhatian!!!!
Semakin baik Pengaturan Custom robots.txt, maka semakin baik pulan blog kamu ter-indek sama mesin pencarian, namun salah dalam penyetingan akan berakibat fatal alias buruk untuk blog kamu!!!!. yuk cekidot aja :)
Cara setting Custom robots.txt yang baik dan benar:
1. Login ke blogger
2. Pilih menu setting => Search preferences
3. lihat ke menu Crawlers and indexing, klik edit pada Custom robots.txt
4. centang yes pada Enable custom robots.txt content?):
5. Isi pada kotak kosong dengan text berikut
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.mahasiswaabadi.com/feeds/posts/default?orderby=UPDATED
NB:
Ganti mahasiswaabadi.com dengan alamat blog/web kamu ^_^
5. Klik Save Changes, selesai.
Sekarang Custom robots.txt blog kamu telah aktif. Semoga bermanfaat