Cara Melihat Setting Robot Txt Blog

Buka browser lalu pastekan kode ini http://andiganteng7788.blogspot.com/robots.txt, disana akan terlihat jelas apa saja yang ini kita lakukan terhadap blog kita.

Contoh setting robot txt google webmaster tools

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*

User-agent:*
Allow: /
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /*/*/*.html?showComment=*

Sitemap: http://www.masarif.web.id/feeds/posts/default?orderby=UPDATED