在线robots.txt文件生成工具可以帮助站长快速生成标准的robots.txt文件,支持一键生成,直接传到网站根目录即可。
用法:
a.如果不对搜索引擎进行限制,可以直接采用默认设置。如果不希望某些路径、文件夹被不被收录,在“限制目录或路径”项中按实际填写。如果没有sitemap地图,留空即可。
b.代码生成后,在本地电脑新建一个“文本文档”,然后把代码粘贴、复制到文本文档内保存。并且把文本文档命名为“robots.txt"。
c.把robots文档上传到网站的根目录即可。(注意:文件上传后,再验证一下:假设你的网站域名是www.abc.com,那么要通过访问www.abc.com/robots.txt能打开并且能够看到里面的内容。)