Robots文件生成器

    选择搜索引擎
    限制爬取的目录、路径(必须以/开头;可用*号表示通配符):
    加入sitemap地图(谷歌为xml格式,百度为html格式):
    指定搜索引擎主动检索站点更新的时间间隔
    生成的robots内容:

    工具简介

    在线robots.txt文件生成工具可以帮助站长快速生成标准的robots.txt文件,支持一键生成,直接传到网站根目录即可。

    用法:

    a.如果不对搜索引擎进行限制,可以直接采用默认设置。如果不希望某些路径、文件夹被不被收录,在“限制目录或路径”项中按实际填写。如果没有sitemap地图,留空即可。

    b.代码生成后,在本地电脑新建一个“文本文档”,然后把代码粘贴、复制到文本文档内保存。并且把文本文档命名为“robots.txt"。

    c.把robots文档上传到网站的根目录即可。(注意:文件上传后,再验证一下:假设你的网站域名是www.abc.com,那么要通过访问www.abc.com/robots.txt能打开并且能够看到里面的内容。)