文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: Scrapy 开始配置:Scrapy
    Allow: / 允许Scrapy访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Disallow: 允许所有搜索引擎访问网站的任何部分
    Sitemap: http://getbabb.com/sitemap_index.xml Sitemap地址: http://getbabb.com/sitemap_index.xml