文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: Googlebot 开始配置:Googlebot
    Allow: / 允许Googlebot访问网站的任何部分
    User-agent: baiduspider 开始配置:baiduspider
    Allow: / 允许baiduspider访问网站的任何部分
    User-agent: Sogou web spider 开始配置:Sogou web spider
    Allow: / 允许Sogou web spider访问网站的任何部分
    User-agent: Sosospider 开始配置:Sosospider
    Allow: / 允许Sosospider访问网站的任何部分
    User-agent: MSNBot 开始配置:MSNBot
    Allow: / 允许MSNBot访问网站的任何部分
    User-agent: 360spider 开始配置:360spider
    Allow: / 允许360spider访问网站的任何部分
    User-agent: bingbot 开始配置:bingbot
    Allow: / 允许bingbot访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Disallow: / 禁止所有搜索引擎访问网站的任何部分
    Crawl-delay: 5 允许所有搜索引擎访问5目录(包括子目录)