文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: Baiduspider 开始配置:Baiduspider
    Disallow: / 禁止Baiduspider访问网站的任何部分
    User-agent: Sosospider 开始配置:Sosospider
    Disallow: / 禁止Sosospider访问网站的任何部分
    User-agent: sogou spider 开始配置:sogou spider
    Disallow: / 禁止sogou spider访问网站的任何部分
    User-agent: YodaoBot 开始配置:YodaoBot
    Disallow: / 禁止YodaoBot访问网站的任何部分
    User-agent: Googlebot 开始配置:Googlebot
    Disallow: / 禁止Googlebot访问网站的任何部分
    User-agent: Bingbot 开始配置:Bingbot
    Disallow: / 禁止Bingbot访问网站的任何部分
    User-agent: Slurp 开始配置:Slurp
    Disallow: / 禁止Slurp访问网站的任何部分
    User-agent: Teoma 开始配置:Teoma
    Disallow: / 禁止Teoma访问网站的任何部分
    User-agent: ia_archiver 开始配置:ia_archiver
    Disallow: / 禁止ia_archiver访问网站的任何部分
    User-agent: twiceler 开始配置:twiceler
    Disallow: / 禁止twiceler访问网站的任何部分
    User-agent: MSNBot 开始配置:MSNBot
    Disallow: / 禁止MSNBot访问网站的任何部分
    User-agent: Scrubby 开始配置:Scrubby
    Disallow: / 禁止Scrubby访问网站的任何部分
    User-agent: Robozilla 开始配置:Robozilla
    Disallow: / 禁止Robozilla访问网站的任何部分
    User-agent: Gigabot 开始配置:Gigabot
    Disallow: / 禁止Gigabot访问网站的任何部分
    User-agent: googlebot-image 开始配置:googlebot-image
    Disallow: / 禁止googlebot-image访问网站的任何部分
    User-agent: googlebot-mobile 开始配置:googlebot-mobile
    Disallow: / 禁止googlebot-mobile访问网站的任何部分
    User-agent: yahoo-mmcrawler 开始配置:yahoo-mmcrawler
    Disallow: / 禁止yahoo-mmcrawler访问网站的任何部分
    User-agent: yahoo-blogs/v3.9 开始配置:yahoo-blogs/v3.9
    Disallow: / 禁止yahoo-blogs/v3.9访问网站的任何部分
    User-agent: psbot 开始配置:psbot
    Disallow: / 禁止psbot访问网站的任何部分
    Crawl-delay: 120 允许psbot访问120目录(包括子目录)
    Disallow: /bin/ 禁止psbot访问/bin目录
    Disallow: /tmp/ 禁止psbot访问/tmp目录