文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: Baiduspider 开始配置:Baiduspider
    Disallow: 允许Baiduspider访问网站的任何部分
    User-agent: Sosospider 开始配置:Sosospider
    Disallow: 允许Sosospider访问网站的任何部分
    User-agent: sogou spider 开始配置:sogou spider
    Disallow: 允许sogou spider访问网站的任何部分
    User-agent: YodaoBot 开始配置:YodaoBot
    Disallow: 允许YodaoBot访问网站的任何部分
    User-agent: Googlebot 开始配置:Googlebot
    Disallow: 允许Googlebot访问网站的任何部分
    User-agent: Bingbot 开始配置:Bingbot
    Disallow: 允许Bingbot访问网站的任何部分
    User-agent: Slurp 开始配置:Slurp
    Disallow: 允许Slurp访问网站的任何部分
    User-agent: Teoma 开始配置:Teoma
    Disallow: 允许Teoma访问网站的任何部分
    User-agent: ia_archiver 开始配置:ia_archiver
    Disallow: 允许ia_archiver访问网站的任何部分
    User-agent: twiceler 开始配置:twiceler
    Disallow: 允许twiceler访问网站的任何部分
    User-agent: MSNBot 开始配置:MSNBot
    Disallow: 允许MSNBot访问网站的任何部分
    User-agent: Scrubby 开始配置:Scrubby
    Disallow: 允许Scrubby访问网站的任何部分
    User-agent: Robozilla 开始配置:Robozilla
    Disallow: 允许Robozilla访问网站的任何部分
    User-agent: Gigabot 开始配置:Gigabot
    Disallow: 允许Gigabot访问网站的任何部分
    User-agent: googlebot-image 开始配置:googlebot-image
    Disallow: 允许googlebot-image访问网站的任何部分
    User-agent: googlebot-mobile 开始配置:googlebot-mobile
    Disallow: 允许googlebot-mobile访问网站的任何部分
    User-agent: yahoo-mmcrawler 开始配置:yahoo-mmcrawler
    Disallow: 允许yahoo-mmcrawler访问网站的任何部分
    User-agent: yahoo-blogs/v3.9 开始配置:yahoo-blogs/v3.9
    Disallow: 允许yahoo-blogs/v3.9访问网站的任何部分
    User-agent: psbot 开始配置:psbot
    Disallow: 允许psbot访问网站的任何部分
    Disallow: /bin/ 禁止psbot访问/bin目录
    Sitemap: http://domain.com/sitemap.xml Sitemap地址: http://domain.com/sitemap.xml