文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: * 开始配置:所有搜索引擎
    Disallow: /login/ 禁止所有搜索引擎访问/login目录
    Disallow: /post/ 禁止所有搜索引擎访问/post目录
    Disallow: /cgi-bin/ 禁止所有搜索引擎访问/cgi-bin目录
    Disallow: /bbs/ 禁止所有搜索引擎访问/bbs目录
    Disallow: /search/ 禁止所有搜索引擎访问/search目录
    Disallow: /searchphone/ 禁止所有搜索引擎访问/searchphone目录
    Disallow: /jubao/ 禁止所有搜索引擎访问/jubao目录
    Disallow: /article/phone 禁止所有搜索引擎访问/article/phone目录(包括子目录)
    Disallow: /sou/ 禁止所有搜索引擎访问/sou目录
    Disallow: /ajax/ 禁止所有搜索引擎访问/ajax目录
    Disallow: /*?* 禁止所有搜索引擎访问任何带参数的页面
    User-agent: Bytespider 开始配置:Bytespider
    Allow: / 允许Bytespider访问网站的任何部分
    User-agent: Baiduspider 开始配置:Baiduspider
    Disallow: /*/lb-*/ 禁止Baiduspider访问/*目录下以lb-开头的目录