文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: * 开始配置:所有搜索引擎
    Disallow: 允许所有搜索引擎访问网站的任何部分
    Crawl-delay: 5 允许所有搜索引擎访问5目录(包括子目录)
    Disallow: /download/ 禁止所有搜索引擎访问/download目录
    Disallow: /search 禁止所有搜索引擎访问/search目录(包括子目录)
    Disallow: /searchAll 禁止所有搜索引擎访问/searchAll目录(包括子目录)