文件状态良好,请查看下面具体的报告。
规则 | 解释 | 有效 |
User-agent: * | 开始配置:所有搜索引擎 | |
Disallow: /o/desk | 禁止所有搜索引擎访问/o/desk目录(包括子目录) | |
Disallow: /o/myCreated | 禁止所有搜索引擎访问/o/myCreated目录(包括子目录) | |
Disallow: /o/settings | 禁止所有搜索引擎访问/o/settings目录(包括子目录) | |
Disallow: /o/create/ | 禁止所有搜索引擎访问/o/create目录 | |
Disallow: /admin | 禁止所有搜索引擎访问/admin目录(包括子目录) | |
Disallow: /product/agree_value/ | 禁止所有搜索引擎访问/product/agree_value目录 | |
Disallow: /user/ | 禁止所有搜索引擎访问/user目录 | |
User-agent: trendkite-akashic-crawler | 开始配置:trendkite-akashic-crawler | |
Request-rate: 1/2 # load 1 page per 2 seconds | 允许trendkite-akashic-crawler访问1/2 # load 1 page per 2 seconds目录(包括子目录) | |
Crawl-delay: 60 | 允许trendkite-akashic-crawler访问60目录(包括子目录) | |
User-agent: YisouSpider | 开始配置:YisouSpider | |
Request-rate: 1/10 # load 1 page per 10 seconds | 允许YisouSpider访问1/10 # load 1 page per 10 seconds目录(包括子目录) | |
Crawl-delay: 60 | 允许YisouSpider访问60目录(包括子目录) | |
User-agent: Cliqzbot | 开始配置:Cliqzbot | |
Disallow: / | 禁止Cliqzbot访问网站的任何部分 | |
User-agent: Googlebot | 开始配置:Googlebot | |
Request-rate: 2/1 # load 2 page per 1 seconds | 允许Googlebot访问2/1 # load 2 page per 1 seconds目录(包括子目录) | |
Crawl-delay: 10 | 允许Googlebot访问10目录(包括子目录) |