Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: EtaoSpider	开始配置：EtaoSpider
Disallow: /	禁止EtaoSpider访问网站的任何部分
User-agent: HuihuiSpider	开始配置：HuihuiSpider
Disallow: /	禁止HuihuiSpider访问网站的任何部分
User-agent: GwdangSpider	开始配置：GwdangSpider
Disallow: /	禁止GwdangSpider访问网站的任何部分
User-agent: WochachaSpider	开始配置：WochachaSpider
Disallow: /	禁止WochachaSpider访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Disallow: /myNew/	禁止所有搜索引擎访问/myNew目录
Disallow: /my/	禁止所有搜索引擎访问/my目录
Disallow: /adminNew/	禁止所有搜索引擎访问/adminNew目录
Disallow: /webdev/	禁止所有搜索引擎访问/webdev目录
Crawl-delay: 15	允许所有搜索引擎访问15目录（包括子目录）