Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: bingbot	开始配置：bingbot
Crawl-delay: 1	允许bingbot访问1目录（包括子目录）
User-Agent: Baiduspider	开始配置：Baiduspider
Disallow: /tag/	禁止Baiduspider访问/tag目录
Disallow: /testself/	禁止Baiduspider访问/testself目录
Disallow: /ajaxData/	禁止Baiduspider访问/ajaxData目录
Disallow: /smc/	禁止Baiduspider访问/smc目录
Disallow: /sogou/	禁止Baiduspider访问/sogou目录
Disallow: /sg/	禁止Baiduspider访问/sg目录
Disallow: /tt/	禁止Baiduspider访问/tt目录
Disallow: /sys/	禁止Baiduspider访问/sys目录
Disallow: /oldtt/	禁止Baiduspider访问/oldtt目录
Disallow: /hq/	禁止Baiduspider访问/hq目录
Disallow: /jrtt/	禁止Baiduspider访问/jrtt目录
Disallow: /clear/	禁止Baiduspider访问/clear目录
Disallow: /mip-ald/	禁止Baiduspider访问/mip-ald目录
Disallow: /bdgfh/	禁止Baiduspider访问/bdgfh目录
Disallow: /sm/	禁止Baiduspider访问/sm目录
Disallow: /mi/	禁止Baiduspider访问/mi目录
Disallow: /mip-sm/	禁止Baiduspider访问/mip-sm目录
Disallow: /bdarsg/	禁止Baiduspider访问/bdarsg目录
Disallow: /sa/question/	禁止Baiduspider访问/sa/question目录
User-Agent: *	开始配置：所有搜索引擎
Disallow: /userinfo*.html	禁止所有搜索引擎访问根目录下的*userinfo.html**文件