Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-Agent: Baiduspider	开始配置：Baiduspider
Disallow: /tags/	禁止Baiduspider访问/tags目录
Disallow: /tag/	禁止Baiduspider访问/tag目录
Disallow: /ithome/	禁止Baiduspider访问/ithome目录
Disallow: /keywords/	禁止Baiduspider访问/keywords目录
Disallow: /search/	禁止Baiduspider访问/search目录
Disallow:/tag/adt_all*	禁止Baiduspider访问/tag目录下以adt_all开头的目录（包括子目录）
Disallow: /comment/	禁止Baiduspider访问/comment目录
Disallow: /?	禁止Baiduspider访问任何带参数的页面
Disallow: /?*	禁止Baiduspider访问任何带参数的页面
Disallow: /html/zixun/	禁止Baiduspider访问/html/zixun目录
User-Agent: *	开始配置：所有搜索引擎
Disallow: /ithome/	禁止所有搜索引擎访问/ithome目录
Disallow: /keywords/	禁止所有搜索引擎访问/keywords目录
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /comment/	禁止所有搜索引擎访问/comment目录
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /?*	禁止所有搜索引擎访问任何带参数的页面
Disallow: /html/zixun/	禁止所有搜索引擎访问/html/zixun目录