Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: Bingbot	开始配置：Bingbot
Disallow: /	禁止Bingbot访问网站的任何部分
User-agent: Slurp	开始配置：Slurp
Disallow: /	禁止Slurp访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Allow: /	允许所有搜索引擎访问网站的任何部分
Disallow: /index/showNewsCommentList	禁止所有搜索引擎访问/index/showNewsCommentList目录（包括子目录）
Disallow: /search.action	禁止所有搜索引擎访问根目录下的search.action文件
Disallow: /dwr	禁止所有搜索引擎访问/dwr目录（包括子目录）
Disallow: /newsearch.action?keywords=	禁止所有搜索引擎访问newsearch.action,参数为keywords=的页面
Disallow: /newscomment	禁止所有搜索引擎访问/newscomment目录（包括子目录）
Disallow: /company/magazine/	禁止所有搜索引擎访问/company/magazine目录
Disallow: /indexnew/	禁止所有搜索引擎访问/indexnew目录
Disallow: /indexold/	禁止所有搜索引擎访问/indexold目录
Disallow: /industry/	禁止所有搜索引擎访问/industry目录
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /?*	禁止所有搜索引擎访问任何带参数的页面