Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-Agent: *	开始配置：所有搜索引擎
Disallow: /topic/*.bmp$	禁止所有搜索引擎访问/topic目录下所有以*.bmp结尾的文件
Disallow: /topic/*.png$	禁止所有搜索引擎访问/topic目录下所有以*.png结尾的文件
Disallow: /topic/*.gif$	禁止所有搜索引擎访问/topic目录下所有以*.gif结尾的文件
Disallow: /topic/*.jpg$	禁止所有搜索引擎访问/topic目录下所有以*.jpg结尾的文件
User-agent: Baiduspider	开始配置：Baiduspider
Disallow: /so/	禁止Baiduspider访问/so目录
User-agent: bingbot	开始配置：bingbot
Disallow: /so/	禁止bingbot访问/so目录
Disallow: /hotjobs/	禁止bingbot访问/hotjobs目录
Disallow: /jobs/	禁止bingbot访问/jobs目录
Disallow: /resume/	禁止bingbot访问/resume目录
Disallow: /area/	禁止bingbot访问/area目录
Disallow: /job/	禁止bingbot访问/job目录
Disallow: /company/	禁止bingbot访问/company目录
User-agent: msnbot	开始配置：msnbot
Disallow: /so/	禁止msnbot访问/so目录
Disallow: /hotjobs/	禁止msnbot访问/hotjobs目录
Disallow: /jobs/	禁止msnbot访问/jobs目录
Disallow: /resume/	禁止msnbot访问/resume目录
Disallow: /area/	禁止msnbot访问/area目录
Disallow: /job/	禁止msnbot访问/job目录
Disallow: /company/	禁止msnbot访问/company目录