Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: semrushbot	开始配置：semrushbot
Disallow: /	禁止semrushbot访问网站的任何部分
User-agent: Yisouspider	开始配置：Yisouspider
Disallow: /	禁止Yisouspider访问网站的任何部分
User-agent: msnbot	开始配置：msnbot
Disallow: /	禁止msnbot访问网站的任何部分
User-agent: googlebot	开始配置：googlebot
Disallow: /	禁止googlebot访问网站的任何部分
User-agent: Sogou web spider	开始配置：Sogou web spider
Disallow: /	禁止Sogou web spider访问网站的任何部分
User-agent: sogou spider	开始配置：sogou spider
Disallow: /	禁止sogou spider访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Disallow: /	禁止所有搜索引擎访问网站的任何部分
Allow:/member/memberReg/register.jsp	允许所有搜索引擎访问/member/memberReg目录下的register.jsp文件
Allow:/member/login.jsp	允许所有搜索引擎访问/member目录下的login.jsp文件
Allow:/personal/reg/my_regone.jsp	允许所有搜索引擎访问/personal/reg目录下的my_regone.jsp文件
Allow:/personal/my_login.do	允许所有搜索引擎访问/personal目录下的my_login.do文件
Disallow:/member/	禁止所有搜索引擎访问/member目录
Disallow:/personal/center/	禁止所有搜索引擎访问/personal/center目录
Disallow:/schooldetail.do?StudID=*	禁止所有搜索引擎访问schooldetail.do,参数为StudID=*的页面
Disallow: /*.jpg	禁止所有搜索引擎访问所有以.jpg为后缀的文件
Disallow: /*.jpeg	禁止所有搜索引擎访问所有以.jpeg为后缀的文件
Disallow: /*.gif	禁止所有搜索引擎访问所有以.gif为后缀的文件
Disallow: /*.png	禁止所有搜索引擎访问所有以.png为后缀的文件
Disallow: /*.bmp	禁止所有搜索引擎访问所有以.bmp为后缀的文件
Disallow: /*.js	禁止所有搜索引擎访问所有以.js为后缀的文件
Disallow: /*.css	禁止所有搜索引擎访问所有以.css为后缀的文件
Disallow: /js/	禁止所有搜索引擎访问/js目录
Disallow: /css/	禁止所有搜索引擎访问/css目录
Disallow: /scripts/	禁止所有搜索引擎访问/scripts目录
Disallow: /imgs/	禁止所有搜索引擎访问/imgs目录
Disallow: /images/	禁止所有搜索引擎访问/images目录
Disallow: /mem_logo/	禁止所有搜索引擎访问/mem_logo目录

活动推荐

Robots检测