Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: Sogou web spider	开始配置：Sogou web spider
Disallow: /	禁止Sogou web spider访问网站的任何部分
User-agent: Sogou web spider/4.0	开始配置：Sogou web spider/4.0
Disallow: /	禁止Sogou web spider/4.0访问网站的任何部分
User-agent: sogou spider	开始配置：sogou spider
Disallow: /	禁止sogou spider访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: Baiduspider	开始配置：Baiduspider
Disallow: /	禁止Baiduspider访问网站的任何部分
User-agent: Bytespider	开始配置：Bytespider
Disallow: /	禁止Bytespider访问网站的任何部分
User-agent: googlebot	开始配置：googlebot
Disallow: /	禁止googlebot访问网站的任何部分
User-agent: baiduspider	开始配置：baiduspider
Disallow: /	禁止baiduspider访问网站的任何部分
User-agent: sosospider	开始配置：sosospider
Disallow: /	禁止sosospider访问网站的任何部分
User-agent: 360spider	开始配置：360spider
Disallow: /	禁止360spider访问网站的任何部分
User-agent: jikeSpider	开始配置：jikeSpider
Disallow: /	禁止jikeSpider访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Disallow:	允许所有搜索引擎访问网站的任何部分