Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: Baiduspider	开始配置：Baiduspider
Disallow: /me*/	禁止Baiduspider访问根目录下以me开头的目录
User-agent: Sosospider	开始配置：Sosospider
Disallow: /me*/	禁止Sosospider访问根目录下以me开头的目录
User-agent: sogou spider	开始配置：sogou spider
Disallow: /me*/	禁止sogou spider访问根目录下以me开头的目录
User-agent: YodaoBot	开始配置：YodaoBot
Disallow: /me*/	禁止YodaoBot访问根目录下以me开头的目录
User-agent: Bingbot	开始配置：Bingbot
Disallow: /me*/	禁止Bingbot访问根目录下以me开头的目录
User-agent: ia_archiver	开始配置：ia_archiver
Disallow: /me*/	禁止ia_archiver访问根目录下以me开头的目录
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /me*/	禁止BLEXBot访问根目录下以me开头的目录
User-agent: *	开始配置：所有搜索引擎
Allow: .htm$	允许所有搜索引擎访问所有以.htm结尾的文件
Allow: .html$	允许所有搜索引擎访问所有以.html结尾的文件
Disallow: /	禁止所有搜索引擎访问网站的任何部分