Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: Baiduspider	开始配置：Baiduspider
Disallow: /adminLTE/	禁止Baiduspider访问/adminLTE目录
Disallow: /downloads/	禁止Baiduspider访问/downloads目录
Disallow: /images/	禁止Baiduspider访问/images目录
Disallow: /fonts/	禁止Baiduspider访问/fonts目录
Disallow: /resource/	禁止Baiduspider访问/resource目录
Disallow: /api/	禁止Baiduspider访问/api目录
Disallow: /2.0/	禁止Baiduspider访问/2.0目录
User-agent: *	开始配置：所有搜索引擎
Disallow: /adminLTE/	禁止所有搜索引擎访问/adminLTE目录
Disallow: /downloads/	禁止所有搜索引擎访问/downloads目录
Disallow: /images/	禁止所有搜索引擎访问/images目录
Disallow: /fonts/	禁止所有搜索引擎访问/fonts目录
Disallow: /resource/	禁止所有搜索引擎访问/resource目录
Disallow: /api/	禁止所有搜索引擎访问/api目录
Disallow: /2.0/	禁止所有搜索引擎访问/2.0目录