Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /backup/	禁止所有搜索引擎访问/backup目录
Disallow: /bin/	禁止所有搜索引擎访问/bin目录
Disallow: /cache/	禁止所有搜索引擎访问/cache目录
Disallow: /grav/	禁止所有搜索引擎访问/grav目录
Disallow: /logs/	禁止所有搜索引擎访问/logs目录
Disallow: /system/	禁止所有搜索引擎访问/system目录
Disallow: /vendor/	禁止所有搜索引擎访问/vendor目录
Disallow: /user/	禁止所有搜索引擎访问/user目录
Allow: /user/pages/	允许所有搜索引擎访问/user/pages目录
Allow: /user/themes/	允许所有搜索引擎访问/user/themes目录
Allow: /user/images/	允许所有搜索引擎访问/user/images目录
Allow: /	允许所有搜索引擎访问网站的任何部分
Allow: *.css$	允许所有搜索引擎访问所有以*.css结尾的文件
Allow: *.js$	允许所有搜索引擎访问所有以*.js结尾的文件
Allow: /system/*.js$	允许所有搜索引擎访问/system目录下所有以*.js结尾的文件