Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /data	禁止所有搜索引擎访问/data目录（包括子目录）
Disallow: /templets	禁止所有搜索引擎访问/templets目录（包括子目录）
Disallow: /uploads	禁止所有搜索引擎访问/uploads目录（包括子目录）
Disallow: /weapp	禁止所有搜索引擎访问/weapp目录（包括子目录）
Disallow: /core	禁止所有搜索引擎访问/core目录（包括子目录）
Disallow: /application	禁止所有搜索引擎访问/application目录（包括子目录）
Disallow: /extend	禁止所有搜索引擎访问/extend目录（包括子目录）
Disallow: /public	禁止所有搜索引擎访问/public目录（包括子目录）
Disallow: /install_1639121937	禁止所有搜索引擎访问/install_1639121937目录（包括子目录）
Disallow: /vendor	禁止所有搜索引擎访问/vendor目录（包括子目录）
Disallow: /caiji*	禁止所有搜索引擎访问根目录下以caiji开头的目录（包括子目录）
Disallow: /search.html?keywords=*	禁止所有搜索引擎访问search.html,参数为keywords=*的页面
Sitemap: https://www.51cid.com/sitemap.xml	Sitemap地址： https://www.51cid.com/sitemap.xml