Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Allow:*	允许所有搜索引擎访问网站的任何部分
Disallow: /apps/	禁止所有搜索引擎访问*/apps下的所有文件
Disallow: /wbg/services/	禁止所有搜索引擎访问*/wbg/services下的所有文件
Disallow: /en/webarchives/archive	禁止所有搜索引擎访问/en/webarchives目录下以archive*开头的目录（包括子目录）
Disallow: /misc	禁止所有搜索引擎访问目录下以misc*开头的目录（包括子目录）
Disallow: /conf/	禁止所有搜索引擎访问*/conf下的所有文件
Disallow: /downloadstats/	禁止所有搜索引擎访问*/downloadstats下的所有文件
Disallow: /wbg/aem/	禁止所有搜索引擎访问*/wbg/aem下的所有文件
Disallow: /etc/dam	禁止所有搜索引擎访问/etc目录下以dam*开头的目录（包括子目录）