Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /captcha	禁止所有搜索引擎访问/captcha目录（包括子目录）
Disallow: /dy*	禁止所有搜索引擎访问根目录下以dy开头的目录（包括子目录）
Disallow: /auth/*	禁止所有搜索引擎访问/auth下的所有文件
Disallow: /protocol.html	禁止所有搜索引擎访问根目录下的protocol.html文件
Disallow: /data-protocol	禁止所有搜索引擎访问/data-protocol目录（包括子目录）
Disallow: /permission-protocol	禁止所有搜索引擎访问/permission-protocol目录（包括子目录）
Allow: /sitemap.xml	允许所有搜索引擎访问根目录下的sitemap.xml文件
Disallow: /FAVICON.ICO	禁止所有搜索引擎访问根目录下的FAVICON.ICO文件
Disallow: /APPV2/	禁止所有搜索引擎访问/APPV2目录
Disallow: /auth/user_category/*	禁止所有搜索引擎访问/auth/user_category下的所有文件
Disallow: /vis/*	禁止所有搜索引擎访问/vis下的所有文件
Disallow: /404.html	禁止所有搜索引擎访问根目录下的404.html文件