Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Disallow: /sites	禁止所有搜索引擎访问/sites目录（包括子目录）
Disallow: /surveys	禁止所有搜索引擎访问/surveys目录（包括子目录）
Disallow: /archive	禁止所有搜索引擎访问/archive目录（包括子目录）
Disallow: /subscribe	禁止所有搜索引擎访问/subscribe目录（包括子目录）
Disallow: /public/*	禁止所有搜索引擎访问/public下的所有文件
Disallow: /list_unsubscribe	禁止所有搜索引擎访问/list_unsubscribe目录（包括子目录）
Disallow: /profile	禁止所有搜索引擎访问/profile目录（包括子目录）
Disallow: /about_profile	禁止所有搜索引擎访问/about_profile目录（包括子目录）
Disallow: /forward_to_a_friend	禁止所有搜索引擎访问/forward_to_a_friend目录（包括子目录）