Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /rechargePage.aspx	禁止所有搜索引擎访问根目录下的rechargePage.aspx文件
Disallow: /rechargePage.html	禁止所有搜索引擎访问根目录下的rechargePage.html文件
Disallow: /sg_sitemap*	禁止所有搜索引擎访问根目录下以sg_sitemap开头的目录（包括子目录）
Disallow: /help.aspx	禁止所有搜索引擎访问根目录下的help.aspx文件
Disallow: /down.aspx	禁止所有搜索引擎访问根目录下的down.aspx文件
Disallow: /download.aspx	禁止所有搜索引擎访问根目录下的download.aspx文件
Disallow: /download*	禁止所有搜索引擎访问根目录下以download开头的目录（包括子目录）
Disallow: /UserCenter/	禁止所有搜索引擎访问/UserCenter目录
Disallow: /account/	禁止所有搜索引擎访问/account目录
Disallow:/htmlhttp:	禁止所有搜索引擎访问根目录下以htmlhttp结尾的目录（包括子目录）
Disallow:/search_QQ*	禁止所有搜索引擎访问根目录下以search_QQ开头的目录（包括子目录）
User-agent:AhrefsBot	开始配置：AhrefsBot
Disallow:/	禁止AhrefsBot访问网站的任何部分
User-agent:MJ12bot	开始配置：MJ12bot
Disallow:/	禁止MJ12bot访问网站的任何部分
User-agent:SemrushBot	开始配置：SemrushBot
Disallow:/	禁止SemrushBot访问网站的任何部分
User-agent:Barkrowler	开始配置：Barkrowler
Disallow:/	禁止Barkrowler访问网站的任何部分

活动推荐

Robots检测