Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /?s=*	禁止所有搜索引擎访问,参数为s=*的页面
Disallow: /wp-admin/	禁止所有搜索引擎访问/wp-admin目录
Disallow: /wp-login.php	禁止所有搜索引擎访问根目录下的wp-login.php文件
Disallow: /favorite/	禁止所有搜索引擎访问/favorite目录
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: SemrushBot-SA	开始配置：SemrushBot-SA
Disallow: /	禁止SemrushBot-SA访问网站的任何部分
User-agent: SemrushBot-BA	开始配置：SemrushBot-BA
Disallow: /	禁止SemrushBot-BA访问网站的任何部分
User-agent: SemrushBot-SI	开始配置：SemrushBot-SI
Disallow: /	禁止SemrushBot-SI访问网站的任何部分
User-agent: SemrushBot-SWA	开始配置：SemrushBot-SWA
Disallow: /	禁止SemrushBot-SWA访问网站的任何部分
User-agent: SemrushBot-CT	开始配置：SemrushBot-CT
Disallow: /	禁止SemrushBot-CT访问网站的任何部分
User-agent: SemrushBot-BM	开始配置：SemrushBot-BM
Disallow: /	禁止SemrushBot-BM访问网站的任何部分
User-agent: DotBot	开始配置：DotBot
Disallow: /	禁止DotBot访问网站的任何部分
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: PetalBot	开始配置：PetalBot
Disallow: /	禁止PetalBot访问网站的任何部分

活动推荐

Robots检测