Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /wp-admin/	禁止所有搜索引擎访问/wp-admin目录
Disallow: /wp-*.php	禁止所有搜索引擎访问根目录下的*wp-.php**文件
Disallow: /feed	禁止所有搜索引擎访问/feed目录（包括子目录）
Disallow: /*/feed	禁止所有搜索引擎访问*//feed**目录（包括子目录）
Disallow: //comment-page-	禁止所有搜索引擎访问/目录下以comment-page-*开头的目录（包括子目录）
Disallow: /?replytocom=	禁止所有搜索引擎访问所有带参数为replytocom=*的页面
Disallow: /wp-json	禁止所有搜索引擎访问/wp-json目录（包括子目录）
Allow: /wp-admin/admin-ajax.php	允许所有搜索引擎访问/wp-admin目录下的admin-ajax.php文件
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: DotBot	开始配置：DotBot
Disallow: /	禁止DotBot访问网站的任何部分
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: Uptimebot	开始配置：Uptimebot
Disallow: /	禁止Uptimebot访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: GrapeshotCrawler	开始配置：GrapeshotCrawler
Disallow: /	禁止GrapeshotCrawler访问网站的任何部分
User-agent: DataForSeoBot	开始配置：DataForSeoBot
Disallow: /	禁止DataForSeoBot访问网站的任何部分

活动推荐

Robots检测