Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Crawl-delay: 10	允许所有搜索引擎访问10目录（包括子目录）
Disallow: /wp-admin/	禁止所有搜索引擎访问/wp-admin目录
Disallow: /go/	禁止所有搜索引擎访问/go目录
Disallow: /wp-content/plugins/	禁止所有搜索引擎访问/wp-content/plugins目录
Disallow: /?s=*	禁止所有搜索引擎访问,参数为s=*的页面
Disallow: /author/	禁止所有搜索引擎访问/author目录
Disallow: /astra-advanced-hook/	禁止所有搜索引擎访问/astra-advanced-hook目录
Disallow: /theme	禁止所有搜索引擎访问/theme目录（包括子目录）
Disallow: /demo/*	禁止所有搜索引擎访问/demo下的所有文件
Disallow: //page/	禁止所有搜索引擎访问*//page**下的所有文件
Disallow: /*blackhole	禁止所有搜索引擎访问根目录下以blackhole结尾的目录（包括子目录）
Disallow: /?blackhole	禁止所有搜索引擎访问,参数为blackhole的页面
Allow: /wp-admin/admin-ajax.php	允许所有搜索引擎访问/wp-admin目录下的admin-ajax.php文件
User-agent: YandexBot	开始配置：YandexBot
Disallow: /	禁止YandexBot访问网站的任何部分
User-agent: DotBot	开始配置：DotBot
Disallow: /	禁止DotBot访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: YaK	开始配置：YaK
Disallow: /	禁止YaK访问网站的任何部分
User-agent: PetalBot	开始配置：PetalBot
Disallow: /	禁止PetalBot访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
Sitemap: https://blog.naibabiji.com/sitemap.xml	Sitemap地址： https://blog.naibabiji.com/sitemap.xml

活动推荐

Robots检测