Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Crawl-delay: 10	允许所有搜索引擎访问10目录（包括子目录）
Disallow: /wp-admin/	禁止所有搜索引擎访问/wp-admin目录
Disallow: /wp-include/	禁止所有搜索引擎访问/wp-include目录
Disallow: /?s=*	禁止所有搜索引擎访问,参数为s=*的页面
Disallow: //?s=\	禁止所有搜索引擎访问,参数为*s=\**的页面
Disallow: /wp-includes/	禁止所有搜索引擎访问/wp-includes目录
Disallow: /wp-content/plugins	禁止所有搜索引擎访问/wp-content/plugins目录（包括子目录）
Disallow: /wp-content/themes	禁止所有搜索引擎访问/wp-content/themes目录（包括子目录）
Disallow: /feed	禁止所有搜索引擎访问/feed目录（包括子目录）
Disallow: /articles/*/feed	禁止所有搜索引擎访问*/articles//feed**目录（包括子目录）
Disallow: /*?replytocom=	禁止所有搜索引擎访问所有带参数为replytocom=的页面
Allow: /wp-admin/admin-ajax.php	允许所有搜索引擎访问/wp-admin目录下的admin-ajax.php文件
Sitemap: http://www.cbaigui.com/sitemap.xml	Sitemap地址： http://www.cbaigui.com/sitemap.xml