Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
Sitemap: https://www.com21.com/sitemap.xml	Sitemap地址： https://www.com21.com/sitemap.xml
User-agent: *	开始配置：所有搜索引擎
Disallow: /wp-admin/	禁止所有搜索引擎访问/wp-admin目录
Disallow: /wp-content/plugins/	禁止所有搜索引擎访问/wp-content/plugins目录
Disallow: /wp-content/themes/	禁止所有搜索引擎访问/wp-content/themes目录
Disallow: /wp-content/cache/	禁止所有搜索引擎访问/wp-content/cache目录
Disallow: /wp-content/languages/	禁止所有搜索引擎访问/wp-content/languages目录
Disallow: /wp-includes/	禁止所有搜索引擎访问/wp-includes目录
Disallow: /feed/	禁止所有搜索引擎访问/feed目录
Disallow: //comment-page-	禁止所有搜索引擎访问/目录下以comment-page-*开头的目录（包括子目录）
Disallow: /?replytocom=	禁止所有搜索引擎访问所有带参数为replytocom=*的页面
Disallow: /*/trackback/	禁止所有搜索引擎访问*//trackback**目录
Disallow: /comments/feed/	禁止所有搜索引擎访问/comments/feed目录
Disallow: /?s=*	禁止所有搜索引擎访问,参数为s=*的页面
Disallow: /attachment/	禁止所有搜索引擎访问/attachment目录
User-agent: Googlebot-Image	开始配置：Googlebot-Image
Allow: /wp-content/uploads/	允许Googlebot-Image访问/wp-content/uploads目录
User-agent: Mediapartners-Google	开始配置：Mediapartners-Google
Allow: /	允许Mediapartners-Google访问网站的任何部分

活动推荐

Robots检测