Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /cp*	禁止所有搜索引擎访问根目录下以cp开头的目录（包括子目录）
Disallow: /jk*	禁止所有搜索引擎访问根目录下以jk开头的目录（包括子目录）
Disallow: /hot*	禁止所有搜索引擎访问根目录下以hot开头的目录（包括子目录）
Disallow: /edu*	禁止所有搜索引擎访问根目录下以edu开头的目录（包括子目录）
Disallow: /?props=	禁止所有搜索引擎访问所有带参数为props=*的页面
Disallow: /?ab_test_v=*	禁止所有搜索引擎访问,参数为ab_test_v=*的页面
Disallow: /spm=	禁止所有搜索引擎访问所有包含spm=的文件
Disallow: /?recId=	禁止所有搜索引擎访问所有带参数为recId=*的页面
Disallow: /?priceRange=	禁止所有搜索引擎访问所有带参数为priceRange=*的页面
Disallow: /?utm_id=	禁止所有搜索引擎访问所有带参数为utm_id=*的页面
Disallow: /keywordid=	禁止所有搜索引擎访问所有包含keywordid=的文件