Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-Agent: *	开始配置：所有搜索引擎
Allow: /sell/detail-*.html$	允许所有搜索引擎访问/sell目录下所有以*detail-.html**结尾的文件
Allow: /product/detail-*.html$	允许所有搜索引擎访问/product目录下所有以*detail-.html**结尾的文件
Disallow: /*.do	禁止所有搜索引擎访问所有以.do为后缀的文件
Disallow: /*.htm$	禁止所有搜索引擎访问所有以*.htm结尾的文件
Disallow: /.jsp?$	禁止所有搜索引擎访问所有以*.jsp?*结尾的文件
Disallow: /product-	禁止所有搜索引擎访问/product-目录（包括子目录）
Disallow: /_page_static/	禁止所有搜索引擎访问/_page_static目录
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /search1/	禁止所有搜索引擎访问/search1目录
Disallow: /*.js1	禁止所有搜索引擎访问所有以.js1为后缀的文件