Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /.asp$	禁止所有搜索引擎访问所有以.asp结尾的文件
Disallow: /.js$	禁止所有搜索引擎访问所有以.js结尾的文件
Disallow: /404.html	禁止所有搜索引擎访问根目录下的404.html文件
Disallow: /templates/	禁止所有搜索引擎访问/templates目录
Disallow: /javascript	禁止所有搜索引擎访问/javascript目录（包括子目录）
Disallow: /gbook.asp	禁止所有搜索引擎访问根目录下的gbook.asp文件
Disallow: /search.asp	禁止所有搜索引擎访问根目录下的search.asp文件
Disallow: /js/	禁止所有搜索引擎访问/js目录
Disallow: /*.rar$	禁止所有搜索引擎访问所有以*.rar结尾的文件