Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
user-agent: *	开始配置：所有搜索引擎
Disallow: /api/	禁止所有搜索引擎访问/api目录
Disallow: /crontab/	禁止所有搜索引擎访问/crontab目录
Disallow: /member/	禁止所有搜索引擎访问/member目录
Disallow: /skin/	禁止所有搜索引擎访问/skin目录
Disallow: /template/	禁止所有搜索引擎访问/template目录
Disallow: /upgrade/	禁止所有搜索引擎访问/upgrade目录
Disallow: /search	禁止所有搜索引擎访问所有包含search的文件
Disallow: /file/	禁止所有搜索引擎访问/file目录
Disallow: /extend/	禁止所有搜索引擎访问/extend目录
Disallow: /*asp$	禁止所有搜索引擎访问所有以*asp结尾的文件
Disallow: /*aspx$	禁止所有搜索引擎访问所有以*aspx结尾的文件
Disallow: /default.htm	禁止所有搜索引擎访问根目录下的default.htm文件
Disallow: /fckeditor/	禁止所有搜索引擎访问/fckeditor目录
Disallow: /domain/	禁止所有搜索引擎访问/domain目录