Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /admin	禁止所有搜索引擎访问所有包含admin的文件
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /user/	禁止所有搜索引擎访问/user目录
Disallow: /static/	禁止所有搜索引擎访问/static目录
Disallow: /servers/	禁止所有搜索引擎访问/servers目录
Disallow: /process/	禁止所有搜索引擎访问/process目录
Disallow: /html/list/4_*	禁止所有搜索引擎访问/html/list目录下以4_开头的目录（包括子目录）
Disallow: /html/list/9_*	禁止所有搜索引擎访问/html/list目录下以9_开头的目录（包括子目录）
Disallow: /html/sing/	禁止所有搜索引擎访问/html/sing目录
Disallow: /top/chineseclass*	禁止所有搜索引擎访问/top目录下以chineseclass开头的目录（包括子目录）
Disallow: /top/dancing*	禁止所有搜索引擎访问/top目录下以dancing开头的目录（包括子目录）