Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Request-rate: 1/2 # load 1 page per 2 seconds	允许所有搜索引擎访问1/2 # load 1 page per 2 seconds目录（包括子目录）
Crawl-delay: 10	允许所有搜索引擎访问10目录（包括子目录）
Disallow: /login	禁止所有搜索引擎访问/login目录（包括子目录）
Disallow: /logout	禁止所有搜索引擎访问/logout目录（包括子目录）
Disallow: /resetpassword	禁止所有搜索引擎访问/resetpassword目录（包括子目录）
Disallow: /terms	禁止所有搜索引擎访问/terms目录（包括子目录）
Disallow: /search	禁止所有搜索引擎访问/search目录（包括子目录）
Disallow: /settings	禁止所有搜索引擎访问/settings目录（包括子目录）
Disallow: /jump	禁止所有搜索引擎访问/jump目录（包括子目录）