Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /guest-demos/	禁止所有搜索引擎访问/guest-demos目录
Disallow: /status/	禁止所有搜索引擎访问/status目录
Disallow: /demos/	禁止所有搜索引擎访问/demos目录
Disallow: /HyperNews/	禁止所有搜索引擎访问/HyperNews目录
Disallow: /cgi-bin/	禁止所有搜索引擎访问/cgi-bin目录
Disallow: /css-validator/docs/	禁止所有搜索引擎访问/css-validator/docs目录
Disallow: /Friends/	禁止所有搜索引擎访问/Friends目录
Disallow: /api/	禁止所有搜索引擎访问/api目录
Disallow: /Benoit/Public/DVDDB/	禁止所有搜索引擎访问/Benoit/Public/DVDDB目录
Disallow: /css-validator/validator	禁止所有搜索引擎访问/css-validator/validator目录（包括子目录）
Disallow: /css-validator/check	禁止所有搜索引擎访问/css-validator/check目录（包括子目录）