Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow:	允许所有搜索引擎访问网站的任何部分
Disallow: /addons/	禁止所有搜索引擎访问/addons目录
Disallow: /go/	禁止所有搜索引擎访问/go目录
Disallow: /goto/	禁止所有搜索引擎访问/goto目录
Disallow: /outlink.html	禁止所有搜索引擎访问根目录下的outlink.html文件
Disallow: /index.php/	禁止所有搜索引擎访问/index.php目录
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /tag/	禁止所有搜索引擎访问/tag目录
Disallow: /u/	禁止所有搜索引擎访问/u目录
Disallow: /search	禁止所有搜索引擎访问/search目录（包括子目录）
Disallow: /search.html	禁止所有搜索引擎访问根目录下的search.html文件