Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent:*	开始配置：所有搜索引擎
Allow:/$	允许所有搜索引擎访问所有以结尾的文件
Allow:/shop/$	允许所有搜索引擎访问/shop目录下所有以结尾的文件
Allow:/domain_rank/$	允许所有搜索引擎访问/domain_rank目录下所有以结尾的文件
Allow:/snapshot/$	允许所有搜索引擎访问/snapshot目录下所有以结尾的文件
Allow:/title/$	允许所有搜索引擎访问/title目录下所有以结尾的文件
Allow:/subject/$	允许所有搜索引擎访问/subject目录下所有以结尾的文件
Allow:/segwords/$	允许所有搜索引擎访问/segwords目录下所有以结尾的文件
Allow:/icp/$	允许所有搜索引擎访问/icp目录下所有以结尾的文件
Allow:/flink/$	允许所有搜索引擎访问/flink目录下所有以结尾的文件
Allow:/nav/$	允许所有搜索引擎访问/nav目录下所有以结尾的文件
Allow:/black/$	允许所有搜索引擎访问/black目录下所有以结尾的文件
Allow:/baidu/$	允许所有搜索引擎访问/baidu目录下所有以结尾的文件
Allow:/ip/$	允许所有搜索引擎访问/ip目录下所有以结尾的文件
Allow:/tools/*	允许所有搜索引擎访问/tools下的所有文件
Allow:/tool_nav/*	允许所有搜索引擎访问/tool_nav下的所有文件
Allow:/article/*	允许所有搜索引擎访问/article下的所有文件
Allow:/question/*	允许所有搜索引擎访问/question下的所有文件
Allow:/topsite/*	允许所有搜索引擎访问/topsite下的所有文件
Disallow:/idc/edit/*	禁止所有搜索引擎访问/idc/edit下的所有文件
Allow:/idc/*	允许所有搜索引擎访问/idc下的所有文件
Disallow:*	禁止所有搜索引擎访问网站的任何部分
Disallow:/	禁止所有搜索引擎访问网站的任何部分

活动推荐

Robots检测