Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /?*	禁止所有搜索引擎访问任何带参数的页面
Disallow: /login.html	禁止所有搜索引擎访问根目录下的login.html文件
Disallow: /register.html	禁止所有搜索引擎访问根目录下的register.html文件
Disallow: /link.html	禁止所有搜索引擎访问根目录下的link.html文件
Disallow: /review.html	禁止所有搜索引擎访问根目录下的review.html文件
Disallow: /api	禁止所有搜索引擎访问/api目录（包括子目录）
Disallow: /control	禁止所有搜索引擎访问/control目录（包括子目录）
Disallow: /data/uploads/*.doc	禁止所有搜索引擎访问/data/uploads目录下所有以.doc为后缀的文件
Disallow: /release-pub_mode-onekey-t_id-*.html	禁止所有搜索引擎访问根目录下的*release-pub_mode-onekey-t_id-.html**文件
Disallow: /unlock.html	禁止所有搜索引擎访问根目录下的unlock.html文件
Disallow: /*/exception.html	禁止所有搜索引擎访问/目录下的exception.html*文件
User-agent: WordPress	开始配置：WordPress
Disallow: /	禁止WordPress访问网站的任何部分
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分