Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-Agent: *	开始配置：所有搜索引擎
Allow: /	允许所有搜索引擎访问网站的任何部分
Disallow: /?iapolo.com	禁止所有搜索引擎访问,参数为iapolo.com的页面
Disallow: /*/create.htm	禁止所有搜索引擎访问/目录下的create.htm*文件
Disallow: /user/login.htm	禁止所有搜索引擎访问/user目录下的login.htm文件
Disallow: /taobao.htm	禁止所有搜索引擎访问根目录下的taobao.htm文件
Disallow: /mood.htm	禁止所有搜索引擎访问根目录下的mood.htm文件
Disallow: /mood//.htm	禁止所有搜索引擎访问/mood/目录下所有以.htm*为后缀的文件
Disallow: /link.htm	禁止所有搜索引擎访问根目录下的link.htm文件
Disallow: /event.htm	禁止所有搜索引擎访问根目录下的event.htm文件
Disallow: /event/*.htm	禁止所有搜索引擎访问/event目录下所有以.htm为后缀的文件
Disallow: /user/*.htm	禁止所有搜索引擎访问/user目录下所有以.htm为后缀的文件
Disallow: /user//.htm	禁止所有搜索引擎访问/user/目录下所有以.htm*为后缀的文件
Disallow: /blog//.htm	禁止所有搜索引擎访问/blog/目录下所有以.htm*为后缀的文件
Disallow: /share//.htm	禁止所有搜索引擎访问/share/目录下所有以.htm*为后缀的文件
Disallow: /question//.htm	禁止所有搜索引擎访问/question/目录下所有以.htm*为后缀的文件
Disallow: /activity//.htm	禁止所有搜索引擎访问/activity/目录下所有以.htm*为后缀的文件
Disallow: /html//.htm	禁止所有搜索引擎访问/html/目录下所有以.htm*为后缀的文件
Disallow: /html5//.htm	禁止所有搜索引擎访问/html5/目录下所有以.htm*为后缀的文件
Disallow: /game/	禁止所有搜索引擎访问/game目录
Disallow: /search.htm	禁止所有搜索引擎访问根目录下的search.htm文件
Disallow: /share/k-p-s2.htm	禁止所有搜索引擎访问/share目录下的*k-p-s2.htm*文件
Disallow: /share/k-p-s3.htm	禁止所有搜索引擎访问/share目录下的*k-p-s3.htm*文件
Disallow: /share/k-p-s4.htm	禁止所有搜索引擎访问/share目录下的*k-p-s4.htm*文件
Disallow: /jar/	禁止所有搜索引擎访问/jar目录
Disallow: /code/tag.htm	禁止所有搜索引擎访问/code目录下的tag.htm文件
User-Agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分

活动推荐

Robots检测