Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /doyo/	禁止所有搜索引擎访问/doyo目录
Disallow: /doyoweb/	禁止所有搜索引擎访问/doyoweb目录
Disallow: /yy/	禁止所有搜索引擎访问/yy目录
Disallow: /data/	禁止所有搜索引擎访问/data目录
Disallow: /widget/	禁止所有搜索引擎访问/widget目录
Disallow: /api/	禁止所有搜索引擎访问/api目录
Disallow: /classic	禁止所有搜索引擎访问/classic目录（包括子目录）
Disallow: /classic/	禁止所有搜索引擎访问/classic目录
Disallow: /classic/tag/	禁止所有搜索引擎访问/classic/tag目录
Disallow: /classic/swf/	禁止所有搜索引擎访问/classic/swf目录
Disallow: /classic/flash_fl/	禁止所有搜索引擎访问/classic/flash_fl目录
Disallow: /classic/top/	禁止所有搜索引擎访问/classic/top目录
Disallow: /classic/flash/	禁止所有搜索引擎访问/classic/flash目录
Disallow: /classic/index.htm	禁止所有搜索引擎访问/classic目录下的index.htm文件
Disallow: /new/	禁止所有搜索引擎访问/new目录
Disallow: /m-iphone/art/	禁止所有搜索引擎访问/m-iphone/art目录
Disallow: /m-ipad/art/	禁止所有搜索引擎访问/m-ipad/art目录
Disallow: /m-android/art/	禁止所有搜索引擎访问/m-android/art目录
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面