Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Disallow: /*.aspx$	禁止所有搜索引擎访问所有以*.aspx结尾的文件
Disallow: /*.asp$	禁止所有搜索引擎访问所有以*.asp结尾的文件
Disallow: /*.php$	禁止所有搜索引擎访问所有以*.php结尾的文件
Disallow: /*.js$	禁止所有搜索引擎访问所有以*.js结尾的文件
Disallow: /*.css$	禁止所有搜索引擎访问所有以*.css结尾的文件
Disallow: /*.gif$	禁止所有搜索引擎访问所有以*.gif结尾的文件
Disallow: /*.jpg$	禁止所有搜索引擎访问所有以*.jpg结尾的文件
Disallow: /*.png$	禁止所有搜索引擎访问所有以*.png结尾的文件
Disallow: /wordpress/	禁止所有搜索引擎访问/wordpress目录
Disallow: /blog/	禁止所有搜索引擎访问/blog目录
Disallow: /cms/	禁止所有搜索引擎访问/cms目录
Disallow: /newscomment-*.html	禁止所有搜索引擎访问根目录下的*newscomment-.html**文件
Disallow: /plus/	禁止所有搜索引擎访问/plus目录
Disallow: /abc/	禁止所有搜索引擎访问/abc目录
Disallow: /data/	禁止所有搜索引擎访问/data目录
Disallow: /wp-*/	禁止所有搜索引擎访问根目录下以wp-开头的目录
Disallow: /book/	禁止所有搜索引擎访问/book目录
Disallow: /admin/	禁止所有搜索引擎访问/admin目录
Disallow: /utility/	禁止所有搜索引擎访问/utility目录
Disallow: /a/	禁止所有搜索引擎访问/a目录
Disallow: /include/	禁止所有搜索引擎访问/include目录
Disallow: /webser/	禁止所有搜索引擎访问/webser目录
Disallow: /bew/	禁止所有搜索引擎访问/bew目录

活动推荐

Robots检测