Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /*.php$	禁止所有搜索引擎访问所有以*.php结尾的文件
Disallow: /manage/	禁止所有搜索引擎访问/manage目录
Disallow: /_201712/	禁止所有搜索引擎访问/_201712目录
Disallow: /png_sort/	禁止所有搜索引擎访问/png_sort目录
Disallow: /img_sort/	禁止所有搜索引擎访问/img_sort目录
Disallow: /img-down/	禁止所有搜索引擎访问/img-down目录
Disallow: /original-down/	禁止所有搜索引擎访问/original-down目录
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /?test=$	禁止所有搜索引擎访问所有以*?test=*结尾的文件
Disallow: /tagcount/	禁止所有搜索引擎访问/tagcount目录
Disallow: /?boss_use=$	禁止所有搜索引擎访问所有以*?boss_use=*结尾的文件
user-agent: Grapeshot Bot	开始配置：Grapeshot Bot
Disallow: /	禁止Grapeshot Bot访问网站的任何部分
user-agent: coccocbot-web	开始配置：coccocbot-web
Disallow: /	禁止coccocbot-web访问网站的任何部分
user-agent: Pinterestbot	开始配置：Pinterestbot
Disallow: /	禁止Pinterestbot访问网站的任何部分
user-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
user-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
user-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
user-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
user-agent: DotBot	开始配置：DotBot
Disallow: /	禁止DotBot访问网站的任何部分
user-agent: Adsbot	开始配置：Adsbot
Disallow: /	禁止Adsbot访问网站的任何部分
user-agent: bingbot/2.0	开始配置：bingbot/2.0
Disallow: /	禁止bingbot/2.0访问网站的任何部分

活动推荐

Robots检测