Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: dotbot	开始配置：dotbot
Disallow: /	禁止dotbot访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
User-agent: DeuSu	开始配置：DeuSu
Disallow: /	禁止DeuSu访问网站的任何部分
User-agent: grapeshot	开始配置：grapeshot
Disallow: /	禁止grapeshot访问网站的任何部分
User-agent: Slurp	开始配置：Slurp
Disallow: /	禁止Slurp访问网站的任何部分
User-agent: Teoma	开始配置：Teoma
Disallow: /	禁止Teoma访问网站的任何部分
User-agent: ia_archiver	开始配置：ia_archiver
Disallow: /	禁止ia_archiver访问网站的任何部分
User-agent: twiceler	开始配置：twiceler
Disallow: /	禁止twiceler访问网站的任何部分
User-agent: MSNBot	开始配置：MSNBot
Disallow: /	禁止MSNBot访问网站的任何部分
User-agent: Scrubby	开始配置：Scrubby
Disallow: /	禁止Scrubby访问网站的任何部分
User-agent: Robozilla	开始配置：Robozilla
Disallow: /	禁止Robozilla访问网站的任何部分
User-agent: YandexBot	开始配置：YandexBot
Disallow: /	禁止YandexBot访问网站的任何部分
User-agent: Gigabot	开始配置：Gigabot
Disallow: /	禁止Gigabot访问网站的任何部分
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: *	开始配置：所有搜索引擎
Disallow: /admin/	禁止所有搜索引擎访问/admin目录
Disallow: /91jfadmin/	禁止所有搜索引擎访问/91jfadmin目录
Disallow: /91jfadmin_pro/	禁止所有搜索引擎访问/91jfadmin_pro目录
Disallow: /member/	禁止所有搜索引擎访问/member目录
Disallow: /data/	禁止所有搜索引擎访问/data目录
Disallow: /template/	禁止所有搜索引擎访问/template目录
Disallow: /mypub/	禁止所有搜索引擎访问/mypub目录
Disallow: /install/	禁止所有搜索引擎访问/install目录
Disallow: /include/	禁止所有搜索引擎访问/include目录
Disallow: /backup/	禁止所有搜索引擎访问/backup目录
Disallow: /wap/	禁止所有搜索引擎访问/wap目录
Disallow: /newweb/	禁止所有搜索引擎访问/newweb目录
Disallow: /nabin/	禁止所有搜索引擎访问/nabin目录
Disallow: /store.php?uid=28908	禁止所有搜索引擎访问store.php,参数为uid=28908的页面
Disallow: /store.php?uid=7944	禁止所有搜索引擎访问store.php,参数为uid=7944的页面
Disallow: /default.php?url=store&uid=28908	禁止所有搜索引擎访问default.php,参数为url=store&uid=28908的页面
Disallow: /default.php?url=store&uid=7944	禁止所有搜索引擎访问default.php,参数为url=store&uid=7944的页面

活动推荐

Robots检测