Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: ltx71	开始配置：ltx71
Disallow: /	禁止ltx71访问网站的任何部分
User-agent: SemrushBot-SA	开始配置：SemrushBot-SA
Disallow: /	禁止SemrushBot-SA访问网站的任何部分
User-agent: Linguee	开始配置：Linguee
Disallow: /	禁止Linguee访问网站的任何部分
User-agent: AlphaSeoBot	开始配置：AlphaSeoBot
Disallow: /	禁止AlphaSeoBot访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: AlphaSeoBot-SA	开始配置：AlphaSeoBot-SA
Disallow: /	禁止AlphaSeoBot-SA访问网站的任何部分
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Crawl-delay: 18000	允许MJ12bot访问18000目录（包括子目录）
Disallow: /admin/	禁止MJ12bot访问/admin目录
User-agent: Baiduspider	开始配置：Baiduspider
Disallow: /member/	禁止Baiduspider访问/member目录
Disallow: /module/	禁止Baiduspider访问/module目录
Disallow: /data/	禁止Baiduspider访问/data目录
User-agent: Sosospider	开始配置：Sosospider
Disallow: /member/	禁止Sosospider访问/member目录
Disallow: /module/	禁止Sosospider访问/module目录
Disallow: /data/	禁止Sosospider访问/data目录
User-agent: sogou spider	开始配置：sogou spider
Disallow: /member/	禁止sogou spider访问/member目录
Disallow: /module/	禁止sogou spider访问/module目录
Disallow: /data/	禁止sogou spider访问/data目录
User-agent: 360Spider	开始配置：360Spider
Disallow: /member/	禁止360Spider访问/member目录
Disallow: /module/	禁止360Spider访问/module目录
Disallow: /data/	禁止360Spider访问/data目录

活动推荐

Robots检测