Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /accounts	禁止所有搜索引擎访问/accounts目录（包括子目录）
Disallow: /admin	禁止所有搜索引擎访问/admin目录（包括子目录）
Disallow: /campaign	禁止所有搜索引擎访问/campaign目录（包括子目录）
Disallow: /captcha	禁止所有搜索引擎访问/captcha目录（包括子目录）
Disallow: /common	禁止所有搜索引擎访问/common目录（包括子目录）
Disallow: /download	禁止所有搜索引擎访问/download目录（包括子目录）
Disallow: /editor	禁止所有搜索引擎访问/editor目录（包括子目录）
Disallow: /images/external	禁止所有搜索引擎访问/images/external目录（包括子目录）
Disallow: /favorite	禁止所有搜索引擎访问/favorite目录（包括子目录）
Disallow: /get	禁止所有搜索引擎访问/get目录（包括子目录）
Disallow: /mailing	禁止所有搜索引擎访问/mailing目录（包括子目录）
Disallow: /more	禁止所有搜索引擎访问/more目录（包括子目录）
Disallow: /my	禁止所有搜索引擎访问/my目录（包括子目录）
Disallow: /relaunch	禁止所有搜索引擎访问/relaunch目录（包括子目录）
Disallow: /istockphoto	禁止所有搜索引擎访问/istockphoto目录（包括子目录）
Disallow: /translate	禁止所有搜索引擎访问/translate目录（包括子目录）
Disallow: /images/screenshots	禁止所有搜索引擎访问/images/screenshots目录（包括子目录）
Allow: /	允许所有搜索引擎访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
User-agent: dotbot	开始配置：dotbot
User-agent: exabot	开始配置：exabot
User-agent: gigabot	开始配置：gigabot
User-agent: ia_archiver	开始配置：ia_archiver
User-agent: MJ12bot	开始配置：MJ12bot
User-agent: 007ac9	开始配置：007ac9
User-agent: BLEXBot	开始配置：BLEXBot
User-agent: SemrushBot	开始配置：SemrushBot
User-agent: SemrushBot-SA	开始配置：SemrushBot-SA
disallow: /	禁止SemrushBot-SA访问网站的任何部分
User-agent: Applebot	开始配置：Applebot
disallow: /istockphoto/file	禁止Applebot访问/istockphoto/file目录（包括子目录）
Allow: /	允许Applebot访问网站的任何部分

活动推荐

Robots检测