Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /o/desk	禁止所有搜索引擎访问/o/desk目录（包括子目录）
Disallow: /o/myCreated	禁止所有搜索引擎访问/o/myCreated目录（包括子目录）
Disallow: /o/settings	禁止所有搜索引擎访问/o/settings目录（包括子目录）
Disallow: /o/create/	禁止所有搜索引擎访问/o/create目录
Disallow: /admin	禁止所有搜索引擎访问/admin目录（包括子目录）
Disallow: /product/agree_value/	禁止所有搜索引擎访问/product/agree_value目录
Disallow: /user/	禁止所有搜索引擎访问/user目录
User-agent: trendkite-akashic-crawler	开始配置：trendkite-akashic-crawler
Request-rate: 1/2 # load 1 page per 2 seconds	允许trendkite-akashic-crawler访问1/2 # load 1 page per 2 seconds目录（包括子目录）
Crawl-delay: 60	允许trendkite-akashic-crawler访问60目录（包括子目录）
User-agent: YisouSpider	开始配置：YisouSpider
Request-rate: 1/10 # load 1 page per 10 seconds	允许YisouSpider访问1/10 # load 1 page per 10 seconds目录（包括子目录）
Crawl-delay: 60	允许YisouSpider访问60目录（包括子目录）
User-agent: Cliqzbot	开始配置：Cliqzbot
Disallow: /	禁止Cliqzbot访问网站的任何部分
User-agent: Googlebot	开始配置：Googlebot
Request-rate: 2/1 # load 2 page per 1 seconds	允许Googlebot访问2/1 # load 2 page per 1 seconds目录（包括子目录）
Crawl-delay: 10	允许Googlebot访问10目录（包括子目录）

活动推荐

Robots检测