Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /search	禁止所有搜索引擎访问/search目录（包括子目录）
Disallow: /convos/	禁止所有搜索引擎访问/convos目录
Disallow: /notes/	禁止所有搜索引擎访问/notes目录
Disallow: /admin/	禁止所有搜索引擎访问/admin目录
Disallow: /adm/	禁止所有搜索引擎访问/adm目录
Disallow: /p/0826cf4692f9	禁止所有搜索引擎访问/p/0826cf4692f9目录（包括子目录）
Disallow: /p/d8b31d20a867	禁止所有搜索引擎访问/p/d8b31d20a867目录（包括子目录）
Disallow: /collections/*/recommended_authors	禁止所有搜索引擎访问*/collections//recommended_authors**目录（包括子目录）
Disallow: /trial/*	禁止所有搜索引擎访问/trial下的所有文件
Disallow: /keyword_notes	禁止所有搜索引擎访问/keyword_notes目录（包括子目录）
Disallow: /stats-2017/*	禁止所有搜索引擎访问/stats-2017下的所有文件
User-agent: trendkite-akashic-crawler	开始配置：trendkite-akashic-crawler
Request-rate: 1/2 # load 1 page per 2 seconds	允许trendkite-akashic-crawler访问1/2 # load 1 page per 2 seconds目录（包括子目录）
Crawl-delay: 60	允许trendkite-akashic-crawler访问60目录（包括子目录）
User-agent: YisouSpider	开始配置：YisouSpider
Request-rate: 1/10 # load 1 page per 10 seconds	允许YisouSpider访问1/10 # load 1 page per 10 seconds目录（包括子目录）
Crawl-delay: 60	允许YisouSpider访问60目录（包括子目录）
User-agent: Cliqzbot	开始配置：Cliqzbot
Disallow: /	禁止Cliqzbot访问网站的任何部分
User-agent: Googlebot	开始配置：Googlebot
Request-rate: 2/1 # load 2 page per 1 seconds	允许Googlebot访问2/1 # load 2 page per 1 seconds目录（包括子目录）
Crawl-delay: 10	允许Googlebot访问10目录（包括子目录）
Allow: /	允许Googlebot访问网站的任何部分
User-agent: Mediapartners-Google	开始配置：Mediapartners-Google
Allow: /	允许Mediapartners-Google访问网站的任何部分

活动推荐

Robots检测